강의 정말 감사합니다! AE와 VAE의 manifold를 visualization 한 부분은 매번 새롭게 30 epoch씩 트레이닝 후 테스트 셋에서 그린건가요? 아님 하나의 모델로 트레이닝을 진행하며 30, 60, 90 epoch... 마다 그림을 그린건가요? github 코드를 참고해 후자의 방식으로 visualization하면 비슷한 latent space에 표현되는 것 같아 질문 드립니다.
Reconstruction error를 binary cross entropy로 계산 하는 것은 해석상 오류를 야기하는 것 같습니다. Bernoulli = q^y (1-q)^(1-y) 에서 y (얘를 support라고 하더라구요)는 동전의 뒷면, 앞면 처럼 0 또는 1이여야 하는데, 여기선 y 값을 픽셀 값(0~1 사이의 값)을 넣고 있으니 해석이 안맞습니다. (ex) 어떤 픽셀 값이 0.3이라면 0.3 또는 0.7. 이렇게 support 값을 잡자는 건데, 이 상황에서 BCEloss를 minimize 한다는 것은 그 픽셀이 가지는 값이 0.3일 확률을 maximize (MLE니까) 하게 되는 셈이고 이건 반대로 이 픽셀 값이 0.7일 확률을 줄이는 셈이 됩니다. 이게 무슨 뜻일까요? 해석이 좀 이상해집니다. 사실 애초에 Bernoulli를 따르는 랜덤 변수의 확률 값은 q 또는 1-q가 되어야 할텐데 그렇지도 않게 되지요.) 관련해서 찾아보니 논문도 있는 거 같아요 proceedings.neurips.cc/paper/2019/file/f82798ec8909d23e55679ee26bb26437-Paper.pdf 혼자 생각하려니 버겁습니다 ㅠㅠ 의견 남겨주시면 감사하겠습니다.
![Seungmin "그렇게, 천천히, 우리(As we are)" | [Stray Kids : SKZ-PLAYER]](http://i.ytimg.com/vi/kAzmhLHePqU/mqdefault.jpg)
이런 수준의 세미나 풀로 녹화해서 그냥 올려주는 네이버.. 그저 빛 ..
강의내용이 수면치료에 많은 도움이 되었습니다 ^^
사랑합니다
AE와 VAE에 대해 더 잘 알게 되었습니다 감사합니다!
감사합니다 어렵지만 자세
해서 정말 큰도움이되었습니다
와 미쳤다 강의 질이 미쳤습니다.
Autoencoder와 AAE 관련하여 공부할일이 있어서 보게 되었는데, 아직 초보라 많이 어렵지만 다른 강의들보다 훨씬 깊이 있으면서도 쉽게 잘 설명해주시는거같습니다. 다른 강의를 들었는데 약간 깊이가 부족한거같아가지고 좀더 찾아보다가 오게 되었네요!
30:24 쯤에 (sigma_i)^2 이 아니라 (sigma_i) 아닐까요?
맞는거같아요
@@hyukppen 혁펜하임님 안녕하세요! 저도 카이스트에서 석사과정 중인데, 무조건 되는 공부법 정말 공감하며 인상깊게 봤습니다. 항상 좋은 인사이트 감사드립니다!
@@firstpenguin5653 오 댓글 감사합니다 ㅎㅎ 공부법 이외 강의들도 있으니 한번 봐주세용ㅎㅎ!
감동의 도가니탕...
수고 많습니다. VAE 소소코드 깃허브 링크 주소 부탁드립니다. 감사합니다.
최고예요
VAE 7/49(18:13)에서 log(p(x)) = ELBO + KL인데, 왜 ELBO를 maximize하면 KL이 minimize된다고 할 수 있는 걸까요?
값은 정확히 모르지만 log(p(x))는 상수값이다라는 가정이 있어서 그렇습니다. 총량이 동일하기 때문에 두 항 중 하나가 최대화가 되면 나머지는 최소화가 되죠.
와 .... 미쳤네요 진짜 ㅠㅠㅠㅠ 진짜 생각할만한 아이디어는 다 실행됬네요 ㅜㅜㅜ
감사합니다!!
강의 정말 감사합니다! AE와 VAE의 manifold를 visualization 한 부분은 매번 새롭게 30 epoch씩 트레이닝 후 테스트 셋에서 그린건가요? 아님 하나의 모델로 트레이닝을 진행하며 30, 60, 90 epoch... 마다 그림을 그린건가요?
github 코드를 참고해 후자의 방식으로 visualization하면 비슷한 latent space에 표현되는 것 같아 질문 드립니다.
이제야 질문을 봤네요. 매번 새롭게 30 epoch씩 트레이닝 후 테스트 셋에서 그린 거입니다.
42페이지에서 그림 D의 경우 q(z|x) 는 mixture of 10 gaussians로 한건가요?
16:51
22:36
내용 잘 보았습니다. github에 올라온 소스가 설명하신 자료와 다른 데요. github에 소스 추가해 주실 수 있나요 ?
34:00
1:00:37
Reconstruction error를 binary cross entropy로 계산 하는 것은 해석상 오류를 야기하는 것 같습니다.
Bernoulli = q^y (1-q)^(1-y) 에서 y (얘를 support라고 하더라구요)는 동전의 뒷면, 앞면 처럼 0 또는 1이여야 하는데, 여기선 y 값을 픽셀 값(0~1 사이의 값)을 넣고 있으니 해석이 안맞습니다.
(ex) 어떤 픽셀 값이 0.3이라면 0.3 또는 0.7. 이렇게 support 값을 잡자는 건데, 이 상황에서 BCEloss를 minimize 한다는 것은 그 픽셀이 가지는 값이 0.3일 확률을 maximize (MLE니까) 하게 되는 셈이고 이건 반대로 이 픽셀 값이 0.7일 확률을 줄이는 셈이 됩니다. 이게 무슨 뜻일까요? 해석이 좀 이상해집니다.
사실 애초에 Bernoulli를 따르는 랜덤 변수의 확률 값은 q 또는 1-q가 되어야 할텐데 그렇지도 않게 되지요.)
관련해서 찾아보니 논문도 있는 거 같아요
proceedings.neurips.cc/paper/2019/file/f82798ec8909d23e55679ee26bb26437-Paper.pdf
혼자 생각하려니 버겁습니다 ㅠㅠ 의견 남겨주시면 감사하겠습니다.
와 혁펜하임이다!!
저도 비슷하게 생각하는데 혹시 해결하셨나요???
@@junhyeongjunhyeong 네 ㅎㅎ 논문에서 제시한 대로 새로운 분포를 썼다고 봐야죠
@@hyukppen 아직 안읽어 봤는데 논문이 혹시 링크 거신 논문일까요??
@@junhyeongjunhyeong 넵넵
29:00