네 안녕하세요! 힘이되는 격려말씀에 감사드립니다. 배우고 익히신 것들을 쉽게 블로그를 통해 나누어 주고 계시다니, 왠지 저와 같은 마음을 가진 분을 만난것 같아 저도 기쁩니다. 어떤 형태의 강의가 되었든, 여러 다양한 루트로 배울 때, 모든 것들이 다 새로 배우시는 분들께 도움이 된다고 생각합니다. 항상 건강하시고, 좋은 하루 되세요 감사합니다!
깊은 통찰력에 감탄하고 갑니다. 크로스 엔트로피가 궁금해서 검색해서왔지만 나머지 강의들도 들어보겠습니다. 보통 수식만 나열하는 설명을 하는데 이해하기 쉬운 비유로 설명을 해주시니 정말 좋습니다. "단순하게 설명할 수 없다면 충분히 이해하지 못한 것이다" 라는 말이 있다죠. 나중에 AI 엔지니어로 취업하게 되면 후원 거하게 하겠습니다
네 시청해주셔서 감사합니다. AI엔지니어로 취업하는 그날이 속히 오길 기도합니다~!! 감사합니다. 제가 바라는 것은 AI기술이 많은 사람들을 유익하게 만드는 세상이 되는 것입니다. AI 엔지니어로 멋진 미래를 열어가는데 앞장서신다면 그게 제가 바라는 후원이 되겠습니다. 감사합니다!
안녕하세요 박사님 항상 잘 보고있습니다 그렇다면 cross entropy 함수는 log scale을 기반으로 예측 값의 loss가 큰 weight element의 값을 더 극단적으로 업데이트 하는 것에서 장점을 가지는 것이라 이해하면 될까요? 또 궁금한 부분은 11분 30초 즈음 엔트로피 계산에서 같은 기댓값 조건에서 전체적으로 확률이 중간 값 주변으로 분포하는 팀이 엔트로피가 높다고 하셨는데, p*log(1/p)를 미분할 경우 1/e 에서 최댓값을 가지는데, 그렇다면 정보이론에서 다루는 엔트로피에서는 1/e (약 0.37) 값을 가장 예측하기 힘든 값으로 보는 것인가요? 항상 좋은 강의 감사드립니다
네 안녕하세요! 시청해주셔서 감사합니다. 회귀모델에서 크로스 엔트로피를 손실 함수로 사용하는 것은 일반적이지 않은것 같아요. 크로스 엔트로피 손실 함수는 주로 분류 문제에 사용되며, 예측값과 실제값 사이의 '확률분포' 차이를 측정하는 데 적합한 손실함수입니다. 그러나 회귀 문제는 연속적인 값을 예측하는 것이 목표이기 때문에, 손실 함수로는 주로 평균 제곱 오차(Mean Squared Error, MSE)나 평균 절대 오차(Mean Absolute Error, MAE) 같은 함수가 사용됩니다. 즉, 크로스 엔트로피는 이산적인 범주를 다루는 데 적합하며, 출력값이 확률로 나옵니다. 반면, 회귀 모델의 출력은 연속적인 실수 값이기 때문에, 크로스 엔트로피를 사용하면 적합하지 않은 손실 계산이 이루어질 수 있습니다. 따라서, 회귀 문제에는 크로스 엔트로피 대신 MSE나 MAE를 사용하는 것이 더 적절합니다. 적절한 답이 되었기를 바랍니다. 앞으로도 많은 시청 부탁드려요. 감사합니다!
아 그런것은 아닙니다. 각각의 손실함수는 각각의 특성이 있기 때문에 데이터의 종류와 모델의 종류에 따라 보다 더 합당한 손실함수를 고려해서 사용합니다. 오늘 올려드린 오토인코더 실습영상만 보더라도 MSE를 쓰고 있습니다. 크로스엔트로피도 MSE도 모두가 딥러닝 세계에서 다 필요한 손실함수입니다. 좋은 질문 감사합니다!
똥같은 교수들 말고 이런 강의가 널리 보급되야 합니다. 어려운걸 어렵게 설명하는것은 결국 그것에 대해 본인도 잘 모르는것이고, 어려운것을 초등학생도 이해시킬수 있게 설명할때 진짜 제대로 아는것 이라고 했습니다. 개인적으로 크로스 엔트로피에 대해 이것보다 더 잘 설명한 강의가 없는것같네요.
과한 칭찬에 몸둘바를 모르겠습니다! 물론 저보다도 훨씬 훌륭하게 가르치는 교수님들도 분명 많이 계시겠지만, 그래도 힘이 되는 댓글에 진심 감사를 드립니다. 확실히 알아야 쉽게 가르칠수 있다는 말씀에 전적으로 동의합니다. 앞으로도 쉽고 재미있는 강의 영상 많이 올리도록 노력하겠습니다! 감사합니다
네 안녕하세요 좋은 질문 감사드립니다. 주신 질문을 보다 쉽게 이해할 수 있도록, 제가 다시 좀 정리해서 답변 드리도록 하겠습니다. 일단 p(x)는 (많은 사람들이 평가한) 음식이 맛있을 확률이 되고, q(x)는 (내가 주관적으로 느끼는) 음식이 맛있는 확률입니다. 그럴경우, 내가 주관적으로 느끼는 음식이 맛없을 확률은 1-q(x)로 계산되기 때문에 p(x), q(x)모두 음식이 맛있을 확률로 통일하는 것이 편합니다. 둘다 맛있을 확률인데, 그것이 전체의 의견이면 p(x), 개인의 의견이면 q(x). 크로스 엔트로피 손실함수는 이 둘의 차이를 좁혀나가는데 방향성은 전체의 의견을 따르도록 내 개인의 의견을 바꾸어가는 것이다로 보시면 되겠습니다. 일단 크로스엔트로피 손실함수가 제일 많이 사용되는 분야는 이진분류 문제인데요, 우리의 예로 보자면 단순히 음식이 맛있다 (p(x)=1), 음식이 맛없다 (p(x)=0)가 되겠습니다. 그런데 전체의견으로 맛있는 음식인데 (p(x) = 1), 개인의견은 진짜 맛없는 음식이라면 맛있을 확률 (q(x)) 은 0.0000001정도 된다고 볼수 있습니다. 그러면 전체 크로스 엔트로피 손실함수 값은 log(1/q(x)) * 1, 이 공식에 의해 손실값을 엄청 크게 만들수 있습니다. 즉 손실함수 자체의 목적을 생각해볼 때, 신경망의 출력값 q(x)와 실제값 Ground truth, p(x)의 차이가 클 경우 이 둘을 계산하여 큰 숫자를 만들어야하는데, 여러가지 방법이 있을 수 있지만, 이 크로스엔트로피 손실함수에서는 log(1/q(x))*p(x)라는 크로스 엔트로피 공식을 사용하여 이 둘의 차이를 보여주는 것 뿐입니다. 쓰다보니 설명이 더 어려워지는 듯한 느낌도 드는데요, 결국은 내가 느끼는 맛과 전체가 느끼는 맛을 곱해서 숫자가 크면 괴리가 심하다는 것을 보여주는 공식이라고 보시면 되겠습니다.
![[Deep Learning 101] LSTM 파이썬으로 구현하기 (feat.훈민정음서문)](http://i.ytimg.com/vi/nvJz9maIIRE/mqdefault.jpg)
![[Deep Learning 101] LSTM 파이썬으로 구현하기 (feat.훈민정음서문)](/img/tr.png)
레전드 설명입니다
앗 감사합니다!! 앞으로도 유익한 영상 많이 올리도록 노력하겠습니다!
이해하기 힘든 부분들을 쉬운 예로 설명해주시니까 너무 좋아요! 인터넷 블로그나 영상을 봐도 기초부터 가르쳐주지않고 냅다 수학 수식어로써 설명을 해줘서 이해하기 힘들었는데, 이렇게 차근차근 설명해주시니 너무 좋습니다.
설명이 쉽고 이해하기 편하셨다니 저도 영상을 만든 보람이 느껴집니다. 제 영상들을 통해 기본적인 개념을 익히신다면, 또 다른 여러 좋은 채널들의 다른 좋은 영상들도 이해하시는데 도움이 될거라 생각이 들어요. 감사합니다. 앞으로도 많은 시청 부탁드려요!
감사합니다 박사님
박사님 덕택에 제 식견이 넓어지는 것 같습니다.
스스로 이해한 내용을 최대한 쉽게 풀어 설명하듯이 블로그에 포스팅하고 있으나 교수님의 강의와 비교하여 보면 더욱 정진해야겠다는 생각이 듭니다.
오늘 하루도 건강하시고 좋은 하루 되세요.
네 안녕하세요! 힘이되는 격려말씀에 감사드립니다. 배우고 익히신 것들을 쉽게 블로그를 통해 나누어 주고 계시다니, 왠지 저와 같은 마음을 가진 분을 만난것 같아 저도 기쁩니다. 어떤 형태의 강의가 되었든, 여러 다양한 루트로 배울 때, 모든 것들이 다 새로 배우시는 분들께 도움이 된다고 생각합니다. 항상 건강하시고, 좋은 하루 되세요 감사합니다!
와 이거 인터넷에서 겨우 이해했다고 생각했는데 전혀 아니었네요
정말 레전드강의입니다
과찬의 말씀 감사합니다..! 도움이 되셨다니 저도 기쁩니다. 많은 시청 부탁드려요!
깊은 통찰력에 감탄하고 갑니다. 크로스 엔트로피가 궁금해서 검색해서왔지만 나머지 강의들도 들어보겠습니다. 보통 수식만 나열하는 설명을 하는데 이해하기 쉬운 비유로 설명을 해주시니 정말 좋습니다. "단순하게 설명할 수 없다면 충분히 이해하지 못한 것이다" 라는 말이 있다죠. 나중에 AI 엔지니어로 취업하게 되면 후원 거하게 하겠습니다
네 시청해주셔서 감사합니다. AI엔지니어로 취업하는 그날이 속히 오길 기도합니다~!! 감사합니다. 제가 바라는 것은 AI기술이 많은 사람들을 유익하게 만드는 세상이 되는 것입니다. AI 엔지니어로 멋진 미래를 열어가는데 앞장서신다면 그게 제가 바라는 후원이 되겠습니다. 감사합니다!
단순히 정답에서 멀리 떨어져 있을 수록 loss가 커 학습이 잘된다 정도만 알고 있었는데, CrossEntropy가 정보이론 기댓값에서 나온 식이라는 것을 보고 원리가 이해되기 시작했습니다. 백그라운드부터 설명해준신 점 정말 감사드립니다!!
네 시청해주셔서 감사합니다! 앞으로도 많은 시청 부탁드려요~
매우 우수한 설명!
넵 감사합니다! 앞으로도 많은 시청 부탁드려요~
쉬운 설명 감사합니다 ~~
저도 감사드려요😊
영상 잘 들었습니다. 감사합니다.
시청해 주셔서 감사드립니다. 앞으로도 많은 시청 부탁드려요. 감사합니다!
t대박.. 감사합니다!
도움이 되셨기를 바라며.. 앞으로도 많은 시청 부탁드립니다!
와.. 설명이 너무 깔씀하고 좋습니다. 감사합니다
도움이 되셨다니 다행입니다. 감사합니다!!
좋은 강의 감사합니다
도움이 되셨다니 다행입니다. 저도 감사드립니다!
너무 좋은 강의 감사합니다!!!!!
도움이 되셨다니 저도 기쁩니다! 시청해주셔서 감사합니다
정말 감사합니다
네 시청해주셔서 감사합니다~!
안녕하세요 박사님 항상 잘 보고있습니다
그렇다면 cross entropy 함수는 log scale을 기반으로 예측 값의 loss가 큰 weight element의 값을 더 극단적으로 업데이트 하는 것에서 장점을 가지는 것이라 이해하면 될까요?
또 궁금한 부분은 11분 30초 즈음 엔트로피 계산에서
같은 기댓값 조건에서 전체적으로 확률이 중간 값 주변으로 분포하는 팀이 엔트로피가 높다고 하셨는데,
p*log(1/p)를 미분할 경우 1/e 에서 최댓값을 가지는데, 그렇다면 정보이론에서 다루는 엔트로피에서는 1/e (약 0.37) 값을 가장 예측하기 힘든 값으로 보는 것인가요?
항상 좋은 강의 감사드립니다
아 전체 엔트로피 식을 보면 -(x*log(x)+(1-x)log(1-x)) 인데 이 함수의 경우 1/2 에서 최댓값을 갖네요 이해되었습니다!
혹시 저처럼 착각하시는 분들 계실 수 있으니 글은 삭제하지 않고 두겠습니다. 감사합니다
네 좋은질문과 훌륭한 답변 모두 감사드립니다! 맞습니다 이진 (binary)엔트로피 전체식을 고려해보면 1/2일때 엔트로피가 가장 높습니다. 열심히 공부하시는데 반드시 좋은 결실을 맺으시길 바랍니다 👍🏻
안녕하세요 잘 보았습니다. 혹시 회귀모델에서도 크로스 엔트로피 함수를 손실함수로 사용해도 문제 없을까요?
네 안녕하세요! 시청해주셔서 감사합니다. 회귀모델에서 크로스 엔트로피를 손실 함수로 사용하는 것은 일반적이지 않은것 같아요. 크로스 엔트로피 손실 함수는 주로 분류 문제에 사용되며, 예측값과 실제값 사이의 '확률분포' 차이를 측정하는 데 적합한 손실함수입니다. 그러나 회귀 문제는 연속적인 값을 예측하는 것이 목표이기 때문에, 손실 함수로는 주로 평균 제곱 오차(Mean Squared Error, MSE)나 평균 절대 오차(Mean Absolute Error, MAE) 같은 함수가 사용됩니다.
즉, 크로스 엔트로피는 이산적인 범주를 다루는 데 적합하며, 출력값이 확률로 나옵니다. 반면, 회귀 모델의 출력은 연속적인 실수 값이기 때문에, 크로스 엔트로피를 사용하면 적합하지 않은 손실 계산이 이루어질 수 있습니다. 따라서, 회귀 문제에는 크로스 엔트로피 대신 MSE나 MAE를 사용하는 것이 더 적절합니다. 적절한 답이 되었기를 바랍니다. 앞으로도 많은 시청 부탁드려요. 감사합니다!
@@phdshinAI 감사합니다! 한 번 더 보니까 중간에 분류문제의 경우라고 말씀을 해주셨었네요!
크로스엔트로피가 많이 쓰인다고하셨는데 그렇다면 요즘은 MSE는 사용되고 있지 않은건가요?
아 그런것은 아닙니다. 각각의 손실함수는 각각의 특성이 있기 때문에 데이터의 종류와 모델의 종류에 따라 보다 더 합당한 손실함수를 고려해서 사용합니다. 오늘 올려드린 오토인코더 실습영상만 보더라도 MSE를 쓰고 있습니다. 크로스엔트로피도 MSE도 모두가 딥러닝 세계에서 다 필요한 손실함수입니다. 좋은 질문 감사합니다!
똥같은 교수들 말고 이런 강의가 널리 보급되야 합니다.
어려운걸 어렵게 설명하는것은 결국 그것에 대해 본인도 잘 모르는것이고, 어려운것을 초등학생도 이해시킬수 있게 설명할때 진짜 제대로 아는것 이라고 했습니다.
개인적으로 크로스 엔트로피에 대해 이것보다 더 잘 설명한 강의가 없는것같네요.
과한 칭찬에 몸둘바를 모르겠습니다! 물론 저보다도 훨씬 훌륭하게 가르치는 교수님들도 분명 많이 계시겠지만, 그래도 힘이 되는 댓글에 진심 감사를 드립니다. 확실히 알아야 쉽게 가르칠수 있다는 말씀에 전적으로 동의합니다. 앞으로도 쉽고 재미있는 강의 영상 많이 올리도록 노력하겠습니다! 감사합니다
13:13 이 부분이 이해가 되지 않습니다. p(x)를 음식이 맛있을 확률, q(x)를 음식이 맛없을 확률로 한다면 log(1/q(x))*p(x)는 맛이 없을 때의 놀람도 * 맛있을 확률 인데 이게 어떤 의미인지 이해가 가지 않습니다.
네 안녕하세요 좋은 질문 감사드립니다. 주신 질문을 보다 쉽게 이해할 수 있도록, 제가 다시 좀 정리해서 답변 드리도록 하겠습니다. 일단 p(x)는 (많은 사람들이 평가한) 음식이 맛있을 확률이 되고, q(x)는 (내가 주관적으로 느끼는) 음식이 맛있는 확률입니다. 그럴경우, 내가 주관적으로 느끼는 음식이 맛없을 확률은 1-q(x)로 계산되기 때문에 p(x), q(x)모두 음식이 맛있을 확률로 통일하는 것이 편합니다. 둘다 맛있을 확률인데, 그것이 전체의 의견이면 p(x), 개인의 의견이면 q(x). 크로스 엔트로피 손실함수는 이 둘의 차이를 좁혀나가는데 방향성은 전체의 의견을 따르도록 내 개인의 의견을 바꾸어가는 것이다로 보시면 되겠습니다. 일단 크로스엔트로피 손실함수가 제일 많이 사용되는 분야는 이진분류 문제인데요, 우리의 예로 보자면 단순히 음식이 맛있다 (p(x)=1), 음식이 맛없다 (p(x)=0)가 되겠습니다. 그런데 전체의견으로 맛있는 음식인데 (p(x) = 1), 개인의견은 진짜 맛없는 음식이라면 맛있을 확률 (q(x)) 은 0.0000001정도 된다고 볼수 있습니다. 그러면 전체 크로스 엔트로피 손실함수 값은 log(1/q(x)) * 1, 이 공식에 의해 손실값을 엄청 크게 만들수 있습니다. 즉 손실함수 자체의 목적을 생각해볼 때, 신경망의 출력값 q(x)와 실제값 Ground truth, p(x)의 차이가 클 경우 이 둘을 계산하여 큰 숫자를 만들어야하는데, 여러가지 방법이 있을 수 있지만, 이 크로스엔트로피 손실함수에서는 log(1/q(x))*p(x)라는 크로스 엔트로피 공식을 사용하여 이 둘의 차이를 보여주는 것 뿐입니다. 쓰다보니 설명이 더 어려워지는 듯한 느낌도 드는데요, 결국은 내가 느끼는 맛과 전체가 느끼는 맛을 곱해서 숫자가 크면 괴리가 심하다는 것을 보여주는 공식이라고 보시면 되겠습니다.
@@phdshinAI 딥러닝 모델의 출력값과 실제 class값의 차이를 비교해서 나중에 역전파로 출력값을 실제값에 가깝게 만드는 거군요. 이제 전체적인 그림이 그려지는 것 같습니다. 설명 감사합니다!
네 바로 그것이 신경망 학습 중 지도학습법 (supervised learning)의 핵심 틀입니다. 감사합니다!