어쩌다 유튜브 알고리즘에 의해 이끌렸습니다. 설명도 좋고 목소리도 좋아 이해가 빠른네요. 다만, 근의 공식부분은 5차방정식 이상은 근의 공식이 없다(아벨의 증명) 점을 들어, 신경망 층이 늘어나서, 일정 차수 이상이 되는 이상의 층 부터는 적용이 안된다는 것으로 설명하는 것도 좋지 않을까 합니다.
안녕하세요! 제가 AI 하이스쿨 강의를 들어봤는데, 전혀 부끄러워하시지 않으셔도 될 만큼, 강의 수준도 높고, 내용도 충실하고, 쉽고 편하게 가르치시려는 마음이 느껴져서 좋았습니다. 저도 구독했습니다! 강의라는 것이 이런 접근법, 저런 접근법이 모이면 더 배우시는 분들도 편하게 다양한 각도로 배우게 되는 것 같아서 유익한 것 같습니다. 이름도 너무 좋네요. AI 하이스쿨 기억에 딱 남습니다. 제 채널도 그렇지만 AI 하이스쿨 채널도 많이 번창하시길 바랍니다. 감사합니다!
오늘도 1등!!! 중간에 순간 왜 기울기를 양수로 생각하지 했네요.반대가 될수도 있겠지만 양수-》0 으로 이동하는 방법이 되야 minima를 찾을 수 있어서라고 생각정리해봅니다. 그런데 반대로 생각하면 하강 방향이니 음수로도 생각해볼수 있을 것 같은데 왜 그래디언트 방향은 위쪽이고 가중치가 크기가 같은 반대 방향인지가 궁금합니다.!!
네 안녕하세요 Jacky님 오늘도 좋은 댓글과 질문 감사드립니다. 제가 Jacky님의 질문을 제대로 이해했는지 모르겠지만 (만약 잘못 이해했다면 대댓글로 또 부탁드립니다!), 말씀하신바대로 그래디언트는 양수가 될수도 있고 음수가 될 수 있습니다. 그래서 양수든 음수든, 그래디언트가 0으로 찾아가게끔, 가중치의 방향을 미세하게 조절해가는 것이 맞습니다. 그런데 왜 그래디언트방향이 왜 위쪽이냐라는 부분은, 방향을 화살표로 그린부분은 그래디언트와 가중치변화량 (delta_W)의 방향이 반대임을 말씀드리기 위해서 화살표를 그렇게 그린것이라 이해하시면 좋을것 같습니다. 여기서 주의할 점은 그래디언트가 양수라 하여 반드시 화살표가 위로가는 것은 아닙니다. 우주에서 위아래가 없듯이, 어차피 고차원 평면에서는 그래디언트가 양수든 음수든 우리가 눈으로 볼수 있는 그래프상에서 위아래로 그릴 수가 없습니다 (우리 인간은 3차원 이상의 공간은 상상할 수 없기 때문입니다). 오직 그래디언트의 극성 (+혹은-)과 반대방향을 움직이는 가중치 변화량 (delta_W)만 고려하시면 되겠습니다. 주어진 예제인 3차원 손실함수 그래프에서는 그래디언트가 0인 곳이 아래쪽에 있기 때문에 가중치변화량의 방향이 아래로 내려가는 것 처럼 그렇게 보이는 것 뿐입니다. 그러면 기울기는 그 반대로 위로 그러져야 하겠지요. 기울기가 위로 그려졌다 하여 반드시 그 기울기가 양수인것은 아닙니다. 음수일 수도 있고 양수일수도 있습니다. 그것은 2차원 함수에서도 마찬가지입니다. 그리고 그 다음 질문인 크기가 왜 같으냐 하는 질문은, 두 벡터의 크기가 같고 방향이 반대일 때 벡터의 내적에 의해서 가장 큰 값이 나옵니다. 그래서 손실함수의 변화량을 가장 크게 하는 가중치변화량은 손실함수의 기울기와 크기는 같고 방향은 반대인 벡터가 되는 것입니다. 손실함수의 변화량이 가장 클 때 손실함수의 최저점에 가장 빨리 도달할 수 있다는 가정을 전제로 하고 있기 때문입니다. 어떻게 Jacky님의 질문에 합당한 답변이 되었는지 모르겠습니다. 만약 미진한 부분은 대댓글로 부탁드려요. 항상 감사합니다!!
안녕하세요 @jackykim4909님! 네 맞습니다. 그래디언트가 가장 크게 변화하는 방향이나 오차의 변화가 가장 크게 바뀌는 것입니다. 그래서 그 그래디언트의 반대방향(마이너스를 곱하여 벡터의 반대방향인 것이죠)으로 가중치들을 바꾸어 주면 오차가 그 iteration에서 가장 작아지게 됩니다 (가장 큰 값을 빼주게 되니 가장 작아지게 되겠죠). 그렇게 반복하여 오차를 계속 줄여나가다보면 가장 최저점 (혹은 로컬미니마)에 빨리 도달하게 됩니다.
네 안녕하세요? 좋은 질문 감사드립니다. 네 원칙적으로 함수는 연속값이기 때문에 두 함수의 차이를 논할때는 면적으로 보는 경우가 있습니다 (Integral 기호사용). 예를들면 적분에서 무수한 직선들을 붙여놓으면 면적이 되는 것과 같은 이치가 되겠습니다. 그러나 실제 계산에서는 코딩도 그렇고 실생활의 데이터값도 그렇고, 모든것이 이산값, 즉 함수값이 띄엄띄엄있기 때문에 질문자님께서 언급하신 것 처럼 각각의 포인트에서 함수값과 실제값 차이를 직선거리 계산하듯 계산하여 (MSE든 MAE든) 더하면 (Sigma기호를 이용) 되겠습니다. 말하자면 데이터를 어떻게 보느냐의 관점에서 단순직선값들을 이용할수도 있고, 단순직선값들을 무수히 더한 면적으로 보기도 합니다만, 결국 개념적으로 오차라는 것은 실제값과 함수값간의 차이를 뜻하는 것이기 때문에, 그 오차를 구할 때 실제값과 함수값을 '연속'적인 값으로 보느냐 '불연속'적인 이산적인 값으로 보느냐의 차이일 뿐 질문자님께서 이해하신 것도 맞는 것으로 보입니다. 좋은 질문 감사합니다.
![[Neural Network 9] 역전파 backpropagation 알고리즘 (수정본)](http://i.ytimg.com/vi/DMCJ_GjBXwc/mqdefault.jpg)
![[Neural Network 9] 역전파 backpropagation 알고리즘 (수정본)](/img/tr.png)
![[Neural Network 1] 인공신경망과 퍼셉트론1](/img/1.gif)
역시 설명이 너무 탁월하십니다, 존경스럽습니다...
과한 칭찬에 부끄럽습니다^^ 앞으로도 잘 부탁드리며, 이 채널이 유익하다 생각되시면, 혹 주변에 필요한 분들께도 알려주시면 감사하겠습니다 ;)
@@phdshinAI 네 주변에 많이 소개하도록 노력하겠습니다.
수업듣다가 정말 이해가 안갔는데 알기쉽게 설명해주셔서 감사합니다. 많은 도움이 되었어요~!
도움이 되셨다니 감사합니다! 앞으로도 많은 시청 부탁드립니다 ☺️
하나 보면 시리즈 다봐야될 것 같아요 너무 설명잘해주셔서 이어서 자꾸 더 궁금해지게됨
앗 네 많은 시청 감사합니다! 도움이 되신다니 저도 기쁩니다..!
프로젝트를 진행할 때 딥러닝에 대한 지식이 필요해서 찾다가 영상을 보게되었는데 정말 도움이 돼요!! 감사합니다!
네 도움이 되셨다니 저도 너무 기쁩니다. 감사합니다!
현 고등학교 3학년 재학중인 학생입니다. 선생님의 유익한 영상이 인공지능 프로젝트 활동에서 많은 도움이 되었습니다. 감사합니다
네 도움이 되었다니 저도 너무 기쁩니다. 고3이시면 정말 중요한 시기인데 올해 열심히 공부하셔서 좋은 결과 있기를 기도합니다!
어쩌다 유튜브 알고리즘에 의해 이끌렸습니다. 설명도 좋고 목소리도 좋아 이해가 빠른네요. 다만, 근의 공식부분은 5차방정식 이상은 근의 공식이 없다(아벨의 증명) 점을 들어, 신경망 층이 늘어나서, 일정 차수 이상이 되는 이상의 층 부터는 적용이 안된다는 것으로 설명하는 것도 좋지 않을까 합니다.
네 맞습니다. 아벨의 증명에 따라 고차원 함수의 일반해가 없다는 사실도 좋은 설명이 될것 같습니다. 댓글로 이렇게 영상에 부족한 부분을 채워주셔서 감사드립니다!
탁월한 설명 너무 감사드립니다
네 시청해주셔서 감사드려요. 앞으로도 많은 시청&응원 부탁드립니다..!
진짜 명강의이십니다!
학교에서 이런 식으로 배웠다면 헤매지 않았을텐데ㅠ
앗 네 항상 좋은 칭찬에 감사드립니다!
안녕하세요? 저도 강의를 만들고 있는데 신박님꺼 보니까 부끄러워지네요. ㅠㅠ 만들기 전에 봤어야 했나 싶습니다. 배경음악 넣으신것도 너무 좋고, 강의자료도 얼마나 고생하셨는지 느껴집니다. 제가 얼마나 대충 만들었는지.... 한수 배웠습니다. ㅎㅎ
안녕하세요! 제가 AI 하이스쿨 강의를 들어봤는데, 전혀 부끄러워하시지 않으셔도 될 만큼, 강의 수준도 높고, 내용도 충실하고, 쉽고 편하게 가르치시려는 마음이 느껴져서 좋았습니다. 저도 구독했습니다! 강의라는 것이 이런 접근법, 저런 접근법이 모이면 더 배우시는 분들도 편하게 다양한 각도로 배우게 되는 것 같아서 유익한 것 같습니다. 이름도 너무 좋네요. AI 하이스쿨 기억에 딱 남습니다. 제 채널도 그렇지만 AI 하이스쿨 채널도 많이 번창하시길 바랍니다. 감사합니다!
@@phdshinAI 헉 답글 달아주셔서 감사합니다. ^^~. 언제가 될지 모르겠지만 저도 시각화하면서 하도록 해보겠습니다. 원래 잊지 않기 위한 목적이 컸는데 이게 하다 보니까 자꾸 업그레이드 하고 싶은 욕심이 생깁니다. ㅎㅎ
네 기대가 됩니다! 감사합니다. 서로 도울수 있는 부분은 돕고 또 자주 교류하면 좋겠습니다❤️
오늘도 1등!!! 중간에 순간 왜 기울기를 양수로 생각하지 했네요.반대가 될수도 있겠지만 양수-》0 으로 이동하는 방법이 되야 minima를 찾을 수 있어서라고 생각정리해봅니다. 그런데 반대로 생각하면 하강 방향이니 음수로도 생각해볼수 있을 것 같은데 왜 그래디언트 방향은 위쪽이고 가중치가 크기가 같은 반대 방향인지가 궁금합니다.!!
네 안녕하세요 Jacky님 오늘도 좋은 댓글과 질문 감사드립니다. 제가 Jacky님의 질문을 제대로 이해했는지 모르겠지만 (만약 잘못 이해했다면 대댓글로 또 부탁드립니다!), 말씀하신바대로 그래디언트는 양수가 될수도 있고 음수가 될 수 있습니다. 그래서 양수든 음수든, 그래디언트가 0으로 찾아가게끔, 가중치의 방향을 미세하게 조절해가는 것이 맞습니다. 그런데 왜 그래디언트방향이 왜 위쪽이냐라는 부분은, 방향을 화살표로 그린부분은 그래디언트와 가중치변화량 (delta_W)의 방향이 반대임을 말씀드리기 위해서 화살표를 그렇게 그린것이라 이해하시면 좋을것 같습니다. 여기서 주의할 점은 그래디언트가 양수라 하여 반드시 화살표가 위로가는 것은 아닙니다. 우주에서 위아래가 없듯이, 어차피 고차원 평면에서는 그래디언트가 양수든 음수든 우리가 눈으로 볼수 있는 그래프상에서 위아래로 그릴 수가 없습니다 (우리 인간은 3차원 이상의 공간은 상상할 수 없기 때문입니다). 오직 그래디언트의 극성 (+혹은-)과 반대방향을 움직이는 가중치 변화량 (delta_W)만 고려하시면 되겠습니다. 주어진 예제인 3차원 손실함수 그래프에서는 그래디언트가 0인 곳이 아래쪽에 있기 때문에 가중치변화량의 방향이 아래로 내려가는 것 처럼 그렇게 보이는 것 뿐입니다. 그러면 기울기는 그 반대로 위로 그러져야 하겠지요. 기울기가 위로 그려졌다 하여 반드시 그 기울기가 양수인것은 아닙니다. 음수일 수도 있고 양수일수도 있습니다. 그것은 2차원 함수에서도 마찬가지입니다. 그리고 그 다음 질문인 크기가 왜 같으냐 하는 질문은, 두 벡터의 크기가 같고 방향이 반대일 때 벡터의 내적에 의해서 가장 큰 값이 나옵니다. 그래서 손실함수의 변화량을 가장 크게 하는 가중치변화량은 손실함수의 기울기와 크기는 같고 방향은 반대인 벡터가 되는 것입니다. 손실함수의 변화량이 가장 클 때 손실함수의 최저점에 가장 빨리 도달할 수 있다는 가정을 전제로 하고 있기 때문입니다. 어떻게 Jacky님의 질문에 합당한 답변이 되었는지 모르겠습니다. 만약 미진한 부분은 대댓글로 부탁드려요. 항상 감사합니다!!
@@phdshinAI안녕하세요 며칠 생각해보다가 갑자기 떠올라서 다시 여쭤봅니다. 그래디언트가 가장 크게 변화하는 방향이니 오차가 가장 커지는 방향이고 역으로 그 방향의 반대가 되면 오차가 가장 작아지는 방향이 된다 라고 이해를 했는데 맞을까요?
안녕하세요 @jackykim4909님! 네 맞습니다. 그래디언트가 가장 크게 변화하는 방향이나 오차의 변화가 가장 크게 바뀌는 것입니다. 그래서 그 그래디언트의 반대방향(마이너스를 곱하여 벡터의 반대방향인 것이죠)으로 가중치들을 바꾸어 주면 오차가 그 iteration에서 가장 작아지게 됩니다 (가장 큰 값을 빼주게 되니 가장 작아지게 되겠죠). 그렇게 반복하여 오차를 계속 줄여나가다보면 가장 최저점 (혹은 로컬미니마)에 빨리 도달하게 됩니다.
@@phdshinAI 감사합니다!! 덕분에 잘 이해했습니다. 좋은 영상 기대하고 있겠습니다!!
안녕하세요
3:14 혹시 왜 하필이면 면적으로 계산하는지 알 수 있을까요?
함수와 실제값과의 차이는 그냥 단순 직선 아닌가요?
네 안녕하세요? 좋은 질문 감사드립니다. 네 원칙적으로 함수는 연속값이기 때문에 두 함수의 차이를 논할때는 면적으로 보는 경우가 있습니다 (Integral 기호사용). 예를들면 적분에서 무수한 직선들을 붙여놓으면 면적이 되는 것과 같은 이치가 되겠습니다. 그러나 실제 계산에서는 코딩도 그렇고 실생활의 데이터값도 그렇고, 모든것이 이산값, 즉 함수값이 띄엄띄엄있기 때문에 질문자님께서 언급하신 것 처럼 각각의 포인트에서 함수값과 실제값 차이를 직선거리 계산하듯 계산하여 (MSE든 MAE든) 더하면 (Sigma기호를 이용) 되겠습니다. 말하자면 데이터를 어떻게 보느냐의 관점에서 단순직선값들을 이용할수도 있고, 단순직선값들을 무수히 더한 면적으로 보기도 합니다만, 결국 개념적으로 오차라는 것은 실제값과 함수값간의 차이를 뜻하는 것이기 때문에, 그 오차를 구할 때 실제값과 함수값을 '연속'적인 값으로 보느냐 '불연속'적인 이산적인 값으로 보느냐의 차이일 뿐 질문자님께서 이해하신 것도 맞는 것으로 보입니다. 좋은 질문 감사합니다.
멋있다
감사합니다!
교차 엔트로피 영상을 보고 다시 왔는데, 해당 영상에서의 식과 이 영상에서의 식이 왜 다른 건가요?
네 해당영상의 크로스 엔트로피는 이진 크로스 엔트로피 binary cross-entropy공식이라서 일반 cross-entropy와 조금 달리 표현되었습니다. 그러나 큰 틀에서 둘다 크로스 엔트로피 공식이 되겠습니다. 좋은 질문 감사합니다.