새해 좋은 일 많이 생기시길 바라겠습니다. 10:18 즈음에 속미분과 지수미분에 순간 당황해서 (왜 마이너스가 되지 왜 마이너스가 될까...) 이리저리 찾아보니 어느정도 이해가 되는군요. 맥락상 시그모이드 함수 도함수를 구하지 못해도 진도 나가는 데는 지장이 없어 보이지만, 그래도 욕심이 생기네요. 현재 합성함수 미분법 공부 직전인데, 정말 수학의 세계는 넓고도 오묘하군요. 끝없는 수학 공부에 살짝 지쳐서 (벌써 4개월째인데 처음 두어달은 재밌더니 슬슬 지칠 때가 있네요^^) 머신러닝 공부하러 오니 기분 전환이 되네요. 올해도 잘 부탁드리겠습니다. 저야 올려주신 감사한 자료 열심히 공부하겠습니다. (전에는 이 수학식 설명 부분, 통째로 건너뛰었는데 다시 보니 신기하고 재밌고 제가 대견하네요. ㅎㅎ) ** 두 번 미분했을 때의 양수, 음수 이야기가 가속도 이야기군요. 그래서 위로 볼록 아래로 볼록...;; 알고 나니 정말 재밌네요...
교수님 좋은 강의 감사합니다! 모든 강의를 한 번씩 보고 다시 한 번 씩 보면서 정리중인데! 인공지능에서 편향과 활성화 함수의 의의가 뭔가요?! 사람의 뉴런을 모방해서 만들어냈다는 것은 알겠는데, 이러한 것들이 실제로 러닝을 하는데 도움이 되는지, 도움이 된다면 왜 그런지 궁금합니다!
수학적으로 봤을때 인공신경망은 이미지를 flatten한 고차원 벡터가 입력되면 수학적 변환과정을 거쳐 확률 분포를 출력합니다. 이미지가 입력될때마다 라벨자리가 제일 높게 확률이 출력되려면 수학적 변환과정이 단순하면 안됩니다. 일차함수는 아무리 여러개를 합성해도 여전히 일차함수이므로 Affine층은 아무리 쌓아도 하나만 있는 것과 같습니다. Affine변환은 기하학적으로 봤을때 평행이동, 확대, 회전, 반사가 전부입니다. 따라서, Affine층만 쌓아서는 이러한 매핑이 가능할정도 충분히 복잡한 변환과정을 얻을수 없습니다. 중간에 비선형적인 변환을 끼워넣는데 그게 활성화함수입니다. 편향은 Affine변환에서 평행이동을 담당합니다.
e말고 다른 상수 a(>1)에 대해서도 y=1/(1+a^(-x))의 그래프 개형은 시그모이드 함수와 비슷하고 나중에 큰 문제는 없습니다. 시그모이드 함수가 특별한 미분방정식 y'=y(1-y)을 만족하는게 나중에 학습할 때 중요한 역할을 하는데요. 다른 상수 a(>1)를 선택할 경우에는 y' = y(1-y)(log a)로 보정작업을 해줘야 합니다.
(실패,성공)은 (0,1)이지만 이를 (-무한대,무한대)로 확장해야 합니다. 즉, 정수를 실수로 확장해야한다는 것입니다. a/b의 꼴로 바꿔야한다는 것이죠. 어떤 확률이 p라고 할때 이 확률이 실패할 확률은 1-p 이고 이를 비율로 나타내면 p/(1-p)라고 쓸 수 있겠죠? 이 작업을 통해 우리는 (0,무한대)로 확장을 하였고, 이제 -무한대로 확장하기 위해서 양변에 ln (밑이 e인 log 함수)을 취합니다. 그러면 ln((p/1-p)) = WX 라고 적을 수 있습니다. 그러면 앞 식을 바꾸면, p/(1-p) = e^WX 이라고 쓸 수 있고 (1/p) - 1 = 1/e^ WX 로 쓸 수 있고 최종적으로 식은 p = 1/(1+e^WX)가 되는 것을 알 수 있습니다.
안녕하세요 교수님. 또 질문입니다.. 활성화 함수에 대해서 이해는 했지만, 막상 왜 쓰냐고 물어보면 명확한 답을 하기가 어렵습니다. 교수님께서는 학습의 핵심이 미분인데 미분 할 때 기울기가 살아있어야 하기 때문에 계단함수가 아니라 시그모이드 함수를 쓰신다고 하셨는데요. 그렇다면 활성화 함수를 쓰지않고 입력값 그대로 출력을 하는 것은 왜 안 되나요? 이 부분에서 선형함수, 비선형함수, 선형분리 비선형 분리 개념이 나오고 선형함수를 쓰면 은닉층을 여러개 쌓는 의미가 없다고 하는데, 입력과 가중치의 합이 꼭 선형이 되는 것은 아니지 않나요? 이 개념을 어떻게 하면 좀 직관적으로 이해가 가능할지요.. 질문 폭탄 죄송합니다..
활성화 함수를 사용하지 않고 affine층만으로 구성할 경우는 층을 여러개 쌓는게 의미가 없습니다. affine 변환이라는게 별개 아니라 다변수 일차함수 여러개 모아 놓은 것입니다. 일차함수와 일차함수를 합성하면 일차함수입니다. 예를 들어, y=ax+b와 z=cy+d를 합성하면 z=cax+(cb+d)이죠. 그래서 affine변환과 affine변환 합성하면 affine 변환입니다. affine층만으로 이루어진 신경망은 그 깊이가 아무리 깊던 결국 하나의 affine변환 만으로 이루어진 신경망과 같습니다. affine변환은 매우 단순한 변환입니다. 대수적으로는 다변수 일차함수고 기하학적으로는 회전이동, 대칭이동, 평행이동, 확대, 축소, 사영의 조합일 뿐이죠. 이러한 단순한 변환으로는 원하는 분류를 해주는 함수를 구성할수 없습니다. 분류한다는 것을 기하학적으로 해석하면 데이터셋이 속해있는 고차원 유클리드 공간에서 라벨이 속해있는 공간으로 함수를 구성하는 겁니다. 예를 들어, MNIST경우에는 784차원 공간에서 10차원 공간으로 가는 함수를 구성하는 거죠. 1이란 이미지를 flatten해서 얻은 784차원 벡터를 10차원 벡터로 보내는데 함수값의 가장 큰 좌표의 인덱스가 1이어야 하는거죠. 그리고 이미지가 엄청 많고 높은 정확도를 요구합니다. 이런 복잡한 함수를 구성하는데 affine변환 하나로는 어림도 없습니다.
@@SlowAI 제가 이해한 것이 맞는지 여쭤봅니다.. 데이터가 분포되어 있으면 분포된 데이터가 라벨링 된 것끼리 분리를 해내는 함수를 만드는 것이 분류 함수가 되겠네요. 그리고 라벨링 된 데이터들이 비선형 분류 가능하게 분포 돼 있어서, 비선형 함수를 사용하는 건가요? 라벨링 된 것들을 잘 분류할 수 있도록 말입니다.
네, 맞습니다. ^^ Affine → Sigmoid → Affine 을 합성한 함수는 정의역이 784차원 공간이고 공변역이 10차원 공간입니다. 786차원 공간에 점 하나는 손글씨 이미지 하나랑 대응이 되구요. 10차원 공간의 점 하나는 score와 대응이 됩니다. Affine → Sigmoid → Affine 을 합성한 함수는 함수는 예를 들어 1의 이미지에 해당하는 784차원 벡터를 score를 나타내는 10차원 벡터로 보낼텐데요. score의 1번째 좌표가 제일 크길 바라는 거죠. 말씀하신대로 0에 해당하는 손글씨 벡터들, 1에 해당하는 손글씨 벡터들 등등이 선형으로 가지런히 정돈되어 있지 않습니다. 너무 고차원이라 시각화하기가 어려운데 다음 영상을 보시면 장난감 예제이지만 눈으로 확실히 보입니다. ruclips.net/video/i3ZnDRrmFjg/видео.html
![[딥러닝I] 3강. 인공신경망](http://i.ytimg.com/vi/2VKrLpostvY/mqdefault.jpg)
![[딥러닝I] 3강. 인공신경망](/img/tr.png)
![[딥러닝I] 5강. 신경망 구현](http://i.ytimg.com/vi/Ldlraa0JUEQ/mqdefault.jpg)
![[딥러닝I] 1강. 퍼셉트론](http://i.ytimg.com/vi/8Gpa_pdHrPE/mqdefault.jpg)
![[딥러닝I] 6강. 손실함수](/img/1.gif)
교수님 안녕하세요. 1달 전부터 영상을 접하게 되어 지금까지 애청하고 있는 학생입니다. 너무 감사드립니다.
교수님 정말 감사합니다ㅠㅠ 너무 잘 배웠습니다.
도움이 되어서 다행입니다.
사랑해요 정말 감사합니다. 너무 어려웠던 내용이 다 이해가기 시작했어요 진리를 깨우친 기분이에요 감사합니다.
2강도 덕분에 쉽게 이해하고 갑니다. 감사합니다~
활성화 함수의 도함수가 딥러닝의 학습과정과 무슨관련이 있는걸까요...?
딥러닝 I 전체(밑바닥부터 시작하는 딥러닝 5장까지)를 이해해야 이 질문에 답할 수 있습니다.
손실함수 → 경사하강법 → 역전파 내용전개를 파악해야 이해할 수 있습니다.
교수님, 자세한 설명 감사드립니다. 정말 도움이 많이 되었습니다 :)
새해 좋은 일 많이 생기시길 바라겠습니다. 10:18 즈음에 속미분과 지수미분에 순간 당황해서 (왜 마이너스가 되지 왜 마이너스가 될까...) 이리저리 찾아보니 어느정도 이해가 되는군요. 맥락상 시그모이드 함수 도함수를 구하지 못해도 진도 나가는 데는 지장이 없어 보이지만, 그래도 욕심이 생기네요. 현재 합성함수 미분법 공부 직전인데, 정말 수학의 세계는 넓고도 오묘하군요. 끝없는 수학 공부에 살짝 지쳐서 (벌써 4개월째인데 처음 두어달은 재밌더니 슬슬 지칠 때가 있네요^^) 머신러닝 공부하러 오니 기분 전환이 되네요. 올해도 잘 부탁드리겠습니다. 저야 올려주신 감사한 자료 열심히 공부하겠습니다. (전에는 이 수학식 설명 부분, 통째로 건너뛰었는데 다시 보니 신기하고 재밌고 제가 대견하네요. ㅎㅎ) ** 두 번 미분했을 때의 양수, 음수 이야기가 가속도 이야기군요. 그래서 위로 볼록 아래로 볼록...;; 알고 나니 정말 재밌네요...
감독님도 새해 복 많이 받으세요 ~~
가속도, 위로 볼록, 아래로 볼록... 그동안 수학 열공하셨네요 ㅎㅎ.
교수님 좋은 강의 감사합니다! 모든 강의를 한 번씩 보고 다시 한 번 씩 보면서 정리중인데! 인공지능에서 편향과 활성화 함수의 의의가 뭔가요?! 사람의 뉴런을 모방해서 만들어냈다는 것은 알겠는데, 이러한 것들이 실제로 러닝을 하는데 도움이 되는지, 도움이 된다면 왜 그런지 궁금합니다!
수학적으로 봤을때 인공신경망은 이미지를 flatten한 고차원 벡터가 입력되면 수학적 변환과정을 거쳐 확률 분포를 출력합니다.
이미지가 입력될때마다 라벨자리가 제일 높게 확률이 출력되려면 수학적 변환과정이 단순하면 안됩니다.
일차함수는 아무리 여러개를 합성해도 여전히 일차함수이므로 Affine층은 아무리 쌓아도 하나만 있는 것과 같습니다.
Affine변환은 기하학적으로 봤을때 평행이동, 확대, 회전, 반사가 전부입니다.
따라서, Affine층만 쌓아서는 이러한 매핑이 가능할정도 충분히 복잡한 변환과정을 얻을수 없습니다.
중간에 비선형적인 변환을 끼워넣는데 그게 활성화함수입니다.
편향은 Affine변환에서 평행이동을 담당합니다.
@@SlowAI 확실하게 이해했습니다...자세한 설명까지......너무 감사합니다! 교수님!!😀
오타가 하나 있습니다.
github의 functions.py 26줄 grad = np.zeros(x) -> grad = np.zeros_like(x)
그렇네요 ㅎㅎ
저자도 relu_grad 함수를 정의만 해놓고 한번도 사용하지 않아서 놓쳤나보네요.
한번이라도 사용했으면 에러 나서 바로 알아차렸을텐데요.
매우 꼼꼼하십니다.
시그모이드 함수의 식이 1/(1+e^(-x))인데, 왜 이 함수에서 자연상수가 쓰였는지 모르겠어요 ㅠㅜ
e말고 다른 상수 a(>1)에 대해서도 y=1/(1+a^(-x))의 그래프 개형은 시그모이드 함수와 비슷하고 나중에 큰 문제는 없습니다.
시그모이드 함수가 특별한 미분방정식 y'=y(1-y)을 만족하는게 나중에 학습할 때 중요한 역할을 하는데요.
다른 상수 a(>1)를 선택할 경우에는 y' = y(1-y)(log a)로 보정작업을 해줘야 합니다.
넵 감사합니다
(실패,성공)은 (0,1)이지만 이를 (-무한대,무한대)로 확장해야 합니다. 즉, 정수를 실수로 확장해야한다는 것입니다. a/b의 꼴로 바꿔야한다는 것이죠. 어떤 확률이 p라고 할때 이 확률이 실패할 확률은 1-p 이고 이를 비율로 나타내면 p/(1-p)라고 쓸 수 있겠죠? 이 작업을 통해 우리는 (0,무한대)로 확장을 하였고, 이제 -무한대로 확장하기 위해서 양변에 ln (밑이 e인 log 함수)을 취합니다. 그러면 ln((p/1-p)) = WX 라고 적을 수 있습니다. 그러면 앞 식을 바꾸면, p/(1-p) = e^WX 이라고 쓸 수 있고 (1/p) - 1 = 1/e^ WX 로 쓸 수 있고 최종적으로 식은
p = 1/(1+e^WX)가 되는 것을 알 수 있습니다.
혹시 교수님이 수업하시면서 쓰시는 프로그램 개발환경이 무엇인가요?? 비주얼코드로 파이썬하는데 그래프랑 이런게 안뜨고 그래서 교수님이 사용하시는 것 그대로 하고싶어서요
아나콘다 깔면 들어있는 스파이더입니다.
VScode 그래프 출력 안될때 해결방법입니다.
geniekj.blogspot.com/2019/11/vscode-python.html
와 스카이넷 만들어버릴 것만 같다..
겁나잘가르치세요 ㅎㄷㄷ 이런강의 제공해주셔서 감사합니다~~! 곧 1000명되시면 수익 나실텐데 나중에 꾸준히 수익얻으세요!
아이디가 덜덜하네요 ㅎㅎ
교재 저작권 때문에 천명되도 수익 채널로 전환 못합니다.
덕담 감사합니다~
안녕하세요 교수님. 또 질문입니다.. 활성화 함수에 대해서 이해는 했지만, 막상 왜 쓰냐고 물어보면 명확한 답을 하기가 어렵습니다.
교수님께서는 학습의 핵심이 미분인데 미분 할 때 기울기가 살아있어야 하기 때문에 계단함수가 아니라 시그모이드 함수를 쓰신다고 하셨는데요. 그렇다면 활성화 함수를 쓰지않고 입력값 그대로 출력을 하는 것은 왜 안 되나요? 이 부분에서 선형함수, 비선형함수, 선형분리 비선형 분리 개념이 나오고 선형함수를 쓰면 은닉층을 여러개 쌓는 의미가 없다고 하는데, 입력과 가중치의 합이 꼭 선형이 되는 것은 아니지 않나요? 이 개념을 어떻게 하면 좀 직관적으로 이해가 가능할지요.. 질문 폭탄 죄송합니다..
활성화 함수를 사용하지 않고 affine층만으로 구성할 경우는 층을 여러개 쌓는게 의미가 없습니다.
affine 변환이라는게 별개 아니라 다변수 일차함수 여러개 모아 놓은 것입니다.
일차함수와 일차함수를 합성하면 일차함수입니다.
예를 들어, y=ax+b와 z=cy+d를 합성하면 z=cax+(cb+d)이죠.
그래서 affine변환과 affine변환 합성하면 affine 변환입니다.
affine층만으로 이루어진 신경망은 그 깊이가 아무리 깊던 결국 하나의 affine변환 만으로 이루어진 신경망과 같습니다.
affine변환은 매우 단순한 변환입니다.
대수적으로는 다변수 일차함수고 기하학적으로는 회전이동, 대칭이동, 평행이동, 확대, 축소, 사영의 조합일 뿐이죠.
이러한 단순한 변환으로는 원하는 분류를 해주는 함수를 구성할수 없습니다.
분류한다는 것을 기하학적으로 해석하면 데이터셋이 속해있는 고차원 유클리드 공간에서 라벨이 속해있는 공간으로 함수를 구성하는 겁니다.
예를 들어, MNIST경우에는 784차원 공간에서 10차원 공간으로 가는 함수를 구성하는 거죠.
1이란 이미지를 flatten해서 얻은 784차원 벡터를 10차원 벡터로 보내는데 함수값의 가장 큰 좌표의 인덱스가 1이어야 하는거죠.
그리고 이미지가 엄청 많고 높은 정확도를 요구합니다.
이런 복잡한 함수를 구성하는데 affine변환 하나로는 어림도 없습니다.
@@SlowAI 제가 이해한 것이 맞는지 여쭤봅니다.. 데이터가 분포되어 있으면 분포된 데이터가 라벨링 된 것끼리 분리를 해내는 함수를 만드는 것이 분류 함수가 되겠네요. 그리고 라벨링 된 데이터들이 비선형 분류 가능하게 분포 돼 있어서, 비선형 함수를 사용하는 건가요? 라벨링 된 것들을 잘 분류할 수 있도록 말입니다.
네, 맞습니다. ^^
Affine → Sigmoid → Affine 을 합성한 함수는 정의역이 784차원 공간이고 공변역이 10차원 공간입니다.
786차원 공간에 점 하나는 손글씨 이미지 하나랑 대응이 되구요.
10차원 공간의 점 하나는 score와 대응이 됩니다.
Affine → Sigmoid → Affine 을 합성한 함수는 함수는 예를 들어 1의 이미지에 해당하는 784차원 벡터를 score를 나타내는 10차원 벡터로 보낼텐데요.
score의 1번째 좌표가 제일 크길 바라는 거죠.
말씀하신대로 0에 해당하는 손글씨 벡터들, 1에 해당하는 손글씨 벡터들 등등이 선형으로 가지런히 정돈되어 있지 않습니다.
너무 고차원이라 시각화하기가 어려운데 다음 영상을 보시면 장난감 예제이지만 눈으로 확실히 보입니다.
ruclips.net/video/i3ZnDRrmFjg/видео.html
선생님 예제 문제는 어디서 구할 수 있나요 ???
기출문제 말씀하시는거면 강의 홈페이지에서 다운 받을수 있습니다.
sites.google.com/site/kyunghoonhan/deep-learning-i
@@SlowAI 너무너무 감사합니다. 유용한 정보들이 많이 있어 공부 할때 도움이 많이 될것 같습니다 ㅎㅎ 감사합니다.