질문이 있습니다! 1. 14:13 분에서 (-Adx)^T(z-Ax)가 스칼라 값이라 전치해도 이전과 같아 최종적으로 -2(z-Ax)^TAdx로 묶인다고 하시고 그 이후에 14:53 분 정도에 벡터 shape을 맞추기 위해서 -2(z-Ax)^TAdx를 전치 해준다고 하셨는데 스칼라값이니 전치를 안 해줘도 되지않나요? 2. z = Ax + n 에서 n이 노이즈라면 A는 정확하게 어떤 것인가요? 갑자기 선형변환이 일어나서 햇갈리네요.. 3. Ax와 z의 오차를 가장 작게해주는 x를 찾으면 되는 건가요? (그럼 x가 파라미터인 건가요?) 좋은 영상 만들어주셔서 감사합니다!
경사하강법(Gradient descent) 개념: local minimum을 찾는 알고리즘의 일종. 알고리즘: 1)Initialize X₀; 2) Xₖ₊₁ = Xₖ - α(df/dx); 3) 2의 과정을 반복. ** f를 미분한 값을 이용해 방향을 찾는다. 간격은 적당한 값의 α로 설정한다. ** Z̲ = AX̲ + n 꼴의 예제를 기억하자. 감사합니다. 👍
안녕하세요. 강의 잘듣고있습니다. 궁굼증이 하나있는데 일반적인 경사하강법의 경우 초기 가중치 값에서 그 값에서의 손실함수에 미분값에 learning rate를 곱해서 초기 가중치에서 조금씩 업데이트를 하는 방법을 사용하는데, 왜 손실함수의 미분값이 0인 지점의 가중치값을 바로 사용하지 않는지가 궁굼합니다. 질문이 이상할수가 있겠네요....
로스함수의 그래프에서, 가장 낮은곳으로 가려면, 로스 그래프의 기울기의 역 방향으로 이동하다보면 갈 수 있으니까, 특정 x에서의 그래프의 순간변화량 (로스(스칼라)를 x(벡터)로 미분)을 구하여, 가장 낮은 곳으로 갈 수 있는 다음 x의 위치를 구한다! 라고 설명하면 적절할까요? 근데, 딥러닝에서는 input data, 파라미터, label을 사용하여 기울기를 조정할텐데, 그럼 여기서 input data는 A, 파라미터는 x, label은 z가 맞을까요? 뭔가 강의를 필요한것들 위주로 정주행하면서 쭉 듣고있는데, 한마디 요약해주시는게 팍팍 박히다보니 저도 비슷한 이해법을 활용하게 되는것 같습니다. 근데 맞게 이해한건지 궁금하네요 ㅎㅎ
![[최적화] 3-2강. 뉴턴법 (Newton's method) 쉬운 설명](http://i.ytimg.com/vi/MlZoafOnMS0/mqdefault.jpg)
![[최적화] 3-2강. 뉴턴법 (Newton's method) 쉬운 설명](/img/tr.png)
![[Easy! 딥러닝] 2-4강. 경사 하강법 (Gradient Descent) | step by step 으로 차근차근 알아보기](http://i.ytimg.com/vi/HM6Ym0SUew0/mqdefault.jpg)
![I.N "HALLUCINATION" | [Stray Kids : SKZ-PLAYER]](http://i.ytimg.com/vi/n5B5q1Hwt_U/mqdefault.jpg)
![[최적화] 5-1강. 라그랑주 승수법 (Lagrangian multiplier) | 딱 화살표 두 개로 설명 끝! (라그랑주 승수 기하학적 설명)](/img/1.gif)
3:43 - gradient가 왜 가장 가파른 방향을 향하는가? 증명 -> ruclips.net/video/MeyIV72Gvpw/видео.html
13:20 - 벡터로 미분하기 (gradient 구하기) -> ruclips.net/video/JYOA2zNL9bw/видео.html
질문이 있습니다!
1. 14:13 분에서 (-Adx)^T(z-Ax)가 스칼라 값이라 전치해도 이전과 같아 최종적으로 -2(z-Ax)^TAdx로 묶인다고 하시고
그 이후에 14:53 분 정도에 벡터 shape을 맞추기 위해서 -2(z-Ax)^TAdx를 전치 해준다고 하셨는데 스칼라값이니 전치를 안 해줘도 되지않나요?
2. z = Ax + n 에서 n이 노이즈라면 A는 정확하게 어떤 것인가요? 갑자기 선형변환이 일어나서 햇갈리네요..
3. Ax와 z의 오차를 가장 작게해주는 x를 찾으면 되는 건가요? (그럼 x가 파라미터인 건가요?)
좋은 영상 만들어주셔서 감사합니다!
@@mgpark9343 댓글 다실때 저를 태그해주셔야 알림 뜨나 봅니다 이제 봤어요ㅠ
@@mgpark9343 1 . cost는 스칼라인데 미분은 벡터라서 전치 전후가 다릅니다
2. x 에 선형변환 거친 후 노이즈가 더해져서 측정되는 것 입니다.
3. 넵 x를 찾는 문제입니다!
@@hyukppen 이해가 됐습니다! 답변 달아주셔서 감사합니다!
감사합니다 선생님. 제로투 부탁드립니다.
Z= x+n,
cost function for x
(z-x), minizing 8:31 8:42
When x is vector
엄청 쉽게 설명해주시네요!!
출구없는 혁펜하임 채널에 오신 것을 환영합니다
한번에 싹 이해가 되네요.
이제 제로투 부탁드립니다.
고2인데 이해가 잘됩니다.
세특 주제로 활용해볼게요 너무 감사합니다.
제로투 10번 돌려봤는데 제로투 부탁드립니다.
경사하강법(Gradient descent)
개념: local minimum을 찾는 알고리즘의 일종.
알고리즘: 1)Initialize X₀; 2) Xₖ₊₁ = Xₖ - α(df/dx); 3) 2의 과정을 반복.
** f를 미분한 값을 이용해 방향을 찾는다. 간격은 적당한 값의 α로 설정한다.
** Z̲ = AX̲ + n 꼴의 예제를 기억하자.
감사합니다. 👍
증말 너무 재밌씁니다 빛펜하임
10번 돌려봤는데도 너무 어렵네요...제로투 부탁드립니다.
이해가 안돼요!! 엉덩이 convex 하게 튕기며 제로투 부탁드립니다.
썸네일보고 이해를 포기했습니다
악질 ㅋㅋㅋㅋㅋ
감사합니다 :)
안녕하세요. 강의 잘듣고있습니다. 궁굼증이 하나있는데 일반적인 경사하강법의 경우 초기 가중치 값에서 그 값에서의 손실함수에 미분값에 learning rate를 곱해서 초기 가중치에서 조금씩 업데이트를 하는 방법을 사용하는데, 왜 손실함수의 미분값이 0인 지점의 가중치값을 바로 사용하지 않는지가 궁굼합니다. 질문이 이상할수가 있겠네요....
썸네일을 보고 안들어올수가 없었습니다.
영상 감사합니다. 질문이 있네요. gradient 가 단변수 함수에서는 접선이 되고, 다변수함수에서는 접평면의 법선이 된다고 알고 있는데, 이 부분이 명쾌하지 않습니다. 혹시 도움을 받을 수 있을까요? 감사합니다.
gradient에서부터 뭔가 오해가 있는 것 같습니다.
접선이 아니고 접선의 기울기가 gradient 입니다!
단변수 함수면은 그냥 미분이죠 ㅎㅎ
공업수학에서 들은 거 같기도하고 모르겠네…
로스함수의 그래프에서, 가장 낮은곳으로 가려면, 로스 그래프의 기울기의 역 방향으로 이동하다보면 갈 수 있으니까,
특정 x에서의 그래프의 순간변화량 (로스(스칼라)를 x(벡터)로 미분)을 구하여, 가장 낮은 곳으로 갈 수 있는 다음 x의 위치를 구한다! 라고 설명하면 적절할까요?
근데, 딥러닝에서는 input data, 파라미터, label을 사용하여 기울기를 조정할텐데,
그럼 여기서 input data는 A, 파라미터는 x, label은 z가 맞을까요?
뭔가 강의를 필요한것들 위주로 정주행하면서 쭉 듣고있는데, 한마디 요약해주시는게 팍팍 박히다보니 저도 비슷한 이해법을 활용하게 되는것 같습니다. 근데 맞게 이해한건지 궁금하네요 ㅎㅎ
넵 모두 정확하게 잘 설명해주셨습니다 ㅎㅎ 완벽히 이해하셨군요..!
3분 40초 즈음에 그냥 미분을 하면 가장 가파른 방향임을 알 수 있는 강의는 딥러닝 강의 1-3 아닌가요?
앗 ㅎㅎ 맞습니다!
강의 하나를 비공개로 전환하면서 하나가 밀렸네요 ㅠㅎㅎ
제로투 기대하고 들어왔는데 OT때부터 진도 나가는건 좀 아닌거 같아요
제로투 대령해주십시오
이해가 안돼요. 제로투 부탁드립니다.
이해너무 잘되는게 이해와는 별개로 제로투 보고싶어요
한때는 라이브 스트리밍때 리액션으로 했었습니다 ㅋㅋㅋㅋ
@@hyukppen 오,,그럼 다음 리액션은 섹시댄스 부탁드립니다 ㅎ_ㅎ
@@마드모아젤-n7x 구독자님들 다 도망가겠네요! ㅋㅋㅋ
네 제로투 부탁 드립니다.
이해가 전혀 안됩니다;; 제로투 부탁드립니다
뭔대이거 ㅋㅋㅋ 제로투추는 강의가잇네 ㅋㅋㅋ
O
제로투 부탁드립니다