6:53 least squares estimation 17:22 lamda 쓰인 이유: 미래 데이터의 정확성을 높이기 위해. lamda는 유저가 결정 22:38 ridge regression 33:20 least squares estimation과 ridge regression과의 차이
23:40 에서 t와 람다는 제약을가한다는 의미로 같다고알고있습니다 t가 작을수록 제약의 정도가 커지고 람다는 작을수록 제약을 안두는쪽으로흘러가는걸로알고있는데 둘은 역수의 관계인가요? 그렇다면 어떻게 증명되는지알고싶네요 t를 30으로 두면 람다는 30분의 1로 뒀을때 같은식이되는건가요
저도 궁금한 부분이었는데, 생각해보니.. 제약텀의 시그마를 풀어서 쓰면 [람다*(베타_1)^2 + 람다*(베타_2)^2] 인데, 이것은 어떤 최대값보다는 항상 같거나 작을겁니다(loss를 minimize할 때 MSE와 regularization term 둘 다를 만족시켜야 하기 때문에 반드시 regularization term의 어떤 최대값이 존재하게 됩니다). 그 최대값을 x라 두면 람다*(베타_1)^2 + 람다*(베타_2)^2
29:42 에서 B1, B2값이 줄어든 것 까지는 이해가 되는데, 그때의 베타값들을 MSE식에 대입했을 때 MSE값이 줄어들었다고 볼 수 있는 근거는 무엇인가요? 만약 Y축이 B2가 아니라 MSE의 크기라면, 기존의 LSE점보다 낮은 곳에 점이 찍혀있으니 MSE가 줄어들었다고 이해 하겠는데, 위 슬라이드에서는 Y축이 MSE의 크기를 나타내는 것이 아닌, 단순 B2의 값이 줄어든 것을 의미하잖아요
지나가던 통계학과 학생입니다!! beta_LS point에서 beta_j 값이 이동한다면 MSE는 항상 커집니다. MSE를 최소로 하는 beta point가 LS니까요(이 경우 penalty가 없는 LSE겠죠?). 베타들에 제약을 두어서 MSE가 LS_point에서 벗어나면서 제약이 만족되는 동시에 MSE가 가장 작은 beta_point(beta_ridge)를 찾는겁니다. 이때는 MSE가 LS때보다 커지지만(bias가 증가하지만), 분산이 작아지기때문에 좋은 성질을 갖는다고 이해했습니다. 조심스럽게 제 의견을 적었는데, 도움이 되셨길 바랍니다 ;)
![김성범[ 교수 / 산업경영공학부 ]](http://yt3.ggpht.com/ytc/AIdro_mWwhQeGQPwIyBiV88b5htY6vhPJfUXlhO1TKC6ur0wnA=s48-c-k-c0x00ffffff-no-rj)
![[핵심 머신러닝 ] 뉴럴네트워크모델 2 (Backpropagation 알고리즘)](http://i.ytimg.com/vi/8300noBbCRU/mqdefault.jpg)
![[핵심 머신러닝 ] 뉴럴네트워크모델 2 (Backpropagation 알고리즘)](/img/tr.png)
![[핵심 머신러닝] 정규화모델 2 - LASSO, Elastic Net](http://i.ytimg.com/vi/sGTWFCq5OKM/mqdefault.jpg)
![[핵심 머신러닝] 로지스틱회귀모델 1 (로지스틱함수, 승산)](http://i.ytimg.com/vi/l_8XEj2_9rk/mqdefault.jpg)
정규화 방법 제약 조건에 대한 그래프 항상 이해가 전혀 안 갔었는데, 이 영상 보고 드디어 이해 했습니다.
차근차근 설명해주셔서 감사합니다 교수님!
고맙습니다!
명강의 감사드립니다
안녕하십니까 교수님! 경영학과 학생입니다.
릿지회귀에 대해서 궁금했는데 싹 해결되었습니다.
머신러닝에 관심이 많은데, 교수님의 채널이 정말 큰 도움이 될것 같습니다.
좋은 강의 너무 감사드립니다!
감사합니다~
교수님 너무 좋은 강의 잘듣고 있습니다.
감사합니다
좋은 댓글 감사합니다!
산업공학과로 전과 준비중인 학생입니다. 교수님의 명쾌한 강의 덕분에 큰 도움 얻고 갑니다 감사합니다!!
너무 좋은 강의 잘 들었습니다!! 온라인 상에 나와있는 강의 중에 가장 이해가 잘 되는 것 같아요ㅜㅜ 감사합니다 :)
감사합니다!
이해가 안되던 개념인데 확실히 개념을 잡아주셔서 감사해요
6:53 least squares estimation
17:22 lamda 쓰인 이유: 미래 데이터의 정확성을 높이기 위해. lamda는 유저가 결정
22:38 ridge regression
33:20 least squares estimation과 ridge regression과의 차이
미국에서 데이터 분석 공학 석사과정중인데.. 학교 수업 듣고 완벽히 이해못했는데... 이 강의는 진짜 너무 물 흐르듯이 이해가 되네요... 감사합니다 ㅠㅠ
감사합니다!
글로만 읽어서 이해하기 어려움이 있었지만 교수님 덕분에 이해가 충분했습니다 감사합니다.
와 너무 재밌어요 꼭 계속 올려주세요!
감사합니다!
교수님 여전히 강의 보고있습니다! 이해가 너무 잘됩니다 감사합니다 ㅎㅎ
감사합니다!
헐. 대박. 주요한 point 를 잘 짚어 주시는 것 같습니다. 앞으로도 계속 부탁드립니다.
감사합니다!
쉽게설명해주셔서 너무좋은것같아요 정말초보자입장에서들었을때 잘알려주셔서감사합니다
감사합니다!
흐름이 너무 매끄러워서... 다 이해해버렸습니다... 감사합니다!
와 진짜 설명을 너무 잘하시는 것 같습니다...! 좋은 강의 올려주셔서 정말 감사드립니다.
감사합니다!
다른 유튜브 강의에서는 찾을 수 없던 설명 감사합니다...!
감사합니다 ~
설명 너무 자세하고 스무스합니다 큰도움받고갑니다~
도움이 되셨다니 감사합니다. 감사합니다~
와 진짜 이해 잘돼요 설명 대박..! 감사합니다 교수님!!
감사합니다!
설명이 진짜 너무 깔끔해요. 좋은 강의 감사합니다.
감사합니다!
LASSO 이용한 연구 하고있습니다. 좋은 강의 잘 들었습니다.
감사합니다!
이해하기 쉽게 잘 설명해주셔서 감사합니다.
관심가져 주셔 감사합니다!
양질의 강의 너무 감사드립니다!
감사합니다!
정말 감사합니다
감사합니다!
이해가 정말 잘 됩니다 감사합니다
감사합니다!
이해가되는 설명 감사합니다!
23:40 에서
t와 람다는 제약을가한다는 의미로 같다고알고있습니다
t가 작을수록 제약의 정도가 커지고
람다는 작을수록 제약을 안두는쪽으로흘러가는걸로알고있는데
둘은 역수의 관계인가요? 그렇다면 어떻게 증명되는지알고싶네요
t를 30으로 두면 람다는 30분의 1로 뒀을때 같은식이되는건가요
저도 궁금한 부분이었는데, 생각해보니..
제약텀의 시그마를 풀어서 쓰면 [람다*(베타_1)^2 + 람다*(베타_2)^2] 인데, 이것은 어떤 최대값보다는 항상 같거나 작을겁니다(loss를 minimize할 때 MSE와 regularization term 둘 다를 만족시켜야 하기 때문에 반드시 regularization term의 어떤 최대값이 존재하게 됩니다).
그 최대값을 x라 두면 람다*(베타_1)^2 + 람다*(베타_2)^2
~ 29:47 리지리그레션 핵심
이거보다 좋은 강의를 본적이 없음 외국강의 제외하고...
감사합니다!
진짜 들으면서 운다 못알아듣는 영어로 받아쓰다시피 하다가 빛을 봤다..ㅠ
감사합니다~
와우...대박.. 사랑합니다 ..
감사합니다 ^*
34:00 교수님 편미분되는 과정에서 2Xty 앞에 - 부호가 빠졌습니다
그렇네요... 세세한 부분까지 잘 봐 주셔 감사합니다!
감사합니다!!
감사합니다.
성범이형 폼 미쳤다
23:40
에서 배타제곱의합이 t보다 작게하자는 제약에서 베타제곱이 t랑같다는 제약으로놨을때 차이점이 뭔지궁금합니다
한마디로 제약이
29:42 에서 B1, B2값이 줄어든 것 까지는 이해가 되는데, 그때의 베타값들을 MSE식에 대입했을 때 MSE값이 줄어들었다고 볼 수 있는 근거는 무엇인가요?
만약 Y축이 B2가 아니라 MSE의 크기라면, 기존의 LSE점보다 낮은 곳에 점이 찍혀있으니 MSE가 줄어들었다고 이해 하겠는데, 위 슬라이드에서는 Y축이 MSE의 크기를 나타내는 것이 아닌, 단순 B2의 값이 줄어든 것을 의미하잖아요
지나가던 통계학과 학생입니다!!
beta_LS point에서 beta_j 값이 이동한다면 MSE는 항상 커집니다. MSE를 최소로 하는 beta point가 LS니까요(이 경우 penalty가 없는 LSE겠죠?). 베타들에 제약을 두어서 MSE가 LS_point에서 벗어나면서 제약이 만족되는 동시에 MSE가 가장 작은 beta_point(beta_ridge)를 찾는겁니다. 이때는 MSE가 LS때보다 커지지만(bias가 증가하지만), 분산이 작아지기때문에 좋은 성질을 갖는다고 이해했습니다.
조심스럽게 제 의견을 적었는데, 도움이 되셨길 바랍니다 ;)
릿지회귀에서 분산이 작아진다는게 어떤의미인가요?
분산이 작아진다는건 예측값들의 흩어짐 정도가 커진다는 소리인데,
베타값이 작아지면 예측값들의 흩어짐 정도가 커지는건가요?
교수님, 감사합니다!!
감사합니다!
안녕하세요,
regularization에 대해 어느 정도 이해가 되었네요,
split bregman method에 대해 공부하고 있는데 너무 어렵네요ㅠㅠ
네. "split bregman method" 이해하기 쉽지 않은 방법론입니다.
재밌다 ..
감사합니다.
통계학 공부중인 학생입니다. penalized logistic regression 공부중인데, 패널, 제약의 이해가 힘들었습니다. 덕분에 많이 배우고 갑니다!!! 감사합니다 '^'
질문이 있습니다..! penalized, regularized method는 같은 뜻인가요..?
네. 같은 의미로 보시면 됩니다...
@@김성범교수산업경영공 답변 감사합니다!
김성범이라 쓰고 갓이라 읽는다.
감사합니다~
감사합니다!!
감사합니다~