以外と知らない「最小二乗法」の落とし穴～正則化項を使おうよ！～

[@maitanaka7168]

文系卒の自分でもとても正則化のイメージを持ちやすかったです。ありがとうございました。

[@mamk687]

わかりやすい動画ありがとうございます！lassoやridgeをするとき必要なサンプルサイズのめやすはありますか？

[@どりとす-c3j]

めっっちゃわかりやすかったです！ありがとうございます！

[@nakata-youiti]

正則化項（Ridge,Lasso）のお話。最小二乗法の式をコスト関数とみなして講義を進めていきます！

[@rt0987abc]

ええおかきあ

[@rt0987abc]

かねね

[@りりいる]

最小二乗法は学部で触れるのに正則化は修士に入るまで知らなかったのよなあ……修士で同じゼミの人でも知らない人いたし、最小二乗法教えるなら一緒に教えるべきだと思うわ。

[@musclemuslebody]

ものすごく分かりやすいです。感謝申し上げます。

[@tsukoryuns4072]

リッジとラッソの使い分け教えてくださいませ。

[@Yasu22359]

わかりやすい動画ありがとうございます。
このλはチューニング済みでしたでしょうか？

[@革量]

スーパーわかりやすい！
僕の認識あってますか？↓
これってただの回帰式だから、各変数の相関性調べて変数を落としたりまとめたりしてないんですよね。
だから変数そのまま全て使って過学習が起きてると。
その点やっぱりxgboostとかの決定木だと正則化など面倒なことをやらなくても楽勝って事で流行ってるってことすかね？

[@そらまめ-g1s]

10:31 リッジ回帰の回帰係数のβ_2が抜けてるのはなぜでしょうか？

[@botamooch7736]

大変勉強になります。pythonで出来るんですね。ありがとうございます。

[@SekaKichi]

わかりやすー😭リッジとrossoの違いもほしー

[@宇佐美達也-m7l]

バカ分かりやすい

[@AIxCE]

めっちゃわかりやすかったです！！
最近機械学習はじめたものです^ ^
ridge使ってみようと思いました^ ^

[@nakata-youiti]

過学習を抑制する際に、ridgeをご活用下さい！
Lassoについては、回帰だけでなく不要な変数の除外も行ってくれるので、Lassoも超オススメです！！

[@road_to_x0]

G検定取らないとイケないので拝見しました。助かります。

[@1jazz779]

ラグランジュ未定乗数法との関連はあるのかな？

[@1jazz779]

もしくはKKT条件か

[@もちさくら-e2c]

わかりやすい！
ちょいちょい言い間違えて訂正するのがおもしろい

[@もちさくら-e2c]

後の自分に対するメモ
（疑問）
L1正則化もL2正則化もどの回帰係数も同じ重みで加算しているが、問題ないのか？この手法を行う場合は、事前に説明変数を標準化などしておく必要があるのか？それとも、そこまで考えなくてもある程度うまくいく手法ということか？
→説明変数のスケールが異なったとしても、その傾きw1,w2に関しては関係ないはず。なので、事前に標準化なり正規化なりはしなくてもよいのではないか？と思う。ただし、重要なのは、制約をつけることで、重みの寄与率を考慮できる点だと思われる。例えば、L1では特に、W1=0やW2=0などの尖った点になることが多く、寄与しない説明変数の重みをゼロにする（ことが多い）特徴を認識しておくことかな？
（疑問）
最小二乗法を使用した線形回帰は結果が一意に定まるものかと思っていたが、学習する話になってる？
→説明変数が一つの場合だとそうかもしれないが、重要度が低い説明変数でも数が増えると、目的値に対してフィットさせてしまうことになる。そういったことを抑制するということなのではないか？
→これも、L1だと尖った点が採用されることが多く、寄与率の低い重みはゼロになることが多い（L2でもゼロではないが同じ傾向）ということが関係していそう。寄与の度合いが小さい説明変数は重みがゼロ（になることが多い）ので、無関係な説明変数が増えても過学習しづらくなる　ということではないかと思う。
（疑問）
もともと傾きが大きなものがフィットする場合、単純に正則化させて問題ないのか？
→これはそもそも、過学習していないケースということなので、過学習するまでのは正則化項は考えなくてよいのではないか？
（疑問）
L1正則化などをscikit-learnで使用する場合のパラメータは説明上のλのことか？
→