【数分解説】ニュートン法による最適化 : 非線形な式を扱う場合でも関数の極小値を求めたい:関数フィッティングなどに応用【Newton Methods】

ニュートン法による最適化は、関数フィッティングなどで誤差関数を最小化したい時などにおいて、目的の誤差関数を小さくする値を繰り返し計算で求めることができる手法です.
できることは、傾きや2階微分を使用して、どの方向にどれだけ移動させてより低い値になるかを計算し、効率よく解を求めます. これを関数フィッティングにおける誤差関数に適用することで、効率よくモデルを見つけることができます.
関数は2階微分することができ、ヘッセ行列が正定値行列でないと適切にニュートン法を行うことができません. ガウス・ニュートン法とは異なり、非線形関数の二乗和で関数がかける必要はありません.
今回はニュートン法による最適化 を9分で紹介します.
ThothChildrenは数分でアルゴリズムのポイントをわかりやすく簡単に理解できること、メリットデメリットの把握を目指した解説を投稿する動画チャンネルです.
技術学術集積所 : ThothChildrenVideo
アニメーションを目で見て理解するアルゴリズム
www.thothchildr...
参考:
【数分解説】拡張カルマンフィルタ : 非線形でもノイズを考慮してリアルタイムに直接観測できない状態を推定したい【Extended Kalman FIlter】
• 【数分解説】拡張カルマンフィルタ : 非線...
【数分解説】カルマンフィルタ : ノイズを考慮してリアルタイムに直接観測できない状態を推定したい【Kalman FIlter】
• 【数分解説】カルマンフィルタ : ノイズを...
【数分解説】ベイズ更新 : データを受けて確率を逐次的に更新して推定したい
• 【数分解説】ベイズ更新 : データを受けて確...
ThothChildren
www.thothchildr...
まとめ:
ニュートン法のまとめです.
ニュートン法は非線形な式の極値を求めることができる手法です. データとモデルの誤差の関数などに適用することで関数のフィッティングなども行えます.
メリットは、最急降下法より高速に収束することなどが挙げられます.
処理としては、傾きやヘッセ行列を計算し更新する量を求め、繰り返し候補の位置を求めていき、極小値を算出します.

[@daikennko]

ちょうどテーラー展開を学んだ後だったので、すごくわかりやすかったです。

[@herosmorphon5752]

シンプルでわかりやすかったです.
今後も待ってます!

[@thothchildren]

ご視聴ありがとうございます!
何かのお役に立てなら幸いです!
これからもよろしくお願いします!!