絶対に理解させる誤差逆伝播法【深層学習】

[@J0hn_Srn1th]

0:00 導入
　　8:47 更新量（誤差関数と勾配降下法の話）
12:15 誤差逆伝播法の心
　　14:39 多変数関数の偏微分について（連鎖律）
25:54 本題。まずは問題設定
　　27:56 出力層の重み更新
　　39:19 中間層の重み更新
　　　　47:00 誤差逆伝播法のミソ

[@kobashinya]

40:22 の編集が神すぎる

[@hs-xn3eo]

初めて理解できました。
数学的帰納法（逆順ver）みたいな感じで計算されていくイメージをもちました。
やりたいこと :
全ての層の（全ての）重みの勾配を求めたい
手順 :
①出力層の勾配を求める
②①の勾配の計算結果の一部を使って、出力層の1つ前の勾配を求める
③②の勾配の計算結果の一部を使って、出力層の2つ前の勾配を求める
④以下同様にして、全ての層の勾配を求める

[@taaatsutube]

ほんとに1時間もせずに誤差伝播法が理解できるとは思いませんでした。すごく感謝です。ありがとう！

[@ガオフシュアイ]

学部一年でも理解しやすくてありがたい

[@fobonu2ec]

誤差逆伝播法、名前はよく聞くけど意味はわからず、という状態が続いていましたがようやくイメージ掴めました。
連鎖率を使うだけで重みの更新が1つ先の層の誤差で決まるなんて、まさに多変数関数の“ネットワーク”だなと。
まるで逆伝播の様子が、先の出力の反省をしているようで急に人間味が感じられてきて、
学習と聞くと順伝播のイメージがありましたが、順伝播を演習問題を解く、逆伝播を出来なかった問題の復習と捉えると逆伝播こそ学習の本質だなと感じました。

[@_4rN0]

まじで待ってた！！！！！
これからも深層学習の話して欲しい😊😊

[@2ohagi684]

原理を理解しなくてもライブラリでNNを使用できる今の世の中
数式で理解させてくれるたくみさんの授業が素晴らしすぎる、、

[@skthelimit]

Thanks!

[@いっちー-c8q]

本で勉強していましたが、勾配の計算がきちんと理解できずにいました。
ですが、この動画を見て、誤差deltaの考え方がわかり、
また、ニューロンが変わったときに、計算式がどう変わるのかがよく理解できました。
とても助かりました。ヨビノリさんありがとうございます！

[@ペンギンクミマヌ]

フレームワーク使ってなんとなく扱っていた部分がスッキリ理解できました。

[@k_ggle]

まじですか！誤差逆伝播法難しくて悩んでたのでめちゃくちゃ嬉しいです!!ありがとうございます!

[@takau9266]

MRIの雑音除去の研究をやっている大学生です。
前期に雑音除去やるのに、DnCNNなどのニューラルネットワークを勉強しました。
が、マジでここ1週間悩んでようやく理解できました。

[@AkitoHirota]

NWの勉強していて、詰まっていたところだったので、非常にありがたいです。これからも聴講させていただきます。無理せずにこれからも続けて欲しいです。

[@lincoqie]

情報系の知識が必要な論文読まなくちゃいけなくて、無理ゲーと思ってたけど、これ見てからなら理解しながら読めそう。大人になると自分の分野外を勉強するのはシンドイこと多いけど、ヨビノリ動画はパッと教えてくれて助かるな😄

[@関皓介]

リカレントニューラルネットワークと強化学習
入力層、中間層、出力層、重み値、教師信号
こうやって解説聞いてると
普段、数学や科学の知識が基本になってるんだなあと改めて思う

[@kahha_oeh]

まだ途中までしか見てないですが、これが無料で見られるって凄すぎです。。。udemyよりもわかりやすくて面白い！！
マジで感謝です〜〜〜〜〜〜

[@sage_goes1504]

誤差逆伝播法好き
ディープラーニングの勉強してる時この考えに感心した

[@小野賢一郎]

ありがとうございます！

[@小野賢一郎]

連鎖律の復習までしてくれるのは本当にありがたい！ありがとうございます！

[@江場さくら]

ジェンガの例えがとても分かりやすくていいなと思いました！

[@mayogiraichairman3039]

今、誤差逆伝播法に関して勉強しているので、解説して頂いて助かりました！

[@うさみみんらでぃんちゃん]

Stanford の coursera が英語厳しくてここに避難してきた。たすかる。

[@くりーむぱん-n7p]

たくみさんが言う「絶対に理解させる」が頼もしすぎます

[@恵斗-p6c]

大学でニューラルネットワーク実装してこいって言われてたから本当に助かります

[@ah-xq7ht]

神動画ありがとうございます！！理解できた気がしています！

[@コンストラクタ]

ありがとうございました。分かりやすかったです！

[@e45redr6tgty78uhu]

仰る通り多変数関数の連鎖律(+添え字)が悪さをして理解しづらくしてるだけで、やりたいことと実際にやってることはそんなに難しくないんですね。よく分かりました！

[@-_-plm2232]

GANとかやってほしい

[@ボールペン-n4w]

今は分からなくても、いつか理解できる日が来ると思って待ちながらこの動画見てる

[@_4rN0]

いつかRNNの動画があがることを期待して待ってます😊

[@kenkenmath]

連続講義嬉しい❗️

[@yunovation_melodica]

ガウス過程の動画もみたいです🥺

[@user-wanwan-0920]

昔々に卒論で取り組んだ話でしたので当時を思い出しつつ拝見しました。当時のWSによる計算は大変でした

[@abc0to1]

この授業をのべ5万人近くが視聴してるのに感心した。日本も捨てたもんじゃないな。

[@たけ-t7q]

これは素晴らしい

[@II-nu6uo]

めっちゃわかりやすかったです！
この考え方、他の何かにも使えそうだな〜って思いました

[@山田航暉-f5r]

0:42 ニューラルネットワークの概要
8:47 勾配降下法
14:37 連鎖律
25:55 誤差逆伝播法

[@ねこじゃらし-c7z]

ちょうど研究室の研究内容でした。まじで助かりますありがとうございます。

[@まるぐぅ-b6n]

これはありがたい！！！！

[@yutakanishiyama8429]

「誤差逆伝播」の知識はありましたが、深い理解はまだ出来ていなかったところ、「そりゃ、そうやな」と納得出来ました。いつもありがとうございます！こんな素晴らしい動画を作って下さって、感謝しています。

[@lotus0509]

式・記号に見てわかる解説があって非常にわかりやすい講義だと思いました！
畳み込みニューラルネットワーク（CNN）になると、"共有の重み"を更新するので混乱しやすいと思います（というより私が混乱しています）。
ぜひ、CNNの場合の誤差逆伝播法も解説して欲しいです。

[@ControlEngineeringChannel]

一見、黒板では限界のような内容にどんどん入っていますが、それでも黒板でわかりやすく誤差逆伝播法の話ができるのが凄いです。たくみさんがこのチャンネルの授業動画でパワポを使う日は来ないんでしょうか。

[@RS-303]

パワポ？黒板と日本製チョークが世界の数学者のスタンダード。

[@大村尚美-d7o]

作業療法の機械見たことないけれどいとしい。ヘルパーに見てもらえるとありがたい。大学院の修士課程修了ですね！

[@なかむらひろし-e7g]

待っていました〜

[@タンケッキー-n8f]

ヘスの法則を利用する問題を解くときに、エネルギー図を使ったやり方を教えて欲しいです！
ピンチなんでお願いします🙇‍♀️

[@ph4746]

26:00 自分用：連鎖率の話終わって本筋に戻る。

[@Catorce7]

微分積分が全く分かってないからサッパリですわ…
深層学習難しすぎ。

[@宇都宮餃子-f8g]

なるほどよくわからん
結論の部分先出しでそれから計算して貰えれば多分一番わかりやすかったと自分は思いました。

[@服部司-e9h]

初めて誤差伝搬法がすっきり理解できました。ありがとうございます。

[@drtmmy2377]

物理学科だけど、今年から深層学習の勉強はじめました！

[@TV-pn5mg]

個人的には睡眠用bgmにいい（声が落ち着く）

[@user-lo7jf9bm9q]

ちょうど勉強したてだったので復習になりました。

[@hiroh.8626]

楽しすぎてにやけちゃいました

[@石原正貴]

神動画あらわる

[@tungsten802]

電磁気と波動の全解説の予定ってありますか？

[@レスポールカスタム-z2f]

G検定で誤差逆伝播法ってワードは出てきたけど、ここまで奥が深いのか…

[@お掃除本舗-o4x]

活性化関数に恒等関数ではなくシグモイド関数を使用した例を見てみたいです

[@milkman5966]

23:11 メルエム戦終盤のネテロ会長

[@uy9664]

ブレークスルー賞を受賞した光格子時計と柏原予想についての噛み砕いた解説をお願いしたいです！

[@ken39rai]

やっぱ難しいな、誤差逆伝播法。
何回か見直す必要ありそう。
理解できなかったのは連鎖律知らんかったからかｗ
でもこういう動画はありがたい

[@users_774]

有限要素法についての解説をお願いしたいです！有限要素法のコードをc++でかくという課題が出て、躓いてます。。

[@絵音-i3f]

文系だから微分のところでウッてなったけどヨビノリの過去動画見てから戻ってきた

[@KAMEUSAGIGAME]

これで復習します

[@usar-xx1uk4pp9h]

今回のファボゼロ 8:50

[@やせ56にゃん]

z=(u1 u2 u3...)
u1=(x1 x2 x3..)
という時に、xkはu1 u2 u3...の全てに関わっているというところなのですが、
u2やu3も同様に
u2=(x1 x2 x3...)
というような関数として示せるということでしょうか、、？
そうなると全部のuが同じ関数ということになってしまいますか？

[@user-ms8tk2n8]

Chainerも良いけど
これも良いね

[@ipu_dayoh]

共テぶりに見に来たけど円周率不変で草
なんかありがとうございます。

[@komusasabi]

誤差逆伝播法を解説したいなら、ゼロからシリーズにならってみかんとリンゴの購入、税込み価格のパラメトリックなモデルのパラメータ調整の話で具体例を見せた方が中学生でも理解できる状態にまで落とし込めそうです。
計算グラフという言葉も定義していただけるといいな。

[@kaj694]

この動画のグラフは計算グラフとは違うと思います

[@affshima]

ジャンガのたとえ分かりやすい。。。先に上から動かして、動かした位置で固定しながら、下の段を動かすことができるみたいな。。。

[@SammoHungGambou]

η(学習率)の話も入れて欲しかった

[@chaosshignahama9279]

中間層のδ計算でｆが微分のままでおわっているけれど、ｆが恒等関数なら、その部分は1ですよね。あえてそう書かないのはなにかこちらに勘違いがあるのだろうか。実際プログラムにのせようとした場合、微分のまま終わっては、説明として中途半端な感じが。

[@naoyaohtaki2258]

ヘッブ則なんかとも関係してくるんでしょうかね？
いつも勉強になります！

[@quwse1]

丸暗記した合成関数の微分公式がなぜそうなるのかを、今更ながらに知れた。

[@imama7148]

難しかった
数２Bまでの知識では理解できないでしょうか
ヨビノリさんの動画で前提知識をつけるのにオススメの動画があれば教えて下さい

[@-_-plm2232]

これ行列とベクトル使って凄いキレイにかけるよな。
いろいろよくできてるなーってなった

[@抹茶-n8r]

なんか、よく分からない内容だったんですが見にきました

[@るうー-u1i]

枝刈りの説明が聞きたいです

[@beekaru_4126]

ヨビノリすげーーな。

[@小さな夜-u1i]

後ろから考えていくアイデアはなるほどと思って爽快感があったけど、重み付けがuおよびz に影響するから、z 所与の重み付け導出ってどこまで意味があるのかと不安になってしまう...学習させる＝重み付けが不正確で導出したzを所与として重み付けだけ変える、これで問題なくなる前提条件ってなんだろうか。

[@バンブ-u1r]

以前学んで知ってる内容ですが、たくみさんの授業が好きで深層学習と合わせて観ました^ ^
個人的にはこの動画と深層学習との間に最急降下法を挟んでほしかったです。
昔勉強がてらにランダムな2次関数の係数を特定の3点を通る係数に最急降下法を用いて最適化した事があります。
動く2次関数も楽しいし真面目にいいネタでは？今からでも是非やってほしいです。
長くてすいません💦

[@user-jj7hi6co4p]

タクミさんに国民栄誉賞かなんかをあげて欲しい。日本のIT知識の向上にこれ程、貢献している人はいない。日本の宝！

[@no882323]

３０年程前 日経雑誌の記事の絵と数式をたよりにガリガリ計算したのを思い出しました。
確か一層分だけガッツリ勉強してあとはこれに同じ！でゴマかした記憶があります。www
次回は多分 活性化関数の微分の説明でせうか。

[@doyu_]

今回の続きで実際に具体的なデータセットを使って簡単な勾配降下法の計算例を示してもらえるとうれしいです。特にバッチの処理の場合に、順伝播で記録した入出力データを転置行列でかけて計算量を削減していけるかなどです。

[@kaj694]

えぐい

[@neo_0125]

数学嫌いだけど面白そうだと感じた。でも、W111のところで、急にアンパンマンみたいだということを思いだし、笑いが止まらなくなった。はなでんおそろしや

[@norirumi8644]

22:21
なんとなく、合成関数の微分と同じ操作ですよ、積の微分と同じ操作ですよって例示してないのって(よく知らないんですが)数学的な厳密性に欠けるので今は類似性から認めてくれってメッセージを感じますね(強めの幻覚(オタクはよく使いがちなワード)を見ている可能性が微レ存(死語))

[@きるみーべいべー]

テンソルの計算みたい

[@レジェンドケチャップ]

人工知能の本読んでたんやがこれイマイチわからんかったから助かる

[@ryozann]

ありがとうございます。ランダムにパラメーター調整してたらたぶん人生終わるところでした笑

[@yuikomiyakawa1713]

ここでもとめた、dE/dwを、どう使うのでしょうか？

[@murasso2736]

なんでフリーハンドでそんな真っ直ぐな線が引けるんだ...

[@yutamatsui6890]

授業でやったあとだった...(単位あったけど)

[@居林裕樹-t2b]

勉強させて頂きます🙏❗️(^人^)🌟

[@そう云えば何か忘れたかも]

関連動画
・【機械学習】深層学習(ディープラーニング)とは何か → ruclips.net/video/s5_Pk3CjhNA/видео.html

[@そう云えば何か忘れたかも]

追加
・【速報】ノーベル物理学賞2024を解説【機械学習の基礎】 → ruclips.net/video/dNN9ZSWhE3k/видео.html

[@中原くんを囲ってそうで囲ってない]

更新量のグラフが下に凸というか、最適解の時のみ傾きが0になっているのはなんでですか？

[@waiwai8572]

私みたいなおバカは、訳分からんままに実装してから戻ってくると、何となく雰囲気で理論を理解出来る（つもりになる）ことが分かりました笑
どうもありがとうございました。

[@user-Hiro0822]

深層学習…興味あるけど難しい(^^;
でも図で示してわかりやすく解説してくださっていたおかげで、イメージが掴みやすく、こんな私でも「全くついていけなかった💦」という状況だけは避けられました。
ありがとうございます！！

[@pozodepetróleo]

だからアンパンマンは愛と勇気だけが友達なのか・・・

[@pamiamin]

クリリンのぶん笑 (でも22分ぐらいからわからなくなった...)

[@gdgd_gd]

中学数学でお願いします

[@アカウント-n1h]

17:30