絶対に理解させる誤差逆伝播法【深層学習】
HTML-код
- Опубликовано: 5 окт 2024
- ニューラルネットワークの学習方法である『誤差逆伝播法』を解説します
深層学習の基本が学べる動画はこちら↓
高校数学からはじめる深層学習入門(畳み込みニューラルネットワークの理解) • 高校数学からはじめる深層学習入門(畳み込みニ...
----------------------------------------------------------------------------------------------------------
予備校のノリで学ぶ「大学の数学・物理」のチャンネルでは
①大学講座：大学レベルの理系科目
② 高校講座：受験レベルの理系科目
の授業動画をアップしており、他にも理系の高校生・大学生に向けた様々な情報提供を行っています
【お仕事のご依頼】はHPのContactからお願いします
【コラボのご依頼】はHPのContactからお願いします
【講義リクエスト】は任意の動画のコメント欄にて！
【公式HP】はこちらから(探している講義が見つけやすい！) yobinori.jp/
【Twitter】はこちらから(精力的に活動中！！)
たくみ(講師)→ / yobinori
やす(編集)→ / yasu_yobinori
【Instagram】はこちらから(たくみの大喜利専用アカウント)
/ yobinori
【note】はこちらから(まじめな記事を書いてます)
たくみ(講師)→note.mu/yobinori
やす(編集)→note.mu/yasu_y...
----------------------------------------------------------------------------------------------------------
【エンディングテーマ】
“物語のある音楽”をコンセプトに活動するボーカル不在の音楽ユニット”noto”（ノート）
RUclipsチャンネル『予備校のノリで学ぶ「大学の数学・物理」』の主題歌として書き下ろした一曲。
noto / 2nd single『Telescope』（feat.みきなつみ）
*****************************************************
noto公式RUclipsチャンネルにてMusic Video フルver.が公開中！
【noto -『Telescope』】
• noto -『Telescope』（feat...
【みきなつみ公式RUclips】
/ @mikinatsu_official
40:22 の編集が神すぎる
ほんとに1時間もせずに誤差伝播法が理解できるとは思いませんでした。すごく感謝です。ありがとう！
原理を理解しなくてもライブラリでNNを使用できる今の世の中
数式で理解させてくれるたくみさんの授業が素晴らしすぎる、、
初めて理解できました。
数学的帰納法（逆順ver）みたいな感じで計算されていくイメージをもちました。
やりたいこと :
全ての層の（全ての）重みの勾配を求めたい
手順 :
①出力層の勾配を求める
②①の勾配の計算結果の一部を使って、出力層の1つ前の勾配を求める
③②の勾配の計算結果の一部を使って、出力層の2つ前の勾配を求める
④以下同様にして、全ての層の勾配を求める
まじで待ってた！！！！！
これからも深層学習の話して欲しい😊😊
本で勉強していましたが、勾配の計算がきちんと理解できずにいました。
ですが、この動画を見て、誤差deltaの考え方がわかり、
また、ニューロンが変わったときに、計算式がどう変わるのかがよく理解できました。
とても助かりました。ヨビノリさんありがとうございます！
「誤差逆伝播」の知識はありましたが、深い理解はまだ出来ていなかったところ、「そりゃ、そうやな」と納得出来ました。いつもありがとうございます！こんな素晴らしい動画を作って下さって、感謝しています。
まじですか！誤差逆伝播法難しくて悩んでたのでめちゃくちゃ嬉しいです!!ありがとうございます!
一見、黒板では限界のような内容にどんどん入っていますが、それでも黒板でわかりやすく誤差逆伝播法の話ができるのが凄いです。たくみさんがこのチャンネルの授業動画でパワポを使う日は来ないんでしょうか。
パワポ？黒板と日本製チョークが世界の数学者のスタンダード。
情報系の知識が必要な論文読まなくちゃいけなくて、無理ゲーと思ってたけど、これ見てからなら理解しながら読めそう。大人になると自分の分野外を勉強するのはシンドイこと多いけど、ヨビノリ動画はパッと教えてくれて助かるな😄
今は分からなくても、いつか理解できる日が来ると思って待ちながらこの動画見てる
たくみさんが言う「絶対に理解させる」が頼もしすぎます
MRIの雑音除去の研究をやっている大学生です。
前期に雑音除去やるのに、DnCNNなどのニューラルネットワークを勉強しました。
が、マジでここ1週間悩んでようやく理解できました。
0:00 導入
8:47 更新量（誤差関数と勾配降下法の話）
12:15 誤差逆伝播法の心
14:39 多変数関数の偏微分について（連鎖律）
25:54 本題。まずは問題設定
27:56 出力層の重み更新
39:19 中間層の重み更新
47:00 誤差逆伝播法のミソ
仰る通り多変数関数の連鎖律(+添え字)が悪さをして理解しづらくしてるだけで、やりたいことと実際にやってることはそんなに難しくないんですね。よく分かりました！
大学でニューラルネットワーク実装してこいって言われてたから本当に助かります
リカレントニューラルネットワークと強化学習
入力層、中間層、出力層、重み値、教師信号
こうやって解説聞いてると
普段、数学や科学の知識が基本になってるんだなあと改めて思う
この授業をのべ5万人近くが視聴してるのに感心した。日本も捨てたもんじゃないな。
ジェンガの例えがとても分かりやすくていいなと思いました！
誤差逆伝播法、名前はよく聞くけど意味はわからず、という状態が続いていましたがようやくイメージ掴めました。
連鎖率を使うだけで重みの更新が1つ先の層の誤差で決まるなんて、まさに多変数関数の“ネットワーク”だなと。
まるで逆伝播の様子が、先の出力の反省をしているようで急に人間味が感じられてきて、
学習と聞くと順伝播のイメージがありましたが、順伝播を演習問題を解く、逆伝播を出来なかった問題の復習と捉えると逆伝播こそ学習の本質だなと感じました。
まだ途中までしか見てないですが、これが無料で見られるって凄すぎです。。。udemyよりもわかりやすくて面白い！！
マジで感謝です〜〜〜〜〜〜
Stanford の coursera が英語厳しくてここに避難してきた。たすかる。
誤差逆伝播法好き
ディープラーニングの勉強してる時この考えに感心した
式・記号に見てわかる解説があって非常にわかりやすい講義だと思いました！
畳み込みニューラルネットワーク（CNN）になると、"共有の重み"を更新するので混乱しやすいと思います（というより私が混乱しています）。
ぜひ、CNNの場合の誤差逆伝播法も解説して欲しいです。
フレームワーク使ってなんとなく扱っていた部分がスッキリ理解できました。
NWの勉強していて、詰まっていたところだったので、非常にありがたいです。これからも聴講させていただきます。無理せずにこれからも続けて欲しいです。
いつかRNNの動画があがることを期待して待ってます😊
GANとかやってほしい
微分積分が全く分かってないからサッパリですわ…
深層学習難しすぎ。
今、誤差逆伝播法に関して勉強しているので、解説して頂いて助かりました！
学部一年でも理解しやすくてありがたい
G検定で誤差逆伝播法ってワードは出てきたけど、ここまで奥が深いのか…
昔々に卒論で取り組んだ話でしたので当時を思い出しつつ拝見しました。当時のWSによる計算は大変でした
ヘスの法則を利用する問題を解くときに、エネルギー図を使ったやり方を教えて欲しいです！
ピンチなんでお願いします🙇♀️
電磁気と波動の全解説の予定ってありますか？
めっちゃわかりやすかったです！
この考え方、他の何かにも使えそうだな〜って思いました
活性化関数に恒等関数ではなくシグモイド関数を使用した例を見てみたいです
ガウス過程の動画もみたいです🥺
ブレークスルー賞を受賞した光格子時計と柏原予想についての噛み砕いた解説をお願いしたいです！
ありがとうございました。分かりやすかったです！
神動画ありがとうございます！！理解できた気がしています！
26:00 自分用：連鎖率の話終わって本筋に戻る。
個人的には睡眠用bgmにいい（声が落ち着く）
なるほどよくわからん
結論の部分先出しでそれから計算して貰えれば多分一番わかりやすかったと自分は思いました。
ちょうど研究室の研究内容でした。まじで助かりますありがとうございます。
z=(u1 u2 u3...)
u1=(x1 x2 x3..)
という時に、xkはu1 u2 u3...の全てに関わっているというところなのですが、
u2やu3も同様に
u2=(x1 x2 x3...)
というような関数として示せるということでしょうか、、？
そうなると全部のuが同じ関数ということになってしまいますか？
やっぱ難しいな、誤差逆伝播法。
何回か見直す必要ありそう。
理解できなかったのは連鎖律知らんかったからかｗ
でもこういう動画はありがたい
連続講義嬉しい❗️
物理学科だけど、今年から深層学習の勉強はじめました！
タクミさんに国民栄誉賞かなんかをあげて欲しい。日本のIT知識の向上にこれ程、貢献している人はいない。日本の宝！
ありがとうございます！
共テぶりに見に来たけど円周率不変で草
なんかありがとうございます。
23:11 メルエム戦終盤のネテロ会長
ちょうど勉強したてだったので復習になりました。
丸暗記した合成関数の微分公式がなぜそうなるのかを、今更ながらに知れた。
η(学習率)の話も入れて欲しかった
３０年程前 日経雑誌の記事の絵と数式をたよりにガリガリ計算したのを思い出しました。
確か一層分だけガッツリ勉強してあとはこれに同じ！でゴマかした記憶があります。www
次回は多分 活性化関数の微分の説明でせうか。
楽しすぎてにやけちゃいました
なんでフリーハンドでそんな真っ直ぐな線が引けるんだ...
有限要素法についての解説をお願いしたいです！有限要素法のコードをc++でかくという課題が出て、躓いてます。。
初めて誤差伝搬法がすっきり理解できました。ありがとうございます。
これは素晴らしい
後ろから考えていくアイデアはなるほどと思って爽快感があったけど、重み付けがuおよびz に影響するから、z 所与の重み付け導出ってどこまで意味があるのかと不安になってしまう...学習させる＝重み付けが不正確で導出したzを所与として重み付けだけ変える、これで問題なくなる前提条件ってなんだろうか。
ジャンガのたとえ分かりやすい。。。先に上から動かして、動かした位置で固定しながら、下の段を動かすことができるみたいな。。。
深層学習…興味あるけど難しい(^^;
でも図で示してわかりやすく解説してくださっていたおかげで、イメージが掴みやすく、こんな私でも「全くついていけなかった💦」という状況だけは避けられました。
ありがとうございます！！
難しかった
数２Bまでの知識では理解できないでしょうか
ヨビノリさんの動画で前提知識をつけるのにオススメの動画があれば教えて下さい
中間層のδ計算でｆが微分のままでおわっているけれど、ｆが恒等関数なら、その部分は1ですよね。あえてそう書かないのはなにかこちらに勘違いがあるのだろうか。実際プログラムにのせようとした場合、微分のまま終わっては、説明として中途半端な感じが。
これ行列とベクトル使って凄いキレイにかけるよな。
いろいろよくできてるなーってなった
以前学んで知ってる内容ですが、たくみさんの授業が好きで深層学習と合わせて観ました^ ^
個人的にはこの動画と深層学習との間に最急降下法を挟んでほしかったです。
昔勉強がてらにランダムな2次関数の係数を特定の3点を通る係数に最急降下法を用いて最適化した事があります。
動く2次関数も楽しいし真面目にいいネタでは？今からでも是非やってほしいです。
長くてすいません💦
なんか、よく分からない内容だったんですが見にきました
Chainerも良いけど
これも良いね
これはありがたい！！！！
待っていました〜
Thanks!
これで復習します
ヘッブ則なんかとも関係してくるんでしょうかね？
いつも勉強になります！
数学嫌いだけど面白そうだと感じた。でも、W111のところで、急にアンパンマンみたいだということを思いだし、笑いが止まらなくなった。はなでんおそろしや
今回の続きで実際に具体的なデータセットを使って簡単な勾配降下法の計算例を示してもらえるとうれしいです。特にバッチの処理の場合に、順伝播で記録した入出力データを転置行列でかけて計算量を削減していけるかなどです。
神動画あらわる
枝刈りの説明が聞きたいです
ヨビノリすげーーな。
誤差逆伝播法を解説したいなら、ゼロからシリーズにならってみかんとリンゴの購入、税込み価格のパラメトリックなモデルのパラメータ調整の話で具体例を見せた方が中学生でも理解できる状態にまで落とし込めそうです。
計算グラフという言葉も定義していただけるといいな。
この動画のグラフは計算グラフとは違うと思います
人工知能の本読んでたんやがこれイマイチわからんかったから助かる
更新量のグラフが下に凸というか、最適解の時のみ傾きが0になっているのはなんでですか？
私みたいなおバカは、訳分からんままに実装してから戻ってくると、何となく雰囲気で理論を理解出来る（つもりになる）ことが分かりました笑
どうもありがとうございました。
ありがとうございます。ランダムにパラメーター調整してたらたぶん人生終わるところでした笑
授業でやったあとだった...(単位あったけど)
δ(l)_jがδ(l+1)_jで求められる部分がしっかり理解できなかった。。。なんでや
ここでもとめた、dE/dwを、どう使うのでしょうか？
だからアンパンマンは愛と勇気だけが友達なのか・・・
クリリンのぶん笑 (でも22分ぐらいからわからなくなった...)
勉強させて頂きます🙏❗️(^人^)🌟
可能なコンテンツだけで大丈夫なのでVoicyに進出して欲しいです。
もちろん黒板が伝わらないようなものもあると思いますが、絶対にニーズはあるはずです。よければご検討をよろしくお願いします。О'̑〇̮'̑О
中学数学でお願いします
0:42 ニューラルネットワークの概要
8:47 勾配降下法
14:37 連鎖律
25:55 誤差逆伝播法
今回のファボゼロ 8:50
クリリンの分……?
えぐい
バックプロパゲーションの方がかっこよくない？笑
バックプロパゲーション！！