誤差逆伝播法(バックプロパゲーション) | Chapter 3, ニューラルネットワークの仕組み
HTML-код
- Опубликовано: 1 дек 2023
- この動画は3Blue1Brownの動画を東京大学の学生有志団体が翻訳・再編集し公式ライセンスのもと公開しているものです。
チャンネル登録と高評価をよろしくお願いいたします。
日本語版Twitter
/ 3b1bjp
元チャンネル(英語)
/ 3blue1brown
元動画(英語)
• What is backpropagatio...
by CrowdFlower: 3b1b.co/crowdflower
----------------------------------------
英語版翻訳元チャンネルの支援
/ 3blue1brown
アニメーションはmanimで作られています
github.com/3b1b/manim
英語版公式ソーシャルメディア
Webサイト: www.3blue1brown.com
Twitter: / 3blue1brown
Facebook: / 3blue1brown
Reddit: / 3blue1brown
----------------------------------------
Music by Vincent Rubinetti
Download the music on Bandcamp:
vincerubinetti.bandcamp.com/a...
Stream the music on Spotify:
open.spotify.com/album/1dVyjw...
35年前に大学の研究室でこれをやったときは、電総研(今の産総研?)からラベル付きの手書きデータを調達しました。
データが磁気テープだったから、それを大学のコンピュータで読める形にするのが一苦労でしたね。
ああ懐かしい。
これやっぱり黒板とかpdfより映像の方が直感的に理解しやすい
学校の授業もこういう形式にしたら、先生が休んでしまったり、生徒が病気で学校に来られないときも授業出来るし、何より先生方も苦労も減ると考えられる(一度動画を撮れば、使い回すだけだから。他の先生の授業を参考にしたり、緊急時にはそのままそれを流すことと出来る。)。
本読んでもさっぱりわからないことをこんなに直感的に理解させてくれるなんて、凄いです。ありがとうございます
まってた!ありがとう!
待ってました😊
ありがとう❤
和訳待ってました、感謝、感謝、ありがとうございます😭
全く分らなかった内容が何となく分かり始めまた。ありがとう。
待ってた
まじ嬉しい
いつもありがとうございます。
NN実装するときに苦労したのでとても助かる
面白い!
キタ━━━━(゚∀゚)━━━━!!
11:33
パイモン達がおこで草
バックプロパゲーションって、30年以上前から大学で使ってたわ。
当時の問題って、ローカルミニマムでとどまったり、中間層が多いとうまく収束しなかったりあまり実用的ではなかったな。
6:58 これは、各層における重みを、そこで大きさが最大となる重みの値×何かしらの定数で規格化した値によって調整するということでしょうか?
聞いているときは、何となく分かった気になるんだけど、結局、最小二乗法と何が違うん? 最小二乗法も最急降下法etcで、カイ自乗を最小に持って行くので、違いがわからん。
動画の作り方も教えてほしいです。何卒よろしくお願いいたします!!
歌などの音声とAIを絡めたことを将来的にやってみたい者です。
実際に仕事として使う場合、重み付けを行ういろいろな計算を数学的に理解することは必要でしょうか?
TAなどの助言もありながら、本動画の重み付けのプログラムは実装できました。
必要でも不要でも理由があればお聞きしたいです。
私自身もエンジニアなわけではないですし,なんならまだ学生ですがAIのモデルを"効率的"に作る・学習させるためには必要だと思っています.例えばモデルを大型化させていくと,うまくトレーニングすることができないことが多々あります(勾配消失:更新のための勾配が途中で小さくなりすぎて重みを更新できなくなること などが代表例ですかね).このような場合にどんな原理でこのようなことが起きるのかわかっていれば,すぐ対処することもできますし(この場合ならBatchNormalizationやskip connectionなどの導入で解決できるかな?),計算リソースの削減などもやりやすくなるかと思います.もちろんニューラルネットワークを0から実装するほどの技能はなくても十分ですが,闇雲に深層学習のフレームワークをいじり倒すより断然効率的に開発などができるので,数学的に理解しておくことは必要かと思います.ただ初めからすべて理解しておく必要性はないかと思っているので,実際にフレームワークなどで使ってみて実際に課題に直面してみての繰り返しでだんだん実用と結び付けられるのがベストかなと考えています.(長文コメント失礼しました.)
ruclips.net/video/SgBDx8DqBZw/видео.htmlsi=gRvZt11vMRDex6lz
勾配関数 コスト関数
重み と バイアス