【速習！】Attentionから始めるTransformer超入門
HTML-код
- Опубликовано: 25 июл 2024
- この動画ではAttentionの起源からTransformerの入門レベルの内容までをスライドで説明したものです。
※要点を絞った解説動画も出しています！
• Transformerについて本質を分かりや...
slideshareにてスライドを公開しています↓
www.slideshare.net/AGIRobots/...
【目次】
00:00 OP
02:03 目次
03:20 認知科学と注意（Attention）
09:11 深層学習と注意（Attention）
13:02 RNNの基礎
17:34 Seq2Seq
23:13 Seq2Seq + Attention機構
27:26 CNNの基礎
36:15 SENetとAttention機構
38:41 ここまでの話のまとめ
39:46 Attention機構の種類
41:56 Self-Attention GAN
43:24 Transformerのアーキテクチャ
47:12 Embedding層
50:15 Positional Encoding
54:51 Multi-Head Attention
57:41 Scaled Dot-Product Attention
1:01:50 Position-wise Feed-Forward
1:03:34 Transformerのアーキテクチャまとめ
1:05:19 Transformer block 基本ユニット
本スライドの作成に際して勉強で利用したおすすめの書籍について紹介します。
・イラストで学ぶ 認知科学 (KS情報科学専門書)
amzn.to/3xTetnA
・scikit-learn、Keras、TensorFlowによる実践機械学習 第2版
amzn.to/3nfcHb6
・深層学習 改訂第2版 (機械学習プロフェッショナルシリーズ)
amzn.to/3OACgPO
ブログ、Twitter、Instagramでも、情報を発信しています。
チャンネルの登録や、フォローお願いします！
blog:agirobots.com/
twitter: / agirobots
instagram: / agirobots 
Наука
![Cordae - Saturday Mornings (feat. Lil Wayne) [Official Music Video]](http://i.ytimg.com/vi/z2GYJua09F0/mqdefault.jpg)
slideshareにてスライドを公開しています↓
www.slideshare.net/AGIRobots/...
2:03 目次
3:20 認知科学と注意（Attention）
9:11 深層学習と注意（Attention）
13:02 RNNの基礎
17:34 Seq2Seq
23:13 Seq2Seq + Attention機構
27:26 CNNの基礎
36:15 SENetとAttention機構
38:41 ここまでの話のまとめ
39:46 Attention機構の種類
41:56 Self-Attention GAN
43:24 Transformerのアーキテクチャ
47:12 Embedding層
50:15 Positional Encoding
54:51 Multi-Head Attention
57:41 Scaled Dot-Product Attention
1:01:50 Position-wise Feed-Forward
1:03:34 Transformerのアーキテクチャまとめ
1:05:19 Transformer block 基本ユニット
Transformerを触り始めたもののイメージが掴めず、本動画で解像度が高まりました。引き続き勉強がんばりたいと思います。素晴らしい動画をありがとうございます!
本当丁寧でわかりやすい。もっと伸びてほしいチャンネル👍
ありがとうございます！
頑張ります～！
神動画
TransformerとかAttentionとか単語レベルでしか聞いたことない人間でしたが、めっちゃ分かりやすかったです。入門にちょうど良いかもしれません。
すごく丁寧で助かりました。
ありがとうございます！
Transformerの書籍と合わせて本動画を参考にさせていただいております。
書籍の方では分からなかった所が、動画で見るとすんなり理解できたりして大変助かっております。
丁寧な図解による説明していただきありがとうございます🙏
お役に立てて何よりです！
美味しい料理の匂いにも注意が向く。カレーとか鰻の蒲焼きとかね。嗅覚的注意ですね。(笑)
Atentionまでは独学で勉強しておりまして、Transformerを理解したくて当該動画を拝見させていただきました。
しかし、やはり分かってい部分しか分からない・・・という知能の低さで申し訳なく思っております。
AtentionからTransformaerへの以降がぶっ飛んでいるような。３９分からのクエリ キー バリューが突如として出てきて迷子になってしまいました。出直してきます！
丁寧な解説ありがたいです。
一つ質問なのですが、55:02以降のMulti-Head Attentionのスライドで、下から入力されたValueにLinearを施した部分に対し、横から伸びた矢印で「QW_i^Q」とありますが、こちらは「VW_i^V」の間違いでしょうか？
Valueに対する線形変換なので重みはW_i^Vになるような気がするのですが解釈を誤っているでしょうか？
コメントありがとうございます！
少しでもお役に立てたのであれば幸いです〜
質問の件ですが、こちらのミスでした。
正解はVW_i^Vです。
混乱を招いてしまい申し訳ありませんでした。
今後とも当チャンネルをよろしくお願いいたします。
個人的にはすごい助かったけど、ディープラーニングとかアテンションとか何となく知ってる人じゃないと理解できない箇所が多い気がするｗ
貴重なご意見ありがとうございます。
以降の解説動画の作成で参考にさせていただきます。
フィードフォワードネットワークの部分の役割が分かりません。どのような効果があるのでしょうか？
この動画ではFFNについては、あまり触れていないので、ここで簡単に説明させていただきますね。
結論から言うと、Multi-Head Attention層の出力を非線形変換するためです。Multi-Head Attentionについては、この動画（ruclips.net/video/XOekdMBhMxU/видео.html ）で詳しく説明していますが、中に含まれているのは線形層のみで活性化関数を含みません。ニューラルネットワークの豊かな表現能力は、非線形な活性化関数による非線形変換にあります。ですので線形層しか持たないMulti-Head Attentionだけでは不十分なのです。
ですので、FFNが必要なのです。
音声と映像の進行スピードがズレているように思うのでが・・
ご指摘ありがとうございます。
この動画は、投稿後にRUclipsエディタと呼ばれるツールを用いて動画の一部カットを行っており、カット処理後に確認した祭は、音ズレしていませんでした。しかし、現在確認すると、コメントいただいた通り音ズレが確認できました。
恐らく、RUclips側の不具合だと思われます。
現在、RUclipsに確認をとっております。
直に解決すると思われますが、この問題が長引く場合はカット前の動画に戻すことも検討しております。
ご不便をおかけし申し訳ありません。
何卒ご理解くださいますようお願い申し上げます。
ありがとうございます！ちゃんと拝聴できました
よかったです！
右のように考えてもらうと～。とかこれをｃ３，h3と起きますみたいなところ何も書かれないし，そういったところが多くて見てる側は意味不明でした。。。
コメントありがとうございます。
自分自身、まだ説明が不慣れなため聞き苦しい点が多く申し訳ありません。
今後の動画では、そのようなことが少なくなるように努めさせていただきます。
貴重なご意見ありがとうございます。