【深層学習】GPT - 伝説の始まり。事前学習とファインチューニングによるパラダイムシフト【ディープラーニングの世界vol.31】
HTML-код
- Опубликовано: 25 июл 2024
- GPT-2, GPT-3,... へと続いていく GPT シリーズの1つめです。
事前学習とファインチューニングのパラダイムを決定づけた研究の1つだと思います！
☆お知らせ☆
AIcia Solid Project 公式HPが出来ました！！！
sites.google.com/view/aicia-o...
HPでは私たちや動画コンテンツの紹介、板書データの公開などをしています。是非ご活用ください！！
▼関連動画
Transformer の動画はこちら！ • 【深層学習】Transformer - Mu...
忙しい人向け → • 【深層学習】忙しい人のための Transfo...
Deep Learning の世界 • Deep Learning の世界
自然言語処理シリーズ • 自然言語処理シリーズ
▼目次
公開後追加予定！
▼参考文献
Radford, Alec, et al. "Improving language understanding by generative pre-training." (2018).
www.cs.ubc.ca/~amuham01/LING5...
原論文！ 研究者がまだふつーの反応をしていた頃。ある意味貴重な時代！
【2019年版】自然言語処理の代表的なモデル・アルゴリズム時系列まとめ - Qiita qiita.com/LeftLetter/items/14...
いろいろこれを参考にして動画を作っています
▼終わりに
ご視聴ありがとうございました！
面白かったら高評価、チャンネル登録お願いします。
動画の質問、感想などは、コメント欄やTwitterにどうぞ！
お仕事、コラボのご依頼は、TwitterのDMからお願い致します。
動画生成：AIcia Solid (Twitter: / aicia_solid )
動画編集：AIris Solid (妹) (Twitter: / airis_solid )
=======
Logo: TEICAさん ( / t_e_i_c_a )
Model: 3d.nicovideo.jp/works/td44519
Model by: W01fa さん ( / w01fa ) 
Наука
深層学習シリーズ、いつも分かりやすいです！
ご視聴コメントありがとうございます！😍🎉
そういっていただけると嬉しいです！(^o^)
いつも勉強させていただいております
ありがとうございます
ご視聴コメントありがとうございます🎉🎉🎉
これからも価値ある動画を生成できるよう精進しますので、応援いただけると嬉しいです！🔥
よろしくお願いします(^o^)/
これからも沢山論文紹介動画挙げて頂きたいです！！！🙇♂️
まかせて！😎✌️
今回の動画も乙。自然言語処理系はあんま学んでいないから、わかりやすい解説は嬉しい。
でしょ😎
いろんな人に勧めてくれるとうれしーです！(^o^)
1年半以上前にGPTに注目してるのすごいですね
diffusionモデルやloraの仕組みなども解説してほしいです
ご視聴コメントありがとうございます！
実は、当時から GPT-3 周辺はすごく盛り上がっていたのですよ！
diffusion や LoRA もおいおい扱いたいと思います！🔥
（年単位先になるかもしれませんが、、、）
少々お待ちくださいませ！
いつも、わかりやすい動画
ありがとうございます
ファインチューニングして○○作っちゃった！てきな動画も見てみたいです
ご視聴コメントありがとうございます！😍
たしかに、最近作った系の動画があんまりないですね🤔
検討します、ありがとうございます！！！
改めて拝聴させて頂きました。いつもながらわかりやすい解説をありがたく思っています。chatGPTに「オイラー公式 exp(ix)=cos(x) + i sin(x)を用いて加法定理を証明して」とお願いすると、sin(x+y) →①expへの変換→②expでの整理→③sin cosへの逆変換という式展開の正解を得ました。①は順方向ですが③は逆方向。そのため②は③を予感しながらの整理となります。それでbidirectional(BERT)を思い出し、再拝聴しましたが、GPTはbidirectionalではなさそうです。とても不思議です。原論文も読まずに恐縮なのですが、、
ご視聴コメントありがとうございます！
素敵な仮説検証ですね！
どういう理由がわかりませんが、GPT は数学のロジックを綿密に積み上げるのは苦手なようです🤔
ここが解明され、改善される未来が来るといいですね！🤩
GPT GPT-2 GPT-3 T5ってMHP MHP2nd MHP3rdみたいで楽しい。
DALL·EがあるからGPT-4とかは言語モデルとかじゃなくもっとマルチモーダルになるのかな
どーなるんでしょう？🤔🤔🤔🤔🤔
今後の GPT-n が楽しみですね！😍😍🎉🎉🎉
いやあ濃い中身なのにわかりやすく、とてもありがたいです！
Fine tuningのかわりにTransfer learning という表現をしても問題ないのでしょうか？
厳密には違うみたいです。
fine-tuning はパラメーターを更新しますが、
Transfer learning は、借りてきたモデルのパラメーターを更新しません。
ま、ノリとしては同じであることは間違いないです！
人の前で話したりするときだけ気を付ければよいと思います😋
@@AIcia_Solid ありがとうございます。ノリがおなじですね！
強々データサイエンティスト採用した方が、ﾁｮｯﾄﾃﾞｷﾙ人よりも仕事をすぐ覚えられるみたいな感じかな🤔
次単語予測は、日本語でもパフォーマンスでるのでしょうか
まさにそんな感じです！！
日本語言語モデルもちゃんと仕事しますよ！
日本語 GPT-2 を rinna 社さんが出していたりしますし(^o^)
AIに勝てなくなって、しばらくの間人間には虚無感が広がり、その後、人間自体をアップデートしていく電脳化のような世界になるんでしょうね
ならないと思いますよ！
産業革命で機械が出てきたときも、そのように考えた人はいたと思いますが、結果はそうなりませんでした。
私達はおそらく、また歴史を繰り返し、AI を使い倒して、また豊かな世界を作るのだと思います😊
未来をmaskするようにしているので「Transformerのdecoderの改変」という説明がありましたが、Transformerのdecoderでも未来をmaskしている(英語から日本語に翻訳する場合に日本語を生成する時は未来をmaskしている)ので、改変ではなく同じではないでしょうか。
ご視聴コメントありがとうございます！🎉
オリジナルの Transformer の Decoder では Multi-Head Attention が2度使われます（2度目の方が Encoder の出力を利用する方）。
GPT では1度のみなので、そういう意味で改編が入っていると表現しました！(^o^)
大変勉強になります。一点お伺いしたいのですが、「TransformerのDecoderの改変」というのは、Encoderがない、という意味も含まれますでしょうか？Multi-Head Attentionも一回になっていますし、これでなぜ改善しているのか不思議に思ったのですが、大量学習の差が本質なのでしょうか？
ご視聴コメントありがとうございます！
GPT は Encoder がなく、1段階になったものです。
なぜ改善したかといえば、やったらなったとしか言いようがないですが、学習やデータ含め、全方位の努力で良くなったのかななんて思います🤔
BERT の uni-direction 版と思えば、性能改善もそこまで不思議ではないかと思います！
@@AIcia_Solid ご解説ありがとうございます。他の動画も楽しく拝見させていただきます！
大変勉強になりました✌('ω'✌ )三( ✌'ω')✌難しい問題(特殊なケース)ばかりを学習させると、基礎を無視した過学習(基礎を無視したチート的な別解)に頼るようになるけど、PT後だと基礎に基づいた解になり過学習を抑制出来るようなイメージでしょうか。
うーーーん、過学習の抑制に効いているかどうかは分かりません🙇♀️
話したとおり、基礎的な言語の理解をしたあと、個別タスクに特化させるべく学習させているのだと思います。
もしかしたら効いているかもですが、それは私ではなぞです😇
ご回答ありがとうございます。なるほど～「基礎的な学習」に汎用性があるところがいいですね♪
今話題のchatGPTの元か
ChatGPT のもとは InstructGPT というもので（動画なし）、そのもとが GPT-3 というものです！
GPT-3 てあれば、もし興味あればこちらをどうぞ！
ruclips.net/video/CBZWzQVcXE4/видео.html
際限なく精度が向上するのは、residual connectionとAttentionによるものでしょうか？
「データ増・モデル大で際限なく精度が向上しているように見える。」といった説明で、何故そうなるのか気になりました。
恒等写像＋どの情報に注目すればいいかを制御しているからなのかな？と漠然と考えていましたが
原論文にこの辺りの記載あるでしょうか？
際限なく精度が向上する理由は、、、いまの私にはわかりません、すみません。
このあと scaling law という動画がありますが、そこでも、リソースを増やすと際限なく精度が上がっていく強い傾向が紹介されています。
ruclips.net/video/n1QYofU3_hY/видео.html
（正確には、そういう紹介がされている論文を紹介した動画です）
ここはまさに、今、色々な研究がある最新領域です。
いろいろ調べてみると、最新の見解など見えてくるのではないかと思います、、、！
@@AIcia_Solid
回答いただきありがとうございます！
scalling lawの動画見てみます
AIツールの最新情報ばかりが目に入ってきますが、研究の方の発展にも注目したいと思います
ぜひぜひ！
結果自体めちゃ面白いので、動画のあと論文もぜひ見てみてください！
図を見るだけで楽しいですよ！(^o^)
つまり人間も義務教育がかなり大切だって事を言ってるような気がする。ホリエモンとかが言ってる事と逆だけど・・・ 笑
その議論は深く深く果てしないですが、深層学習においては大事そうというのが今のトレンドのようです😋
全然本質と関係ないんですけど、「この動画生成時点では」でちょっと笑いました。
なんと！
そんな、この変化に対応できそうなこと言っていたのですね、、、（笑）
ちなみに、どの辺りでそう言っていましたが、、？
教えていただけたら嬉しいです！🙏
Detroitかターミネーターのような感じになるのかな。
アトムやドラえもんにはならなさそう。
ご視聴コメントありがとうございます！
そして、鋭い指摘ですね😎
実際、そのあたり、何を想定し、何を作っていくかには、強く文化の影響があると思います。
AI といえばターミネーターを想像する人達がいれば、AI といえばドラえもんを想像する人たちもいます。
ここは、実は、日本の文化に触れている人たちは、本質的に活躍できる領域かもしれません。（結構真剣に言っています🔥）
@@AIcia_Solid
確かに文化の影響は大きいと思います。日本では手塚治虫先生を筆頭にこういった話に事欠きませんし、馴染みやすいと思います。
真偽の程は分かりませんが、日本以外の国では、キリスト教の考えから人間を模した機械をあまりよく思っていないそうです。
ですので、日本国内ではロボットとAIは、ツールもしくは家族や親友といった感じになり、海外では奴隷文化の影響も相まって、良ければツール、悪ければ人間の奴隷という立ち位置になると予想しています。
個人的にはメダロットか武装神姫のような関係性が、人間とAIにとっての理想だと考えています。
余談ですが、日本国内だと初音ミクや東方のゆっくりにChatGPTを使用して、キャラクターの人格を再現するみたいな事をする人が出てくるかも知れませんね笑
なるほど、面白い考察ですね！
ここでもキリスト教が影響を持ちますか、、、感服する考察です！
お教えいただきありがとうございます！
ちなみに、AI での人格再現はすでにあるので、見てみるとよいかと思います！
note.com/fladdict/n/neff2e9d52224
transformerの次のブレイクスルーとして注目されている技術ってどんなものがあるのですか？？
AI の研究されているなら AI は詳しいと思うので、色々調べていただければと思います！
どちらかと言うと、AI の発展によって◯◯インフォマティクス（特に材料）が発展していたり（材料が発展したら当然計算機も発展する！）、ロボット x AI でまたロボットも AI も両方発展していったりするのではないかと思います！
@@AIcia_Solid ありがとうございます！！
書籍と動画でなんとか勉強しているゴリゴリの初学者で実は論文も読んだことがなくてですね、、、
いつも本当に感謝しております！
すみません、何か勘違いしていました🙇♀️🙇♀️🙇♀️
私は書いたように、個人的には、AI の外へ波及するブレイクスルーを楽しみにしています😊
AI の内側は研究が早すぎて多すぎて、何が良いかは分からないので、遠くからみて良さげなのを拾うようにしています😇