【深層学習】GPT-3 ①-2 追加学習なしでタスクに対応する仕組み【ディープラーニングの世界vol.39-2】
HTML-код
- Опубликовано: 26 июл 2024
- GPT-3 全部解説します！
①概要編 ← 今日はここ！（の後半）Few-Shot 学習と性能について！
②限界 & 研究テーマ編
③社会的影響編
1本目： • 【深層学習】GPT-3 ①-1 モデルと S...
次回：GPT-3 でもできなかったことと今後の研究テーマです！
▼参考文献
Brown, Tom B., et al. "Language models are few-shot learners." arXiv preprint arXiv:2005.14165 (2020).
arxiv.org/abs/2005.14165
原論文！ 濃厚！ 超長いです。
読むのは、プロ以外、、そこまで、、、おすすめしません、、、、、、（笑）
【2019年版】自然言語処理の代表的なモデル・アルゴリズム時系列まとめ - Qiita qiita.com/LeftLetter/items/14...
いろいろこれを参考にして動画を作っています
▼目次
00:00 OP
00:20 3. Few-Shot, One-Shot, Zero-Shot
06:25 研究の背景にある思想
09:39 4. GPT-3の性能
▼終わりに
ご視聴ありがとうございました！
面白かったら高評価、チャンネル登録お願いします。
動画の質問、感想などは、コメント欄やTwitterにどうぞ！
お仕事、コラボのご依頼は、公式 WebPage や TwitterのDMからお願い致します。
AIcia Solid Project - Official Website - sites.google.com/view/aicia-o...
動画生成：AIcia Solid (Twitter: / aicia_solid )
動画編集：AIris Solid (妹) (Twitter: / airis_solid )
=======
Logo: TEICAさん ( / t_e_i_c_a )
Model: 3d.nicovideo.jp/works/td44519
Model by: W01fa さん ( / w01fa ) 
Наука
あけましておめでとうございます。いつも素敵な動画をありがとうございます。
あけおめです！
今年も頑張りまーす！(^o^)
@@AIcia_Solid あ、いつも頑張ってらっしゃるので、頑張らなくていいです！
あけましておめでとうございます！ 今年も可愛い！
でしょ！😍
あけおめことよろです！
今年も可愛く行きます！(^o^)
あけおめ～。
相変わらずポップにお勉強できるあなたの動画が好きです！
私は4月から社会人ですが、つよつよ目指していきます！
ご視聴コメントありがとうございます。
嬉しいです！(^o^)
ぜひ、一緒に世界を面白くしていきましょー！(^o^)😍
In Context Learning って多分大学入試の現代文解いてたら、その内容で書かれてる言語論みたいなものについて軽く勉強できちゃったみたいなアレですよね。笑
DeepLearningの世界最初から見始めてここまで きてめちゃくちゃ楽しいです！いつもありがとうございます！
おおー！
たくさんご視聴コメントありがとうございます！😍🎉🎉
そうなんです、なかなか面白い概念ですよね😍
ありがとうございます！
どういたしまして！(^o^)
すみません！！！🙇♀️🙇♀️🙇♀️
いま、このコメントが Super Thanks であることに気づきました！🙇♀️🙇♀️🙇♀️🙇♀️🙇♀️
ご支援いただきありがとうございます！😍
今後も良き動画を生成していきますので、応援いただけると嬉しいです！🔥🔥
よろしくお願いします！(^O^)
あけおめです！GPT-3が非常にパワフルだと理解しました。1つ質問なのですが、このまま自然言語処理が超発展するとGPTに入力した数学の定理の証明などはされるのでしょうか？
わかりません！
ただ、できるようになるんじゃないでしょうか🤔
入試問題の計算、証明問題なら東ロボくんの時代からできていますし、特に致命的に不可能と言えるような障害はない気もします🤔🤔🤔
あけましておめでとうございます。今年もよろしくお願いいたします。
動画を楽しく拝見しました。いつもありがとうございます。
リアルタイムで拝見できず、ごめんなさい。
質問があります。
GPT-3の画像版ってあるんでしょうか？ViTと呼ばれるものがそれにあたるのでしょうか？
あらかじめ事前学習しておいて、Few Shot、One Shot、Zero Shotで画像分類をしてくれると、
すごくうれしいのですが、現在そういった画像処理AIはありますか？
モデルを公開してくれているなら、よりうれしいんですけど…
聞いてばかりで、ごめんなさい。
コメントありがとうございます！
動画は見たいときに見ていただければ良いと思いますYO！
画像分類を少データでやりたい、、、という話であれば、転移学習が数年前から実用化されています！
Amazon rekognition とか Google Vision API などを調べてみるとよいかと思います！(^o^)
@@AIcia_Solid ご返信と温かいお言葉をいただき、ありがとうございます。
お教えいただいた2つのキーワードを、まずは調べてみます。
キーワードをお教えいただき、本当にありがとうございました。
動画の続きも楽しみにお待ちしております。
TwitterにもGPT-3製のアカウントが潜んでいるかもしれませんね ハッ…アイシアちゃんもしかして…！
空気読んで続きの文章書かせるのはまさにAIのべりすとですね！
わたしの GPT は108式まであります😎😎😎✌️
最近ChatGPTのブームにともないGPT3勉強しててここにたどり着きました！わかりやすくて最高です！ありがとうございます！
少し気になったのですが、モデルの学習時にはプロンプト的な文章は使われたりしているのでしょうか？
具体的には
"Translate English to Japanese"
a => A
という風の辞書みたいなデータを意図的に学習データに混ぜているのでしょうか？
それとも、混ぜなくても勝手にプロンプトベースの入出力ができてしまうのでしょうか？
"次の単語を予測する"という学習だけでプロンプト的な作業ができてしまうのが不思議で夜も寝れません。よろしくお願いします
ご視聴コメントありがとうございます！
お役に立てて光栄です！🎉
ご質問にお答えします！
が、ここは、プロの研究者にとっても不思議な領域で、きっと彼らもかれこれ3年ほど寝てないんじゃないと思います😱
あくまで私の想像でお答えしますが、
基本的には、わざわざそのようなデータを加えることはしていないと思います。
ですが、ネット上の膨大なテキストのなかで、例えば問題集の回答とか、プログラミングのなかのドキュメントなどで、似た形の文章がある程度あったりするんじゃないかと思います。
そういうのも学習することで、対応力を身に着けたんじゃないかと思っています🤔
あけましておめでとうございます。数式まみれのデータセットで学習して既存の定理証明プログラムより高性能になったりしたら面白そうです
あけおめことよろです！🎍🎉
方向性は違いますが、最近 AI くんが結び目理論の幾何的量と代数的量の間の不等式を発見したりしていましたね👀👀👀
GPT-3の本質がよくわかったような、ある意味わからないことがわかったような、いい解説でした
FS,OS,ZSは結局のところ、それ用のアーキテクチャを作って成し遂げたというより、パラメータの暴力でよくわかんないけど相転移したんじゃないかってのが今の所の理解であってますでしょうか？
More is differentって格言がありますけど、それを彷彿とさせるエピソードになりそうですね。
ご視聴コメントありがとうございます！
私もなんとなくそんな理解でいます。
ここ1年くらいは、研究者の方が More is Different と言われる頻度が高まった気がしています👀
人間も子供の頃に言葉を覚えるのと同時にいろいろな技能を習得しているので、AIが言語学習だけで算数できるようになるのも理に適っているのかな？
それを踏まえると、僕たちが言語能力と関係ないと思っていたいろんな能力って単なる言語能力の一部なのかもね
そうかもしれませんね！
認知発達ロボティクスという分野では、機械が学習していくさまを見ながら、人間の認知発達の過程に思いを馳せます。楽しくておすすめの分野です！(^o^)
つよつよーーー＼(^^)／
ですよねー！🤩
In:動画の感想を述べよ。
Out:たくさんRUclips 見てきたけど、一番の衝撃だったかもしれない
とんでもない時代に生まれちゃったなぁ。。。
アイシア「それはとても良かったです！動画を生成したかいがありました！」
アイシア様、ご無沙汰しております。お忙しいところ恐縮ですがこちらの動画をよくご覧になっていただきたいです。
ruclips.net/video/OoRmeMdSdvU/видео.html
GPTで生成した文章がおかしいという現象で、よくあることだとは思いますが、今の技術でこれを少なくすることはできるでしょうか？
もしくはGPT以外（BERTなど）を使えば少しはマシになるとか、解決法はありますか？
うーーーーーーーん🤔🤔🤔
私はこの意見、あまり賛同しません。
まだまだ改善の余地があることは事実ですが、そこまで悪く言わなくてもいい気がします🤔
あと、英語ならもっと普通にすごいと思います👀