Fine-tuningをやる時に知っておくと良いことを解説！
HTML-код
- Опубликовано: 25 июл 2024
- #ai #python #プログラミング #gpt4 #langchain #chatgpt
こんにちは、にゃんたです。
今回は先日OpenAIのFine-tuning機能がリリースされたことを受けて
Fine-tuningする前に知っておくべき研究について紹介しました。
Fine-tuningでは出力形式の指定以外はあまり学べないかもしれません･･･！
00:00 オープニング
01:04 ファインチューニングとは？
04:43 研究紹介①
06:55 研究紹介②
11:37 まとめ・注意点
■以前の関連動画
衝撃の新機能！OpenAI Fine-tuningの機能とやり方をコード付きで紹介
• 衝撃の新機能！OpenAI Fine-tun...
■Udemy
ChatGPTAPIの使い方講座も作成しているので興味があれば是非！(クーポン発行してます！)
linktr.ee/nyanta_youtuber
■Twitter
/ vtuber_nyanta
■動画で紹介した論文
・Do Models Really Learn to Follow Instructions? An Empirical Study of Instruction Tuning
arxiv.org/pdf/2305.11383.pdf
・The False Promise of Imitating Proprietary LLMs
arxiv.org/pdf/2305.15717.pdf
■言語モデル関連のおすすめ書籍
• 一流研究者による大規模言語モデルの解説がわか...
・大規模言語モデルは新たな知能か――ChatGPTが変えた世界
amzn.to/3YhtYCk
※上記製品リンクURLはAmazonアソシエイトのリンクを使用しています。
------------------------------------------------------------------------------------------------------
■楽曲提供
フリーBGM DOVA-SYNDROME : dova-s.jp/
効果音ラボ : soundeffect-lab.info/
------------------------------------------------------------------------------------------------------
![Finesse2Tymes - Pretty Ricky [Official Music Video]](http://i.ytimg.com/vi/xIoP_mhYRT0/mqdefault.jpg)
いつも最新情報ありがとうございます！ ファインチューニング、現状の3.5でも、AIキャラクターの雰囲気一定に保つのにはかなり使えそうですね￥ｖ￥
ありがとうございます！
そうですね！
簡単に試せますし、キャラクターの人格を持たせるとかは良さそうですよね😊
確かにその通り。そもそも未翻訳であるのか...(それ以外の理由なのか?よく理由はわかりませんが)、とにかく日本語の日常会話であまり耳にしない単語が初期から多く出てくるので、
日本語のみの話者の方が、せっかくAIについて学習を初めてもその点で躓いてしまっている人も多いように感じます。
その為、このように、''意味のニュアンスを日本語にする動画''は大変需要があると共に、また有意義であると思った次第です。
素晴らしい内容でした。では今後とも、陰ながら応援しています♪
コメントありがとうございます！😆
そのように言っていただけて良かったです！
これからも頑張ります😊
いつも動画配信ありがとうございます。最新の流れをトライして共有してくれるのはとてもありがたいです。いつも参考にさせてもらってます！
ファインチューニング難しいですね。口調や固有の知識などをファインチューニングさせたのですが何なら日本語すら怪しくなりました。
データ量が多いと学習コストも上がるので公式の言う通りプロンプト（システムメッセージ）で工夫した方が早いっちゃ早いし精度高いなと言う印象です。
ありがとうございます！少しでも参考になったようで良かったです！
ファインチューニングで日本語すら怪しくなることあるんですね😲
貴重な情報ありがとうございます･･･！
中々ファインチューニング使いこなし難しそうですね～🤔
Udemy第2弾 楽しみです！
いつかGoogleコラボに書いてくれたコードを
Pythonでも活用できる
初心者向けの講義内容があれば嬉しいです！！
ありがとうございます！Udemyも頑張ります😂
Google Colab環境ではなくて、ローカル環境のセットアップってことですかね！
仕事とかでColab使えない人とかも結構いそうですから需要ありそうですかね🤔
ありがとうございます
Fine-Tuningは「カンニングしても頭が良くなったわけではない」と言う例えは秀逸でした
確かに、Vicunaを使って見ても「日本の首都は？」などの良くある質問には答えられても、仕事関係の質問には全く約にはたたず、やはりGPT3.5以上のパラメータ数がないと実用にならないと感じてます
ありがとうございます！
ちょっと触っただけだとわかりませんでしたが、実感としてもGPT3.5程の知識が無いという感じなんですね🤔
研究結果正しそうですね･･･！😆
@@aivtuber2866
知識が足りないことよりも、プロンプトに対する論理的な理解力と、その指示に対して回答を生成する論理的な推論力が、やはり大幅に足りないと感じます
まさに、地頭が良くない感じです
小さなLLMを使いこなすには、プロンプトエンジニアリングを駆使して、抽象的な指示をLLMが理解できる小さなタスクに分割した上で、chainで繋げる様な工夫が必要そうで、試行錯誤中です
@qwerty-td6qt
ありがとうございます！
なるほど･･･理解力や論理的な文章の生成が難しい感じなんですね🤔
小さいLLMでもタスク分解することで、
精度出せるかは面白い取り組みですね😊
結局専門性の要求される特定の場面においてのみ、プロンプトによるグラウディングとかプラグインではなくファインチューニングの方がいいということでしょうか？過学習の懸念を考えるなら新たに読み込ませる場合量は抑えめのほうがいいということでしょうか？
質問ありがとうございます！
研究では、学習するデータと同質の質問にのみ答えさせる用途では
上手くいくケースがあった(NQの模倣学習による精度向上した)ということなので
その専門性に関する学習データを十分用意できて、用途がその専門性のみ聞くのであればfine-tuningを検討する価値がありそうですよね🤔
(どれくらいデータがあれば十分か？というのは未知な気がします･･･！)
過学習(ノイズの学習)というよりは、学習するデータの分布が偏ることによる
出力分布の偏りが発生することで精度が落ちていると理解していました。
この場合でも解きたいタスクに対して、必要なデータの網羅性は
上げた方が良いので一概にデータ量は抑えた方が良い
とは言えないかもしれません🤔(すっきりしない回答ですみません･･･！)
おお、結構そうかな、と言う感じでしたね。小さい言語モデルは真似だけ上手い、頭良くなってる訳じゃない、専門性だけならいいかも、な話もなんかこう人間世界とかなり近いアナロジーが成り立っちゃうのが面白い😂
なんかこう専門性と出力形式に特化したLLMを補助として使いながら、頭のいい大規模LLMが動くと、ヘッドは一番頭が良くて、それに各種専門家とアシスタントが付く、みたいになるので、一般的な専門家のチーム構成みたいになりますね。
これも人間社会がなぜそうなるのか、みたいな所と繋がってる気もします。
AIも今後はチームになって行くんでしょうね😋
確かに人間世界と同じ感じが面白いですね😆笑
> AIも今後はチームになって行くんでしょうね😋
モデルを沢山作って用途に応じて使い分ける感じですね！
GPT4も内部で複数のモデルを組み合わせてると言われていますし
自分で作る場合も自前でそういう風になっていく可能性ありますね！😊