OpenAIのGPT4oは本当に圧倒的に強いのか？解説してみた
HTML-код
- Опубликовано: 11 июл 2024
- こんにちは、にゃんたです。
今回は先日リリースされたGPT4oについて、
性能をちゃんと見ながら本当に圧倒的に強いのか？といことを解説してみました😆
実は、OpenAIが発表した性能のグラフはちょっと突っ込みどころがあったりします…！
■LINE公式で限定コンテンツ配布中！
▼登録はこちらから行えます▼
liff.line.me/2004040861-3Jvq4bAG
今ならキーワード「プレゼント」と入力すると
・ChatGPTのプロンプトまとめ
・Caludeのプロンプトまとめ
・Difyのまとめ
を無料でお渡ししています！
■チャプター
00:00 オープニング
01:38 GPT-4omniの性能
10:06 画像認識精度について
15:24 コスパについて
■以前の関連動画
OpenAI最新モデル！GPT-4oについて徹底解説してみた
• OpenAI最新モデル！GPT-4oについて...
OpenAIのGPT-4oの画像生成がどう変わるのかを解説してみた
• OpenAIのGPT-4oの画像生成がどう変...
■Udemy
ChatGPTAPIの使い方講座も作成しているので興味があれば是非！(クーポン発行してます！)
linktr.ee/nyanta_youtuber
■X, インスタグラム
/ vtuber_nyanta
/ vtuber_nyanta
■note
note.com/nyanta123
■言語モデル関連のおすすめ書籍
[書籍]大規模言語モデルは新たな知能か――ChatGPTが変えた世界
amzn.to/3YhtYCk
[紹介動画]一流研究者による大規模言語モデルの解説がわかりやすい
• 一流研究者による大規模言語モデルの解説がわか...
■にゃんた愛用のガジェット達
HHKBのキーボード(タイピングが心地よい！)
amzn.to/3VHE4Nd
パームレスト(外出時もタイピングの位置が安定する)
amzn.to/3Rtcz7G
マウス(手の負荷が下がる！)
amzn.to/3KI72q7
iiyamaモニター(ChatGPT用にディスプレイが必要･･･！)
amzn.to/3VpljNd
モニターアーム(コスパ良かった！)
amzn.to/4bZMTaJ
■連絡先(全て返信できないかもしれません！)
vtuber.nyanta@gmail.com
※上記製品リンクURLはAmazonアソシエイトのリンクを使用しています。
---------------------------------------------------------------------------
■楽曲提供
フリーBGM DOVA-SYNDROME : dova-s.jp/
効果音ラボ : soundeffect-lab.info/
■編集
にゃんた妻
一言：比較表の部分の編集、頑張りました😄
---------------------------------------------------------------------------
#AI #生成AI #python #プログラミング #ChatGPT #Gemini
![[株式会社サイバーエージェント様 講演] サイバーエージェントの生成AIへの取り組み - 独自の日本語LLM（大規模言語モデル）公開、生成AI徹底理解リスキリング](http://i.ytimg.com/vi/m2Oi5MhrboM/mqdefault.jpg)
面白い比較！評価基準しらなかったので勉強になりました！！😊
ありがとうございます！
そう言って貰えてまとめた甲斐がありました😊
にゃんた様へ
本当に技術用語やリテラシーが凄いですね❗
僕なんかはまだよろよろというスピードでございます。
ありがとうございます！
私もわからないことだらけで勉強中ですよ😆
マイペースで頑張りましょう😊
4oは嘘をつくのが巧みになっている印象です。Tableauに関して言えば、完全にGPT4>4oですね。一方で、RAGの精度については、4oはかなりのものですね。
ありがとうございます！
精度が上がっていくとハルシネーションも巧みになっていくのかもしれませんね･･･笑
GPT4に切り替えて検証はしていませんでしたが
確かにタスクによっては最適なものを探すの良さそうですね😲
Claude 3.5 Sonnet…いきなり何やらすごいものが出てきましたね…(ボソッ
めちゃ凄そうで撮りたかったのですが
外出中で撮れず‥😢
精度とは違った観点での比較も気になります…！個人的にはGPT4oは丁寧で文章が長くなる傾向があり要領を得てないなと感じることもあるのですが、Gemini1.5proは取捨選択できていて会話しやすくコミュニーケーションが気持ちいいなと感じます。これ精度とは違う論点ですよね？実装方針の違いとかあるのかなあと。たぶん多くのユーザーにとっては数%の精度の違いよりUXが優れてる方を選ぶん気もするんですよね。なんだかよく分からないので解説いただけると非常にありがたいです🙇♂️🙇♂️🙇♂️
ありがとうございます！
単純に正しさとは別で、モデル毎に出力する文章の特徴(GPT4oは長い、Opusはユーザーに寄り添うなど？)があったりしますよね！
そこらへんは好き嫌いもあるかもですが、
Gemini 1.5 Proも使い込んでみて各モデル解説できたら良さそうですね！🤔
いつも勉強させて頂いております。
GPT-4oの強みは、マルチモーダル性にあると聞いたことがあります。全てのタスクを、一つのモデルで扱うこと、個々の性能で見ると下がるけれども、総合的性能では向上する。なのであえて、言語モデルに特化したGPT-4も選択できるのかなと思っています。
ありがとうございます！
おっしゃるように音声とか画像などを含めて利用したい時はオムニを使って
テキストのみの場合は、GPT4を使うとか使い分けも良いかもしれませんね🤔
API経由で使う時は、レスポンスの速さが求められるケースも多いと思います。Groqのモデルが、あまり日本語が得意じゃないということで、4oは性能が高いのに速いので結構アドバンテージがあると思います！
実用性を考えたら速さも重要な評価指標ですよね！
読んで理解するスピードより速く出力されている気がするので
対話用途ではこれ以上は必要ないかもですが･･･笑
今回のGPT-4oは、あくまでマイナーチェンジかなと思います！
Open AIは、わざと競合よりも少しだけ性能をアップさせている印象です笑
それでもこの賢さは素晴らしいですし、より実用的です！
現在も仕事でガシガシ使っていて、精度がかなり上がっていることを実感しています！
GPT-4oの一番の利点は、何度リクエストを投げても制限がかかりにくくなった点です！
実用性の面では圧倒的にGPT-4oですねー。
以前、課金してOpusも使っていましたが、GPT-4oの方が👍
確かに今回は、音声対話機能がメインで
そのために速度重視にしただけで
性能が高いモデルも持ってそうですよね😆
GPT-4o回数制限緩いのもヘビーユーザーにとっては嬉しいですね😊
言語モデルの比較データは英語でのパフォーマンスですよね？日本語だと結果がかなり違うのではないでしょうか。個人的にはGPT-4oよりもClaude3のほうがはるかに疎通性が高い気がします。
おっしゃるように日本語だと結果が変わってきそうですね！
Claude3の方がユーザーに質問を投げかけてくることが多く
対話として意図を伝えやすいように感じますよね～🤔
88.7％でも86.8％でもいいのですが、誤差の範囲だと思います。
ところで、ここまでくるとそろそろLLMの限界まで来ているように思えます。
もし、GPT5が出て、性能が92％とかになったら、LLMは限界にきていると解釈できないでしょうか？
AIモデルさんたちも、インスタの自撮り画像盛りまくっちゃうお年頃お嬢さんみたいな感じですね＾＾
AIモデルは精度の高さが命だからしょうがない
チャットGPTにアップしてもテキストが、抽出できませんでした。と表示されてしまうPDFがあるのですがどんな原因と解決策が考えられるか教えてもらえないでしょうか😢
私も手元で再現できていないので解決策が提示できませんが、
画像などがPDFに含まれていると
テキストとして認識できずエラーが出ているのかもしれません･･･！
ADAで読み込んでいると思うので、エラーページは無視してテキストを抽出してください
などとプロンプトを入れたらどうなんでしょう🤔
プログラミングに関する精度に関しては、GPT4>GPT4oだって言ってる人も結構いる印象がある気がしますねぇ
ありがとうございます！
他のコメントでもGPT4の方が良いという方もいたのでここらへんは結構気になりますね🤔
正直よくわからないけど最強やで
GeminiはCoTなしなんでしょうか？
画像の評価に関してはCoT無しだと理解してます！
Gemini1.5proも凄いですが、本当に凄いのはGemini1.5flashだと思います。はっきり言って値段設定がおかしいと思うレベル。
しかも、100万トークンまで使えますしね。
APIを使うサービスでは、Gemini1.5flash以外選択肢はないのではと思いますね。
あまり注目されていない？気がしますが
flashコスパめちゃくちゃ良いですよね😆