Googleが開発したLLM「Gemini」を本音で解説【結論: ChatGPTの勝ち】
HTML-код
- Опубликовано: 27 авг 2024
- Googleが生み出したLLM「Gemini」を忖度抜きで解説します。
主にChatGPT vs Google Bard, GPT-4 vs Gemini Ultraでの比較。
かかってこいRUclips運営
取り扱うAI:
・ChatGPT(GPT-3.5, GPT-4)
・Bard(Gemini Pro)
・Gemini Ultra
BGM:
・かずち - 青空空港
・茶葉のぎか - Soda_Soda
・しゃろう - superstar
・しゃろう - 303PM
・さんうさぎ - え！？やば、、、、
VOICEVOX: ずんだもん
X(Twitter): / darmaakabeko
LLMの開発競争はいいことだ。
巨大IT企業が名誉をかけて競争しているので、使う側としては勝手に性能が向上していくから。
美味しい立場ですよね。全く
今あるAI情報動画の中で1番面白いし、信用できます！
ありがとうございます！
「信用できる」すごく嬉しいコメントです！
冷静に検証してくれるチャンネルは貴重なので感謝
ご視聴ありがとうございます。
この路線で行きます。
Intellij から AI Assistant なるものも出ましたね（買いました）、後ろは各モデルの混合使用らしいけど……使いますかね、Gemeni（今日の使用感はほぼChatGPT 3.5）
AI Assistantなんてあるんですね。
気になります。
試してみたら日本語OCRの性能が良かった（GPT4は画像から日本語の認識が弱い）
なるほど、興味深い情報ありがとうございます！
だとしたら一端ではgpt-4を確かに超えたのかもしれません。
マイクロソフトはChatGPTを維持するのに月７０万ドル、１ドル１４０円で9800万円・・・つまり一ヶ月で日本円にして約1億かかるっているとのこと。
これから察するに人件費もあるだろうが、大量のサーバーとそれを動かすとんでもない電気代でいまのAIは稼働しているということだろう。
もちろん、人間並、それ以上の認識力を高める研究も必要だろうが、運用コストの低価格化が進まないといつかAIは行き詰まると思う。
こんな感じでは、アトムやドラえもんの誕生なんて夢また夢だからね。
そう考えると人間って3日ぐらい飯を食わなくても生きれるしそこまで判断力が落ちるわけでもない。
人間ってそれが持つ性能に比べて維持コストがAIなんか比べて遥かに低いのだよね。
タイトルに結論書いてくれるのありがたい
良かったです！
分かりやすい解説ありがとうございます！
X周りでジェミニすごいと騒がれていて自分も興奮していましたが解説を聞き冷静になれました。
ありがとうございます！
参考になれたなら嬉しいです。
1日でこれだけ綺麗にまとめるのは凄すぎる
Googleはかなり焦ってるように見えますね
あんな小細工までして発表したということは
ありがとうございます！
かなり必死さを感じますよね。
GoogleのGPT超え詐欺は飽きた。
今は「次こそは超えるんだ」て具合でしょうか。
Gemini 凄いですね。
勉強になりました。
ありがとうございました。
こちらこそいつもご視聴ありがとうございます！！
結論がタイトルに書いてあるの好き
簡潔に！
普通にインパクトはかなりある。
性能云々というより、付き合っていく上でGPTは抑え込められ過ぎていて性格は難がある。
Duplexのときはそうなったけど、このカジュアルさがナーフされなかったら普通に使える。
Googleもかなり体面を気にする企業ではあるので、果たしてどうなるか・・・
「ものすごく重要な事が書いてる気がしますが、英語は分からないので無視しましょう。仕方がありませんね。」めちゃ面白いｗ
その一瞬だけプロ驚きヤーに憑依されてしまいました
素晴らしい慧眼です
ただ、ベンチマークについては5:00に表示されている表のMMLUの比較において、Gemini UltraがCoT@32を使い90.04%に対し、GPT-4もCoT@32を使い87.29%という事で同じ手法を用いたとしてもGemini Ultraが上回っているように見えます。
これも数字のマジック的なものなのでしょうか？
ありがとうございます！
質問についてですが、
「cot@32のgemini > cot@32のgpt-4 > 5
shotのfpt-4 > 5shotのgemini」という感じで、一長一短のスコアとなっています。
...が、テストの方式自体をgoogleが選んでいることを考えると最終的にgeminiが上回っているとは言い難いと思います。
@@darmasama なるほど、そういう事ならばMMLUの比較においては両方ともCoT@32を使ったとすればよかったのに…とも思いますが、ここは推測しても仕方のない事ではありますね。
Claude2 もllama2 もおそらくGeminiもGPTになかなか勝利できないのは、RLHFの差が大きいんでしょうかね？
0:40 ITmediaがgoogle日本法人に問い合わせたところ、日本では「ジェミニ」とするようですね。
Googleが必死こいてもまだOpenAIのほうが上って事実が凄すぎる
Googleからしたら歯がゆい思いでしょうね...
そもそも広告で稼ぐビジネスモデルと相性が悪い生成AIに対して、Googleがどう向き合っていくのかに興味がある。
そうなんですよね。
どちらが勝つにしろ、従来の集金方法は通用しなくなるはずで。
ありがたい検証😮
お役に立てたなら良かったです！
Don't be evilを捨ててAI開発者が辞めていってた頃からgoogleは滑落し始めてたんだな
googleはAI開発競争にかなり危機感を持ってるんだろうなあ。
ある意味で、なかなか死に物狂いを感じます。
動画見て感動してたのに演出だったとは、、、恥かく前に知れてよかった
ご視聴ありがとうございます！
嘘が蔓延してましたから、仕方がないです
新しいLLMが出るたびにGPTを超えてるw
まるでボジョレーヌーヴォーのキャッチフレーズ
英語がわからないのに翻訳するずんだもん...
それはともかくGoogleは発表してから実際にリリースするまでかなり長いんですよね。Ultraは一体いつ使えるようになるのか。OpenAIはその点発表すると即日使えるようになります。
少し補足ですがHellaSwagは例えば文章の後半を書かせるなど人間が得意とするけどLLMがあまり得意ではない分野でこれは普通の会話継続に大きな影響を与えます。と言うことで実際に使った感じではおそらくChatGPT-4の方が優れてるかと思います。
>>実際に使った感じでは
そうですよね！指標がちょっとせこいなあと思います。
Geminiの読み、Google公式で英語読みは「ジェミナイ」、日本語読みは「ジェミニ」ってことになっているという噂も…？
結局ジェミニになってしまいました。
こんな事なら
5:00の表の日本語訳ほしー
Chatgptに任せられるかも...
nanoがスマホ上でスタンドアロンなGPTsチックなアシスタントになることを期待したけど
まだまだ先そうですね
流石にパラメータが少ないですからね。
どこまで出来るかは楽しみです
英語で試した感じ以前の惨状を考えれば手放しに褒めたくなるくらいの性能はあった。日本語とマルチモーダルの対応が来れば意外と人気が出そうな気もする。
APIの料金も安めときて、意外と使っちゃうかもしれないです！
GeminiはLLMではなくLMMである（重要）
ともいう！
うお、あざす
こちらこそご視聴いただきありがとうございます！
Bardは日本語ではまだGeminiに切り替わっていないのでは?
英語で話しかけるだけでなく、設定を英語にしなければならなかったはず
はい、そのようでした！
主の考察いつも素晴らしいです。gemini proは実際に触ってみて、画像認識もいまいちだったので、gpt4を超えたとはとても思えません。
ありがとうございます！
Ultraが楽しみなところです。
グーグルアースを見たときはグーグル一強かと思いきや、彗星の如く現れたchatGTPであっという間にグーグルを霞ませた。バードはいまいちと思う。また世界中のどこかのガレージで、全く新しい何かを開発しているのが一番怖い。
最近はオープンソースもかなりの攻勢を見せてきました。怖いと共に楽しみです。
Bardの評価が病的な嘘つきだったしペットみたいに開発者に似たりするんですかね…
上手い笑
せめてGemini本人は正直者であって欲しいですが
せめてAPIタダで使えるとかないかな
まさか本当にタダで使えるとは...
あの映像、デモ用かもしれないんですね😅 入力は映像ではなく、写真だったかー！十分すごいですが、宣伝のせいでマイナス印象与えてるかも。
結構広まっちゃいましたね。
正直「公式動画にそう書いてるやん」という感じですが...
GoogleもAI Allianceに加われ
両団体の実態が気になります。
Google追い詰められてるとは言え、ちょっと情けないなぁ…
だんだんダサくなってきました。
言語ツールなのに日本語でしてくれないんですね。
まあ、時間の問題とは思います！
例の映像自体が都合よく編集した捏造動画って速攻でばれてたの草。 Google追い込まれすぎだわな。
これに関しては、底が露呈した一件でした。
ちょっと誇大っぽくて怪しいなと思ってたんですが、やっぱりちょっと微妙そうですね。
そもそも今のOpenAI内部にはもっと凄いのがあるでしょうし、まだしばらくはOpenAIが独走っぽいですね
4.5のリーク情報も出ましたね。
Googleの気持ちよ。
新AIが発表されるたび、GPT4の凄さばかりがより明らかになる流れが続いてますね。
倫理コードを外したGPT4があればサイコーなんじゃが。
倫理無視のgot-4, 一回触ってみたいです。一回だけでいいから。
推論だから、アウトプットをインプットにフィードバックさせて何度も検証させた結果だと思う。それをやると計算リソースが爆上がりしてしまうから出来るけどやらないんだろうなと。デモや研究では使えるけど。
最終的には0ショットの性能が一番ですよね。
この分だとgpt-4の方が一歩先をいきそうな。
数値の比較が稚拙すぎてGeminiにシナリオ書かせたんじゃないかと思えるレベルですね
ハルシネーション笑