【sakana.aiの研究】国内最速でユニコーンになったスタートアップは何がスゴイのか？

[@サチ-u1x]

ニュースなどで気になってたので、とても勉強になりました！また続編も楽しみにしています☺️

[@shinmi3945]

大変勉強になりました。ご解説ありがとうございます

[@-tomosdigitaleconomy2814]

ご覧になって頂き有難うございますm(__)m

[@aki2045kyoto]

Sakana.Aiがテーマになるとは思わなかったです
とても面白かったです

[@-tomosdigitaleconomy2814]

有難うございます 今後も少しでも御参考になるような情報をご提供できれば幸いです。

[@s009kawa]

遺伝的アルゴリズムはちょっと気の利いたランダムサーチぐらいの認識。
淘汰を担当するAIがカギを握りそうだけど、いわゆる相転移(これまでのAIにみられるような大規模化による知能の獲得)が起こるとは考えづらい。
LLMとの連携は面白そうだから期待したい。

[@メロンソーダ-n6k]

これからの時代は色々なAIが生まれて、国家ではなくAIが国家以上の影響力をもつ未来が見えました。

[@-tomosdigitaleconomy2814]

ご覧いただきありがとうございました

[@REIA-t1]

分野は違いますがメルカリみたいに日本国民みんなが使っているようなサービスに発展して欲しいですね

[@shinsokayborg]

「小さなLLMを組み合わせる」という話を聞いたとき、正直なところ「これで日本は世界一の大規模言語モデルを目指すのを諦めたのか」と、少し落胆しました。
私自身も言語モデルを開発している身として、本音を言えば、大規模で性能の良いモデルを作りたいし、それを使いたいという気持ちがあります。しかし、現実的にはリソースが限られているので、小規模モデルに頼らざるを得ない状況です。
その中で、「どうすれば小規模なモデルでも戦えるか」を模索し始めた結果が、複数の小規模LLMを組み合わせるという発想に繋がります。
今回の取り組みも、同じような背景や考え方に基づいているのではないかと感じています。

[@unlabeled000]

大和魂ではなく日本にお金があるから以上の理由が見つからない笑

[@小山大地-q8e]

うーん、説明聞いてもう旬が過ぎた感を覚えました。サカナAI。それだけ想像以上にテクノロジーの進化が早い。従来の資本主義ベースのスタートアップ論理がだんだん厳しくなると確信しました。

[@tenggutuomi]

IOSとAndroidの違いに似てますね。
IOSやOpenAIは中央集権的だが、AndroidとsakanaAIは水平分散的
今後5年は中央集権的なOpenAIの方が優勢だろうが、10年後はsakanaAIの方が性能高くなってるだろうね。

[@luxsolis]

結局とんでもない金をかけてやって開発していかないと最先端には届かない。残念だが将来性には疑問がある。

[@Dont_run_away_from_change.]

学習時間が1日！
GPUなどのリソースは全然必要ない！
お金はめちゃめちゃある！
なのに、成果物なし

[@キャプテンさかな]

AI同士で掛け合わせて子供を作るっていうのがよく解りません。
出来れば説明をお願いします。

[@-tomosdigitaleconomy2814]

ご質問ありがとうございました。私自身はLLMの専門家ではないので詳細に説明することが出来なく申し訳ございませんが、Sakana.ai社長のDavid Haさんが以下の論文を公開されています。
arxiv.org/abs/2403.13187
モデルマージ自体は様々な議論があるようで、マージする元のモデルに関するライセンスの問題なども含めて議論は継続中という感じのようですが、関連論文を日本語で説明した公開文書なども多くなってきており、私は以下のGMOさんの説明などは勉強になるなぁ、と思っています。
recruit.gmo.jp/engineer/jisedai/blog/sakana-ai/
以上、回答になっていれば幸いです。