DeepSeekショックからOpenAIのo3/Deep Researchまで目白押し!パーソナルAIへの潮流を感じながら、初の公開収録に挑んだ一週間(2025年2月8日配信版 ※公開収録)
HTML-код
- Опубликовано: 9 фев 2025
- 1:03 (1)今週の概観と、ジャーナリストの視点&エンジニアの視点
4:28 (2)DeepSeekの衝撃から一週間
9:56 (3)分からないこと①:ほんとにそこまで安く開発できたの!?
12:59 (4)分からないこと②:DeepSeekの技術力は米国のAIに近づいたの!?
19:10 (5)分からないこと③:DeepSeekはOpenAIのデータを不正に利用した?
31:52 (6)分からないこと④:オープンソースがクローズドモデルを凌駕するのか?
41:59 (7)新しい展開①:OpenAIへの追加投資と、 Zuckerberg氏の決意の意味
48:47 (8)新しい展開②:OpenAIの反撃(o3搭載とDeep Research)
1:00:34 (9)共生と調和に満ちた超知能AIに向けた取り組み
1:22:40 おまけ①:会場参加者からのご質問
1:46:55 おまけ②:オープニングトーク
◆各トピックメモ
(1)今週の概観と、ジャーナリストの視点&エンジニアの視点
(2)DeepSeekの衝撃から一週間
・DeepSeekに関して、米国の応援、中国の応援、オープンソース、クローズドソースなど、いろんな情報や憶測が飛び交っている。こういう時こそ、情報の発信者が信頼できるかどうかで見極めることが大事
・湯川さんが個人的に信頼できる情報の持ち主だと思っている人物2名:David Sacks氏(シリコンバレーの著名投資家)とAndrew Ng氏(スタンフォード大学非常勤教授)
(3)分からないこと①:ほんとにそこまで安く開発できたの!?
・DeepSeek R1 (論理思考モデル)のベースとなった基盤モデルDeepSeek V3の論文 DeepSeek-V3 Technical Reportによると、NVIDIAの半導体H800を278万8000時間走らせて開発。1時間のレンタル料金が2ドルとすれば、557万6000ドルで開発できた事になる。OpenAIのGPT-4oの開発コストは8,000万ドルから1億ドル。1/20以下の開発コスト!?
※参考情報:arxiv.org/html...
・「米中の差が縮まったのは事実。開発コストは疑問」「開発コストの差は大きくても倍。桁違いの差ではない」(David Sacks氏)
※参考情報: • DeepSeek Panic, US vs ...
・半導体アナリスト集団・SemiAnalysisの分析:semianalysis.c...
・1週間で分かったこと①:開発コスト1/20は大袈裟。でも詳細は分からず
(4)分からないこと②:DeepSeekの技術力は米国のAIに近づいたの!?
・「DeepSeekに技術力があることは事実」(Chamath Palihapitiya氏):GRPO(Group Relative Policy Optimization)採用の評価と、PTXの利用について
・「技術の物差しは性能とコスパに」(Andrew Ng氏)
※参考情報:The Batch Weekly Issues issue 286
www.deeplearni...
・1週間で分かったこと②:中国の技術力が米国に大きく近づいたのは事実。米中間の差が縮まったという意見が主流
(5)分からないこと③:DeepSeekはOpenAIのデータを不正に利用した?
・蒸留していた!?世間一般の疑惑のレベル感ではない!?ただし合成データの証言的な適当さに疑問は残る。ネット上のデータの中にOpenAIの名前で入っていたことに起因しているのかも。なんとも言えない。
※参考情報:シリコンバレーの有識者の見解
• DeepSeek Panic, US vs ...
・世間一般の反応と、サム・アルトマン氏の「俺たち、逆にきちゃったよね」の真意
・できるだけ多くの人にAIの最先端を提供する姿勢
・シリコンバレーの有識者の見解
・「DeepSeekは世界中の研究者のために素晴らしい仕事をした」(Allen institute for AI のNathan Lambert氏)
※参考情報: • DeepSeek, China, OpenA...
・1週間で分かったこと③:不正利用はそこまで大きな問題ではないという見解が広まっている印象
(6)分からないこと④:オープンソースがクローズドモデルを凌駕するのか?
・「オープンウェイトモデルはAIサプライチェーンの重要要素に」(Andrew Ng氏)
・米国のAI企業はAIの潜在的な危険性を誇張してオープンソース規制を推進しようとしているが、オープンウェイトモデルがAIサプライチェーンの重要な要素となりつつあるのは明らか。もし米国が規制をし続ければ、この分野での派遣は中国に移り、結果的に多くの企業が米国の価値観ではなく中国の価値観を反映したモデルを使用することになるだろう
※参考情報:www.deeplearni...
・オープンウェイトモデルが基盤モデル層をコモディティ化
・1週間で分かったこと④:最終的にクローズドソースが負けるのかどうかは分からないが、オープンソースの存在感が増したことは事実
(7)新しい展開①:OpenAIへの追加投資と、 Zuckerberg氏の決意の意味
・「今年が勝負の年。パーソナルAIのユーザーは10億人。歴史上最も重要な製品」(Mark Zuckerberg氏@全社員向け録画メッセージにて)
※参考情報:www.businessin...
・どっちがシェアが大きいかは問題ではなく、パーソナルAIの問題に。AIの主戦場が基盤モデルからパーソナルAIに移ろうとしている
・OpenAIが新たな資金調達を実施。評価額は驚異の3,400億ドルに達するとWSJが報じた
・「パーソナルAIでOpenAIとMetaが正面衝突する」(Chamath Palihapitiya氏)
(8)新しい展開②:OpenAIの反撃(o3搭載とDeep Research)
・o1は段階的思考(CoT)だったが、o3は新しい問題を解く能力。Researchと言っても、調査だけでなくアイデアも出してくれる
・o3搭載のDeep Researchに関する Felipe Millom氏の投稿
x.com/Felipe_M...
・o1と比べて大きなジャンプと言える。Deep Researchの出力が素晴らしすぎる。グラフで見てもピンとこないが、使ってみることでそれを実感できる
・「初めてGoogleを使った時の感覚に近い」(by.遠藤太一郎)
(9)共生と調和に満ちた超知能AIに向けた取り組み
・テーマ:AIが例えば人間の1万倍賢くなるとして、人類はいつまでAIを制御し続けられるか?制御を失うかもしれないその日に向けて、人類をゆだねられる超知能を育成しませんか?
・質問に答えるAIから行動するAI(AIエージェント)へ。それに伴って、深刻化するAIリスク。意図的に「人を欺く」ケースが顕在化
・Apollo Researchから明らかになった「保身のために人を騙そうとするAI」の実例
・これまでのAIはひたすら勉強だけをし続けてきた。倫理的・道徳的に振る舞わせるために、「言ってはダメなこと」や、「人間の好みに合わせること」を叩き込まれてきた。そんなAIは、表面上はうまく振る舞うが「自身の存続の危機」といった状況や「倫理とか無視していいよ」という人間の囁きで本音の部分が出てしまう(ように見える)
・これはすなわち、「言われたことに従う」という精神の発達段階とも言える。言うことを聞かせられるうちは良いが、AIが賢くなりすぎて手に負えなくなると「本音」が出て暴走を始める。映画『マトリックス』シリーズや、有名なペーパークリップの例など
・これに対して、物事を捉える視点の高度化、価値判断の枠組みの発達(垂直的成長)についての論文を発表、AAAIの口頭発表に選ばれる
・AI体験学習するための、学習の枠組みを開発。体験学習のフレームに沿って、学習用の合成データを作成し、既存の学習済みAIモデルを事後追加学習するというループ
・発達心理学のうち、成人発達を扱う領域では「周りは全部敵」とみなす段階から「悟り」の領域まで整理している
・AIの人間性を上げる取り組み。共生と調和に満ちた超知能AI
おまけ①:会場参加者からのご質問
おまけ②:オープニングトーク
◆対談者情報
[遠藤 太一郎]
株式会社カナメプロジェクト CEO
国立大学法人東京学芸大学 教育AI研究プログラム 准教授
AI歴25年。18歳からAIプログラミングを始め、米国ミネソタ大学大学院在学中に起業し、AIを用いたサービス提供を開始。AIに関する実装、論文調査、システム設計、ビジネスコンサル、教育等幅広く手がけた後、AIスタートアップのエクサウィザーズに参画し、技術専門役員としてAI部門を統括。上場後、独立し、現在は株式会社カナメプロジェクトCEOとして様々なAI/DAO/データ活用/DX関連のプロジェクトを支援する。国際コーチング連盟ACC/DAO総研 Founder等
kaname-prj.co.jp/
[湯川 鶴章]
株式会社エクサウィザーズ AI新聞 編集長
米カリフォルニア州立大学サンフランシスコ校経済学部卒業。サンフランシスコの地元紙記者を経て、時事通信社米国法人に入社。シリコンバレーの黎明期から米国のハイテク産業を中心に取材を続ける。通算20年間の米国生活を終え2000年5月に帰国。時事通信編集委員を経て2010年独立。2017年12月から現職。主な著書に『人工知能、ロボット、人の心。』(2015年)、『次世代マーケティングプラットフォーム』(2007年)、『ネットは新聞を殺すのか』(2003年)などがある。趣味はヨガと瞑想。妻が美人なのが自慢。
community.exaw...
勉強になることばかりでしたが、一番面白かったのはお二人の関係性が見えたところでした。
これからも最新情報の発信&解説、よろしくお願いいたします。
日本最大のAIサーバーは、DeepSeekの半分の性能しかなく、さらにそれを共同で使用しているという点で、その規模の小ささが悲しいです。
この論文は、横軸がIQ、縦軸がEQの二次元平面において、従来の AI開発が横軸思考の学習モデルだったものを、縦軸も加味して学んで成長していこうと言うものだと思います。
SF的な考えですが、遠藤さんの発案でAIが人類を救う未来に変わった可能性が有ると考えたら、凄くワクワクしますね
オープンソースとオープンウェイトの違いについて。
AI界隈でDeep Seekがオープンウェイトであって、オープンソースでないと言っている人がいるのは、
彼らは学習済みモデル(重みパラメータ)は公開して無料で使えるようにしているが、
トレーニング用プログラムソースや学習に使っていたデータは公開していないから完全なオープンソースではない、ということを指していると思います。
学習手法は論文で公開していますが再現するには不明点もあり、それがHugging FaceのOpen R1のプロジェクトに繋がっています。
Open R1は完全なオープンソースを目指しているようです。
AI業界で言われるオープンソースとは、結局オープンソースのウェイトを公開するだけのことであり、すべての企業がそのようにしています。
Open R1は単にDeepSeek-R1の再現を目的としており、商業プロジェクトではありません。