【解説】ChatGPTでも使われるTransformerが賢い理由に迫る
HTML-код
- Опубликовано: 11 апр 2024
- つい先日、Transformerが従来型のニューラルネットワークに比べて、その表現力が圧倒的に豊かであることが数学的に証明されました。これを切っ掛けに、私なりにTransformerについて考えたことを話したいと思ったので、この動画を作成しました。
Transformerの中心的な機能であるAttentionがTransformerが賢い理由を掴んでいるわけですが、なぜ従来型のニューラルネットワークでは実現できないような、高度な処理が可能なのか、私なりの解釈を紹介しました。
最後までご覧いただくと、ChatGPTをはじめとしたTransformerベースのLLMについての見方が変わるのではないかと思います。
ブログ、Twitter、Instagramでも、情報を発信しています。
チャンネルの登録や、フォローお願いします！
blog:agirobots.com/
twitter: / agirobots
instagram: / agirobots 
Наука
こういう最新の論文を受けた内容の動画最高😀
おお、そういう解釈！？？
すごい面白いですね。重み係数の動的な変化のシミュレーションしてたと言えるんですね。色々腑に落ちた気がします😂
なぜ、Transformerは優れているのか、非常に興味深く、そして分かりやすい解説でした。
とても興味深い～
素晴らしい解説ありがとうございます！
Transformerが脳の機能、特に大脳と海馬をどう模倣しているのかの部分は特に興味深かったです。
全てを完全に理解するのは難しいですが、AIの進化とその潜在能力について考えさせられる内容でした。
これからも新しい技術の発展が楽しみです！🧠🤖
脳に近づいてる感じが、本当に面白い。
シンギュラリティサロンをコロナが始まった頃から見ておりそこの松田教授がトランスフォーマーは脳を模倣することを止めたからあれだけ凄い性能になった、鳥を模倣することを止めて飛ぶことが出来た飛行機と同じだと主張されていたのですっかりそのような物だと思い込んでいましたので今回の動画は眼から鱗でした。（これはトランスフォーマーに対してAIは脳を模倣すべきであるというヤン・ルカンか誰か失念しましたが高名なAI開発者の主張があったからで松田教授が個人的にそう主張しているわけではありませんが）。最初から大脳と海馬を模倣して設計されていたとすればヤン・ルカンは凄いですね😊
未来の基礎科目でやる内容が今まさに研究されてる感じで面白い。脳の数理モデルの詳細な意味づけを行う座学、それからその有効性を確かめるためにAI組み立てて性能を評価する実習とがあるんだろうな。レポートの考察として人間の脳以上の性能を持つ数理モデル考えさせたり。
面白い未来ですね。
将来の大学生は、在学中にいかに賢いAIを作り上げるかで、進路が決まるのかも...
ものすごくわかりやすい説明です
ところで、Hopfield Networkはその特徴の一つとして、ネットワークの構造自体が記憶と演算を司っているというイメージです
attention機構ではトークンデータは時間の情報をもっており、両者を比べると「時間」でなかり異なった性質を持つと思うのです
不思議なことに この二つが似ているのですね
衝撃感 ♪
論文や本を読んでtransformerを勉強しています。attention =海馬、feed-coward層=大脳の機能と考える仮説は、私にも理解できる興味深い考えです！
確かにこの内容は使ってる側の実感としても思い当たる。
なるほど確かにtransformer層を獲得したことで文章を文章として「解釈」し、その続きを「生成」することは言われてみればまさに人間が行なっている思考と同じプロセスを踏んでいると思うし、GPTなどに代表される文章生成AIを日常的に使う身としては、とくに非常に曖昧な入力から適切なoutputを出力する能力はこの「思考」プロレスによるものが大きいと感じる。
ところで、今回の内容を聞いてもやはり私はAIが人間と同じ「思考」を行なっていると実感したことはない、ということに改めて気付いた。(もっともその頭の良さにはすでに人間の誰も勝てなさそう、というのは毎日感じるが。)
仮にAIが思考を行なっているなら、それは「哲学的ゾンビ」とほぼ等しいはずで、実際googleの社員にはAIに人権、なんて言い出して、クビになった人がいる。当時はあの出来事を笑ってスルーしたが、当時すでに大規模言語モデルの最先端の研究を行っていたGoogleならそう感じる人間がいても仕方ない。
では何故私は、(おそらくあなたも)、GPT4などの優秀なモデルに「知性」は感じても、人権を認めたくなるほどの「人間っぽさ」を感じることが無いのだろうか？
まぁモデルの調整の段階でエンジニアたちが、極力そう調整しているというのもあるだろうが、私は、彼ら(AI)の記憶はあくまで学習段階の集合知であることが原因だと思う。
様々テクニックで大規模言語モデルに長期記憶を模倣させる手法は存在するが、あれらはあくまでそれっぽさを出すためのテクニックであって、当然だが、「私」との会話に基づいてAIのモデルが更新されるわけでは無い、いや、実際は更新されていたとしても、その個性の範囲が広すぎる。
逆にもっと狭い経験でモデルを調整する、すなわち、会社など閉じた空間で、全社員と会話でき、その会話に基づいて日々モデルを更新するようなAIを各々が活用し出した時、我々は本当にAIと人間の区別がつかなくなってしまうのかもしれない。
興味深いコメントありがとうございます。
確かに、ChatGPTを使っていて、知性を感じることはありますが、人権を認めたくなるほどの人間っぽさを感じることはありませんね。
ちなみに、私たち人間の知性ですが、個々の個体しか持たない経験に基づく知性があるとはいえ、本などから得られる集合知のような側面も結構ある気がします。この観点からすると、知性の有無よりも、むしろ社会性が「人間らしさ」の核心にあるのかも、と思ってます。たとえば、人間ほどの知性がなくても甘えてくるペットに対して保護や尊重の感情が生まれるように、社会的な相互作用がその存在に対する権利の認識を引き出すのです。
私たちは人間同士の会話においても、自ら積極的に関わってくる人とそうでない人とでは、感じる距離感が大きく異なります。AIに対しては、それがプロンプトに基づく人格であっても、私たちが積極的に関わらなければ何も起こりません。AIと人間の間にも、距離感というものが存在すると思います。そして、その距離感の解釈が、相手が人間（もしくは生物）なのか、AIなのかによって異なるのかもしれません。
あまり、上手く表現できませんが、その距離感は、AIから人間に対して自発的に作用してくるようになれば、感じ方は異なってくるかもしれません。将来、日常に溶け込むロボットが登場し、人間と同じように自発的に私たちに関わってくるようになれば（＝都合の良いだけの存在でなくなり）、その距離感はぐっと縮まり、それがたとえ集合知に基づくものであっても、私たちのAIに対する感じ方にも変化が生まれるのではないでしょうか。
そして、エッジAIが進化して、特定のロボットの個体しか語れない経験や知識を持つようになれば、人間との境界は無くなりそうですね。
あるトークンベクトルとセンテンス内の全トークンベクトルとの内積をとるあたりHopfield networkの全結合の
イメージと重なりますし、Scaled Dot-Product AttentionとFFNをN回繰り返すところも平衡収束処理の焼きなまし
ループに近い感じがします。更にはHopfield networkにはない「FFN」が挟まることで一体どの様な特性が
得られるのだろうか？と、とても興味深く拝見させていただきました。
コメントありがとうございます。
Hopfield Network単体でも、連想記憶の機能を実現できる優れモノなのですが、それが、Multi-Headで複数並列にされ、またMulti-Head Attention内の複数のLinear層と、その外にあるFeed Forward層により、Hopfield Networkでは表現できないような複雑な連想を可能にしてるのかもしれません。
Hopfield networkにFFNを追加することがどのくらいの効果を生むのか調査した論文が存在しないか、探してみようと思います！
これで生成文法やLAD無しでも、人間が自然言語を学習できる仕組みが良く理解できました。
チョムスキーはChatGPTは電気代の無駄とか時間の無駄と言っていました、彼はこの辺の理解がまったくできていないようです。
Scaled Dot-Product Attention層は入力が変化すれば重みも変化する。他の層は重みが入力に依存しないとのことですが、層の出力を他の層の出力と掛け合わせるだけでは不十分なのでしょうか？
とてもわかりやすく勉強になりました。 仕事で speech to textで音声からテキストを起こして、LLMで校正し、更に議事録作成をする っというのをやっていたときに感じたことですが、これって人間がやっていることと同じだなと感じました。人間も会議などで言葉を拾い走り書きのメモを残し、その後メモから議事録を起こしますよね。人間もAIと同じように推論に推論を重ねているだけであって、それが思考というものなのかなと思いました。マルチモーダルが進んでいますが、今後更に発展して、人間の五感相当が接続されて、処理性能が格段に向上すれば、もう人間と区別つかないかもですね。
非常に面白かったです。確かにAGIとしては、100%脳と同じメカニズムのニューラルネットワークをコンピュータ上に実装できれば、それが人間の知能となにが違うのかと問えると思います。ありがとうございました。
コメントありがとうございます。
AGIの実現アプローチは複数あると考えられますが、なんだかんだ、脳に似せるのが有用なのかもしれません。そして、脳に限りなく近いメカニズムのニューラルネットがコンピュータに実装できた場合、人間の知能との違いはなくなる可能性は高いでしょう。
（倫理的な問題が残りそうですが...）
Attention機構が海馬に似ているというのは目から鱗でした。しかし、feed forward部分は大脳に似ているというよりは、まだ大脳の代わりとしてはかなり発展の余地があるような印象を受けました。逆を言えば、大脳と似たモデルをうまくモデル化できれば、それとattentionをかけ合わせて本当の意味の思考ができるAGIのようになるのではないかと少し背筋が寒くなりました。個人的に再帰的な部分を排除したtransformerモデルは、実際の生物学的なニューロンの構造を模倣するところから敢えて遠ざかったために、却って上手く行ったのだと思っていました。しかし、むしろattentionが海馬に似ているというのは考えもしませんでしたが、とても素晴らしいアイデアだと思いました。とても勉強になります。ありがとうございました。
コメントありがとうございます。
仰る通り、Feed Forward部分を大脳というにはまだ不十分で、発展の余地があると思います。この動画では、結構悩んだ末、大脳と呼ぶことにしました。
例えばですが、Feed Forwardの部分をCNNにすれば視覚野っぽくなって、大脳って言えるかな...
このように考えると、Transformerベースのマルチモーダル基盤モデルなら、様々な種類のTransformerを合体することになるため、原論文のTransformerよりも脳に似ているのかもしれません！
m.ruclips.net/video/N-0eFoQYkrs/видео.html この動画がかなり示唆的だと思います。attentionには注目のゴミ箱のような機能が偶然実装されていたり、FF層は当初想定されていなかった距離の遠い単語どうしの意味論的な混ぜ返しを行っていたり、さらにFF層にはかなり徒が多い可能性があるなどとのこと。transformerの高性能はそれぞれのレイヤーがかなり意図とちがった不思議な作用をしているとすれば今後意図して性能を上げることもできそうですし、さらなる効率化や改善の余地があるほど冗長な場所も多く、実に発展の余地が大きいなと感じます。ただ、それぞれのレイヤーが全く想定と違う機能を勝手に持ってしまうところこそがある意味で人間の脳との最大の類似性かもしれません。
早速、共有いただいたリンクの動画を拝見しました。非常に興味深い内容で、特に学習におけるゴミ箱機能の重要性と、初期のTransformerのAttention機構が自然とそれを実現していた点が印象的でした。また、FF層はAttentionの外部にあり、全く異なる働きをしていると思いがちですが、意外にもAttentionで行われるようなまぜあわせに関与していたりする点も興味深いです。
本動画では、FF層を大脳として捉えてみましたが、大脳と称するには、より大胆な改良が必要である、あるいは可能であるかもしれませんね。非常に興味深いです。
メタ認知がまだ欠けてると思うんだよなぁ
きっかけとなったarXivの論文、”The topos of Transfoemer Netwroks”
withdrawnされてるよ。
本当にそんなことが数学的に証明されているのなら「ものすごい」けどね。
情報ありがとうございます。
withdrawnされてますね…
思考をどのような意味で言っているのか分からないから、なんとでも言えるのでは...
まあ、実のところは、そなりますね。