Видео

情報ありがとうございます。 withdrawnされてますね…

ありがとうございます！

現状のAIですと、人間からのフィードバックなしには、難しいでしょうね...

興味深いコメントありがとうございます。 確かに、ChatGPTを使っていて、知性を感じることはありますが、人権を認めたくなるほどの人間っぽさを感じることはありませんね。 ちなみに、私たち人間の知性ですが、個々の個体しか持たない経験に基づく知性があるとはいえ、本などから得られる集合知のような側面も結構ある気がします。この観点からすると、知性の有無よりも、むしろ社会性が「人間らしさ」の核心にあるのかも、と思ってます。たとえば、人間ほどの知性がなくても甘えてくるペットに対して保護や尊重の感情が生まれるように、社会的な相互作用がその存在に対する権利の認識を引き出すのです。 私たちは人間同士の会話においても、自ら積極的に関わってくる人とそうでない人とでは、感じる距離感が大きく異なります。AIに対しては、それがプロンプトに基づく人格であっても、私たちが積極的に関わらなければ何も起こりません。AIと人間の間にも、距離感というものが存在すると思います。そして、その距離感の解釈が、相手が人間（もしくは生物）なのか、AIなのかによって異なるのかもしれません。 あまり、上手く表現できませんが、その距離感は、AIから人間に対して自発的に作用してくるようになれば、感じ方は異なってくるかもしれません。将来、日常に溶け込むロボットが登場し、人間と同じように自発的に私たちに関わってくるようになれば（＝都合の良いだけの存在でなくなり）、その距離感はぐっと縮まり、それがたとえ集合知に基づくものであっても、私たちのAIに対する感じ方にも変化が生まれるのではないでしょうか。 そして、エッジAIが進化して、特定のロボットの個体しか語れない経験や知識を持つようになれば、人間との境界は無くなりそうですね。

面白い未来ですね。 将来の大学生は、在学中にいかに賢いAIを作り上げるかで、進路が決まるのかも...

まあ、実のところは、そなりますね。

コメントありがとうございます。 Hopfield Network単体でも、連想記憶の機能を実現できる優れモノなのですが、それが、Multi-Headで複数並列にされ、またMulti-Head Attention内の複数のLinear層と、その外にあるFeed Forward層により、Hopfield Networkでは表現できないような複雑な連想を可能にしてるのかもしれません。 Hopfield networkにFFNを追加することがどのくらいの効果を生むのか調査した論文が存在しないか、探してみようと思います！

コメントありがとうございます。 仰る通り、Feed Forward部分を大脳というにはまだ不十分で、発展の余地があると思います。この動画では、結構悩んだ末、大脳と呼ぶことにしました。 例えばですが、Feed Forwardの部分をCNNにすれば視覚野っぽくなって、大脳って言えるかな... このように考えると、Transformerベースのマルチモーダル基盤モデルなら、様々な種類のTransformerを合体することになるため、原論文のTransformerよりも脳に似ているのかもしれません！

m.ruclips.net/video/N-0eFoQYkrs/видео.html この動画がかなり示唆的だと思います。attentionには注目のゴミ箱のような機能が偶然実装されていたり、FF層は当初想定されていなかった距離の遠い単語どうしの意味論的な混ぜ返しを行っていたり、さらにFF層にはかなり徒が多い可能性があるなどとのこと。transformerの高性能はそれぞれのレイヤーがかなり意図とちがった不思議な作用をしているとすれば今後意図して性能を上げることもできそうですし、さらなる効率化や改善の余地があるほど冗長な場所も多く、実に発展の余地が大きいなと感じます。ただ、それぞれのレイヤーが全く想定と違う機能を勝手に持ってしまうところこそがある意味で人間の脳との最大の類似性かもしれません。

早速、共有いただいたリンクの動画を拝見しました。非常に興味深い内容で、特に学習におけるゴミ箱機能の重要性と、初期のTransformerのAttention機構が自然とそれを実現していた点が印象的でした。また、FF層はAttentionの外部にあり、全く異なる働きをしていると思いがちですが、意外にもAttentionで行われるようなまぜあわせに関与していたりする点も興味深いです。 本動画では、FF層を大脳として捉えてみましたが、大脳と称するには、より大胆な改良が必要である、あるいは可能であるかもしれませんね。非常に興味深いです。

コメントありがとうございます。 AGIの実現アプローチは複数あると考えられますが、なんだかんだ、脳に似せるのが有用なのかもしれません。そして、脳に限りなく近いメカニズムのニューラルネットがコンピュータに実装できた場合、人間の知能との違いはなくなる可能性は高いでしょう。 （倫理的な問題が残りそうですが...）

コメントありがとうございます。 とても興味深い洞察ありがとうございます。 本動画では、Transformerのアーキテクチャが海馬のCA3の機能＋αになってるかもしれない、という話で、Transformerが大脳辺縁系に似ているとまでは言えないかなとは思っています。 また、記載いただいた内容に添えているか分かりませんが、自己意識や感情の問題について、まさにその通りで、これらはAI技術にとってまだ大きな挑戦となっています。AIがこれらの人間特有の特性をどのように模倣、理解するかは、今後の研究で重要なテーマとなるでしょう。

コメントありがとうございます。 私もその論文に興味があるので、近いうちに取り上げられたらと思ってます！

​@@AGIRobots 楽しみに待ってます! 活動応援してます!

ありがとうございます！

拡張子が非表示の設定のままの場合、〇〇.pyを作成したつもりでも、〇〇.py.txtとなってしまう場合があります。 その場合は、エクスプローラで拡張子が表示されるように設定してから実行してみてください。 参考になれば幸いです。

@@AGIRobots ありがとうございます！！😂

コメントありがとうございます。 この動画はかなり前に制作したため、詳細は忘れてしまいました。しかし、ホップフィールドネットワークについて調査した際、使用されているニューロンモデルが出典によって異なることが多く、多くの資料を調べたことを覚えています。 また、動画を作成した当時は論文を読む習慣がなかったので、日本語の記事を多く読んで、自分なりに理解した内容をまとめました。

ありがとうございます！ 頑張ります～！

興味深いコメントありがとうございます。確かに、人類はそのようにして進化をしてきましたね。しかしAIについては、これまでと同じように語ってもよいのかは分からないと考えています。今まで、様々な革命がおこり、そのたびに新しい道具が登場してきましたが、それらは我々人間の能力の一部を抜くだけでした。しかし、AIの場合は（ロボットと融合することで）、人間の能力の大半を凌駕する可能性があります。つまり、今までは人類の一部を凌駕する機械などが登場したとしても、人類の方が勝っている部分が残っていたので、そこへ容易にシフトし、伸ばしていきました。しかし、AIの場合は、全ての面において人間を抜く可能性があり、人間を伸ばすのではなく、人間を押さえつけてしまう可能性があると思っています。今までは流れで容易に人類の得意分野を伸ばすようなシフトができましたが、AIの場合は、私たちがしっかりと意識しないと、人類の成長・発展に繋げられないのではないかと思ってます。動画の中で話した内容は、少し稀な例だったかもしれませんが、要するに、AIを使うメリットとデメリットをしっかりと理解しながら利用するように努めなければならないと思ってます。もちろん、未来は私の想像をはるかに超える出来事が起こるでしょうから、この心配は無用になる可能性も十分にあると思っています。少なくとも現状の話をすれば、私を含め、ChatGPTの登場により思考量が減ってしまった方々が結構いるのではないかと思うので、ChatGPTをなぜ使うのか、それは自分の成長につながるのかを意識的に考えるようにする必要があるのではと考えます。 （ここでは、結構慎重な意見を記載しましたが、実際はそこまで慎重には思っていないので、そのような自分に対する戒めみたいな感じの内容ですが。GPT-4を毎日使いまくっているヘビーユーザーなので...） 長々と失礼しました。

@@AGIRobots 丁寧な返信コメントありがとうございます。ただ私は考え方が少し違います。人間はこれまで道具を使い、それを自分の体の一部と認識（錯覚？）し、身体を拡張してきたと思います。そして、道具を使わない者と使う者では、勝負にならないことは歴史が証明しています。道具を使うことで生物としてある種の退化をしているかもしれませんが、結果の到達地点は圧倒的に道具を使った方に軍配が上がります。自分の能力だけでは作れないものが道具を使うと楽に出来る事を悪い事だと考える必要は無いと思います。同じ成果物なら少ない労力や時間で作れるという事はその余力を他に回せるわけですから。ただし、LLMは思考をアシストする道具で、それは今までにあまりない形の道具なのでそれに問題があるように感じるかもしれません。そして世の中には現在のLLMの方向性をより進めて脳自体を機械に置き換えていく研究をされている人もいます。それが現在の人間の到達点を大幅に超えるのであれば、人はその方向に進むだけだと私は思うのです。AIが人間を身体＆思考など完全に凌駕した時に人類にとって重大な問題が発生するかもしれませんが、現在の人間の時代は約３５億年の生物の進化の一瞬に過ぎず、１０００万年経ったら必ず生物的に人間は別の物に置き換わっているわけですからそういうものだと思うのです。ある種確定した未来なのでそれを心配しても意味は無いと私は思うのです。それがAIで少し早まるという認識です。遠い将来、必ずそれが起きるなら自分が生きている内に自分の目でその移り変わりを見てみたいと私は思うのです。

とても考えさせられる内容ですね。私も、内心は仰られた内容と結構同じように思っています。 一方で、個人的な話になりますが私は高度なAIやロボットを世に送り出していく側の人間になることを目指しているので、その立場になる（なろうとする）側の人間はどのくらい楽観的でいて良いのかが私の中では結論が出ていません。 現時点での私の考えは、私を含めAI(やロボット)を研究している側の人間は、それらを人類の発展に繋げる責任を負っていると思っています。一歩間違えれば、人間絶滅のシナリオも否定できない中、どのように人間側がAIに向き合っていったらよいのか、また、どのようにAIを開発していけばよいのかは、今のうちからでも考えておく必要は十分にあると思っています。 ちなみに、「自分の能力だけでは作れないものが道具を使うと楽に出来る事を悪い事」に関しては、私は悪いことだとは思っていません。仰られた通り時間の短縮になるというメリットはとても大きいですし、それによって今までには無かった職が生まれたりするでしょう。むしろ、良いことです。問題は今がAI普及の過渡期であり、自動車のように大半の人が当たり前に利用するもの、というレベルには到達していない点だと思います。 例えば、国際学会の発表では英語は自力で話さなければなりません。ChatGPTを使うようになって英語力が落ちて話せなくなった、は少なくとも現時点では通用しないでしょう。つまり、論文を要約してもらったり解説してもらったりとAIで楽をしながらも、それにより生まれた時間を英語力向上に使うとか、そういうことが必要ですね。そのためには、利用者側のリテラシーが必要になってくるのだろうと思ってます。

コメントありがとうございます。私の解釈を述べさせていただきます。 まず、Attentionは抽象的な名称であり、どこまでをAttentionと呼んでいるのかは論文によっても異なることがあります。 私の場合は、基本的に、Single-Head AttentionをAttentionと呼んでいます（Single-Head AttentionはHulti-Head Attentionと区別するためにそのように読んでいるだけであり、複数使用しないのであれば、そのままAttentionと呼んでも問題ないため）。Scaled Dot-Product AttentionのことをAttentionと省略して呼ぶことが少ないのは、おそらく、Scaled Dot-Product以外の手法も存在し、それをテーマとして扱う場合はそこを明確に述べる必要があるからだと思います。すなわち、Attentionとだけ呼ぶときの説明者側の気持ちとしては、Scaled Dot-Productかどうかを明確にする必要がない、すなわち、そのような詳しい内部的な仕組みはブラックボックスとして述べられるSingle-Head Attentionのことを指すと思ってもらえばよいと思います。 また、AttentionがSelfか、SourceTarget（Cross）かは、その入力の違いについて分類したものなので、そこで使用されているAttentionがScaled Dot-Product Attentionである必要はありません。Multi-Head Attentionでも、QueryとKey、Valueの全てが同じであれば、Self-Attentionと呼びます。混乱を招かないように説明するなら、Self-Attention型のMulti-Head Attentionというと混同を避けられるかもしれません。 動画の中では、そこら辺を意識して説明しているつもりではありますが、もしかしたら私自身も混同して説明してる可能性があるので、混乱を招いてしまい申し訳ありませんでした。参考になれば幸いです。

@@AGIRobots こんなにも丁寧に説明していただけるとは、、大変勉強になりました！！ありがとうございます。

d_kが単語数ならば、なぜd_kが大きくなると内積が大きくなるのかが分かりません。

ご指摘いただき、本当にありがとうございます。 確認したところ、動画の説明は間違っておりました。正しくは、ベクトルの次元数、つまり各単語を表現する特徴ベクトルの次元数を指していおります。ご指摘の通り、d_kが単語数を示す場合、それが内積の大きさに影響を与えることはありません。 誤った説明をしてしまい申し訳ございません。 該当記事の図は差し替えしました。また、動画の該当箇所については、修正カードを追加しました。 今後ともよろしくお願いいたします。

コメントありがとうございます！ 使用しているツールは、iPadに標準でインストールされているKeynoteになります。

@@AGIRobots Keynoteって、こんなことできるのですね。 ありがとうございます。 勉強になりました！

コメントいただき、ありがとうございます。 DBNについて、私自身少し忘れてるので、正しく解答できるか不安ですが... 機械学習モデルを学習するとき、事前学習とファインチューニングの2ステップで行うのが一般的です。事前学習とは、ファインチューニングにおいて精度を高めるための重みの初期値を決める学習です。ファインチューニングとは、事前学習により獲得した重みの初期値に基づいて全体をチューニングします。 本題のDBN（Deep Belief Network）は事前学習で使用する手法です。DBNは、浅い層（可視層）からデータを入力し、各層の重み（初期値）を訓練します。この過程で学習された中間表現は保存され、後の微調整で使用されます。したがって、一度学習された中間表現を用いれば、一般的な意味での「入力」は不要になります。ただし、獲得された中間表現から入力を生成できるかを確認するには、学習済みのネットワーク部分を深い層から浅い層に向けて繋がっているベイジアンネットとみなして生成してみる必要があります。 つまり、DBNはその学習方法ゆえ、入力層から1つ目の中間層間の重みの事前学習の時のみ一般的な意味での「入力」が必要となり、それ以外では不要となるのです。あくまでも事前学習として利用するだけのDBMでは、深い層の学習において入力層に入力できないのはあまりあまり大きな問題ではないと考えられます。 参考になれば幸いです。

@@AGIRobots コメントありがとうございます！ 丁寧な解説ほんとにありがとうございます。 ちょっと納得した気がしますほんとにありがとうございます！！