AIプログラミングは、一行だけでOK。技術者さえもアルゴリズムを知らない【人工知能2】#71
HTML-код
- Опубликовано: 29 июл 2024
- 提供：株式会社クリーチャーズ
「人工知能」シリーズ第2回です。「原理を知らずに使っている技術者もいる」「現代のゲームAIはもう難しすぎる」「強化学習はドS学習であり写実的である」など、ゲームAIに組み込まれている強化学習について話しました。
【株式会社クリーチャーズの求人】
○株式会社クリーチャーズさまの採用情報およびエントリーはこちら！
recruit.creatures.co.jp/recru...
○株式会社クリーチャーズさまの会社概要・事業についてはこちら！
recruit.creatures.co.jp/about/
○株式会社クリーチャーズさまのコーポレートサイトはこちら！
www.creatures.co.jp/
【目次】
0:00 分かってないのに人工知能が作れた
2:00 知らなくても使えるAI
9:45 ゲームAIを考え始めた人物とは
15:42 直観的に分かりやすいミニマックス法
25:17 現代のゲームAIは難しすぎる
31:56 カモによる何こいつらエモナイト
35:32 強化学習はドS学習
36:59 強化学習は現実世界に似ている
41:03 強化学習型マネジメント法を教えます
43:05 リスナー好みの制度「インプットサポート」
45:43 ポケモン好きにはたまらないオフィス
【参考文献】
○機械学習図鑑
amzn.to/44bG2Yn
○強い将棋ソフトの創りかた
amzn.to/42ov93Z
○エニグマ-アラン・チューリング伝
amzn.to/3oTqk3S
○python機械学習プログラミング
amzn.to/3LDpzVN
○強化学習を学びたい人が最初に読む本
amzn.to/429mD8P
〇フォン・ノイマンの哲学
amzn.to/423RUtM
【サポーターコミュニティ加入はこちらから】
yurugengo.com/support
【親チャンネル：ゆる言語学ラジオ】
/ @yurugengo
【実店舗プロジェクト：ゆる学徒カフェ】
/ @yurugakuto
【おたよりフォーム】
forms.gle/BLEZpLcdEPmoZTH4A
※皆様からの楽しいおたよりをお待ちしています！
【お仕事依頼はこちら！】
info@pedantic.jp
【堀元見プロフィール】
慶應義塾大学理工学部卒。専門は情報工学。WEBにコンテンツを作り散らかすことで生計を立てている。現在の主な収入源は「アカデミックに人の悪口を書くnote有料マガジン」。
Twitter→ / kenhori2
noteマガジン→note.com/kenhori2/m/m125fc452...
個人RUclips→ / @kenhorimoto
【水野太貴プロフィール】
名古屋大学文学部卒。専門は言語学。
某大手出版社で編集者として勤務。言語学の知識が本業に活きてるかと思いきや、そうでもない。
Twitter→ / yuru_mizuno
【姉妹チャンネル】
◯ゆる音楽学ラジオ( / @yuruongaku )
◯ゆる民俗学ラジオ ( / @yuruminzoku )
◯ゆる天文学ラジオ ( / @yurutenmon )
◯ゆる書道学ラジオ ( / @yurushodo )
◯ゆる生態学ラジオ ( / @yuruseitai )
◯ゆる哲学ラジオ (open.spotify.com/show/7t8NNVq...)
#人工知能 #ゆるコンピュータ科学ラジオ_人工知能
【株式会社クリーチャーズの求人】
○株式会社クリーチャーズさまの採用情報およびエントリーはこちら！
recruit.creatures.co.jp/recruitment/
○株式会社クリーチャーズさまの会社概要・事業についてはこちら！
recruit.creatures.co.jp/about/
○株式会社クリーチャーズさまのコーポレートサイトはこちら！
www.creatures.co.jp/
【参考文献】
○機械学習図鑑
amzn.to/44bG2Yn
○強い将棋ソフトの創りかた
amzn.to/42ov93Z
○エニグマ-アラン・チューリング伝
amzn.to/3oTqk3S
○python機械学習プログラミング
amzn.to/3LDpzVN
○強化学習を学びたい人が最初に読む本
amzn.to/429mD8P
〇フォン・ノイマンの哲学
amzn.to/423RUtM
実は、自動車整備士も自動車のコンピューター制御が進み過ぎたせいで、よくわからんまま自動車整備してる。診断機という名のパソコンと接続してエラー読み取ってそれに従って故障箇所特定したり。
そうそれ！電気自動車も出てきてさらに分からない&触れないブラックボックスが増えてきましたね
ブラックボックスなのはおま...
@@cuysci えだー！
行き過ぎたデカルトみの弊害
そこをついて開発者は診断機が起動している間だけ正常に動作するように設計した、みたいなことがあったりしましたね…
強化学習、飴と鞭よりも笑点の座布団のイメージかもしれない…
将棋AIのブレイクスルーで「3駒関係」っていう概念を使った評価関数の発見があるのですが、人間には全く理解不能でした
王と任意の二つ駒の位置関係の評価値の総和で盤面全体を評価する物なので、王の周りに金銀がいると有利くらいの事は人間でもわかるのですが、その概念を盤面全体に拡張してそれだけで指し手を決めてくのは本当に意味不明でした
試験前は、みんな口を揃えて「訓練データ、過去問しかやってない過学習の状態だけど、テストデータが訓練データと対応してることを祈るしかない！」って言ってましたね、懐かしい。
一目置くの由来はコミ以上に実力差があった場合にゲーム前に盤面に碁石を置いた状態で始めたことが由来だった気がします
自動車の例を出してますが最近の自動車はコンピュータ制御が進んでいて
昔と違ってブラックボックスになってる部分が多く整備士が介入できる余地はかなり減ってるそうです
もちろんどれがどんな機能をしてて症状からどこが悪いかは判断出来ますが
ユニットごと交換して直すという方向になってますね
36:14 過学習は過適応みたいなほうがしっくりくるなーと学部時代に思っていました。
堀元さん「具体的に数式で記述できるほど分かってない。でも作れた。すごない？」
理屈は分からないけど使える、という母語に対する水野さんの導入と同じすぎて笑ってしまった
37:41
柞刈湯葉「まず牛を球とします」
堀元見「まず失恋原因を店選びか話題選びかとします」
「カモによる何こいつらエモナイト」、「新しいおもちゃを見つけたホリモトモリモト」並に面白い
楽しみに待ってました
27:47 日本ルールでは囲碁のコミは2000年以降5目半から6目半に変更されましたが、今も6目半で変わっていません。7目半なのは中国ルールの場合ですが、これは中国ルールでは勝敗の差が奇数となることがほとんどであるためです。
待ってましたーー！
16:01
堀元「水野さんが聞いたことないなら一般常識じゃない」
俺「う～ん…？」
10:20
「これ読んで理解したいソウからしたら、
その情報あれば十分ソウ」
「ソウだね」
内部構造まで考えなくてよさソウな気がするし
AI回めっちゃ面白いです！
大学で統計ソフトを使う機会があったのですが、まさしく内部の計算がどうなっているかわからないけど、目的だけわかれば使えるという状況でした。電子レンジくらい何がどうなっていたかわかりません。笑
29:10
強化学習の「強化」は行動分析学の「強化（reinforcement）」と同じものかな。バラス・スキナーのオペラント条件付けから来てるっぽい。
囲碁のコミは現在、日本、韓国で6目半、中国、台湾で7目半です。1目の差は数え方の差によるものです。
中身を理解して作りたい人は「ゼロつく」って本がスタンダードになってますね
23:00 2手目を想定できてなかった典型
水野さんが言っていた、相手の立場に立って相手も最善手を目指すと考えるというのはミニマックス法で合ってると思います。
お二人の頭の中が分からないので難しいですが、水野さんのアイデアを額面通り受け取ると、自分の立場と相手の立場の評価関数を作るっていう風に聞こえるので、堀元さんは違うと言ったのかなと推測します
ヒカルの碁の話、
久しぶりのクリティカル例えですね。
47:30
水野さんは遅延報酬によって過去の行動に対する価値の更新を行う優秀なエージェントってことですね（違う）
サポートベクターマシーンって合体するロボットみたいｗｗｗ
Mini-Max法の具体例がなかったので補足
1回の手番の候補手を2つとすると、3手先に発生する局面は8通り
(20,70),(40,50),(10,90),(30,60)の評価を持つ局面から先手は3手目ではMaxとなる局面
70,50,90,60 をそれぞれ選択
後手は(70,50),(90,60)から2手目でMiniとなる局面
50,60をそれぞれ選択
先手は(50,60)から1手目でMaxとなる局面
60を選択
結果として3手先までお互い最善手を辿った場合の評価は60
現代の将棋AIではこの値を現局面の”評価値”として出力します。
助かる
一を聞いて十を知る。間違ったことを一聞いて間違った理解を十してしまうのが過学習。
25:20の「ゲームAIの『格子』」は『嚆矢』ではないでしょうか？
AlphaGoは２つのマシンで対戦させ、モンテカルロ木探索で勝率を計算しています。
ゲームや囲碁や将棋のような勝敗が決まる場合は勝率でフィードバックを生かす事ができます。
勝ち負けのない自然言語処理はそのフィードバック評価が難しくなります。
ChatGPTってどうやったんだろう？
chatGPTは勝ち負けの代わりに文章がいい感じかどうかを人がラベル付けしたものを使ってるね
@@user-fu3bp1ql6e 言語処理は自然なテキストからトランスフォーマーでで学習させるだけです。膨大なテキストですから人間は関与はできません。
修論で統計解析（一般化線形混合モデル）をしましたが、とりあえず専用の関数に変数をぶちこめばいいやろと思って解析回してみたら謎のエラーを吐いて、デバッグのために結局関数のソースコード吐き出して調べる羽目になったりしてました。AIでも似た現象起こってそう。
ゲームという語に対するすれ違いが面白い。堀本さんの言うゲームは将棋やチェスのような勝ち負けを競う戦略の事。水野さんはテレビゲームのような画面を操作して遊ぶものと解していて、話が噛み合っていない。
27:00 「一目置く」の由来は、対戦者同士に大きな実力差がある場合に、ハンデとして最初からいくつか碁石をおいた状態で対局を始めることに由来してそうなので、多分間違ってます。
そもそもコミは結構最近できたルールなので、慣用句にはなりづらい気がします..
ヒカルの碁に当てはめると佐為の生きていた時代、本因坊秀策の時代はコミなしですね
コンピュータ言語って言う水野さんかわいいww
34:26 "メモリとレジスタの違いとか、キャッシュの話とか" 聴きたいです！
人工無能のやりとりで「ブラックボックスなのはお前だー！」って脊髄反射する人工無能MCがおる！という謎の感動を覚えた
過学習について、データが少なすぎるというのは一つの原因としてありますが、単純に学習回しすぎちゃって学習データに過適応して新規データに対応できない、というところの意味であるので、そんなに悪いネーミングではない気がします
「学習」という概念の名付け方が混乱を招くことがあるよな...とは思います
ゆる言語的には「過①時間が過ぎる②程度が過ぎる③あやまつ」なので「適応が過ぎる」に納得です。多すぎるイメージが強いですが過大も過小も使いますしね。どちらにせよ「あやまつ」になるのが面白い。
ヒカルの碁気になって一気読みしたら面白かった！
24:06 いやたぶん水野さんはミニマックス法を意図してたんじゃないかな
37:55 過単純、ペ・ヨンジュンみたいでかわいい
ヘッドホンでちゃんと聞くとエンディング曲 音結構細かく振ってあったんだな って事に気がついた
34:15
アレルギーに対するお薬ラジオの堀元さんかと思いきや、アレルゲンになる勢いだ！
「人工知能」で勝ちに行く水野さん
34:03 「水野さんから頂く」ここカプ厨歓喜ポイント
ゲーム理論+進化理論=進化ゲーム理論
進化ゲーム理論を、解くのにレプリケーション・ダイナミックがある。
確率を使用してます。
マジで関係ないけど堀元さんのジャケットおしゃれ
アキュムレーターと、スタックの話してほしいです
行動分析学では人間も強化学習と同様に動いていると考えられてますね。
強化というのは、「行動」に掛かってる言葉です。行動主義から始まったものなので。
強化学習になった際、主体が行動じゃなく人工知能になるので、知能を強化？強くなる？？みたいに失敗命名に感じるのだと思います。
あと、人間へも応用行動分析など数多くの支援やマネジメントで利用されていますが、ムチや罰は学習効率がめちゃクソ悪いので使用はまったく推奨されてません…
腕を回すことを
繰り返すと強くなるのは
ハンターハンターに出てくる
幻影旅団の1人
フィンクスの念能力
廻天（ﾘｯﾊﾟｰｻｲｸﾛﾝ）なのよ
（ドリームキャストが80年代後半という発言にジェネレーションギャップ？カルチャーショック？を感じた）
むしろ00年代前半なイメージあります。
ネット通信関係から、オプション的にネットブラウザが使えて、みながPCを持つのが当たり前になる直前の、過渡期を支えていた印象です。
45:50 堀元「ソーナンスよ〜」
31:15 強化学習は女王様
脳裏に助数詞ーズハイが浮かんだ人挙手✋
強化学習を受けたAI「我思う故にunbepissedあり」
ゲームAIの元祖は、1770年に制作されたトルコ人というチェスを指すオートマタかな。
あれ、中に人居ましたというかオチじゃなかった?
コンピュータ的な「オートマトン」でなく器械の「オートマトン」という区別をつけているのは、まぁ間違いではない…はず。
（もちろん詐欺なので単なる逸話として出す必要アリですが）
ゲームAI、漢字四文字、ニュースで聞く
＿人人人人＿
＞藤井聡太＜
￣Y^Y^Y^Y^Y￣
25:19 テロップの格子は嚆矢の誤字ですね
25:25
堀元さんが言った「嚆矢」が字幕で「格子」となってしまったのが悲しい…
ミニマックス法は、スコアの最小値が最大になる、つまり最悪の状況が最もましになる手を選択するという理解だった
人工無脳って言葉、文章にすると「人が作った無の脳」になるけど、「ドーナツの穴はドーナツか」みたいな奥行きがある
25:19 格子は嚆矢ではないですか
マリアテレジアの前で「トルコ人」という機械仕掛けのチェスを指す機械が披露されたことがあるそうです。結局中に人間がいました、というオチでしたが。
チェスの話してて「打つ」と連呼してるから、駒を盤面に叩きつける絵が浮かんでしまった(言語学視点)
理論的な言い方だと「選択」が一般的？
ボードゲームにおいて盤面上で駒を移動させる動作は一般的に「指す」ですね。（将棋、チェスなど）
強化学習の理論だと「行動」を「選択する」と言われることが多いはずです。
過学習は日常にある言葉だと上ぶれ（下ぶれ）に当たるのかな？
バリューブックスも、ゆる言語のお二人に対しては、強化学習的な会社では？
TensorflowやPytorch(パッケージ)の良さによってAI勉強に限らず、pythonは会社でも使われています。
囲碁AIの話しに最近大きな発展ありました。Katagoといいう最強囲碁AIの弱点の発見です。囲碁界にあんまり意味のない話しかもしれない（AIに勝つための打ち方は人間に無効化だし、似たような不自然な状況は実戦にあんまり出ないなど聞かれます）、けどAI研究にいい話し含めている。まずは弱点の探し方にもAI（やAIのアルゴリズム）を使って弱点をみつかりました。（日本語で「敵対的AI」と呼ばれますか？）それに、弱点も面白いです。根本的なミスはバリューネットワークにあると思います。バリューネットワークが複雑な形を見誤り、局面の点数を間違って、正しい手を打たない。（これもなんとなく過学習と呼びたいけど実際に合ってないと思います。AIは囲碁の模様をわかって、細かい形の様子うまではわかっていないのでアルゴリズムの不完全性かもしれない。）
25:19 格子
3手先を読む話で水野さんが言って堀元さんがセンス無いと言った「相手の立場に立って評価値を計算する」って発想は、
まんま「相手が自評価値を最初にしてくる」という考え方と同じじゃないのか？
理系の学者と言っても誰もがプログラミングとか専門外の数学に詳しいわけじゃないからね
fortranとかその辺を理解してない初心者には難しい言語だから、遅いとはいえpythonのが最近人気なのかなぁって思ってる
自分の専門さえちゃんと理解していれば他はフワっとしてても普通に使えるのがpython
APIとIPAが自分の中でずっと干渉してる。
強化学習は強化が本質じゃないから調教学習とかにしたほうが絶対わかりやすいと思うんだよなあ
過学習も偏学習にしたほうがいいと思うし
人工知能と呼んでいいかわかりませんが、機械や科学技術でゲームをさせるという発想は18世紀頃の「トルコ人」と呼ばれるチェスをするカラクリ人形の方がもっと古いかと思います。
勿論、そんな高度なカラクリが実現出来るわけもなく中に人が入っていたそうですが
それ、中に人入ってるインチキじゃなかったっけ
って思ったらちゃんと全文表示に隠してあった
きたきた
チューリングで「出た」と言い、ノイマンで「ぶっ」と吹き出してしまった
11:55
29:39
それアニーリングマシーンやないかい！
あと過学習の解釈が相変わらず合ってない気がする
過学習(Over Fitting)するのはデータサイズよりも学習(Fit)のさせ方に原因がある
Fitのさせ方（どれくらい表現力の高いモデルを使うかや正則化の強さ）を固定してデータサイズを変数とみなせば、過学習の度合いはデータサイズの関数ともみなせる、ってことを堀本さんは言ってるのでは？って思った
@@US-wb8yp
データサイズが小さいと今度は"Over"の要素が弱い気がしてなぁ
あとは系統誤差を取り除かなかった場合も過学習と言えるかどうか
やっぱり偶然誤差に過敏に適合できる表現力こそが過学習を一番過学習たらしめる気がする
2人の胸元にあるバッジは何んだろう？
シーマンは1999年7月29日発売だそうです
格子じゃなくて嚆矢かな？
スキナー箱は鳩もあるはず
不規則的に餌を与えて鳩は自分のどの行動が給餌に因果してるかを検証するために直前の動作を繰り返すってやつ
ノイマンが運転下手なのは多分運転中ずっと考え事してたんでしょうね
鞭はだめだけどご鞭撻なら良いとか。
ノイマンコーナーで高評価
7:19モデルの説明性とかも重要なトピックだった気が...
「強化学習」完全に勘違いしていた。「その計算が行われたら、そこの計算頻度があがる」の繰り返し的な。神経の接続の感じで。
それはニューラルネットワークでは？
@@本Dトーマス ああ、多分そんな名前だったか。人の脳みそを模してるやつね。
ノイーナー
18:48 単に強化学習って話ではないかと（たぶん
22:59 ん？合ってるんじゃ？ゼロサムだし
インプットは好きだが，ジャンルによるな
基本的に実学系はあまり好きでない
37:55
過単純
ブラおま
堀本さんってクイズのヒントが雑だな
ミニマックス法の説明が長い。ミニマックス法自体は当たり前のことを明文化しただけのことに思う。ミニマックス法で使う評価関数をどう作るかが肝。
水野さんは蛙化現象
エンジン作ってるおっちゃんは車の仕組みについてある程度知ってるかもしれないけど、タクシーの運転手は車の仕組みそんなに知らないんじゃない？
ミニマックスから初めたら、なんで強化学習に飛ぶのか。水野さんが機械学習と言ったのにそれが間違いみたいな流れになっている。機械学習以前と以後の違いが大事だけどその説明が無いまま。機械学習の手法の一つとして強化学習がある。アルファ碁じゃなく、エポックさを解説するのならボナンザでしょう。
実際は第二次世界大戦前かも知れんが、18世紀のチェスの自動人形は人間に勝てたらしいぞ、実際イカサマだけど。
26:34
「呼んだなら分かるやろ」の"分かるやろ"のイントネーションに違和感がある。
他の方言なら申し訳ないけど似非関西弁やなと思ってしまう。
気になったから書いただけで他意はないです。
Mojoは「C言語のように速いPython」