It was too amazing to let AI learn Super Mario Bros. 1-2【Reinforcement Learning】

[@豆腐酒池肉林]

2:58 しょぼんのアクションしたあとのマリオ

[@user-uk5jk8zx9i]

警戒しすぎで草

[@チーズ-v9b]

観察するような感覚でゲームを見れる唯一のチャンネル

[@saitama-1467]

わかりみ

[@レプレインゴット]

500万ステップ学習後とかの動き、若干TAS感があって好き

[@JIRO1979]

1-2からワープするのが当たり前になりすぎて、1-3が思い出せない件。

[@Shika_no_channel]

そして最近のマリオの感覚で木の地面を下から上に行けると思ってしまって落っこちるところまで経験済み

[@drr5959]

キノコ足場の空でリフトが左右上下に動いてマリオメーカー3DSで収録されたステージ

[@もち-c4k]

6:32 辺りの無駄なジャンプが人間らしくて面白い

[@nabe5071]

本家と同じく得点の概念も入れてほしい！
・ブロックを壊して得点
・敵を踏んで得点→連続で踏んだら得点が倍
・ポールの上にタッチするほど高得点
・残りタイムで加点
この条件で何点でクリアできるようになるのかが見てみたいです！

[@Amaguri1229]

しっかりと点を取るために敵同時撃破してるの最高

[@dma1010]

学習が進むごとに明らかに効率的になってて見てて気持ちいい

[@ベリぽ]

M
😊

[@たっきぃ-b4s]

超魔界村で学習させるのも面白そう！

[@いくら-c4x]

やってほしいw

[@XD-lj5ze]

700万回くらいいるんやない？（）
お前を消す方法思い出した

[@nakawa2088]

ロックマンでボス倒せるか見てみたい

[@Tsubac-]

これは見たい！笑

[@あせまねメグ]

超魔界村を再現させるのがすごく大変そう。

[@ひさぁ]

3:41
そのうちすり抜けそう(小並感)

[@やせいのからめる]

てー♪

[@user-fn5lq3go2n]

人工知能って自分で判断して学習するのもすごいけど、そうなるように作った人も相当すごい！
これから色んな場面でAIが活躍するんだろうな

[@yakki-691]

土管を飛び越える所辺りスピード感があって3段ジャンプみたいだった

[@chokominto83]

お久しぶりです！AIの強化学習好きです

[@masshi20]

敵を踏んだ反動でジャンプできるってところもしっかり学習してるのやべぇ

[@soarsmama7636]

5:21 嬉しそう

[@性名-m5f]

ブロック破壊をするたびに、負の報酬（極微小）を与えると「破壊活動が収まり敵を待ってから動く」のか「気にせず破壊してスピードクリアする」のか気になります。
個人的には、両方試してから「こっちが多く報酬がもらえる」とaiが考察してほしい

[@JR-ev4ui]

そのブロック破壊した時の負の報酬の量によって決まりそう

[@imacosmo713]

この学習方法で1-1またやってみてほしい

[@夜桜さん]

土管の間の敵をわざわざ踏んで進むところ好き

[@えうろぱ-p3n]

シューティングゲーム系はすごいのが出来そう

[@湯呑みくん]

2Dも3Dも見てみたい

[@志知大希]

某弾幕ゲームとか

[@iam2480]

常人にはクリア不可能みたいなゲームを強化学習でクリアしてるのを見たいなｗ

[@バーガー-n8x]

たけしの挑戦状

[@sonic-bn4bt]

改造マリオ

[@名前未設定220人目標]

@@sonic-bn4bt あれはまだ行ける

[@あい-s7j7q]

7:12位からの別視点カメラのこーじ、頭ポヨポヨしててジワる

[@ぴっぴどん]

3:12 敵を倒した時の報酬を無くせば最速クリアしようとするんですかね…？

[@MK-nw7jy]

1フレーム毎の罰を増やしても良いかと思いますね。

[@故郷-r5c]

早くクリアすればするほど報酬...とか？

[@ぴっぴどん]

@@故郷-r5c 上から4行目見てみ

[@りんと-e7v]

無駄なジャンプ減らせるように、ジャンプしたら罰／ブロック壊せたら報酬／敵を踏んだら報酬とかも面白そうだな

[@Akita_ken2236]

@@りんと-e7v そしたら初期段階で困惑し始めるのでは？ジャンプは必須動作なので

[@強者傲慢]

強化学習型のテトリスAIも見てみたいです

[@fridericusgauss]

今回は画像情報(恐らくCNNベースを使ってる？)にしたんですね。
恐らくレーザーで認知する方法だと、エージェントが認識する範囲が局所的過ぎるのに、移動に伴って激しく情報が変化するので、その場その場で反応してピクピク動くのだと想像します。
一方、画像全体だと、行動の後の穴や敵の位置など、広い範囲で認識できるので、より賢い動作に見えるようになったのだと思います。
また、画像認識は強化学習同様にかなり進歩してるので、大変良い組合せだと思います。

[@ko-ji]

1-1面の動画はこちら
ruclips.net/video/M3-vIh4h-7I/видео.html

[@ひさぁ]

見ます

[@kohsmm2]

お～

[@飛行機-m6j]

懐かしい

[@ZeraroraSan]

次はクッパ戦ですね!(鬼畜)

[@ray00000]

それは草

[@ちゅーぴっぴか]

まずクッパ作るのがむずそうw

[@NT-zf8dx]

@@ちゅーぴっぴか 棒読みちゃんでいいのでは

[@いくら-c4x]

@@NT-zf8dx システム面の話では？

[@mandarinorangemikan]

ついに、配管工も AI に取って代わる職業になってしまったんですね
これも時代ですかね...

[@ハウルの動かない城]

途中からTASのRTAみたいな動きになるの好き。

[@いちびり-t9t]

す、すごい！アクションゲームを学習しているっ！！
まったくのノーヒントから一つ一つ積み上げての学習だから
人間のプレイヤーがやるような推測と飛躍がないかわりに途方もない回数の試行を繰り返してクリアしている！
移動、移動量の調整、ルート選定、タイミングを計り、回避、踏みつけ……
これだけの要素があるというのに、それぞれを理解しているわけでもなく最適化されているっ！
こんな面白い事があるんだ！強化学習ってすんごい！

[@奥野春樹]

ジャンプ回数やブロック破壊回数が少ないほど報酬が多くなれば
スムーズな攻略するようになるのかな？

[@hayami_maguro]

3:11 無駄なジャンプを減らすようにジャンプしたら微小の罰が設定されていますが確かにもう少し値が大きくてもいいかもしれませんね

[@one2832]

画面の画像から学習できるとかすごく人間に近づいてる

[@foreverboys1453]

待ってました!!

[@tmkz-x1e]

1ジャンプ2キルしてる辺り
そこそこゲームが上手い人がプレイしてる様に錯覚した
しかも多分あんまり操作性良くない中でこれは凄い

[@homu7369]

最初クリアできるかも怪しいのに最後RTAみたいな動きしてるの草
TAの理想ルート取りをこうやって探す時代も遠くなさそう

[@NS-tb6dy]

この学習をしたものを別のステージで適用したらどのくらいのもんなのか気になります。

[@のん-v1p8c]

東方みたいな避ける系のシューティングゲームでできたら見応えありそう

[@atomic-senn]

たしかに

[@SH-UK030]

素晴らしい研究

[@ザウルス-i7c]

かなりするのは難しいでしょうけどダクソの強化学習を見れたら最高ですね

[@susiexgood]

この時を待っていたぞこーずぃ

[@mk.mercury]

凄いですね！
カメラ画像での学習でも、戻ったり少しまったり、ジャンプの微調整したりもするようになるんですね。
こういう報酬にしたら上手くいかなかった、とか、センサーでやると上手くいかなかった、みたいな話はいろんなアプローチが知れるので失敗も話して貰えるのは楽しいな、って思います！

[@finkfiction]

色んなステージで学習させたAIが全く新しいステージをクリアできるのかとか面白そうですね

[@ゆうspl]

学習した個体で何面まで進めるかやってみて欲しいです。残機付けちゃうと無理そうなのでとりあえず今回と同じルールで何回もくりかえせる形にした方が良さそうですかね

[@今週の一位はルビーの指環です]

スーパーキノコやフラワー、テンコインブロック等ケチをつければキリがないけどこれは素晴らしいです

[@meisekiyu8]

今回学習したAIは1－2専用って訳じゃなくてそのまま使ってほかの面をやらせても穴や壁を認識してある程度進んでくれるものなのかな

[@ああ-m7e7x]

強化学習なので、他の面でもしっかり動くはずです！

[@とりはっ-v8f]

格闘ゲームをAIで強化学習したら
各キャラに対応して挙動が変わるのかなぁ

[@lonestar930]

階段から敵が降りてくるところすごすぎ。
マリオは人でもrtaできちゃうくらい最適化されてるので、超人になれるやつ見たいなー。ぷよぷよとか？

[@水玉銀之丞]

初代ロックマンのイエローデビルの攻撃(分離→合体)を、AIがどのように成長してかわすのか見てみたいです🤗

[@setunakuonn]

しょぼんのアクションみたいに最適解の動きをすると確定でトラップが仕掛けてある場合はどんな反応するか

[@ku5187]

クッパステージの正解とおらないと進めないステージとかって学習で何とかできるんですかね？

[@ぴっぴーs]

ツムツムとかテトリスとかのパズルゲーム学習させるの面白そう！

[@ihsubad69]

AIを学習させる方法を学習していく主の成長が一番の伸び代。

[@GkakuYouTube]

量子コンピュータとかが普及したらAIの学習速度も上がるんだろうなぁ

[@accel.6384]

3:25で「何人かで一緒に学習して知見を共有したり」ってあるんですけどどうやって共有してるんですかー
いまこーじさんの影響で機械学習を勉強しているので教えていただけるとうれしいです

[@アイオライト-u1x]

フレームごとの罰、ジャンプの罰、敵を倒した報酬辺りの比重は変えたら挙動が大きく違いそうですね

[@宇都宮餃子-f8g]

こういうのがこーじって感じして好き

[@かいなんのかぜ]

ストリートファイターみたいな2D格ゲーでAI同士で戦わせてみて欲しい

[@kazutohagura4976]

すごーい！
このやり方で1-1再挑戦
からの比較って、
動画に出来ませんか？

[@yoshikana1882]

横シュー(STG)みたいな、敵の弾を避けつつ倒す様なゲームを学習させてみて欲しいです
弾幕ゲーとかも面白そうですね

[@とある車好き高校生]

【リクエスト】8-4もクリアさせてみてほしいです｡(ファイアーバーの攻略方法が気になるため)

[@000じゅこう]

今回も楽しませていただきました。次回はエキサイトバイクとか見てみたいす。

[@ウキウキサル]

素晴らしい！
前に魔界村1面クリアに挑戦しましたがうまく行きませんでした。。ぜひ挑戦していただきたいです。

[@skyouya.8998]

うぽつ
動画面白かったです

[@arm7221]

ばりばり壁破壊しながら進むの面白かった。もっと難しいアクションのも見てみたい。
アクションじゃないけどアモングアスとかもAIにできるのかな

[@GO-yb3fi]

天才ですね

[@れいれい-z6z]

普通に歩くより飛びながら進む方が移動距離が長いから常に飛んで移動してるね

[@かのん-i7f]

こーじさんはどうやってAIに学習させてるんでしょうか？
Python等のプログラミングでやってる？それともプログラムの知識がなくとも学習させることができるツールがある？

[@Skyla1207]

ロックマンのステージ攻略してみて欲しいなぁ。消えたりするブロックとか動く足場を突破出来るのか気になる

[@ほむらん]

0:48 疑惑の判定

[@ssy-m9y]

AIにポケモンをやらせてみてほしいです
2体のポケモンにそれぞれ4つの技を決め、公平になるよう素早さだけは決めずに1ターンごとに先攻と後攻が入れ替わる形とかどうでしょう
2体のポケモンは最初は同じ技とステータスにして、学習が進んだらそれぞれに特徴を持たせたら面白いと思います

[@enikaita_mochi]

是非、8-4を学習するところを見てみたいです。
あの、迷路のような構造をどうやってクリアしていくかが見てみたい。

[@hertway]

最後の旗に触る時、1番上に触る時高得点だからそれにも報酬を設定して再現して欲しかったです。
爽快感が違うと思いますw

[@user-fi1mp6bo5p]

これ天井のブロックも破壊できるようにしたら天井駆け抜けるように学習したりするんだろうか？

[@yusei527]

それも試してみたいですね！
強化学習では、エージェント(アフロの方)が探索とそれによる経験に基づいて報酬が最大化されるような行動をとるので、まず少なくとも一度上に上がってみる必要がありますね。
そのルートの方が下で敵を倒して進む(ちょっと報酬がもらえる)より報酬が高くなるなら、すぐさま上に上がって一直線に進むようになりますよね笑

[@natsukazuify]

I wanna be the guyみたいなﾀﾋにゲークリアできるようになったらものすごい動きしそう

[@tagudogjpn]

実際のサーキットで何万回AIに走らせたら、正しい（あるいは最速の）レコードラインを走れるようになるのか見てみたい

[@野乃ののの福]

ロードランナーとかドアドアとか面白そう

[@kiyu-kiyu]

学習するって凄いな

[@するめさきいか]

スペランカー見てみたい
ほんの僅かな坂でも落下死するのをAImどう乗り越えるのか

[@ginrin51]

これ！

[@カルパスおじさん-o2e]

言おうと思ったらもうコメントあった。
これ、お願いします

[@Crusader-G-G-E]

スペランカーは出来ますか？強化学習AIもブチ切れる難しさなのか、強化学習なら2Dゲームはなんでもクリア出来るのかを見てみたいです。

[@user-mhK2]

でも人間って20回~100回繰り返したらクリアできちゃうしやっぱすげえんやな脳みそ

[@弾幕好きの人]

早くゴールするだけじゃなくて、なるべくゲームの高得点(実際のマリオのようにコインや敵を倒す等で増加)を取ろうとすると、どんな動きになるか見てみたいです。

[@いくら-c4x]

現実世界に近いルールを作ってAIぶち込んで観察したい

[@大盛半チャーハン]

魔界村やJump King、壺男みたいに人間にも難しいゲームとか強化学習の凄さがより分かる気がします

[@Yamaka-yc7kc]

これコイン配置してコイン取ったら報酬みたいな感じにしたらさらに面白くなりそう

[@TheNerukohasodatsu]

マリオメーカーにもこのAI機能搭載してほしい

[@kengames6369]

カップヘッドのAI学習見てみたい🤤
すげーむずそー

[@icebo08]

パックマンの強化学習気になります….！

[@やっさん-s2i]

頭突きでブロック壊すの凄いな

[@p0kMNyziCA-o5r]

レーザーは1人称視点で画面認識は3人称視点だから後者のほうが学習しやすいのが当然といえば当然ですね

[@yuukanmuri1358]

ひたすらにブロック壊してスペース作りしてたのでブロック破壊を最小限に抑えてクリアする姿もみてみたいです！

[@Korchan007]

トランスフォーマー　コンボイの謎の1面や9面、太ももが鉄のように硬い男てつじ、それにチェルノブをaiでやって欲しい

[@Korchan007]

後、グラディウスや沙羅曼蛇をAIに学習させたらどうなるのか気になる。
特にグラディウス3のキューブラッシュは見てみたい

[@Korchan007]

Besiegeというゲームで開催されるP1グランプリというイベントにおけるパンジャンドラム自走AIも気になる

[@Zenius-I-vanisher]

2ブロック同時に破壊するAI凄すぎ

[@Audi_R810]

しょぼんのアクションみたいな初見殺し要素も学習できるのだろうか...

[@Shigure_Mayu]

音ゲーをIA学習でフルコンまで持っていくの面白そう

[@墓石N]

昔本物でやってた動画を見た気がしますが、再現ステージでやる理由とかってあったりするのでしょうか

[@gasumoru5037]

土管とかあるからちゃう？

[@凛-b7w]

動画の途中で出てくる効率化のために同時進行させるためかな〜とか思った

[@nikomi-888miso]

シューティングゲームとか楽しそう

[@kisito513]

そういえばスーパーマリオってちょくちょくゴール旗の触れた高さで得点が上がるって言う仕様があったような気がするからそこに報奨用意したら最後の挙動も変化するんやない？

[@影夜-g7g]

レースゲームの学習を見たいな。
実際の自動運転と違う所が有るなら、違う所の解説とかも聞きたい。

[@shi-no-shi-no-ne-ki-te]

今回は画面全部を使って判断してるけど周囲8マスのブロック内容を使ってマリオのコースをクリアするっていうのどっかで見たことある気がする

[@7thGstyle]

落ちましたぁ。
が、ツボりますww

[@やせいのからめる]

4:07 かな？

[@やせいのからめる]

4:23 かな？

[@momonso0821]

AIが意志を持っているようで面白い