㉔【AIネタ】作ってわかったAIの基礎（深層強化学習）

AIの実現手法には「ルールベース」と「機械学習」の2つがあります。
これまでお宝争奪ゲームに登場する競争相手の自動運転AIには、事前に設定したWaypoint(経由地)を自動的に巡回するタイプのAIである「Waypoint巡回型AI」を使っていました。
これは条件に対する振る舞いを人間がプログラムしたAIであるため、「ルールベース」のAIに分類されます。
今回、この「Waypoint巡回型AI」を使用せず、自分の位置から一番近い場所にあるお宝を自分で発見して取りいくことを実現するため、UnityにML-Agentsという機械学習パッケージを導入し、「ディープラーニングによる深層強化学習」にチャレンジしてみました。
これにより、バーチャルアウディA3が、自分の意思を持って自由にお宝を取ってくるAIを実現することができました。
また、経路上に傾斜が急すぎて通れない山や崖が存在する場合、それを自動的に迂回して目標へ向かうAIについても、深層強化学習とルールベースの合わせ技として実現することができたので、そのノウハウを共有します。
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
『アウディ買ってみた！』の全体像
以下の通り、アウディA3を買ってみて、色々とやってみたこと、感じたことをシェアしています。
ぜひチャンネル登録、高評価をお願いします！
■■■■ アウディのモデル選定情報■■
私が購入した2020年式 Audi A3 Signature Editionを軸にした、アウディのモデルの選び方に関する情報を共有します。年式の新しい認定中古車での購入がお勧め。
①アウディのモデルの選び方
• ①アウディのモデルの選び方 （実際に買ってみ...
②Audi A3 2020年式 Signature Editionの良いところ悪いところ
• ②Audi A3 2020年式 Signat...
④A3が1か月間入院！その間A1に乗ってみた評価
• ④Audi A1に1か月間乗ってみた評価（A...
⑧アルミホイールのベストチョイス（新型A3 Sportback、A4 Avant）
• ⑧アウディの純正アルミホイールのベストチョイ...
⑲2022年式Q3 Sportbackに乗ってみた。（比較した結果：A3(8V)がやはりお買い得かつお薦め！）
• ⑲2022年式Q3 Sportbackに乗っ...
㉗2022年式Audi A6 Avant 45 TFSI quattro Sportを借りてみた。
• ㉗2022 Audi A6 Avant借りて...
■■■■ コーディング情報■■
コーディングツール「VCDS」または「OBD eleven」を使ったコーディング情報を共有します。
③コーディングをやってみよう編
• ③コーディングをやってみよう（VCDSを使っ...
⑥コーディングでアウディコネクトの通信回線を格安SIMに変更してみよう
• ⑥アウディコネクトの通信回線を格安SIMに変...
⑦MMIをWiFiクライアントにして、手持ちスマホ経由でAudi Connectへ接続してみよう
• ⑦MMIをWiFiクライアントにして、手持ち...
⑩コーディングで、エンジンを切ってもオートハイビームアシスト機能を有効にする
• ⑩エンジンを切ってもオートハイビームアシスト...
⑪エンジン始動時にわくわくする演出2つをコーディングでアクティブにしてみよう
• ⑪ニードルスイープとウェルカムサウンドをアク...
⑫アイドリングストップをキャンセルする複数のコーディング方法が全滅（涙）
• ⑫アイドリングストップをコーディングでキャン...
⑬MMIの開発者モードをOnにして、隠しメニューを表示させてみよう
• ⑬MMIの開発者モードをOnにして、隠しメニ...
⑰OBD eleven2 Proを買ってみた！VCDSヘビーユーザが、OBD Elevenの良いところ、悪いところを評価
• ⑰OBD eleven2 Proを買ってみた...
⑱FEC/SWaPコード生成＆転送、MIBのパッチあてなどマニアックな話
• ⑱FEC/SWaPコード(アクティベーション...
⑳ヘッドライトウォッシャーはコーディングで無効化してはいけない！？（OBDelevenによる機能無効化/有効化のコーディング方法、A3(8V)後期）
• ⑳ヘッドライトウォッシャーはコーディングで無...
㉘OBD elevenを使ってバーチャルコックピットの隠しメニュー(グリーンメニュー)を表示させてみよう
• ㉘OBD elevenを使ってバーチャルコッ...
㉙OBD elevenを使用してMMIをWiFiクライアント化してみよう
• ㉙OBD elevenを使用してMMIをWi...
㉜メーターレイアウトをS3のスポーツレイアウトへ変更してみよう！(予算1500円)
• ㉜A3のメーターレイアウトをS3のスポーツレ...
㉝バーチャルコックピットのバージョンを表示する隠しメニューの出し方
• ㉝バーチャルコックピットのバージョン情報を表...
㉞アウディのバッテリー交換＆アダプテーションのやり方
• ㉞アウディーのバッテリー交換＆アダプテーショ...
㉟アダプティブクルーズコントロールを使いやすくするコーディング２つ
• ㉟アダプティブクルーズコントロールを使いやす...
■■ ■■検証情報■■
アウディを購入して疑問に思ったことを検証した情報を共有します。
⑤アウディは100m離れてもアウディと判別できるか（再編集ショートVer）
• ⑤【検証ネタ】アウディは100m離れてもアウ...
⓽布製タイヤ滑り止め「Auto Sock」(オートソック)を買ってみた
• ⑨【検証ネタ】布製タイヤ滑り止め「Auto ...
⑭コストをかけずにMMIでRUclipsを見れるようにしよう
• ⑭コストをかけずにMMIでRUclipsを見...
⑮TelnetでMMIにアクセスしてみよう～準備編～　開発者用のUSB-LANアダプタをLinuxのethtoolで自作
• ⑮【検証ネタ】TelnetでアウディのMMI...
⑯カーナビの地図情報を更新してみよう。SIMを使ったオンライン更新ではなく、MyAudiサイトからのダウンロード
• ⑯カーナビの地図情報を更新する方法。車内から...
■■■■バーチャルアウディ関連（自作ゲーム、AI、アセットコルサ）■■
㉑54タイトルから厳選、Audiを乗り回せるゲームTop5（Virtual Audi A3でメターバースを走り回ろう）
• ㉑Audiを乗り回せるスマホゲーム54タイト...
㉒バーチャルコックピットを3Dドライビングゲーム化！？ （Virtual Audi A3でメタバースを走り回ろう）
• ㉒アウディのバーチャルコックピットを3Dドラ...
㉓バーチャルアウディはここまで進化！自動運転A3とのレースが超面白い
• ㉓バーチャルアウディの進化。ゲーム内に登場す...
㉔AIが自らお宝を発見し取りに行くことに挑戦！ディープラーニングによる深層強化学習の基礎が学べます
• ㉔【AIネタ】作ってわかったAIの基礎（深層...
㉕ChatGPT+AI Vtuber 『逢出いろは』(あうで いろは)によるアウディコンサルティング！
• ㉕【生成AIネタ】ChatGPT+AI Vt...
㉖【AIネタ】㉖複雑な市街地サーキットをAIの自動運転が完走できる仕組みを解説
• ㉖【AIネタ】複雑な市街地サーキットをAIの...
㉚2020年式Audi RS3 Sportback quattroで東京赤坂御所の周回コースを爆走してみた
• ㉚Audi RS3で東京赤坂御所の周回コース...
㉛2021年式Audi RS6 Avant C8で、大雨の首都高を渋谷からレインボーブリッジまで爆走してみた
• ㉛Audi RS6 Avantで大雨の首都高...