GoogleのAI『DQN』がアクションパズルゲームを攻略。やり残しの「Montezuma's Revenge」にリベンジ

Google Deepmind が開発するゲームをするAI、DQN(Deep Q-Network)が、苦手だったアクションパズルゲーム「Montezuma's Revenge」を攻略しています。「Montezuma's Revenge」は、2015年にDQNがATARI 2600 のゲーム49タイトルを与えられた当時、ほとんど対応できなかった唯一のゲームです。49のゲームを与えられ、そのうち29のゲームでは人間を上回る上達を見せたDQN。そんなDQNでも、アクションパズル系のゲーム「Montezuma's Revenge」だけはまったく話にならないという悲惨な結果を残していました。ところがここへ来て、DQNがこのゲームで上達をし始めています。

Googleは、DQNがこのゲームをクリアするために何が必要かを考えました。そして導き出した答えが"好奇心"。GoogleはDQNのAIに好奇心として機能するアルゴリズムを植え付けたところ、最新バージョンでは、自ら24面中15面をクリアするまでに成長しています。しかも第1面についていえば、わずか4回のトライでクリアしました。ちなみに"好奇心"を持つ前のDQNでは、どんなにがんばっても2面目までしかたどり着いていませんでした。

DQNの兄弟ともいえる囲碁AI「AlphaGo」は今年、世界最強クラスの棋士を打ち負かしました。そしてチェスや将棋でも、AIはすでに人間以上の力を備えるようになっています。しかし、「Montezuma's Revenge」のようなリアルタイム性と好奇心・探究心が必要なゲームは、AIにとってはなかなかハードルが高いようです。



Googleは今回の成果をすでに論文にまとめています。そこにはゲームについて「最初の部屋をクリアするには主人公はハシゴを登り、敵キャラを避け、鍵を拾い、そして引き返して2つあるドアのうちひとつを開けなければなりません」と、まるで取説のようなことが書かれています。それこそがAIが自分で解かなければならなかったクリアの方法でした。

Google Deepmindは、次のステップとして対戦型のゲームで、人間のチャンピオンを打ち負かすことを計画しているとのことです。