Googleは、DQNがこのゲームをクリアするために何が必要かを考えました。そして導き出した答えが"好奇心"。GoogleはDQNのAIに好奇心として機能するアルゴリズムを植え付けたところ、最新バージョンでは、自ら24面中15面をクリアするまでに成長しています。しかも第1面についていえば、わずか4回のトライでクリアしました。ちなみに"好奇心"を持つ前のDQNでは、どんなにがんばっても2面目までしかたどり着いていませんでした。
DQNの兄弟ともいえる囲碁AI「AlphaGo」は今年、世界最強クラスの棋士を打ち負かしました。そしてチェスや将棋でも、AIはすでに人間以上の力を備えるようになっています。しかし、「Montezuma's Revenge」のようなリアルタイム性と好奇心・探究心が必要なゲームは、AIにとってはなかなかハードルが高いようです。
Googleは今回の成果をすでに論文にまとめています。そこにはゲームについて「最初の部屋をクリアするには主人公はハシゴを登り、敵キャラを避け、鍵を拾い、そして引き返して2つあるドアのうちひとつを開けなければなりません」と、まるで取説のようなことが書かれています。それこそがAIが自分で解かなければならなかったクリアの方法でした。
Google Deepmindは、次のステップとして対戦型のゲームで、人間のチャンピオンを打ち負かすことを計画しているとのことです。