Niantic ARDK
Niantic

ポケモンGOのナイアンティックが、拡張現実アプリの開発キットARDK事前登録を開始しました。世界に先駆け、日本の開発者を対象に先行で受け付けます。

Niantic ARDK (Augmented Reality Development Kit)はポケモンGOのような、あるいはもっと高度なAR(拡張現実)表現を使ったアプリを作るための開発者キット。

床や壁を検出して仮想のキャラクターをリアルに出現させたり、深度推定(奥行き・立体形状の認識)と遮蔽(オクルージョン。仮想と現実の前後関係を正しく描く)といった機能を、単眼カメラのみのスマホで、iOS / Android マルチプラットフォームで可能にします。


ポケモンGOはどちらかといえば(まだ)位置情報ゲームで、ポケモンが目の前にいるかのように表示できるARは技術的に高度でもゲーム的に面倒で不利なので常用している人は多くないと思いますが、捕獲はともかくポケモンと記念写真が撮れる GOスナップショットはシンプルに楽しく、驚くほど多くの人が作品を公開しています。

「僭越ながら、ARを世に広めたのはナイアンティック」(プロダクト担当副社長 河合氏)と聞けば「ワシが育てた」かよと突っ込みたくなるものの、ARアプリ数あるなかで、桁違いに多くの人が初めて体験し日々楽しんでいることは否定できません。

Niantic ARDK
Niantic

Niantic AR の機能はこのほか、

・リアルタイムマルチプレーヤー(他の人がスマホ越しに見ているものが見え、一緒に遊べる)
・セマンティックセグメンテーション(映像のどの部分に何が写っているか切り分けて認識)

さらに近日提供として、

・VPS (画像認識でセンチメートル単位の測位を可能にする)
・3Dマップ
・ARクラウド

といった高度な機能も提供します。

Pokemon GO Pokestop Scan
Niantic

ARクラウドはこんな感じ。ポケストップのスキャンなどで収集したデータを元に、現実の場所の精細な3Dデータを生成してクラウド側に保持します。

VPS (ビジュアルポジショニングシステム)はカメラの画像(から得た特徴点情報)と、クラウド上のデータを突き合わせて、ユーザー(のスマホ)の位置がどこなのか、センチ単位でトラッキングする仕組み。

現在のスマホの位置情報は、人工衛星からの信号を使うGPSや、周囲のWiFiアクセスポイント情報などから得ているため、環境によって変動が激しく、精度もあまり高くありません。スマホの地図を開いたあとも、周囲を見回して道路のどちら側にいるのか、向きは正しいのか確認する必要があるのはこのため。

VPSならば、突き合わせるデータがクラウドにある限り、ピンポイントにどこにいて何を向いているか分かるため、ポケモンなりARキャラクターをリアルに表示するにも、カメラを向けると店舗やモノの情報や案内がピタリと正確に表示されるような使い方もできます。

6D.ai
6D.ai

参考:ポケモンGO、人海戦術で世界の3Dデータ化開始。ARマッピングでアイテム報酬

参考:ポケモンGOのナイアンティックが6D.ai買収。ARクラウド技術スタートアップ

こうした機能はポケモンGOでもまだほとんど導入されていませんが、仮に利用されるとしたら、たとえば
・眼の前の植え込みからくさポケモンが、噴水からみずポケモンが現れる(セグメンテーションで何があるのか認識、検知機能で配置)
・巨大なドラゴンが、現実のビルの向こう側から見下ろす(建物と空を検出して、仮想キャラにかぶるものは手前に)
といった表現が考えられます。(いま勝手に想像しただけで、ナイアンティックが予告したわけではありません)。


ARはゲームや写真アプリのおもしろ効果としての応用が先行したものの、人間の自然な認知能力に近いインターフェースと考えれば応用例は無数にあり、「スマホの次」になりうる技術として、アップルやGoogle、マイクロソフト等の巨大企業も力を入れています。

開発者キットとしても、アップルはARKit、GoogleはARCoreを競うように公開して積極的にアプリ開発者の参入を促しています。

こうしたなかでなぜハードもOSも持っていないナイアンティックがSDKを作ったのか、開発者として使うとどんな得があるのかと思えますが、ナイアンティック自身の表現では「開発者の創作をシンプルに」「マルチプラットフォーム対応など難しいところはナイアンティックがやり、開発者はユーザー体験の創造に集中できる」。

iOSやAndroidのAR APIとの関係でいえば、ナイアンティックARDKもそれぞれのAPIを利用しつつ、足りないところは自前で作り、開発者にとってはワンストップなSDKとして提供します。


一般開発者向けの提供に先立ち、先行したパートナー企業によるARDK利用アプリのデモが公開されています。

こちらはARを使ったライブ演出などでも有名なライゾマティクスによるデモ。

よくある空間にお絵描き系?のように見えますが、スマホを空間で動かして生み出せるこの謎のオブジェクトはひとつひとつがメロディ、バス、パーカッション、ビートなど小さなサンプルの破片のようなもので、それぞれの位置で音を発しています。

Niantic ARDK
ライゾマティクス

ユーザーは自分でこの音の欠片を空間に配置して「作曲」したり、歩くことで動的にミックスして音楽を楽しめる仕組み。

他の人が描いた音もリアルタイムに反映されるため、実際に体験すると空間を使ったセッションのような、部屋自体が楽器であり曲でもあり、自分がその音楽の一部でもある不思議な体験ができました。

ナイアンティックARDKは事前登録を日本先行で受け付けたのち、正式リリース前バージョンとして順次、開発者に無償で提供する予定。

実際にストアなどでユーザー向けに配布するアプリについては現時点では「応相談」、ライセンス形態や将来的な費用なども今後のフィードバックにより決めてゆく段階とのこと。

Source:Niantic Creator Programs