Sponsored Contents

appleの最新記事

Image credit:
Save

もう現実と区別つかない? ARKit 2で見えたAppleが本気でARに取り組む理由(西田宗千佳)

ARの本格普及はまだ先だ

西田宗千佳
2018年6月9日, 午前09:00 in Apple
502シェア
69
238
0
195

連載

注目記事

iOS 11.4でバッテリーが異常に消耗?対策は「Wi-Fiを切る」「5GHzから2.4GHzに切り替える」との声も

iOS 11.4でバッテリーが異常に消耗?対策は「Wi-Fiを切る」「5GHzから2.4GHzに切り替える」との声も

View

アップルは、6月4日、年次開発者会議「WWDC 2018」の開催に合わせ、秋に公開を予定している「iOS12」の内容を公開した。その中には、昨年iOSに組み込まれたAR技術である「ARKit」の次期バージョン、「ARKit 2」も含まれる。

では、ARKit 2でなにができるのか? 現地での取材内容からわかったことをお伝えする。そして、アップルのパートナーとしてWWDCでも新発表を行ったアドビの動きを含め、「ARKit 2でなにが起きようとしているのか」をまとめてみた。

なお、ここで解説した情報のうち、ARKit 2の詳細については、アップルがインターネットで公開しているARKit 2の開発情報からも確認できる。開発者の方は、下記もご覧いただくとより理解が深まるだろう。

What's New in ARKit 2

「ARKit 2」は実質3段階目の進化

まずおさらいから行こう。ARKitは、iOS11で組み込まれた、AR(Augmented reality、拡張現実)を実現するための技術である。iPhone・iPadが搭載しているカメラを使って空間を把握し、カメラが撮影した実景にCGを重ねることで、現実と仮想の入り交じった表現ができる。もっとも有名な応用例は、「Pokémon GO」のARモードだろう。昨年末、iOS向けのバージョンに実装された「AR+」モードはARKitを使って作られており、従来よりもずっと自然な形で、ポケモンが実景の中に現れるのが特徴だ。こういう表現を、2015年に発売されたiPhone 6s以降のiPhoneとiPadなら、すべての機種で、特別な機器を使うことなく利用できる。

一方で、iOS11のARKitはシンプルな内容でもあった。秋に登場したばかりの頃、認識できるのは平面だけだった。今年3月に公開された「iOS11.3」ではARKit「1.5」になり、壁などの垂直面も把握できるようなり、壁に貼り付いたポスターのような物体も表現可能になっている。

iOS12では「ARKit 2」になるが、機能は大幅に改良された。だが対応機種はこれまでと変わらないため、その点はご安心を。

「World Map」記録で、空間の再利用とシェアが可能に

iOS12での改良点のうち、大きなものは5つある。

ひとつめは、「空間をシェアできる」こと。そして二つ目は「空間を記録し、後から再利用できること」だ。実はこの2つ、同じ技術を別の側面から見ているに過ぎない。

従来のARKitは、そのままだと、自分の見ている仮想空間は自分だけのものだった。隣でもiPhoneを開いて、同じアプリで同じARを見ていたとしても、自分と隣の人が見ているARには関連性はなく、独立していた。だがARKit 2では、同じ仮想空間を複数の人でシェアし、一緒に楽しむことができる。写真はWWDCの基調講演で公開された、レゴが作ったARアプリの例。2人のデモンストレーターが、どちらもiPadをのぞき込んでいる。2人のiPadには同じ「レゴでできた街」が見えていて、そこを操作している。





▲WWDC基調講演でのデモより。2人がともにiPadをのぞきこんでいるが、同じ仮想空間を、ARを通して共有しているためにこのようなプレイ状況になる

またARKit 1は、仮想空間への物体の配置やその状況を「記録」する方法が、標準では用意されていなかった。デベロッパーが独自に工夫しない限り、目の前のAR体験はその場限りだった。だが、ARKit 2では残しておけるようになったため、数日後・数週間後に同じ場所を訪れてARアプリを起動すれば、前回置いた物体がその場所に「まだある」、という体験ができるようなっている。

これら2つは、空間の状況を記録した「World Map」を保存可能にしたことで実現した。World Mapの保存と「仮想空間のシェア」の関係が分かりづらいかも知れないが、要は空間の情報を記録し、残すことができるようになったので、そのデータを他人とシェアし、同じ仮想空間の情報が見れるようになった......ということなのである。空間の情報、というと我々は、周囲にあるものがポリゴンのデータとしてそのまま記録されるかのように思う。だがARKitのそれはもっと手軽なもので、カメラが捉えた「特徴的な点」の情報の配置を記録しているに過ぎない。だがそれでも、物体の配置をおぼえておくくらいなら十分な情報なのだ。



▲特徴的な場所を「点」として認識、そのあつまりとオブジェクトの関係を「空間」の情報として記録することで、AR体験の共有や再体験が可能になる

なお、World Map機能の応用として、今回から「立体のオブジェクト」を認識可能になった。認識できるのは、動いていなくて模様が多く、反射のないもの。すなわち、おもちゃや彫像などだ。デベロッパー向けに公開されたデモでは、古代エジプト・ラムセス2世(世界遺跡のアブ・シンベル神殿を作ったことでも有名)の妃、ネフェルタリの像の上に、説明書きをポップアップさせていた。この像の色と形を認識してポップアップしており、別の像では当然出てこない。


▲オブジェクトの認識も「特徴点」ベース。色がはっきりしていて反射のない物体なら、点群として形状を記憶する


▲オブジェクト認識を使ったアプリの例。ネフェルタリの像を認識し、その上に説明書きを表示させている


現実のバナナが仮想の器に映り込む!?

ARの表現力・リアルさを高める上では、「環境マッピング」に対応したことが大きな変化だ。これは文字で説明するより、写真で見てもらった方がわかりやすい。

鏡や銀食器はもちろん、車のボディやスマホの画面、磁器に至るまで、およそ光沢のあるものには、すべて「周囲の風景や色」が反射している。この反射を物体に映し込む技術を「環境マッピング」という。ゲームでいえば、メタルマリオのテカり感や、グランツーリスモの車のボディのなまめかしさだが、ARKit 1までは環境マッピングに対応していなかったので、「現実にあるものをCGの物体に反射させる」ことができなかった。これだとどうしても「合成っぽさ」が残る。


▲ARKit 1での描画例。バナナは本物で、器とリンゴはCG。環境マッピングがないので、器にバナナの映り込みがない

しかしARKit 2ではカメラが捉えた現実の世界の状況から、反射のための「環境マップ」がリアルタイムに生成され、物体に反映される。この写真の場合、リンゴの入った金属の食器はCGであり、バナナは実際に机の上にあるものだ。ARKit 1ではバナナの黄色は反映されないが、ARKit 2では、ぼんやりとバナナが映り込んでいる。


▲ARKit 2を使い、環境マッピングを自動生成。現実にあるバナナに反射した光の影響が、器にも現れている

この環境マップ生成には機械学習が使われているそうで、昨今の「機械学習無双」ぶりを裏付ける感じだが、ARのためにカメラで覗いているだけで、周囲の状況を使った環境マップまで作られていくとは、なかなかにすごい時代になったものだ。


▲空間マップは、位置把握のために周囲を確認した際、同時に記録し、そこから機械学習を使って生成される

視線認識で「目力」と「ウインク」、舌だしまで覚えた「アニ文字」「ミー文字」

iPhone Xでは、顔認識技術「Face ID」を使い、表情を読み取ってCGキャラになりきる「アニ文字」という機能が登場した。実はこれも、ARKitに含まれる「表情認識機能」を使って実現されている。ARKit 2では表情認識機能がさらに強化される。WWDCの基調講演では「舌を出す」ことを認識する......とだけ紹介されたが、実は視線認識も入った。そのため、iOS12では、アニ文字の「目力」が上がる。さらに、ウィンクにも対応したそうだ。


▲顔認識では視線も把握。目の表情が豊かになり、「目力」が出る


▲舌を出すポーズにも対応。人前での利用は計画的に

日本ではバーチャルYouTuberがちょっとしたブーム。現状は、モーションキャプチャー技術で体の認識をし、表情については職人技的なボタン操作で......という場合が多いのだが、ARKit 2のように視線や舌まで認識する技術が出てきたのであれば、スマホを使ってなりきり、というパターンも増えてきそうである。


アドビが進めるARツール「Project Aero」をサンフランシスコでチェック

ARKitは、必要とする性能を上げることなく、着実に進化している。では、それをどう使い、どうコンテンツを作るのか?

そのヒントとして、アドビの例を挙げたい。アドビは現在、AR・VRのためのツール開発プロジェクト「Project Aero」を進めている。WWDCの基調講演でその名前と存在のみが明かされ、翌日に、スニークプレビュー的なPVが公開された。



このPVに映っているのは、サンフランシスコにあるアートギャラリー、MINNESOTA STREET PROJECT。6月8日から10日の3日間、ここでは、「FESTIVAL OF THE IMPOSSIBLE」という展覧会が開かれていた。そこには、ディスプレイの枠を飛び出し、現実と仮想をごちゃまぜにしたアート作品が多数展示されていたのだが、そのうち3つが、このProject Aeroを使っている。

Project Aeroを使った作品は、どれもiPadを使っていた。CGで作られたアート作品をiPadを窓にして現実とミックスして見せるという、いかにもARらしい作品が展示された。






▲「FESTIVAL OF THE IMPOSSIBLE」に展示されたARアート群。どれもアドビが開発中の「Project Aero」を使って開発されている

正式オープン前に開かれたプレミアでは、アドビのCTO、Abhay Parasnisも参加してのパネルディスカッションが開催された。そこでParasnis氏は、Project Aeroの狙いについて、次のように語っている。


▲パネルディスカッションに登場した、アドビのAbhay Parasnis・CTO

「Project Aeroの狙いは、ARを民主化することにある。現在はアーティストが作品を作る際にも、ゲームエンジンの力を借りなければいけない。そうではなく、より簡単な形で、Photoshopなどいつものワークフローの中でARコンテンツが作れるようになるはずだ。結果として作品は、ディスプレイの画面の枠を飛び出していく。まだプロジェクトは初期段階であり、成果物の公開時期を明らかにできるタイミングではないが、多くの人々の意見を聞きながら進めていきたい」

ARKitのようなフレームワークの役割は、広く多くの人がARという技術を使える基盤を整備し、ビジネスと開発を活性化することにある。そのためにはOSの準備だけでは不十分であり、ファイルフォーマットやアドビのツール整備のような試みも重要だ。

ARの本格普及はまだ先だ。スマートフォンやタブレットをのぞくのではなく、「電脳メガネ」の時代まで待つ必要があるかもしれない。アップルの施策は、「仮にまだ時間がかかるとしても、技術の構築や開発者との連携強化を図っておく」という意味合いをもっており、その視点で見れば実に正鵠を得ているのではないか......。筆者はそう考えている。

なお、最後にProject Aeroについて、ひとつ追加情報をお伝えしておきたい。アップルにARKitがあるように、Googleには「ARCore」というARフレームワークがある。Project AeroのARCore対応についてアドビに問い合わせたところ、次のような回答が得られた。

「本日発表したのはiOSのものです。10月開催のAdobe MAXで詳細はお見せできるでしょう」

──どちらにしろ、Project Aeroの全貌は10月のAdobe MAXまでお預け、というところのようだ。


関連キーワード: apple, ar, arkit, arkit2
502シェア
69
238
0
195

Sponsored Contents