Sponsored Contents

wwdc19の最新記事

Image credit:
Save

ARKit 3で変わる未来。Minecraft Earthだけでなく「一般化戦略」がスゴイ(西田宗千佳) #WWDC19

地味にスゴイ機能が続々と

西田宗千佳
2019年6月6日, 午前10:30 in wwdc19
231シェア
0
231
0
0

連載

注目記事

HomePodレビュー。Apple MusicとSiriが家に来るスマート高音質スピーカー

HomePodレビュー。Apple MusicとSiriが家に来るスマート高音質スピーカー

Ittousai, 8月13日
View
 ソニー「WF-1000XM3」が売り切れまくる理由に納得。ノイキャン性能爆上げイヤホンでした

ソニー「WF-1000XM3」が売り切れまくる理由に納得。ノイキャン性能爆上げイヤホンでした

View

WWDC19の基調講演におけるデモで、一番注目を集めていたのは「ARKit 3」を使った「Minecraft Earth」の実機プレイだろう。


あの背景にある技術は、間違いなくARを次のレベルに押し上げるものだ。だが、ARKit 3の価値はそういう「先端」だけにとどまらない。全体戦略の面白さ・巧みさこそ、ARKitの特徴でもある。WWDC会場で公開されていたゲーム「AR Swift Strike」のプレイの様子などを含め、ここでは「ARKit 3」の全容を解説してみたい。

Engadget

ARKitの歴史をおさらい

ARKitは、iOS11から搭載された「ARのためのフレームワーク」だ。最初はシンプルな水平面を認識してそこに物体を「置いたように見せる」だけだったが、すぐに垂直面も認識するようになった。昨年のiOS12では、周囲に置かれた物体や床の色を認識し、CGの物体に反映する「環境マッピング」などが実装され、リアリティが高められている。

Engadget▲こちらは「ARKit 2」の映像例。机の上のバナナ(本物)がCGの器に映り込んでいるところに注目

ARというと「リアカメラから見える風景にCGを重ねる」もの、というイメージを持つ人が多いだろうが、実際には「なにかにCGを重ねる」ならすべてAR。Face IDを使って顔の表情を取り込み、CGアニメーションに変える「アニ文字」も、ARKitによって実現されている。手や顔の動きを取り込むことはCGをリアルにするためのコア技術だ。ARKitが登場以降、「CGを体や顔に重ねる」アプリがたくさん出てきたのは、基盤としてこの技術が定着してきた証拠だろう。

なお、追いかけるようにAndroidの「ARCore」も似た要素が追加されている。5月のGoogle I/Oでの発表では、表現力の面で、ARKit 2を超えた部分も出てきた。両者が存在し、競い合うことで、スマホのアプリ自体の機能が変わりつつあるのは間違いない。

CGの中に人が入り込む「People Occlusion」

さて、今秋リリース予定のARKit 3ではどう変わるのか?

もっともインパクトが大きい機能は「People Occlusion」だ。人とCGを重ねる時、人とCGの物体の前後関係を判断し、「CGで人の一部が隠れる」ようになる機能である。

wwdc

Engadgetに掲載済みである「Minecraft Earth」のデモプレイの中でも、CGの中に人が入り込んでいたり、CGが人の前に自然に重なる様子が確認できるはずだ。

WWDC会場でデモとして公開されていたARゲーム「AR Swift Strike」のプレイ映像を分析すると、そのあたりの効果がわかりやすくなる。このゲームは、巨大なボウリングの球を2人で押し合って、相手の後ろにあるボウリングのピンを倒す......というシンプルなもの。プレイヤーがiPadで球を押している珍妙な姿に目を奪われてしまい、そのままだと見逃してしまいがちだが、「CGの球と人の位置関係が自然に描写されている」のは地味にスゴイ。

この自然な描画を行うためには人のシルエットと前後の位置関係をすべてリアルタイムに認識している必要がある。しかも、プレイヤー2人分を。

EngadgetEngadget
▲「AR Swift Strike」のプレイ動画から。ボウリングのピンやボールが人物とうまく前後関係を持って重なっているのに注目。髪の毛の周囲などで不自然な点もあるが......

よく見ると、頭の輪郭の認識が不自然になっていたり、前後位置の判定に失敗したりしている時はあるが、その範囲は小さい。少なくともプレイ中は、こうした矛盾を「感じられない」くらいちゃんと動いていた。

この技術のスゴイところは、「すでにある」iPhoneやiPadのリアカメラでちゃんと実現できている、ということだ。こうした判定には、物体の奥行きを判定する「距離センサー」が搭載されている方がいい。Face IDで顔の形をちゃんと認識できているのは、距離センサーなどの仕組みが搭載されているためである。

だが、今のiPhone・iPadのリアカメラには距離センサーはない。すなわち、カメラからの画像で奥行き推定をしていることになる。いままでのARKitでも、物体を正しく置けるのは「画像センサー=カメラの情報による奥行き推定」ができていたためだが、人のように複雑な形のものを認識しつつ、リアルタイムかつ自然に重ねられるのはすばらしいことと言える。

ここで、カンのいい人は気付くことだろう。

iPhoneのカメラには「ポートレートモード」がある。ポートレートモードでは、人のシルエットと奥行きとを「機械学習を使った認識」で理解し、背景をぼかす。この仕組みを転用すれば、ARの中で人とCGを自然に重ねることも可能なのである。
Appleによれば、人の形の認識には機械学習が使われているという。逆に言えば、この機能は「人のシルエット」に特化したもの、ということだ。つまり、ARKit 3でのアプローチの限界は「人に限られる」ということになる。機械学習を使って人に特化した認識を行っている以上、他のものではオクルージョンができない。例えば、家具やペットなどは不可ということになる。

同じようなオクルージョンを実現している例としては、ナイアンティックが開発中の次世代技術がある。こちらは人に限らない形でのオクルージョンを目指している。こちらの方が自然な絵になるし制限も少ない。

▲ナイアンティックが開発中の技術。ポケモンが人々の足の間を動きまわり、風景の中で自然に振る舞う。これもまた「オクルージョン」のひとつだ

しかし、人間は「人の周囲」の目を奪われる。だから、Appleのアプローチは非常に「コスパがいい」やり方と言えるだろう。

「全身モーションキャプチャ」や「前後カメラ同時利用」がVTuberを変える?!

ARKit 3の機能の中で、筆者が「地味に有用だしスゴイ」と思っているものが2つある。

ひとつめは「全身モーションキャプチャ」。サードパーティーの中には、独自の実装でモーションキャプチャーを実現しているところもあるのだが、Appleはその要素をOSの一部に取り込んでしまった。iOSのデベロッパーであれば無料かつ、簡単に利用できるのはとても重要だ。

ただし、ARKit 3でのモーションキャプチャは、手足や腰の動きなどを認識するに留まっている。指先の細かい動きなどは認識できない。これは、カメラを画像センサーに用いている弱みでもある。細かな部分の前後関係や分離を把握できるほどの精度が出しづらいのだ。

そして、ふたつめは「Simultaneous Front and Back Camera」。すなわち「前と後ろのカメラを同時に使ったAR」である。

今のスマホARでは、フロントカメラとリアカメラは「それぞれ別々」にしか使われていない。だがそれらが両方同時に使えるとどうなるのか?

例えばこんなことができる。

スマホの画面にはCGキャラクターが表示されている。そのキャラに自分の気持ちを「表情で」伝えることが可能になる。自分が笑えば相手も笑う、といった風に。

同じように、自分の表情を画面に映っているキャラクターに「転写」することもできるようになる。自分の姿をCGキャラにして、その姿を自分が見ている......なんてこともできるわけだ。これはVTuberアプリなどで使うと面白いことになるかもしれない。

実は「Unityキラー」? 誰でもARが作れる「Reality Composer」とは


ARKit 3に付随する技術基盤として注目されるのが「RealityKit」だ。これは、物体の物理的法則に則った動きなどを簡単に再現するための仕組みだ。「指でつついて積木を崩し、それに合わせて効果音を出す」というようなことをするために必要なものがみな揃っている。と言えばわかりやすいだろうか。

従来、こうした部分は別途ゲームエンジンなどを用意して開発するのが常だったが、Appleはそこまでも自社でカバーしたため、アプリ開発のハードルがかなり低くなる。この種の仕組み自体は珍しくないが、RealityKitの特徴は「ARに特化している」ことだ。そのため、Appleによれば、ARに必要な「実景と重ねた時にどういう形がリアルなのか」という部分がカバーされているとのこと。

さらにハードルを下げるために用意されるのが「Reality Composer」というアプリ。これは簡単にいえば、「プレゼンソフト程度の作業で、プログラムを一切使わずにARで動くデモを作れるもの」だ。用意されたモデルを組み合わせて配置し、動きを付ければ、「実際の風景の中でCGが動く」ARデモが誰にでも作れる。そのうえReality Composerで作ったデータはiOS/iPadOSの「AR QuickLook」を通じて見られるので、メッセージアプリなどでシェアすれば誰とでも共有できるのだ。

Engadget
Engadget
▲Reality Composer。プレゼンソフトくらいの難易度で、誰もがプログラミングなしでARを作れる。Mac用とiOS/iPadOSが用意される

しかもこのアプリは、Appleにデベロッパー契約をしていない人にも提供される予定。例えば、個人がちょっとしたデモを作ったり、教師が理科などの学習用デモ(太陽系の説明や分子の説明など)を作ったりして、自由に見せることができるわけだ。

Reality ComposerはRealityKitをベース技術として使っており、できることはシンプルだが、誰もが使えるのがポイントだ。さらにそこにプログラムを組み合わせて、本格的なアプリ開発の省力化が行える。

これまでこうしたことを行うには、Unityのようなゲームエンジンが必要だった。Unityは一からプログラミングを組むよりはずっと簡単だが、それでも、プログラミングの経験が一切ない人には難しい。アーティストや教師などがARを使う場合、エンジニアと組んで作るか、自分がプログラミングを習得するか、という選択肢を迫られていた。Reality Composerはそうした状況に一石を投じるもの。とても重要である。

同じような思想のアプリにAdobeが開発中の「Project Aero」がある。こちらはReality Composerより凝ったことを、Adobeのツール群と連携して開発することを目標としており、少々趣が異なる。

いずれにせよ、iOS 13 / iPadOS13とともにARKit3が世に出て、Reality Composerのようなアプリが広がると、ARを使うこと・作ることがより一般的なものになるだろう。

その先に「なにか新しいハードウエアの世界」も隠れていそうな気がする。





「TechCrunch Tokyo 2019」11月14日、15日に開催



広告掲載についてのお問い合わせはad-sales@oath.com までお知らせください。各種データなどはこちらのメディアガイドをあわせてご覧ください。

231シェア
0
231
0
0

Sponsored Contents