Google検索の動物3D表示が「物に隠れるAR」対応。ARCoreの奥行き認識でもっとリアルに

オクルージョンてやつ

Ittousai
Ittousai , @Ittousai_ej
2019年12月26日, 午後 12:20 in ar
0シェア
FacebookTwitter
Google
リアルな3Dの動物を目の前にいるように見せてくれる Google 検索の「3D表示」がさらに進化しました。

AndroidスマートフォンのGoogle検索では、3D表示の新機能「オブジェクトブレンディング」により、仮想のネコが物陰から頭だけ出してこちらを覗いたり、机の向こうにいるARパンダの下半身が隠れるなど、従来よりも自然に、現実の三次元環境になじんだ表示となります。

Google検索の3D表示は、ポメラニアンやトラやサメやペンギンなどを調べたとき、リアルに動く3Dモデルも参照できる機能。

「周囲のスペースに表示する」(iPhoneでは「AR」)を選べば、床などの平面を認識して、その場にいるように実物大で見せるARにも対応します。

この秋から日本語環境でも見られるようになり、「Google のペンギンを部屋に召喚して記念撮影した」や「ホホジロザメってこんなに大きいんだ!怖!」などと話題になりました。



今回のアップデートでは、このAR表示が「オブジェクトブレンディング」に対応。周囲の環境を平面だけでなく奥行きのある3Dとして認識したうえで、隠れているはずの部分は隠してもっと自然に表示します。

たとえば茂みの向こうから虎が半身を現したり、ベッドのへりから頭だけ覗かせる狼など。

従来のAR表示ではモノの前後関係までは認識できず、ただ画面に貼り付けたように3Dモデルを表示していたため、たとえば部屋の向こうにいるはずの大きな動物が手前の机に乗ったように表示されてミニチュアに見えるなど、位置もサイズも混乱することがありました。

オブジェクトブレンディングが有効ならば、スマホとカメラの性能や周囲の明るさ、複雑さに依存するものの、よりリアルに把握しやすくなります。

うまく描画されない場合、隠さず全体をはっきりみたい場合は、画面右上にある円のようなアイコンをタップすると、オブジェクトブレンディングのオン・オフが可能です。


Google

こうした処理はAR (拡張現実) 技術では「オクルージョン」(隠蔽)と呼ばれており、Google検索の3D表示ではGoogle の AR基盤技術 ARCore のDepth API (奥行き検出)で実現しています。

Google Developers Blog: Blending Realities with the ARCore Depth API

ARCore の奥行き認識は、通常のシングルカメラしか備えないスマホでも使えることが大きな特徴。人間が左右の目の視差を立体感の手がかりにするように、スマホの動きから少しずつずれた画像を何枚も取得して、比較することで各画素がどれくらい手前にあるのか奥にあるのかを推定します。

Googleの開発者Blogによれば、ARCore の奥行き認識が使える端末は世界で2億台以上。デュアルカメラ端末や奥行きセンサを備えた端末の場合は、さらに精度が高くなる仕組みです(対応していれば)。

Google

Google検索の3D表示ではオクルージョン処理に利用していますが、奥行き認識、つまり立体認識にはさまざまな使い方があります。

たとえばARのキャラクターが階段に登ったり障害物を乗り越えたり、現実の物体の上に仮想の雪が積もったり、現実の家具や木にぶつかった仮想オブジェクトがリアルに反応するなど。

Google ではこの ARCore Depth API を活用したい開発者を募り、アーリーアクセスを提供しています。

ARCore Depth API Call for Collaborators – Google

なおARのオクルージョン処理といえば、アップルは iOS 13 から、人体や手足のパーツを認識してARとの前後関係を描画する「ピープルオクルージョン」に対応済み。

こちらはカメラアプリのポートレートモードで、被写体の輪郭を推定して背景をぼかす処理に近いもの。かざした手の指のあいだからARキャラクターが見えたり、ゲーム Minecraft Earth ではブロック世界のなかに人が立ったりといった描画を可能にします。



その一方で、人体以外の奥行き認識とオクルージョン処理にはまだ対応しないため、iOS端末で Google 検索のAR表示を使うと、物陰には隠れないけれど手や人には隠れる状態になります。

ARマイクラMinecraft Earthゲームプレイ初公開。#WWDC19 でARKit 3のオクルージョン実演



またポケモンGOの開発元ナイアンティックも、独自の技術でオクルージョン処理を開発中。1年半ほど前に公開されたデモ動画では、ピカチュウとイーブイが植木の向こうや歩く人の脚に隠れながら走り回る様子が見られました。

ポケモンGOにはいつまで経っても導入されませんが、新機能「相棒と冒険」でマルチユーザーのAR記念撮影などが強化されたことを考えると、さらにリアルに環境に溶け込むポケモンの描写もそろそろ見られるかもしれません。

ポケモンGOのナイアンティック、仮想と現実をつなぐOS「リアルワールドプラットフォーム」発表(2018年)
 
 

TechCrunch 注目記事新型コロナのソーシャルディスタンスを支援するビデオチャットアプリ8選

新型コロナウイルス 関連アップデート[TechCrunch]
関連キーワード: ar, arcore, depth sensing, google, googlesearch, occlusion
0シェア
FacebookTwitter

Sponsored Contents