iPad ProのLiDARを使って現実世界にエフェクトを常時描画するiPadアプリ

20種類のエフェクトを選択可能

小口貴宏(Takahiro Koguchi)
小口貴宏(Takahiro Koguchi), @TKoguchi787
2020年08月20日, 午後 04:01 in news
0シェア
FacebookTwitter

最新iPad Pro(2020年モデル)が搭載する地形取得センサーのLiDARを使い、現実空間にエフェクトをリアルタイム描画できるiPad用アプリが登場しました。

群馬県の株式会社アフェクションが開発した「Effectron」は、iPad Proが搭載するLiDARセンサーから取得した地形に、3次元的なエフェクトをリアルタイム描画することが可能。エフェクトは20種類から選択でき、自宅を映画「TRON」のようなグリッドに覆われた空間にしたり、オフィスの廊下を洞窟にして探検することも可能です。

(追記)LiDARでARアプリはこう進化する

なお、現実空間にエフェクトを適用するARアプリとしては「迷彩」などが存在します。こちらは、LiDAR非搭載のiPhone XS / XR以降でも利用できるわけですが、LiDARを利用することで、どの程度エフェクトが高度化できるのでしょうか。「Effectron」開発元に取材したところ、下記のような回答を得ました。

──LiDARを使うことによる「迷彩」との違い。

まず、初めに技術的な部分からお話します。「迷彩」の場合はARKit3から搭載されたピープルオクルージョンという機能を使い背景と人物を切り分けてエフェクトをかけています。背景のレイヤー1枚、人物のレイヤー1枚別々にエフェクトを乗せるイメージです。「迷彩」は実際の奥行は取得していませんが北千住デザインさんの優れた技術と映像センスで奥行を感じ取れるようなエフェクトになっています(実際お話を伺ったことはないので予想の範囲内の回答です)。

一方、弊社の『Effectron』は実際に3次元のメッシュを生成しているため擬似的なものではなく、部屋を写したらカメラの動きに合わせ同じスケールで同じ形の3Dモデルを配置していているようなイメージです。今後のアップデートで、LiDARで地形を読み取って生成したメッシュに当たり判定(メッシュに3Dオブジェクトを置いてもすり抜けないようにする処理)をつけ、キャラクターが走り回ったり、雪を降らして積もらせるような機能も実装する予定です。現実空間にあるものに画面上であたり判定をつけるような処理はLiDARで地形を検出しないとできません。

また、現段階の『Effectorn』でも多くのメリットがあります。生成したメッシュをかなり広範囲で保持しておけるので、建物の屋内の地形を取得して外からその建物を見るとメッシュがそのまま形が保持されているため建物内の内部構造を見ることができます。格子状のエフェクトを使い背景を暗くするとわかりやすいかと思います(今参考映像が手元にないので明日の15時ごろでしたらお送りできます)。

 

──今後のLiDAR活用について

先程記しましたとおりLiDARセンサーが付いたことで擬似的だったARの表現が地形メッシュを生成することで大きく進化することができます。現実空間をリアルタイムで3D化できます。ポケモンGOを想像してもらうとわかりやすいかと思います。現状のポケモンGoではピカチュウが現実の空間にいるようには見えません。平面を検知して配置しているだけなので画面の中では浮いたように見えてしまいます。しかしLiDARを使い地形のメッシュを生成すれば地面の上を走り回ったり、壁にぶつかったり、段差を飛び越えたりと実際その空間にいるような表現が可能となります。

また不動産などのエンターテイメン以外での活用方法も考えられます。ARKitより提供されたLiDARで取得したメッシュを壁、天井、椅子など自動で判別機能を使い壁紙を変て色合いを試したり、床の木材の材質を変えてみたりと様々な活用例があります。自分は今までARにあまり関心がありませんでしたが、iPad ProへのLiDAR搭載により表現、活用の幅がこれまでのARと全く違うくらい広がったので『Effectron』を制作しました。

App Store

 
新型コロナウイルス 関連アップデート[TechCrunch]

 

関連キーワード: news, gear
0シェア
FacebookTwitter