Google
Google

開発者カンファレンス Google I/O 2021で、Google が3Dディスプレイを使ったバーチャル対面システム Project Starline を公開しました。

Project Starline は大型のライトフィールド立体視ディスプレイとリアルタイム3Dキャプチャを組み合わせ、相手がガラスの向こうに実在するかのように目を合わせて「対面」会話ができるシステム。Google では「魔法の窓のよう」と表現しています。

Google
Google

原理としては、機械学習を使った画像処理でユーザーの姿をリアルタイムに3Dキャプチャ・圧縮・転送します。届いたデータは「3Dメガネ」不要のライトフィールド3Dディスプレイで奥行きや立体感のある等身大の映像として表示し、音声も空間オーディオ技術を使い相手が見えている位置から聴こえるよう再生。3Dキャプチャしたデータをリアルタイムに処理・転送する圧縮技術も組み合わせています。

一般的なビデオ通話では、カメラと画面のズレから相手と目を合わせて話すことが難しく、コミュニケーションから視線による情報量が抜け落ちる問題がありますが、 Starline ではユーザーの目の位置から見えるであろう相手の姿を立体的に再現することで、姿勢を変えたり頭を動かしてもお互いが「正しく」ガラスの向こうにいるように表示できます。

Google
Google

システム一式の外観。ディスプレイ手前にある幅広の箱に3Dイメージング用のセンサ等を収めているようです。

Googleは以前から、実写動画でありながら視線を前後上下左右に自由に動かして見上げたり覗き込むことができるライトフィールド動画と、そのリアルタイム伝送技術の研究開発を続けてきました。家庭で体験できるデモとしても、Oculus や SteamVRで体験できるデモ Welcome to Lightfield を2018年に公開しています。

Project Starline は現在、各地の Google 拠点間でテスト中のほか、医療関係やメディアなど一部のパートナーに対してデモを実施しフィードバックを得て開発を続けています。年内にも、Googleの法人パートナーを対象にトライアルを実施する予定。

家庭に設置できるのはまだ先になりそうですが、SF映画でありがちな「会議が終わると目の前の相手がスッと消える」会議システムやリモート診療、舞台のようなエンタメ分野で威力を発揮しそうです。

Project Starline: Feel like you're there, together