Kinect 4台で「ホログラフ」3Dビデオチャット、ライトセーバー対戦

Ittousai
Ittousai , @Ittousai_ej
2010年12月21日, 午後 03:03 in 3d
0シェア
FacebookTwitter

2台のKinect で3Dビデオ撮影」の Oliver Kreylos 氏がまた3Dビデオキャプチャの成果を公開しています。続きに掲載した動画は、ネット経由チャットの双方でそれぞれ2台の Kinect を使った「ホログラフ」3Dビデオチャットのデモ動画。被写体の左右前方からKinect で奥行き情報とビデオを撮影し、3Dの「ホログラフ」として再構成して送信します。

単なるステレオカメラによる3Dが1視点(左右の目で2視点) に固定されているのに対して、このシステムでは相手の3次元形状とリアルタイムの映像を組み合わせ再構成しているため、仮想カメラを自由に動かして広い範囲から相手を見ることが可能。Kinect は2台とも相手を斜めから写していますが、「仮想カメラ」を相手の正面に持ってくることで、お互いにカメラのほうではなく相手の顔をまっすぐ見て視線をあわせるといったこともできます。

さらに出力側にヘッドトラッキングと3D表示メガネ型ディスプレイを使えば、遠隔地にいる相手とお互いが仮想空間で自由に動き回りつつ、リアルタイムキャプチャされた相手の映像を本来の視点から見ることも可能になります。上の画像 (と続きに掲載した動画その2) はそのデモとして、なにやら適当な宇宙船内セットでスターウォーズごっこに興じるの図。実際に歩くとカメラの前から動いてしまうため「歩いたふり」をしつつカメラを移動させているのはご愛敬です。

制限としてはどちらのデモも2台の Kinect だけで認識しているため、前方180度程度しかキャプチャできていないこと。作者は「対面で話すビデオチャット用途には十分」としていますが、仮想カメラを裏に回せばなんだかホラーな映像になります。また手を動かしたときなど、どちらのカメラからも死角になる影の部分も同様。真正面から見ると相手の顔の中央に合成線があったり、常にちらついたりといかにも初期技術デモらしい粗さも目立ちますが、「スターウォーズ」の「ホログラフ」といわれればなんとなくごまかされてしまうのが恐ろしいところです。実際に使っているツールセットやコードはUC Davis内の作者研究ページへどうぞ。





 
 

TechCrunch 注目記事新型コロナのソーシャルディスタンスを支援するビデオチャットアプリ8選

新型コロナウイルス 関連アップデート[TechCrunch]
関連キーワード: 3d, 3d telepresence, 3dTelepresence, kinect, microsoft, oliver kreylos, OliverKreylos, telepresence, video, xbox, xbox 360, Xbox360
0シェア
FacebookTwitter