マイクロソフト傘下の研究機関 Microsoft Research が、仮想オブジェクトを手で触って操作できる技術 HoloDesk のデモを公開しました。使用者の顔とデスクのあいだに透明なビームスプリッタ (ハーフミラー) があり、ここにCGを投影することで、現実のデスク上に仮想オブジェクトが出現したように見える仕組みです。とりあえずは文章の説明よりも上の動画デモをどうぞ。

重ねあわせて表示された仮想物体を操作する部分には、やっぱり Kinect が使われています。Kinect でユーザーの手の形状をリアルタイムに認識することにより、指や手でつまんだり、弾く・押すといった自然な動きで仮想環境を操作することが可能。いわゆる NUI (Natural User Interface)と呼ばれる分野です。

Kinect はセンサーの前にある物体の三次元形状を認識できるため、手だけでなくたとえば手に持った紙のうえを仮想のボールが転がり落ちるといったことも可能。またユーザーの視線をフェイストラッキングで認識することにより、頭の位置を動かしてもバーチャルとリアルを常に矛盾なく重ねあわせます。

仮想と現実を重ねあわせたりインタラクトする拡張現実デモはよく見かけますが、ホロデスクはビームスプリッタとフェイストラッキングを使うことにより肉眼でそのままAR環境を見ることができ、視界の限られるヘッドマウントディスプレイや画面ごしに自分の手元を覗く不自然さをなくしたことがポイントとされています。

セットアップがやや大掛かりなのでXbox 360 + Kinect 用のアクセサリとして販売するのは難しそうですが、マイクロソフトではラピッドプロトタイピングや、ひとつの仮想空間を複数のホロデスクで操作する共同作業やゲームを用途として提案しています。Kinect で手と顔の位置を追跡しているなら、うっかりデスクに突っ伏したり目をこすろうとしてハーフミラーにぶつかる前に迎撃する仕組みも実装できそうです。