Microsoft Research が、年に一度のイベント TechFest で ナチュラルユーザーインターフェース (NUI) や情報視覚化などさまざまな研究を公開しました。Microsoft Research といえば、マイクロソフトの一部ながら製品開発部門というわけでもなく、独立した組織として研究開発の「研究」側、サイエンスでアカデミックなプロジェクトを進めつつ、成果はマイクロソフトの製品に反映される関係です。

続きに掲載したのは、そのMicrosoft Research が「R&Dの " & " 」と称するイベント TechFest で公開した Kinect 関連技術の動画デモ。BodyAvatar のほうは自分の体を粘土のように造形して3Dキャラクターをモデリングする技術、もうひとつは空中で物を掴んだり、両手でマルチタッチ的な入力を可能にするグリップ認識技術。


BoadyAvatar のデモ。まず Kinect の前に立つ自分の体をスキャンして取り込み、あとは自分に羽が生えたりツノが伸びたりするイメージで、仮想の体を引っ張ったり切ったりして3Dキャラクターを作るモデリングツールのアイデア。

腕の可動域を考えるとなかなかイマジネーションのままにとはいかない気もしますが、3Dモデリングツールの知識がない場合、まず戸惑うのは対象がどちらの向きを向いているかであったり、視点の回転やリセットであったりすることを考えると、実際に人が操作するアバターの状態で「左肩からもう一本腕が生えてる」やら「頭から触覚が前方に」を直感的に操作できる点はエンターテインメント分野向きかもしれません。

(Kinect で 両腕をトラッキングしてポインタとして使う一方、クリックにあたる操作のためには手にボタン状のインターフェースを持っているようです)。





こちらはグリップ認識とハンドジェスチャ入力。現状の Kinect は解像度の関係から全身トラッキングと細かい指の動きのトラッキングを両立できませんが(スケルトンでは手先が単に一点として認識される)、この研究では人の手を写した膨大な数の画像から機械学習することで、Kinect for Windows (PC) に「グー」と「パー」を高速に認識させています。

手を開いてポインタ移動、掴んでクリックやドラッグ操作ができるため、従来のWindows アプリの操作や空中でマルチタッチ的な操作が可能になります。

(参考までに、一般的な Kinect ゲームでは、特定のアイコンの上で手を一定時間静止させて選択・決定したり、Kinect 用に配置したUI部品を叩いたり払うことで操作しています)。



Kinect を使ったコックピット操作が特徴的なカプコン / From Software のXbox 360ゲーム『重鉄騎』から。グリップ認識が早く実用化されていれば、あれほど多くの鉄騎乗りたちが戦闘中の誤操作で命を落とすこともなかったと思うと実にやりきれません。(Engadgetエンブレムは公式の無料DLCに紛れ込んでいます)


なお Kinect といえば、Microsoft Research 発の技術 Kinect Fusion は近日中に Kinect for Windows SDK に追加予定とのこと。




昨年の Kinect Fusion デモ。Kinect センサーの前で物を動かしたり、逆に センサーのほうを動かすことで、複数のオブジェクトや部屋全体を3Dモデルとして取り込む技術。キャプチャ結果を多数のフレームから補正し続けることで、Kinect の奥行きセンサそのものの静的な解像度を大きく超えた数mm単位の精度を実現する。




こちらは今年の TechFest で公開された Kinect Fusion の医療分野応用デモ。Kinect Fusion で患者の頭を取り込んで、2Dスキャン結果から生成した脳の3Dモデルと高精度に重ねあわせて表示する。