FingerTrak
Cornell University

コーネル大学とウィスコンシン大学マディソン校の研究者らが、手首の動きを小型サーマルカメラで監視し、指の動きや手の姿勢を推定する技術「FingerTrak」を共同開発しました。

単に手の動きを検知するだけであれば、スマートウォッチなどでも使われる加速度センサを利用れば事足りますが、指の動きを知るには、カメラを組み合わせるのが一般的です。

たとえばVRヘッドセットの場合は、VIVEやOculus Questなどがヘッドセット前面のカメラでハンドトラッキングを実現していますが、現実世界では同様にカメラを使ったトラッキングだと、物を掴んだりした際に指や手の認識が難しくなるという問題があります。

そこでFingerTrakでは、指そのものを追跡するのではなく、手首の輪郭を4つの低解像度サーマルカメラで監視。その映像から、ディープニューラルネットワーク(DNN)を用いて20か所の関節位置を推定します。指を直接監視しているわけではないので、手に何かを持っていたり、複雑なポーズでも指や手の動きを追跡できるのが特徴です。

11人の被験者によるテストでは、認識の角度誤差は6.46°~8.06°だったとしています。現時点ではまだ高精度のトラッキングが行えているとまでは言えませんが、トラッキング用の手袋などを必要としないので、VRでのハンドラッキングの補完などにも活用できそうです。

また、研究チームはこの技術を手話の翻訳やパーキンソン病、アルツハイマー病などの早期発見にも役立てたいとしています。

source: ACM