本当に演奏できるバーチャル・エアギター

空中で腕や指を動かすと本当に音が出る「バーチャル・エアギター」。フィンランドはHelsinki University of Technologyの学生たちによるプロジェクトで、明るい色の(普通の)手袋をつけた「演奏」をカメラで撮影、画像を解析して各指の動きや「フレット」上の位置(両手の距離が使われる)を認識してギターの音に変換する仕組み。とりあえず動画をどうぞ。 エアギター感と動作原理がよく分かる写真ギャラリーもあり。

音も単に指の動きと押さえた位置だけで単純にサンプリングを割り当てているのではなく、存在しないギターの物理モデルから音を演算で求める方式。使われている機材も普通の手袋と市販のウェブカメラ、PCと特別なものは何もなし。画像認識や音響生成に使われるソフトウェアもすべてフリー/オープンソース。いまのところLinuxで動いているがWindows版ソフトウェアも開発中とのこと。

バーチャル楽器ならば現実のギターを再現しないまったく新しいインタフェイスが考えられそうで楽しいというのはもちろん、普通のウェブカムとPCだけでここまで高度な画像認識が使えるなら、手に何も持たずにジェスチャでリモコン・PC操作も実現できそう。マイノリティ・リポートのあれみたいに恥ずかしい踊り風じゃなくて指先の動きを拾えるならバーチャル・キーボード(の形に限らない入力方式)もできる！あとはえーと耳を塞ぐふりをするとスピーカーをミュートとか、存在しない電話を耳に当てると着信とか、思いきり受話器を置く振りをするとちゃんと速度と力を計算してガチャン！と切れるSkypeとか。


[via New Scientist]

[本家Engadget]