表情を認識するヘッドホン「C-Face」、ウェブカメラ無しでビデオ会議用の顔を生成

別人の顔でもしゃべれます

Munenori Taniguchi
Munenori Taniguchi, @mu_taniguchi
2020年10月13日, 午後 04:30 in face tracking
0シェア
FacebookTwitter
SciFiLab
SciFiLab

コーネル大学の研究者が、装着者の表情を認識しコンピューターの画面に表現する機能を備えたヘッドホン”C-Face”を開発しました。このヘッドホンを使えば、自分の顔の表情をあらかじめ選んでおいた別の人物の顔に置き換え、リアルタイムに表示することができます。この技術を使えば、ウェブカメラを使わずにビデオ通話をすることが可能。またVR空間を使うSNSなどでは、アバターの表情をユーザーの表情で置き換えることで、より現実に近いコミュニケーションを可能にします。

コーネル大学のCheng Zhang氏は、このデバイスが既存のヘッドホン型顔認識デバイスに比べてシンプルで目立たず、より高い表情を追跡能力を有すると述べています。たとえば新型コロナ禍において、マスクを着用しているような場合、カメラ画像式の顔認識では表情を伝えようもありません。一方、C-Faceはヘッドホンの左右ユニットに取り付けられたカメラで、装着者のほおの筋肉の動きを検知して表情を自動的に生成します。

この技術はディープラーニングと畳み込み型ニューラルネットワークを活用し、カメラ映像から収集した情報を、あらゆる表情を作り出す顔の上の42ポイントの動きに変換します。実験で得られた結果では、装着者の表情を85%以上の正確さで再現できたとのこと。

課題はカメラを駆動するバッテリーの容量による制限があることで、研究者らはより高効率なバッテリーを適用することを考えています。

ZoomやFaceTimeなどのビデオ通話ではスピーカーから相手方の音声を出すとそれをマイクが拾ってエコーが発生することがあるため、スピーカーよりもイヤホンまたはヘッドホンを使うほうが快適に会話ができます。また自分の顔や表情をカメラを使わずにコンピューター生成して相手と会話できれば、たとえば女性ならメイクアップの手間が省けたり、室内の様子が相手に知られずに済むと言うメリットもあります。ビデオ通話/会議が今後も一般的になり定着するようなら、C-Faceのような技術も普及していくかもしれません。

ところで気になるのは、ほとんど表情を変えずに話す人の場合、C-Faceの生成する顔はどうなるのかということ。ほおの筋肉の動きが認識できなければ、コンピューターも顔の表情を作り出すことができないはずです…。ただよく考えてみれば、それは最初からほとんど表情を変えることがない人なので、生成される顔も再現度の点では問題ないのかもしれません。

source:SciFiLab(Cornel University)
via:Cornell Chronicle

関連
自分撮りできるドコモのメガネ端末「ハンズフリービデオフォン」
動画:ドコモの「眼で操作できるイヤホン」


【Engadget Live】iPhone 12発売日速攻レビュー

 

TechCrunch 注目記事新型コロナのソーシャルディスタンスを支援するビデオチャットアプリ8選

新型コロナウイルス 関連アップデート[TechCrunch]

 

関連キーワード: face tracking, earphone, c-face, cface, cornell, facetracking, cornelluniversity, emoji, facial tracking, cornell university, facialtracking, news, gear, tomorrow
0シェア
FacebookTwitter