ビデオ：映像中のオブジェクトを「つまんで操作」できるアドビの新技術

Adobeが映像中のオブジェクトを直接つまんで操作できる直感的な映像編集技術のデモを公開しています。(「驚きの映像技術」系デモが好きなかたはこの時点で続きの動画を再生して損はありません)。「Interactive Video Object Manipulation」と題したデモはAdobeの研究者Dan B Goldman氏によるもので、披露されるのは例えば：

• タクシーが走ってゆく動画中の1フレームを止めて車体に落書きを加えると、最初からそこにあったように全フレームに適用される。
• カメラの前で首を動かしたり口を開けたりした動画を元に、あごや鼻を直接つまんで動かしてちょうど欲しい角度や表情を指定。
• 上を応用して、複数人が歓談する動画ではひとりひとりを独立に「つまんで」視線や姿勢を動かして理想的な一枚を生成。

といった効果・インターフェース。技術的には映像中の無数の点をトラッキングして分析することで、人間が認識するように背景と動くオブジェクトを識別するもののようです。ピクセルではなく人や自動車といった単位で操作対象を指定できるため、映像をただ再生して目的の被写体がいい位置に来たフレームで止めるのではなく、オブジェクトを直接つかんでスライダーのように操作可能。

Goldman氏いわく、「おなじようなことはAfter Effectsのようなソフトでも長い時間をかければ実現できるが、この技術なら数秒で可能になる」。映像中に本来なかった物を付け加えたりそこにあったものを消してしまう「動画のフォトショップ」(必見)とおなじく、コンシューマー向けソフトに降りてくるのが怖くも待ち遠しい技術です。論文はリンク先から。