また、二日目の夜にはSNEAKS(スニーク)と呼ばれる同社が開発中の製品を紹介するセッションが行われ、同社の研究開発部門が将来のリリースを目指して開発している技術のお披露目が行われた。本記事ではそうしたSNEAKSで紹介されたAdobeの未来技術について紹介していく。
Adobe MAX 2016二日目の夜に行われたSNEAKS
──マシーンラーニングの機能を利用して人間の声の特徴を学習し再現する"音声フォトショ"機能VoCo
最大の注目はVoCoと呼ばれる新技術だ。VoCoは人間の声を学習し、それを元に人間の声を再現するという技術だ。これは行ってみればPhotoshopのレタッチ機能を利用して、画像の都合の悪い部分を修正したりということを"フォトショする"というのことの、音声版という機能。都合の悪い部分を削り、テキストで文字を入力すると、コンピュータが学習した声のデータを元にその人の声を再現することができる。デモでは、学習した発生部分はもちろんのこと、学習データには含まれていない部分を再現することができていた。
▲音声のフォトショ機能となるVoCo
▲まずは音声を取り込んで学習させる
▲学習したデータを読み込みテキストデータに変換する
▲今度は逆にテキストデータの方を編集して再生すると音声データをコンピュータが生成する
▲元のデータにはなかったthree timesを入力すると、音声データをコンピュータが生成する
VoCoのデモの様子
具体的には20分ぐらいのサンプルデータ(音声とその正解のテキストデータ)が必要で、例えばAudioBookなどがその最適なデータになるという。学習はAdobeがAdobe MAXで発表した新しいマシーンラーニング/ディープラーニングのプラットフォームとなるAdobe Sensei(アドビセンセイ)のマシーンラーニングを利用して行われ、対象となる人の音声やアクセント、癖などを学習する
Adobeによれば、例えば病気で声を無くした人の音声データがあれば、それを元に声を再現したりということも検討しているという。ただし、政治家が発言してもいないことを発言したかのように利用されるなどの危険性があることも認識しており、そうした課題に関してはプロテクトを行うなどの検討をしていかなければならないとした。なお、現在のデモは英語のみに対応しているが、多国語対応はさほど難しいことではなく、英語以外の言語にも応用可能だと言うことだった。
──VR HMDをしたままで360度VR動画を編集できるCloverVR
CloverVRは、VRビデオの編集を、VRの中で行えるという画期的なツール。言ってみれば、VR版Premiere Proとでも表現すべきツールだ。現在VRを編集する場合、編集者はPremiere Proの画面とVR HMD(ヘッドマウントディスプレイ)を行ったり来たりする。というのも編集を行うPremiere Proは2Dのアプリケーションだが、VR HMD上で再生されるコンテンツは3Dのコンテンツだからだ。従って編集はPCのディスプレイで、出来映えはVR HMDで...となりかなり忙しいことになってしまう。
▲VR HMDをつけた状態での編集機能を実現するCloverVR
▲通常はこうしたPremiere Proなどで編集していると、VR HMDとPCディスプレイを行ったり来たりになる
▲CloverVRはVR HMDをつけたまま編集できる
▲VRの画面の中に編集パネルが表示される
CloverVRのデモ
そこで、CloverVRでは、VR HMDを被ったまま、VRのビデオを編集できるようにする。具体的にはVR HMDに付属するコントローラなどで、各種の動画編集を行い、そのままできた映像をVR HMDで確認することができる。将来的にはこれがあれば、VR動画の編集にはPremiere Proはもう必要されないという時代がくるかもしれない...。
QuickLayoutは、Webサイトなどを作る際に面倒な動画の配置を自動で行う機能。写真をキャンパスに置いていくときに、自動で大きさを調整したりしてくれる。デザイナーは面倒な配置を考えなくても、簡単に写真を置いていくだけでレイアウトできるようになる。
▲QuickLayout
▲画像を置いていくだけで、コンピュータが自動で最適なレイアウトを選択
Stylitはクレヨンや絵の具といった従来の画材を利用して紙に色を塗っていくと、それをデジタル上の3Dモデルに着色や厚み、元の画材のイメージを残しながら再現していく。デジタルではなかなか再現するのが難しいアナログの色味を再現することができる技術として注目に値する。
▲Stylit
▲クレヨンなどで描いた画材のイメージや質感が3Dモデルに適用されていく
▲CGではなかなか出しにくい質感が表現されている
▲アナログなイメージを持つCGが完成
Stylitのデモ
この他、SkyReplace、Wetbrush、InterVector、ConceptCanvas、LoopWelder、ColorChameleon、SyncMasterなどのデモが行われた。
▲SkyReplaceは空の部分だけを他の天気に入れ替えられる技術
絵の具のようなブラシを再現する技術Wetbrush
▲写真からベクターデータを生成して手軽にCG化できるInterVector
▲イメージ検索機能ConceptCanvas
▲動画のループを調整するLoopWelder
▲作成している画像の色合いを一発で調整するColorChameleon
▲音楽と動画を簡単に同期させるSyncMaster