Sponsored Contents

aiの最新記事

Image credit:
Save

動画をマンガ風に変換する技術「Comixify」、ワルシャワ工科大の研究者らが発表

ディープラーニングを駆使しています

山本竜也(Tatsuya Yamamoto)
2018年12月15日, 午後02:30 in ai
52シェア
0
52
0
0

連載

注目記事


ワルシャワ工科大の研究者が、動画から特徴的なシーンを抽出し、それをマンガ風に仕上げるシステム「Comixify」を発表しました。

発表された論文によると「マンガを描くにはとても時間がかかる。動画をマンガに変換するツールを提供することで、個人や出版社がコンテンツを作る方法に革命を起こせる可能性がある」とのことで、まじめにマンガ作りに注目した研究のようです。

技術的には2つの要素に分かれており、1つは動画から意味のある特徴的なシーンを抽出する点。もう一つは、抽出されたシーンをマンガ風に仕上げる点です。

まず動画を2fpsでサンプリングし、意味のあるシーン(キーフレーム)を抽出。それを画像評価エンジンにかけ、キーフレームを絞り込みます(下図の緑の矢印)。その後、絞り込まれた画像をマンガ風に仕上げる(下図の赤い矢印)という流れです。

COMIXIFY: TRANSFORM VIDEO INTO A COMICS


マンガ風に仕上げるという部分では、ディープラーニングを使用。なかでも、Generative Adversarial Networks(GAN)というAIアルゴリズムを利用しています。

GANは、日本語では「敵対的生成ネットワーク」とも呼ばれるもの。通常のディープラーニングは、大量のデータを用いてAIを学習する必要がありますが、GANは、生成ネットワークと識別ネットワークの2つのネットワークを用いて、人の手によらない学習を行います。

たとえば、生成ネットワークが猫の画像を生成し、識別ネットワークが、それが猫であるかどうかを判定。生成ネットワークは、識別ネットワークに本物だと判定させるためにより精度の高い画像を生成するよう学習し、識別ネットワークは、より正確に判定するために学習を行います。

Comixifyでは、キーフレームをマンガ風に変換するためにこのGANを使用し、AIの訓練を行ったとのことです。

なお、このシステムはWEB上でデモが公開されており、好きな動画の変換が可能です(ただし元動画の容量は50MBまでという制限があります)。

出来上がったものは、まだマンガと呼ぶには不十分な印象ですが、将来的にはレイアウトのバリエーションを増やし、音声をテキストに変換するような仕組みも考えているとのこと。この技術が進めば、映画のコミカライズなどは、簡単にできるようになるのかもしれません。




広告掲載についてのお問い合わせはad-sales@oath.com までお知らせください。各種データなどはこちらのメディアガイドをあわせてご覧ください。

52シェア
0
52
0
0

Sponsored Contents