Omodaka Synthetic Nature
▲Omodaka Synthetic Nature Live

2020年12月、YouTube Liveで「Omodaka Synthetic Nature Live」が配信されました。

同配信は、ミュージシャンのOmodakaさんによる、映像合成装置を使った音楽ライブ。仮想空間の中でOmodakaさんが全33曲のライブパフォーマンスを繰り広げる約70分の配信で、2021年1月現在もアーカイブ視聴が可能です。

(ライブ本編は14:08から)

配信では、仮想空間でしか実現できない広大な"会場"と、まるでドローンなどで撮影したかのような、目まぐるしく動くカメラワークで、リアルタイムのライブ配信とは思えないほどの"超次元ライブ"が披露されました。そんなOmodakaさんのパフォーマンスに魅了された私はこの仮想空間でライブ配信について詳しく聞きたいと思い、Omodakaさん本人にインタビューしてみました。

Omodakaって何者?

『Omodaka』とは、作編曲家の寺田創一さんによる、音楽とモーショングラフィックスの突然変異的融合を試行錯誤してきた実験企画です。本稿では便宜上、寺田さんを「Omodakaさん」と表記します。2001年に始まり、2009年からは巫女装束姿の寺田さんが、カオシレーターや携帯ゲーム機などを演奏したり、液晶ディスプレイに映し出された仮想シンガー(金沢明子さん)に歌わせたりといったライブパフォーマンスを、日本のみならず世界各地で行なっています。

活動初期は主に競艇をテーマにした楽曲を作成していましたが、現在は日本の民謡・小唄・端唄をテクノやチップチューンでアレンジした「キメラ民謡」をメインに活動しています。

Omodaka Synthetic Nature
▲Zoomでのインタビューに答えるOmodakaさん

なぜVRステージでライブを?

―― なぜ今回"仮想空間"でライブをやろうと思ったのですか? 仮想空間内でライブをやろうという構想自体はいつごろからあったのでしょうか?

Omodaka 6月20日にストリーミングフェス「Music Unity 2020」(MU2020)に参加したのですが、そのときは基本的にステージ上のパフォーマンスの中継で、ディスプレイに映している映像がふんわり全体に被るような演出だったんですよ。そのMU2020で舞台監督にVRの映像合成技術のことを教えてもらって、それで「おもしろそうだなぁ」って興味が湧いて、VR制作スタッフを紹介してもらって、MU2020の後くらいから進めてきました。

―― 今回のVRライブ配信のスタッフは皆、このとき初めてお会いしたスタッフばかりですか?

Omodaka VRデザインの3人(SYMBIOSIS 中市好昭氏、nanographica 岸本圭司氏、坂本茉奈美氏)と、ビデオスイッチャーの方(嶋田健二郎氏)は初めてです。nanographicaさんとは今回直接会う機会はありませんでしたが。

―― 夏ごろから企画は動いていたんですね。

Omodaka Synthetic Nature
▲ライブの様子

Omodaka 5月にも一度オンラインフェスに参加しようとして、カメラで自分のパフォーマンスを撮ってみて、"映像"として四角く切り取ったときに、その場にいる分にはいいんだけど、「ひとつの映像作品」として見たときに、あまり時間が長持ちしない(飽きてくる)ってことに気が付き、それが課題だとを思っていました。

―― なるほど。確かに、実際のライブだと、その場にいないと伝わらない雰囲気というか、そういう演出とかもありますからね。

Omodaka 映像そのものに"引き付ける力"がないと、PCとかで配信を見たときに、音は聴いていても、例えばTwitterだったり、ほかのことをやっちゃうじゃないですか。それは人の自由だし、実際のライブのときもそういうことはあるのですが、それをできるだけ画面に引き付けておきたいというのはありました。

Omodaka Synthetic Nature
▲VRステージだけでなく、これまでに発表したMVをバックにパフォーマンスを繰り広げるシーンも

―― 今回の配信の"世界観"というか、「テーマ」は何でしょう?

Omodaka 今回のライブのテーマは題名の通りの「Synthetic Nature」で、直訳だと「合成的な性質」だけど、くだけた表現だと「合成したがり」みたいな意味合いです。約12年前にOmodakaのライブ活動を始めたころ、液晶モニターにシンガーを映して演奏することを決めたとき既に「合成したがり」傾向があったかもしれません(笑)。これまでライブを映像化することは考えていなかったけれど、液晶モニターも含めた舞台装置全体を合成する機会に今回は恵まれました。

―― 「合成したがり」ですか! 今回のライブではこれまでに発表したMVをバックにパフォーマンスを行なう姿も印象的でした。

Omodaka Omodakaは音楽自体も「合成された民謡」とか「キメラ民謡」なので、無意識のうちにライブパフォーマンスの映像化にもそういう影響が出たのかもしれないし、とりあえずセットリストが先にあって、そこから今回のステージのデザインをVRチームにお願いしました。

―― 前半は鳥居と大仏が共存して、周りに桜が咲いている"東洋の神殿"的建造物、後半は竹や樹木が生い茂る廃墟のような荒地でした。これはOmodakaさんのアイデアなのでしょうか?

Omodaka ステージデザインの提案はVRステージ制作スタッフの方です。自分も知らなかったんだけど、神社とお寺は現代では分離しているけれども、江戸時代までは神社もお寺も一緒くたになっていて、その特色が残っている"神社お寺融合体"みたいなものが、岡山県にあるそうなんですよ。VRのステージを作ってくれたnanographicaさんが岡山県の方で、岡山県にある「最上稲荷」がモチーフになっているらしいです。

それを作ってもらったときは「Synthetic Nature」って言葉はなかったんだけど、神社とお寺が"融合"しちゃっているのが、ある意味面白いなって思いました。

―― それは珍しいですね!

Omodaka 珍しいみたいです。

自分もネット検索で調べただけですが、日本に仏教が伝わってから1000年くらい神社とお寺が混ざった状態だったみたいで、お寺なのに参道の入り口に鳥居があったりして、江戸時代まではそういう建物が日本中にあったらしいです。明治時代になってから、けっこう厳しく「分けろ」ってお達しが出たそうで、だから神社とお寺が分かれたのは、ここ150年くらいのことらしいですが、なぜか最上稲荷は分離しなくてもOKだったそうです。

Omodaka Synthetic Nature
▲鳥居と大仏が"共存"する、前半のステージ

どうやって撮影したの?

―― それにしても実際のライブでは難しそうなカメラワークでしたが、カメラは何台くらいで撮影していたのですか?

Omodaka 今回の物理的なカメラは正面とやや上手(かみて)の2台だけだったのです。説明しにくいんですが、仮想空間合成ソフトの中に仮想のカメラを複数置くことができて、それらを自由に動かすことができるので、たくさんカメラがあるように見えるんですよ。グリーンバックで抜いた仮装3D空間を、カメラが自由に動けるソフトがあるんです。VRステージ内のカメラワークとかに関しては、SYMBIOSISさんと坂本さんの2人がそれぞれやっています。

Omodaka Synthetic Nature
▲現実には難しそうなカメラワークも仮想空間での撮影ならでは

―― 実際のカメラは2台だけ!? 仮想空間の中にあるカメラで、ドローンやクレーンカメラを使ったようなライブ映像を撮影できるんですね。

Omodaka 制作スタッフから説明を受けても、自分も映像を見るまでどういうことかわからなかったので、びっくりです。だって正面と上手のカメラだけで、ああいうドローンのような視点が作れるって、自分でも理解できなかったよ(笑)。

でも、それも「こういうことなんだ!」ってわかるシーンもあって、正面からのカメラだと、角度を付けてどんどん横に回り込んで撮ると、体が薄くなって人物がペラッペラの紙みたいになるところがあって、そこで「物理カメラは正面に1台しかないんだ」ってわかるシーンもあるんですよ。

―― あぁ、ありましたね。最初に配信を見たときには気付きませんでしたが、何度も繰り返し見ていて気が付きました。

(筆者注:くだんのシーンは後半の56分ごろなどにあるので、実際にライブ配信アーカイブで探してみてください)

Omodaka Synthetic Nature
▲手前の柵も当然仮想空間内のもの

―― 神殿のシーンで柵が手前にある遠近感や、廃墟のシーンで足元に実際に瓦礫があるかのような立体感も驚きました。単にグリーンバックの合成ではないんですね! 4分割で撮影現場が映るシーンではモニターに隠れて見えなかった箇所なんですが、足元などにも何か仕掛けがあったのでしょうか?

Omodaka 実際に瓦礫があるかのような立体感なども仮想空間合成ソフトの処理でやっていて、床にはクロマキー合成用に緑色の床があるだけなんです。これがまる見えになっているシーンもところどころあります。

Omodaka Synthetic Nature
▲足元の瓦礫の"立体感"に注目

―― え!? そこは私もまだ見つけていません。何回も見たはずなのに……。でも、いろいろなものが遅延なくリアルタイムで展開されているので、最初の配信では引き込まれすぎて、途中からどんどん"合成"の空間とは思えなくなってきたほどです。

Omodaka でも実際にはレイテンシーはあります。0.5秒くらいのレイテンシーがあるから、音もそれに合わせて遅らせないとズレるんですよ。合成して出力すると、本当にちょっとだけ後ろになっちゃうんです、映像が。

―― やはり多少の遅延はあるんですね……というので思い出しましたが、4分割のシーンで、一部の曲で左下の撮影風景と、右上の仮想空間にいるOmodakaさんの動きがところどころ合っていないシーンがありましたが、あれも"遅延"なのでしょうか?

Omodaka 今回は空間のみならず時間軸も合成することがテーマになっているので、そこの推察は見る側に楽しく考えてもらうことにしました。空間の処理や時間の処理に破綻したり、ほころびているところ(=ツッコミどころ)がライブ映像の中にいっぱいあって、そこから視聴者に色々な想像をしてほしいと思います。

Omodaka Synthetic Nature
▲よく見ると左下と右上では顔の向きが違う

―― 今後はどんなライブ配信に挑戦したいですか?

Omodaka 配信ではライブ会場とは違った合成感、例えば時間軸とか視点をいじるとかができるので、配信でできる表現をこれからもいろいろ考えてみたいです。

―― 個人的に思いついたのですが、グリーンバックにモーションキャプチャスーツを着たOmodakaさんがパフォーマンスをする、"仮面巫女"自身がポリゴンの3Dモデルになった「バーチャルOmodaka」になるとかはどうですか?

Omodaka ポリゴンキャラの「バーチャルOmodaka」の出現はとても面白そうだね、VR技術の人に今度実現可能かどうか聞いてみます(笑)。

―― ちなみに、配信アーカイブはしばらく残すとのことでしたが、大体いつごろまで残すつもりでしょうか?

Omodaka まだ決めていないけれど、この記事が出てから少なくとも1か月は残そうと思います。