Daito Manabe
Daito Manabe / Apple

日本を代表するメディアアーティスト真鍋大度さんのインタビューをお届けします。

Rhizomatiks(ライゾマティクス)を率いる真鍋大度といえば、Perfumeのライブ演出の技術サポートや、サカナクションのライブの映像演出、OK Go、Squarepusher、Bjorkほか世界的アーティストのMVなどで著名なアーティスト / プログラマー。ARやプロジェクションマッピング、ドローン、パーソナルモビリティなど、常に最先端の技術を駆使した表現で知られています。

今回はアップルの「Macの向こうから」キャンペーンCMへの出演と、個展『ライゾマティクス_マルティプレックス』にあわせたインタビュー。話題はアーティストとしての転機から、ライゾマらしさとクリエイティビティ、NFTやARといった注目技術、「ARメガネ」で変わる社会から、愛用するアップル製品に望むことまで、フリースタイルにお訊きしました。聞き手はEngadget編集部と、明治大学でインタラクティブメディアを研究する福地健太郎教授。

Daito Manabe Photographer: Akinori Ito https://www.instagram.com/akinoriito_i Stylist: Miter Shinichi https://www.instagram.com/mitershinichi Hair and makeup: Asami Nemoto https://www.instagram.com/asami_nemoto
真鍋大度(まなべ だいと) 東京を拠点に活動するアーティスト、インタラクションデザイナー、プログラマ、DJ。2006年Rhizomatiks 設立。身近な現象や素材を異なる目線で捉え直し、組み合わせることで作品を制作。高解像度、高臨場感といったリッチな表現を目指すのでなく、注意深く観察することにより発見できる現象、身体、プログラミング、コンピュータそのものが持つ本質的な面白さや、アナログとデジタル、リアルとバーチャルの関係性、境界線に着目し、デザイン、アート、エンターテイメントの領域で活動している。 Daito Manabe | Artist, Designer, Programmer, DJ, VJ, Composer

Kentaro Fukuchi
福地健太郎 明治大学総合数理学部教授。2004年東京工業大学大学院情報理工学研究科博士後期課程単位取得退学。博士(理学)。技術協力に『SKY CIRCUS サンシャイン60展望台』(サンシャインシティ)、『VR能 攻殻機動隊』(奥秀太郎演出, 2020年)など。2002年FIT 船井ベストペーパー賞、2010年日本VR学会 論文賞、2019年羽倉賞奨励賞、2020年Innovative Technologies 2020 Special Prize -Wonders- を受賞。fukuchi.org

Engadget:本日はよろしくお願いします。今回はあの真鍋大度さんにお話をうかがえるということで、真鍋さんの古くからのお知り合いでもあり、明治大学でインタラクションデザインを研究している福地先生をお呼びしました。

真鍋:よろしくお願いします。ちょっと怖いですね笑

福地:えー、こっちのほうが怖いよ笑

Engadget:まず最初に、お二人はいわゆるメディアアートやテクノロジーを使ったリアルタイムな表現について、真鍋さんはアーティストとして、またライゾマティクスを率いてビジネスとして、福地さんはアカデミズムの世界で携わっておられるという認識なんですが、いつごろからのお知り合いなんですか?

真鍋:えーっと、最初はいつだったでしょうか?福地先生と一緒にお仕事させていただいたのは。

福地:あれは何だっけ、KDDIのDesigning Studio でインスタレーション展示したとき。danboxelって、あれは2005年ですね。いやー、あのときはいろいろご迷惑おかけして。

真鍋:それこそ福地くんはその当時すでにEffecTVとかを作ってるので、そういったリアルタイムの映像生成をやってる人たちは当時からみんな知っていた感じですね。ぼくはそういうのをやり始めたのが2002年とか3年ぐらいで少し遅咲きでしたね。

福地:でもあの頃、コンピュータ使ってリアルタイムでインスタレーションだったりパフォーマンスをやる人ってそんなにたくさんは居なかったから、みんなだいたい知り合いみたいな感じありましたけどね。

真鍋:当時は本当にそうでしたね。マシンのスペックも今に比べると全然低かった。

福地:今でも覚えてるんですけど、あのdanboxelの前だったか後だったか、国際線の飛行機でたまたま隣の席に座ってたことありましたよね。

真鍋:ありましたね。

福地:出張でどこか海外の学会行くときに、飛行機で座ったらなんか隣でMacBookを突然開いた人がいたんだけど、そのMacBookのヒンジが壊れてて、ブランブランになってたんだよね。液晶ディスプレイとかが。

Engadget:使えるんだ??それ。

福地:すごいの使ってる人がいるなあと。確かMax / MSPかなんかで一生懸命エディットしてて、何かすごい奴がいるぞとよくよく顔を覗き込んだら真鍋さんだったという笑

真鍋:ありましたね。もう10年ぐらい前でしょうか。

福地:でもその頃からMacでMax / MSPとか使って、リアルタイムで音もできるし映像もできるっていう意味では本当に希少な人材として真鍋さんは活躍されてこられたと思います。

真鍋:ありがとうございます

福地:あの頃って主にどんな仕事されてたんでしたっけ。

真鍋:そうですね……あまり仕事はしていなかったんです。アートセンターや大学の仕事はやっていたのですがコミッションワークはそんなにしていなくて。

福地:なるほどなるほど。

真鍋:独自のシステムを作ってオーディオビジュアル表現をするようなものはVJくらいでしたね。今だと大きなエンタメのライブでもできますが、昔はリアルタイムで映像を生成するとなると発表できる場所が限られていたんです。どうしてもプリレンダの事前に書き出した映像と比べると質感も全く違うので。

僕たちの場合、2010年にPerfumeのライブで実験的なことをやらせてもらえたおかげで大きく道が開ましたね。ヨーロッパはMassive AttackやU2がやっていましたが、日本でもPerfumeのドーム公演をきっかけにインタラクティブ表現が出来るようになったと思います。

福地:ではあの頃から、ある程度ディレクションというか、こういうものを作りたいと言われて、では作りましょうって形でチームができて、仕事が進んでいくようになった感じですか。

真鍋:そうですね。福地くんとやっていた当時はまだ自分でプログラムも全部書いて企画もする、みたいなことが多かったんです。ライゾマを作ったのが2006年なのですが、チームといっても、そのとき実装を担当していたのは僕ともう1人のプログラマ堀井(哲史)、という感じで。発表できる場所もメディアート系のフェスティバルや展覧会、美術館などでした。日本でいうとNTTインターコミュニケーション・センター [ICC]や山口情報芸術センター[YCAM]。海外だとそういったフェスティバルやArs Electronicaなど。

福地:ああ、Sónar にも出してましたね。

真鍋:そうですね、Sónarは本当に貴重な機会でした。あそこに出演すると海外での認知がグッと増えますね。YouTubeなど、作品がオンラインで紹介できるようになってからは広告で使っていただけるようにもなりましたが、2010年までは本当に地道にやっていましたね。

2008年の「顔ピリピリ」動画

Engadget:その頃といえば、2008年当時に弊誌でも掲載させていただいた、音楽にあわせて筋電で顔を動かす物凄いインパクトのあるYouTube動画、あれで一気にという印象があります

真鍋:顔のピリピリのおかげで多くの人に知ってもらえたのはやはり大きかったです。とはいえ、一般の人たちに知れ渡るというよりは同業者の人たちに知ってもらった感じかなとは思います。

福地:アレ出たときに、大慌てでぼくも真鍋さんにメールして、これこれこういう感じでEngadgetに記事載せたいんだけど、教えてくださいってお願いして。当時はやっぱりちょっと誤解して受け取られた人たちもいて、筋肉の動きで音を立ててるんだとか、そんな誤解をされてたんで、ここはちゃんと技術的なところを拾おうと思って少し詳しく教えていただいたんでした。

真鍋:はい、そうでしたね。ありがたかったです。ああいうものはすぐ記事になっていきますから。間違った形で(笑)。それも楽しんでいました。メディアってコントロールできないよなあと思いながら。

Engadget:そうでしたね。弊誌でもよくあるバイラルビデオをご紹介しましたブログのようで、アーティスト本人に詳しく聞いてみましたを紹介できたのは良かったと思います。

真鍋:確かに。もしまだ記事が残っていたら、ぜひリンクを貼っていただきたいです。

Engadget:まだ生きてますね。いま生きてる動画に貼り替えておきます。13年ぶりぐらいに。笑

動画:音楽にあわせて表情を無理矢理変えるマシン

真鍋:(笑)。13年前ですものね。

福地:今日のインタビューでは、クリエイティビティを発揮するために色んなツールを使ってみましょうみたいなお話を後々引き出そうと思うんですけど、これは学生さんにおすすめしにくい(笑)。どうでした?これ実際やったときって。

真鍋:ネットのバズを狙うみたいなことは当時はなかったように思います。この頃だと自分の知り合いに見せようと思ってやっていたので、いいねが欲しいみたいな感覚もなくて。「やばいの出来た、mixi日記で宣伝しよう」みたいな(笑)

一発撮りと舞台裏。リアルタイムであること

福地:うんうん。ライゾマのアプローチとして当時から面白いなと思ってたのは、早い段階から結構こういう実験ビデオを流されてたじゃないですか。たとえば紫外線レーザーを使って、蛍光剤を塗ったパネルの上に顔を表示したりっていうのも早かった。

あとドローンの制御のやつも。あれの失敗映像まで含めてかなり早い段階から実験中の映像を公開されていたのは、そこはやっぱりライゾマの色だなと思っていて。あれはもしかしたら何か狙いがあったんでしょうか。

真鍋:そうですね。確かにBehind the Scene的な動画を撮っては上げて編集も入れずに一発撮りでそのまま上げるというのは、ひとつはもちろん純粋に記録として残していきたいということもありました。やはり編集やCGで作り込むと映画と同じ土俵に乗ってしまうので、同じディスプレイで見る映像メディアでも別物にしたいというのはありました。生々しさであったり、リアルなものの面白さをYouTubeで見てもらおうと思っていました。

今では映像の仕事もしますが、僕はいわゆる映像作家ではないですし、どちらかというと……ドキュメンタリー映像やパフォーマンス映像に近いものを作っています。ライブ映像の延長と言ってもいいかもしれませんね。お客さんに入って見てもらうとか、生中継で一発勝負でやるのもそういう意図ですね。

ミュージックビデオでもやはり一発録りが多いんです。たとえばOK Goの大量のプリンターを使ったMVもそうですし、Nosaj ThingとChance The RapperのMVはライゾマで撮影のシステムを開発して、それを使って一発録りをしました。CGや編集の面白さを極めるような映像とは違う表現を当時から狙っていたというのはあるかと思います。

生々しい動画というか、編集やポスプロをいれず生の状態でも面白いもの。ELEVENPLAYとのパフォーマンス動画もYouTubeなどにアップしていますが、基本は一発録りだったり定点ものだったり。

それはリアルでやっていたということの証明にもなりますしね。

福地:実際、ぼくらがやっていたリアルタイム映像エフェクトなんていうのも、リアルタイムだから画質が低い、CGとしてのパフォーマンスもそれほど高くないものを、あらかじめ出力して編集したようなCG映像と比べられちゃうとどう考えても不利なので、いかにライブ感を出すかってところはやはりすごく悩ましい。現場に来てくれればもちろんすぐに伝わるんだけど、YouTubeに載せた瞬間にすごくこう、クオリティが低いものとして見られてしまう悩みはありましたね。

真鍋:そうですね。だから高解像度だったりリッチな表現とかも今ではリアルタイムで出来るようになってきましたが、違う映像表現を探していた感じです。YouTubeが出始めの頃やライゾマを始めてからもずっと、リアルタイムで何ができるか、リアルで何ができるかを追求していました。アプローチとしてOK Goなどを当時から意識してたというか、面白いなと思っていたのもありますね。

Engadget:あの音楽ビデオは収録された映像ですけれど、本当にこれ一発録りしたの?とか、本当にCGじゃないの??と何度も見てしまう。録画で見てすら生々しさというか、恐ろしさが伝わります。

真鍋:そうなんです。なので必ずしもリアルタイムである必要はないなというのは途中から思っていて。リアルでやっていたらリアルタイムのものとして見てもらえるというか。その辺はもちろんコンテキストを作っていくのがすごく大事です。

たとえば紅白歌合戦だともう生中継というコンテキストがある中で見てもらっていますが、そうでない映像を出すときに編集されていない一発録りでやったものなんだ、とか、そういう意識で見てもらえるとおおっ!となるものであっても、逆にかなり編集が入ったものとして見られるとそこで突然冷めて、リアリティがなくなってしまう。やはりそこは見せ方であったり、何かうまく文脈を作るというのも大事だな、と思うんです。

福地:そこで言う文脈っていうのは、その映像そのものだけじゃなくて、たとえばそれを視聴するまでの情報の流れであったり、何を見てそこに来たかとか……。

真鍋:そういうことですね。やはりライゾマはずっとそういった一発勝負であったりリアルタイムみたいなことをやり続けきているので、そういう風な表現をやっていると今では見てもらえることも多いかなと思います。

もしもそういった積み重ねもなくやっていたとしたら、CGでしょ?と思われてしまうこともあるのではないかなと。特に最近はかなりリッチなこともできるようになりましたから。

Engadget:Perfumeのパフォーマンスは何も知らない人が録画を見たら「最近のCG映像はすごいな」って思いかねない。会場にいればリアルタイムに自分の目で見られるものだとはとても信じられないんじゃないかと思います。

真鍋:そうかもしれないですね。なので配信でやっていてもあえてリスクを取って、SXSWやカンヌライオンズ 国際クリエイティビティ・フェスティバル、Coachellaのようににお客さんが入っている状態でやる。「【docomo×Perfume】 FUTURE-EXPERIMENT VOL.01 距離をなくせ。 」の時のように3ヶ所に分かれて、というのも、そういった生でやっているという証明のようなことをどこかで入れるためにやってたりします。

福地:それはある意味、ライゾマのブランドになってる部分もありますよね。ライゾマがやってることが情報として先に入っていると、きっとリアルタイムに違いないみたいな。確立したブランドになってる部分がある。

真鍋:ライゾマのリソースやスキルセットからしてもリアルタイムでやる方がいいんです。撮影システムには画像解析や画像処理がもちろんベースにはありますが、それ以外にもカメラやプロダクトデザインの要素も必要になるので、ライゾマならではという感じですね。

Engadget:2月のELEVENPLAY x Rhizomatiks "border2021"公演はリモートで拝見したんですけれども、「これは現地で見たかった!」とつくづく思いました。

真鍋:ありがとうございます。また必ずやりたいですね。

Engadget:今回はリモートだといくつかの画面を切り替えて見られましたけれど、VRヘッドセットで主観で見られるかたちでの配信ではなかったんですよね?

真鍋:今回オンラインで配信したのは、マルチビューで観客の目線に入るものと、エンジニアが監視している画面に入るもの、あとは神視点というか、実際にお客さんはそこから見られないけれど固定カメラで撮っているもの、ですね。Oculusなどで見られる全方位の映像も撮影したので今後どこかで出す可能性はありますが、酔ってしまうことがあるのでリリースするかは悩ましいところです。

東京都現代美術館「rhizomatiks_multiplex」展

Engadget:border 2021 は会場の観客もMixed Realityヘッドセットを着けて見るので、目の前にいるのが生のダンサーなのか、ARなのか幻惑される効果がありました。マルチビューの神目線で「種明かし」を見てすら本当かよ?と信じられないような映像で。会場で見たらどうなってしまったんだろうと思いました。

真鍋:あの公演自体は1回に10人しか体験できなくてすごく枠が少なかった。そういった課題もありますが、たくさんの人が体験できることを考え始めると制約がどんどん多くなってくるので、もうそこは捨ててやっています。

メディアアートやデジタルアートってそういうこととの戦いが多いんです。たとえば、メンテナンスやパッケージの問題を気にし始めると急に小ぶりな作品になってしまう。インスタレーションや展示はそういうことを気にしながら作らなければならなくて、尖った部分がなくなりやすい。逆にパフォーマンスだと本当に、そこで1回だけ成功したらいいのでギリギリまでいろんなチャレンジができる。僕たちにとってパフォーマンスが多くなることは、技術的なチャレンジがしやすいから、というところはありますね。

東京都現代美術館での「rhizomatiks_multiplex」ではその辺を振り切ってやっているので、メンテや運用コストは大きくなりますが、ライゾマらしい展示に出来たらと思っています。

ライゾマティクス_マルティプレックス | 展覧会 | 東京都現代美術館|MUSEUM OF CONTEMPORARY ART TOKYO (5月11日まで全館臨時休館)

福地:パフォーマンスだと、上演中の2時間だけ動けばいいってプログラムの書き方ができるじゃないですか。それを24時間走らせっぱなしにできるかどうかは、また違うスキルセットが要求されますからね。

真鍋:そうなんですよね。商業施設の仕事ではもちろんそういうシステムも作りますが、ライブシステムの開発の楽しさというのは、それとはまた別にありますよね。

Engadget:東京都現代美術館のライゾマ展は3月から6月で期間が長いですよね。3か月間、動かないといけないものを作ると。

真鍋:そうですね(苦笑) パフォーマンスとは違う作品の作り方と形態にはなるかなと思います。

福地:逆に言うと、クリエイティビティと言うのかな、一番尖ったことに全神経を集中させて作ろうと思うと、やっぱりそのパフォーマンスというか、本当に限られた時間、限られた人向けのものの方がやりやすいというか、そこに力を注ぎ込みやすい感じですよね。

真鍋:そうですね。インタラクティブなシステムや展示も20年近く開発してきていますが、それこそ福地くんと昔一緒にやっていたような、「お客さんの動きに合わせて映像が変わる、音が鳴る」みたいなのは、たとえば鑑賞者ではなくてダンサーさんが同じことをやると、もちろん映像も音も面白くなるんですよね。鑑賞者のデータを使うよりダンサーやスポーツ選手のデータを使うものになっていった、というのがライゾマのここ10年間の話ですね。その様子をお客さんが見て、リアルタイムのシステムを鑑賞するという。

2000年代初頭はお客さんに参加してもらってインタラクティブにすることが大事だと思っていましたが、意外とそこは自分たちにとってそこまで大事なことではなかったなという。やり尽くしたところもあるかもしれませんが。

福地:お客さんがどんな動き方をしてもとりあえず楽しめるように最低線を確保しようとすると、どんな動きでも必ず拾うようにしたりするせいで、パフォーマンスとしての強度が落ちちゃうときは確かにありますね。

逆にまだプロトタイプで、反応性もすごいピーキーな、確実にこうしないと反応しませんみたいな段階なのに、ダンサーさんがパーフェクトにやってくれたりすると、なんか「あ!生まれた」っていう瞬間がありますよね。

真鍋:ありますよね。

福地:自分の想定以上のパフォーマンスを自分が作ったツールから引き出されちゃうっていうのがあって。そういうときはもう、ゾクッとしますね。インタラクティブなものを作ろうとしている学生さんにもそういう機会を増やしてあげたいなっていう気持ちはちょっとあって。単に仲間内だけでテストしてるんじゃなくて、そこに1人たとえばすげえ踊りの達人が来たら、何か変わるじゃないですか。

真鍋:そう思います。やはりデータありきで入力と出力があって。もちろん犬や猫、子供のデータ変換の職人芸で面白くするというのもありますが。たとえば手の位置をトラッキングして軌跡を描くみたいなことだと、もちろんダンサーやスポーツ選手の動きの方が綺麗になりますし。

福地:まさしく現代美術館の展示の準備だとか。

真鍋:そうですね。何かやるかもですね。

福地:現美での展示はそういうインタラクティブなというか、お客様がいろいろ楽しめるようなものは出されるってことですね。

真鍋:お客さんのデータを収集することは検討しています。使い方は決まっていないのですが。

Engadget:え!まだ決まってなかったんですか??(インタビュー収録は「ライゾマティクス_マルティプレックス」開場まで約1か月)

真鍋:展覧会のための作品制作はこれまでにもやっていますが、展覧会全体をどんな風にデザインするかというのは意外と難しい作業で、いままさに難儀しているところです 。

Engadget:クライアントのコレをやりたいという要望に対して解決策を見つけてゆくのではなくて、ライゾマとして、それから真鍋さんとして表現したいことに対してデザインしてゆくというのは、意外と珍しい機会なんじゃないでしょうか。

真鍋:これは難しいのですが……アートプロジェクトだからといって自由にやっていいというわけでもないんです。キュレーターの意向を汲み取って、展覧会や作品に落とし込む必要があるんです。今回でいうとやはりコロナ以降急速に進んだリモート化、バーチャル化の後に何があるか、というのは明確にお題として設定されています。

コロナ禍で変わったこと。NFTと文脈

Engadget:コロナ禍というと、どんなことが一番変わりましたか。ライブイベントの機会が減って、無観客になって。リモートでもインタラクティブの部分は残るとしても、作品作りや見せ方は変わってきましたか。

真鍋:ライブや展覧会をバーチャル化しようというのがはじめに起こったムーブメントだったと思います。ただ、アーティスト達がちゃんと収益を産んだかというとそうではなかった。2020年の夏頃からだとクリプトアート、NFTの流れですね。デジタルデータの音声、映像や画像といった作品をNFTを使って唯一性を証明して取引することが去年の夏頃から盛り上がり始めた。メディアアーティストの中では環境負荷が大きいことを危惧する人も多く、どちらに転ぶかはまだわからない感じですね。

Engadget:それは、NFTのような技術で数学的にデジタルデータに希少性を作ってゆくことに大きな可能性があるということでしょうか。所有権の証明書が投機対象として成立するという意味では分かりますが、NFTでアートが変わるのが今ひとつまだピンとこなくて。暗号やブロックチェーンで大きく表現が変わるというような手応えはありますか。

真鍋:僕は少し期待しているところがあるんです。いまはデジタルデータを作ってマネタイズしようと思ったときに、ほとんどの場合はどうしても広告によってマネタイズされることが多くなってしまっています。投げ銭とかだけで収益が上がればいいのですが、オーディオビジュアルの作品を作ったときにYouTubeに上げてビュー数が上がり、結局は広告が表示されるからマネタイズできる、みたいな仕組みだったり、いろんなプラットフォームでも広告収入がベースになってしまっている。

そうではなく作品そのものの価値でちゃんとお金になっていかないと駄目なんだろうなとは思っていたところにNFTが出てきました。たとえば従来のアートの場合、オークションハウスやギャラリーに所属して、そこから出したことで価値がつくというのがこれまでのパターンだと思いますが、NFTによってそうではないルートができたことは、インディーズで活動してるアーティストにとってはすごくいいことなのではないかと思います。選択肢が増えたという面でも可能性は広がったのではないでしょうか。

Engadget:イラストレーターさんとか漫画家さんとかが、アナログの人はいざとなったら原画が売れるけど、デジタルの人は売れないのが解決するとかでしょうか。トークンは数学的に唯一だとしても、作品はコピーできるんじゃないの?で理解が止まってしまっていて。

真鍋:そうですね。逆にコピーできるものだから、唯一性を証明する手段が必要になったということだと思います。NFTはそれができるテクノロジーなので使う人が増えました。現状はアートコレクターはあまりいないという感じでビットコインの価格の上昇であったり、暗号通貨で儲かった人が出てきたので、その人たちがそういったアートにお金を使い始めたこともあると思うのですが。

でも同時にコロナで活動がオンラインにシフトしてきたこと、世の中がバーチャルにシフトしていることも要因の一つなのではないかなと思います。

福地:なるほど。NFTで面白いなと思ったのが、たとえば仮にイラストレーション、もともと電子で書いているようなグラフィックの場合って、NFTで唯一性の裏付けはもちろん出せるんだけど、一方で、単なるディスプレイに映っているピクセルの集合という意味ではコピーは作れるじゃないですか。

真鍋:完全に作れてしまいますね。

福地:ある意味表象としては、受け取るものは実は全然変わってないんだけども、そこに裏付けがあるらしいっていう気持ちだけが唯一の違いで、それがNFTで保証されているっていうのはすごく面白いなと思っていて。

似たような話として……本当に似てるのかどうか分からないけども、いわゆるソシャゲでSSRのカードを目指してガチャ引くんだけど、そのカードのグラフィックス自体は今時はWeb見ればいくらでもあるわけで、単にその絵が欲しいだけだったら、かわいい女の子なり男の子なりの絵を自分のパソコンの上でも見たいだけだったらどうとでもなるんだけど、それでもなぜかガチャを引くっていうのは、やはりそのガチャで自分で引いたピクセルの集合と、ネットで見たピクセルの集合とは何かが違うって扱いをするじゃないですか。これが本当に不思議なんですよね。人間の心の働きとして。

真鍋:不思議ですよね。本当に。そこに価値が生まれてしまうというのがアナログの絵の持つ価値とは全然違いますよね。これからどうなるかはまだ分からないですけれど、展覧会のキュレーターの長谷川さんが「面白いトピックだから取り上げて分析して欲しい」と言ってくださったこともあり、夏頃から定点観測していました。

福地:さっきのコンテキストっていう話もあったけれど、これは私にとって大事なものだとか、これはリアルタイムで行われているものだから1回しか見れない貴重なものだと思う、思い込めるかどうか?じゃないですか。観客だったりユーザーさんだったりが。

細かいことはともかく、そうだと信じきれるように、信じきれるような何かっていうのをどうやって提供するかっていうことが、もしかしたらこのコロナ禍で、デジタルごしに物を提供しなきゃいけないクリエイターさんたちがすごく気を配らなければいけなくなってしまったのかなという気はしていて。これは信じるに足るものですよ、ってことをどうやって伝えるかという。

真鍋:作品そのものももちろん大事なのですが、文脈や前提を作ることがすごく大事になってきてしまうなとは思いますね。

福地:ぼくはやっぱりライゾマのドローンのテストフライトでガシャガシャ!って失敗してしまったやつ。あれがあってこその今のライゾマだなっていう気持ちがすごいあって。特にドローンとか触ってた人はなおさらあの映像を見た瞬間に、一緒に嫌な気分になれるというか、一緒に冷や汗かけるじゃないですか。

真鍋:ネットワークが一瞬切れてモーキャプのデータが来なくなりフィードバック制御ができなくなったのですが、アナログの世界というか現実でああいうことが起きると、もちろんやり直しが簡単にできることではないので、だからこそ価値があるというか。

24台のドローンを同時に制御して、人間がそのあいだを縫って踊る、というのはCGで作ったら全然似たような視覚体験を作れますが、わざわざドローンでやっているところに価値があるんですよね。

福地:あれを楽しもうと思ったら、1回ぐらいドローンで苦労してみると倍楽しめるっていう。もしかしたら何かそういうところにこう、これからの興行のヒントが転がってないかなって気はするんですよね。

アーティストと近いことをちょっとでもやるだけで、急激に見え方が変わってくるという。3Dプリンターがじわじわ普及し始めると、あのもじゃもじゃが愛おしく見えてくるっていう話があって。自分でも3Dプリンターがちょっと機嫌損ねると、訳のわからないものがボーボーでてくるのを何度か経験していくと、ネットで上がってるその3Dプリンティング映像とか、綺麗に仕上がってる出力物を見ると感動するっていう。

真鍋:はい。だからプロセスや経過とかを見せることにすごく意味があるのでしょうね。失敗映像やそういう裏側の見せ方は難しいですが、最近はBehind the Sceneをよく見せると思います。

福地:増えましたね。

真鍋:やはりそれは繋がっている気がしていて。僕もBehind the Sceneだけ出ていれば大丈夫、みたいな感じでよく広告のプロジェトに呼んでいただくこともありました。

福地:何ですかそれ。

真鍋:僕が出ると本当に作っているという証明になる、というかんじのようで。

一同:(爆笑)

真鍋:Behind The Sceneにだけ映っている、みたいな。

福地:なるほど。そこに真鍋さんがいると、CGでも実際にやってるように見えると。

真鍋:そういう恐ろしいプロジェクトもありました。詳しくは言えないですが(笑)

Engadget:(大手広告代理店)とかの天才が気づいちゃったってことですよね。そのハックにw

真鍋:そうですね。だからナイキのミュージックシューとかにやはり僕は2フレ、いや5フレーム程度映っていることが多いんです。証明として映っているみたいな。

Engadget:じゃあCGで、現実には明らかに無理だけど、もしかしたら?と思わせるようなものを作った後に、真鍋さんの顔を映すとみんなパニックになっちゃう。

一同:(笑)

福地:それで真鍋さんの後ろに石橋素さんでもいたらもうパーフェクトですよね。

Engadget:CGじゃなかったんだ!!という。

福地:最近YouTubeでも、たとえばレストランが厨房の裏側を見せたりとか、仕込みの映像を見せるみたいなのがすごい人気になっていて。そういうのを見てると、どれも美味そうに見えてくるというか、お店で出てきたものもああやって裏で一生懸命作ってる人がいるんだなってことをすごく身近に感じられるようになったりして。ぼくはもう見てるだけですごい嬉しくなっちゃうんだけども、Behind The Scene は普段の体験の価値も上げる力があるのかなっていう気はしますね。お話を伺っていると。

真鍋:そうですね。あとHow to ビデオも今はたくさんありますよね、映像も音も。僕もそういうチュートリアルはよく見たりします。

福地:あれが増えてくると大学の存在価値がだんだん問われてきて、冷汗をかきながらも参考にしてます。

真鍋:ぼくは美大で教えることの方が多くて、一昨年はドイツのブレーメンの芸術大学で教えていたのですが、最初からHow To はやるなと言われますね。コンセプトと作品研究だけにしてくれと。チュートリアルはみんな勝手にやるからと。かなり割り切っていましたね。HOWよりWHYを突き詰めるというのを肌で感じてきました。

真鍋大度がいま注目するテクノロジー

Engadget:いつもお訊きしている質問なんですが、いま特に注目しているテクノロジーはありますか。さきほどはNFTというキーワードがありました。あるいは数年前だと機械学習を挙げられていたと思います。今、これからに注目しているものはありますか?製品でも技術でも、まだ論文しかないものでも。

真鍋:本当にここ最近だと、やはり賛否両論もあるNFTなどでしたが、それ以外だと……(少し考える)。

Engadget:たとえばiPhone 12からLiDARが乗って奥行きが取れるようになりましたとか、あるいはARメガネをどっかが作ってるらしいとか、デバイスのお話でも。

ARといえば、先日ポケモンGOのNianticに取材に行ったときに、ARプラットフォームのデモとしてライゾマ作品を体験しました。空間に音のカケラというかサンプルを配置していって、そのなかを歩いていくことで「再生」したり、自分の立ち位置でミックスしたり。

まだスマホをかざす原始的な形のARではありますけれど、これからもしかしたら、舞台や動画で見るものだったライゾマ作品がもっとコンシューマー向けというか、アプリやサービスで楽しめるのかなという期待がありました。

真鍋:僕はLiDARとか、大量の2D画像から3Dを復元するフォトグラメトリデータを作る、ということは2010年頃、Kinectが出る少し前にやり始めました。Radiohead “House of Cards”を作ったAaron Koblinの影響が大きいです。

Kinectも購入して、300万円くらいのスキャンデバイスを買ってスキャンしていたのがもうiPhone 一台でできるようになって。最近、演出振付家のMIKIKOさんが作ったファッションショーの映像がこのインタビューが出る頃にはリリースされると思うのですが、撮影もスキャンもiPhone一台でやっているんです。機材的には本当に誰でも作れるようになったなと思います。

特権的にやってたからできてたこともたくさんありましたけど、それがもうみんなの手の中に入った。

僕らとしてはさらにその先を行かなくては、ということだと思いますが、誰でもできるようになったのは素晴らしいことですし、結局それで3Dのデータがどんどん集まっていくと思うので、結果ARの精度であったりが上がることに繋がっていくでしょうし、それこそもう本当に全世界3Dのデータになって。今のARは近くだけですが、どこの都市に行っても、遠くのビルにもピタッとくっつく、というようなことも技術的には出来ていて、あとはデータを作るだけですよね。

ARメガネが出てきたら一気に変わるのかなという気もしますが。アップルから出るんですかね?そんな噂の記事がちらほら出ていますよね。

Engadget:出てますねえ。しかし、他のかただとARメガネどうなるんですかね?って聞きやすいんですけど、真鍋さんの場合、下手するとすでにアップルの開発者カンファレンスWWDCとかでデモを担当してるかもしれないから……実はもう作ってましたみたいな話になってそうで。

真鍋:いやいや(笑)。作りたいですね。でも何か大きなブレークスルーがあるとしたらそこでしょうね。日常的に着けるようになったら結構大きなブレークスルーが起きるのではないかなと思います。コミュニケーションも行動も変わってくるでしょうし。

Engadget:真鍋さんが監督されたSquarepusherのあの渋谷のMV、看板がARで書き換わってゆくのも、そのままといえばそのままの世界観ですよね。

真鍋:そうですね。そういうときにいろんなものが最終的に広告に結びつく、というようなエコシステムばかりできるので、そこからなんとか早く脱却したいなと常々思います。データを取ってターゲティングして、のようなことばかりなので。

ARメガネで変わる世界とコミュニケーション

Engadget:ARメガネの場合、カメラがついて深度を取得してって、見てるもの全部に対してパーミッションを与えなければ機能しない、スマホと位置情報どころじゃないものになるわけですよね。ある程度はオンデバイスになるにしろ。

福地:ARメガネみたいなものがブレイクスルーになったらっていう話でいうと、それこそこの間のborder 2021なんかもそうですけれども、同じ空間にいても見てるものが違ったりってことがさらに加速されるとしたときに、今でもツイッターとかのSNSでも、世界が分断されるみたいな議論に割となりがちなんですけど、それをさらに加速する方向に働きうるのか、あるいは何かもうちょっと違う未来がそこに開けているのかということに関して、今の感触で何かお持ちなものありますか。実際border を作られた経験なんかを通じて。

真鍋:そうですね……ブラウザで起きているようなことが実世界でも起きるようになるので、やはり両方絶対にありますね。データを取られて広告利用されることもあるでしょうし、みんなが違う現実を生きることになって分断が広がることもあるでしょうし。逆にもっと最適化してコミュニケーションを取りづらい状態を取りやすくする、みたいな方向の使い方もたくさんあるとは思います。ただ、悪用する方が簡単なところがテクノロジーの難しさだなという気はしています。

Engadget:SNS時代で分断が加速する、見たくないものはミュートという話があると、確かに接する情報がすべてそうなったら民主主義が崩壊してしまう深刻な問題だ!と思う一方で、仮にARメガネが出たら広告を置き換えるだけでは終わらず、街歩いてる人を棒人間にしたり、それこそアニメのかわいい女の子とかにしたがるのは止められないんじゃないかと思って。

満員電車でイヤホンをして外界を遮蔽するように、周りの「無関係な人」たちがどうなってるかなんて見なくてもいい、見たくないわけじゃないですか。見たくないものは本当に視界から消せるようになる。

真鍋:アメリカは進んでいるから、顔認識の技術を警察が使うのは禁止という議論をしてますよね。アートの話でいうと顔認識は危険なテクノロジーなので作品のテーマにもしやすいんです。悪いこと、怖いことのほうが考えやすいので、顔認識を使った未来に対して警告をするような作品は簡単に作れます。あとは詐欺に使うこととか。もういくらでも思いついてしまいますね。テクノロジーやAIは。

福地:実際SFなんかでもそういう方が受けるってこともあって、どうしてもそういうネガティブな方向にね、想像力が走っちゃうのはあって。

たまたま、最近聞いたPodcast (#雑談練習)なんですけど、リモート会議のフィルタと対人関係について面白い話をしていて。たとえば自分の顔に設定するアバターのようなものは、言ってみれば化粧の延長みたいなもので、良い効果も絶対ある。

ちょっといい服を着るとすごく気持ちが良くなるみたいなこともあるし、化粧で自分が気にしてることをカバーできて、それで心が平和になるんだったらそれはそれでいいじゃないかっていうような話がまずあって。その上でさらに、たとえば目の前に嫌いな人がいたとして、そいつの顔をぼくの方が勝手にフィルタして変えちゃうと。

それで嫌いな奴の顔を見ずに心穏やかに過ごせるんだったら、それもありだろうとすると、見え方を自分で編集しながら、ある程度居心地いい世界っていうのを作っていく、それでお互いがお互いを嫌いにならずに済むんだったら、そういう進歩の仕方だってあり得るだろうし、実際いまの社会でも、作り笑いのようなことも含めて、似たようなことやってるはずだから、これからの技術で絶対そうなるだろうみたいなことを言ってて。それはたしかに通りだなと思ったんですよね。

真鍋:そうですね。たとえば僕も人の目を見て話すのが苦手なタイプなので、こうやってZoomで話すととても楽です。あとはマスクすることで表情が隠れるのも。そんなに自分の表情を作らないで喋ることができるので。

なので、いわゆる減損するというか、拡張だけではなく必要な情報をどんどん絞ってゆく減損現実、Diminished Reality みたいなことも実際マスク1枚着けただけでそうなっていると思いますが、意外とそういうことにもARメガネとかは使えるでしょうし。何かコミュニケーションをしやすくするようなツールは絶対出てきますよね。マスクを着けるようになってすごく楽になったなと個人的には思っています。

Engadget:それはどのあたりでしょうか?

真鍋:表情を読み取られないから、楽なことも多いなという。

Engadget:普段サングラスの人とかそういう感じ?

真鍋:そうでしょうね。たとえば笑うときに、少し目を大げさにこうやったりもしますけどね。表情の作り方もマスク1枚で変わるなと思います。

福地:そうすると自分の感情をどうやって伝えていくのかも、AR前提の社会になってくるとすごい変わるでしょうね。

真鍋:コミュニケーションも全く変わってくるんだろうなと思っていて、それが一番大きい気がします。

福地:今みんな一生懸命に絵文字とかスタンプやってるわけだから、これがさらにARだってなったときに一体何を頑張ることになるんだろう我々は、っていうのはちょっと楽しみ半分。50歳くらいになったとき、それについて行けるんだろうか自分はって(笑)。

真鍋:もうついていけないかもしれません(笑)。間違って残念なスタンプをつけるみたいなことになりかねないですよね。スタンプの代わりのものが出てくるでしょうね、ARの。

Engadget:そういうAR技術が一般化したとして、ライゾマ作品としてアプリなりサービスなりをリリースするようなことはあり得ますか。

真鍋:NianticのARプラットフォームで作ったiPhoneのアプリは、結構前からアイディアとしてはあったのですが、少し前のGPSの精度ではなかなかできないなと思って。いわゆるロケーションベースのゲームも、衛星のデータや位置情報の解像度が上がることでも全然変わってきます。注目しているデータという部分で言うと、位置情報もありますね。

5mや10mだったものが1mに、さらに数センチになり作れるものが変わってきます。それでARも以前のようなマーカーは不要になって自然にその空間に合成できるようにもなってきたのであのアプリを作ったという感じです。

Engadget:なるほど。あのデモはびっくりするほど楽しい体験でした。ではこのあたりで最後の質問を。アップル製品をもうずっと使ってらして、いまもあの Pro Display XDRを二台並べてるんですよね。あの60万円のモニタを。

ARの話でもありましたけれど、それこそ今、iPhoneが普及しているために、ARKitによってアプリでできることが変わったり、いつアップルからARメガネが出るかによって、われわれが考えてきたようなメガネ社会になるかどうかが結構変わってしまうわけですよね。

アップル製品たとえばiPhoneで、早くこれを載せてくれだとか、こっち側に行ってほしいだとか、あるいは全然違う製品でも、アップルにこれを出して欲しいというものはありますか。いま目の前にティム・クックがいて、注文できるとしたら?

真鍋:そうですね……やはりぼくらはOpenGL、GLSLベースで描画ソフトを作ってきたので、いまMetalベースに変えなければならないのが、ひとつ開発的には大変なところで。これからさらにIntelベースからApple Siliconベースに移行するということで、ソフトウェアのエンジニアリング的にはしばらく大変な時期なのではないかなと思っています。

ただやはり恩恵も確実に大きくて、本当にアップルが一社で上から下まで一気通貫で作ることになるので、最終的にはアップル製品で作るということが良くなると思います。でもアップルはいきなりFireWireなくす、みたいなことをやりますよね。

たとえばこの iPhoneのフルイドインターフェースのように、もうこれがないと触りにくいと感じるくらい自分の体の一部に馴染みましたが、最初は抵抗がありますよね。

いまはAppleベースの映像プログラミングは大きな転換の時期で、早く僕らも乗り換えられるといいなというのと、あと前はQuartz Composerのような少しお手軽なビジュアルプログラミング言語があったのですが、いまは活発には作られていなくて。

by Mindoftea. Creative Commons Attribution-Share Alike 3.0 Unported license.

https://commons.wikimedia.org/wiki/File:Quartz_Composer_Multiplexer.png
Quartz Composer (by Mindoftea)

今ああいうノードベースのものがすごく増えていますが、Macベースで使えるものがかなり少なくて。アップルが作るというより、ベンダーというかソフトウェアの会社が作るものだと思うんですけど、そういうものがあると良いなとは最近強く思っていますね。

ベタ書きでコードを書いて映像を作るというのは、やはり今の時代だとハードルが高すぎるんじゃないかなという気はしていて。UnrealやUnityなどはありますが、もう少し自由度の高い、ゲームエンジンではない開発環境があるといいなと思っております。

Engadget:デバイスじゃなくて開発環境ということですね。アップルは今すごいゲームに力をいれてるから、ゲームエンジン買って作ってくれるかもしれないですね。

真鍋:UnrealやUnityを使っている分には大丈夫だと思いますが、もう少し自由度が欲しいと言いますか、環境を覚えるコストが高すぎるというか。前のQuartz Composerは結構良かったのですがいまないですもんね。

福地:不思議なことに、HyperCardとかQuartz Composerとか、ああいう感じのミドルウェア的な開発環境に対して意外に冷淡ですよねアップルって。

真鍋:そうなんですよ。でも先取りしていますよね。

福地:そうそう、先取りはしてるんだよすごく。

真鍋:Quartz Composerは今あって進化していればという感じではありますが、先取りして作って早々になくなってしまって。ノードベースのキラー映像制作ツールみたいなものが欲しいなという。お願いします。ではそちらで作ってください!という感じなのですかね?

Engadget:ライゾマが映像制作ツールをリリースするという。

真鍋:それはよく考えます。

福地:え、じゃあ俺エンジニアで入っていい?それ作るなら。

真鍋:最高じゃないですか!笑

Engadget:学生はどうするんですか学生は笑

真鍋:やはりいま必要とされている気がします。たとえば Runway MLみたいな機械学習も、そういったビジュアル、ノードベースの開発環境が出てきてコンテンツが盛り上がってくる、みたいな。開発環境というよりも何か制作ツールが欲しいなという感じですね。

福地:Apple Siliconに載ってるらしいマシンラーニングのコアとかって、そのままだと使いにくいじゃないですか。その辺をさくっとそういうツールで使わせてもらえると、本当にApple Silicon の底力っていうものをグイグイクリエイターが引き出すことができるし、そうすると先ほどの話のように、Apple Siliconに3DからMLまで一気通貫で持ってるっていうことの強みが本当に生きてくるし。

新しいMacBookを開けると、メインボードすっごくちっちゃいじゃないですか。ってことは、本当はあれどこにでも組み込めるポテンシャルを持っているので、それこそ車椅子に組み込むなんてのも平気でできるはず。そういうところにバンバン組み込める未来っていうのをアップルに見せてほしいなっていう気はしますね。

真鍋:うんうん、そうですね。確かにNVIDIAのJetson ではないですが、エッジのデバイスは欲しいですね。iPhone以外に。

Engadget:作ってくれなさそうww だってApple Siliconのラズベリーパイってことですよね。

福地:そうそう、出すならもう名前は「アップルパイ」しかない! 絶対ウケると思うんだけど。というか、喉から手が出るほど欲しい人たちいっぱいいると思うんだよ。

Engadget:Appleへの期待としてはそういうところですか。

真鍋:そうですね。やはりハードウェアとソフト、OSと全部一気通貫で作っているのはすごいことなので。そのパワーをもっと引き出すための間のツールに期待しています。

Engadget:本日はありがとうございました!

( Ittousai インタビュー・レビュー・ニュースコラム一覧 )