2021年7月30日、東京・青海の日本未来科学館で「TOKYO 2020 未来のスポーツ観戦プロジェクト ~次世代臨場感テクノロジー実証プログラム~」と題したデモンストレーションが報道陣に公開されました。

このプロジェクトは、遠隔地でもその場にいるような「臨場感」「一体感」を生み出す新しいスポーツ観戦のあり方を目指した試みです。日本未来科学館が主催、技術協力をNTTが担当しています。

このプロジェクトは、大きく2つの臨場感体験プログラムに分かれており、ひとつはリアルタイムの「ホログラフィック映像」、もうひとつが「ドーム映像」のライブ配信、という内容。どちらもスポーツ競技の中継としては史上初の試みです。

当初は、これらのプロジェクトは一般参加者を招いてのライブビューイングが計画されていたのですが、新型コロナの感染拡大を防ぐという観点から中止となり、メディアのみの公開となりました。

これまでの、ただの大スクリーン映像中継とはひと味違う、「超高臨場感」といえるだけのライブビューイング技術を観てきましたので、(Web上でですが)ぜひ読者のみなさんにもご体験いただきたいと思います。

miraikan
▲会場となった日本科学未来館

これは凝ってる! 三次元ホログラムの選手達が熱戦を繰り広げるバドミントン!

まずは、バドミントン競技のリアルタイムホログラフィック映像ライブから。

東京2020オリンピックのバドミントン競技は、調布市にある「武蔵野の森総合スポーツプラザ」で行われているのですが、これを40kmほど離れた未来科学館で同じ臨場感で観戦しようというものです。

そのために、日本未来科学館内に、「武蔵野の森」の競技会場と同サイズ、同様のポールを立てネットを張った実物大のコートが作られ、観覧者は競技会場と同様に作られた観客席に座ります。会場が(映写のため)暗い以外はほぼ競技会場をそのままそっくり模写してビューイング会場が作られているわけです。

Stage From Press release
▲こちらはNTTのプレスリリースから。ライブビューイング会場に競技場そっくりのコートを仕立て、ホログラフィック映像を映します。

そして、競技が始まると、武蔵野の森にあるバドミントン会場に設置されたカメラの撮影画像からNTTが開発した超高臨場感通信技術「Kirari!」を使用し、選手やシャトルの映像を抽出し、リアルタイムで伝送されます。

また、映像をコートに投影する際、俯瞰観戦型多層空中像表示技術を用いることによって、手前の選手は手前に、奥の選手は奥にと試合会場と同じ位置で表示されます。

「俯瞰観戦型多層空中像表示」とは、簡単にいうと「上から見下ろす」ことを前提として「複数の像を」「ホログラムで立体的に像を表示する」ということです。つまり、遠隔会場のコート内には、武蔵野の森総合スポーツプラザの会場同様に選手達が立体的に、試合会場にいるのと同じような位置で同じような動きをし、同じようにシャトルが飛んでいるように表示されるわけです。

バドミントンの試合会場にいるのと同じように上階の観客席に座っている観客からは、ホログラム映像の選手達がさながら、試合会場で走り、跳ね回っているように見えるというわけですね。

動画で観てもらうとわかりやすいかも。こんな感じです。

超高臨場感通信技術「Kirari!」のすごいところは、グリーンバックなどなしに、任意の背景から被写体である選手とシャトルといった被写体のみを抽出している点。動画を観ていただくと分かるとおり、選手の動きはほぼ完璧に捕らえています。これはNTTが従来から開発していた「任意背景リアルタイム被写体抽出技術」を発展させたもので、入力画像に疑似深度画像画像などを加えてバドミントンの深層学習モデルを作成しています。これにより、バドミントンのような動きが速く、コートの手前と奥で選手が別れる競技においても個別に選手を抽出でき、安定的かつ高精度な被写体抽出に成功したそうです。

そしてさらに驚くのは、かなり重そう思えるこの映像処理がそれほど時間は食っておらず、60fps動画で1フレーム遅れる程度の遅延にしかならないことです。遠隔中継全体の処理としてはむしろ、動画データのエンコード処理の方が時間がかかるというのだから驚きです。

(ただ……、映像を見る限り若干、シャトルの動きに関しては多少、飛び飛びになっているようなところもあるようにも見受けられますね。これに関して質問したところ、シャトルの動きを完全に追い切れてないことの他に、ホログラム表示自体が手前と奥の2層で中間がなく突然ワープしたように見えてしまうせいもあるのだそうです)。

この中継では、8K・60fpsの映像からリアルタイムに被写体を抽出し、音声などとも別々のストリームとして分離して伝送し、上映会場で同期して伝送、しているとのこと。仕組み上からは、たとえば映像・音声以外にもたとえば照明データや、選手のバイタルデータなども送ることも可能なのだそうです。

これは数年後には「当たり前」になっているかも! 「ドームライブビューイング」

続いて体験できたのは、未来館6Fにあるドームシアターガイアで開催された「ドーム映像による臨場感体験」です。

これは会場内を超広角魚眼レンズで撮影した映像を、プラネタリウムのようなドーム内に投射することで半球状映像でのライブビューイングを行うという試みです。

Super Wide Angle Camera   used in TOKYO 2020
▲こちらが試合会場の撮影に使われた超広角レンズ搭載のカメラ。

デモンストレーションは、バドミントン競技(ライブ)と、3x3バスケットボール(録画)で行われたのですが、筆者が、この全天周でのライブビューイングが効果的と感じたのは、なんといっても3x3の中継においてでした。

カメラ(つまり視聴者の視点)は、会場内3か所にあるのですが、その内の1か所の3x3センターラインの少し外側、つまり交代する選手のベンチの少し後ろあたりにある「特等席」とも言える場所に構えられた構図が最高に良かったのです。目の前で選手達がキュキュッとシューズの音を響かせて跳ね回り、少し視線を上げると、電光掲示板や観客席が広がります。

ALL AROUND SKY VIEW 3X3
▲写真だと正面しかお見せできないのが残念です。この特等席から上下左右どちらにも映像が映っています。

 二次元平面のライブビューイングでも画面が大きければそれなりに迫力はあるものですが、やはり、半球状(というかほぼ全天周)のドーム映像となると環境への包まれ感が違います。

音に関しては、会場内に固定した3台のカメラに設置したマイクから拾い、そのままミックスしただけだそうですが、それでもシューズのキュキュッと鳴る音、遠くでゴールボードに「バン!」とボールが当たる音……。これで観客が入っていれば相当盛り上がったことでしょう! きっと四方八方から歓声が聞こえ周り中が総立ちになっているのが見えたはずです。いやぁ、感動しただろうなぁ、きっと。

機材や技術的難易度という面から「ホログラムによる立体映像配信」と比較すると、こちらはカメラ機材が市販のものでよく、通信回線、そして映像を映すドーム(たとえばプラネタリウムのような)、そして投影機材があれば実現できるので実用化のハードルはぐっと低そうです。

実際、今回のプロジェクトでも、東京の葛飾区を初めとする4つの自治体でプラネタリウムのドームを使い、区民の協力を得て、スポーツクライミング、バレーボール、3×3バスケットボール、開会式などの録画を上映するなど同様の実験を実施しています。ちなみにこちらの評判もかなり良いそうです。

もしかすると、次のオリンピック、PARIS 2024では、パブリックビューイングはプラネタリウムの全天周映像で、というのは一般的になっているかもしれませんね。

世界一の祭典で公開できなかったのは残念だけど……。

オリンピックは世界一のスポーツの祭典であると同時に、技術の進歩の見せ場でもあります。今回のホログラフィック映像による遠隔中継なども、本当は一般に公開できれば観客を驚かせることができた技術でしょう。

新型コロナウイルス蔓延を防ぐために無観客開催となった、今回のTOKYO 2020大会。各企業が用意した様々な技術のお披露目も限定的なものとなってしまいました。

このホログラフィック映像による新しい臨場感体験テクノロジーも2013年ごろからスタートしTOKYO2020をターゲットにしてきたプロジェクトの成果のひとつです。

この記事を通じて、少しでも世間に、今年も「おおっ!」と思える技術をお伝えできたら幸いです。

関連リンク:TOKYO 2020 未来のスポーツ観戦プロジェクト ~次世代臨場感テクノロジー実証プログラム~