世界のエンターテイメントの“今”をお届け!

「スポーツ観戦の未来 ~次世代臨場感テクノロジー 実証プログラム~」がメディアに公開

東京都江東区にある日本科学未来館(以下、未来館)は2021年7月31日(土)、
「スポーツ観戦の未来 ~次世代臨場感テクノロジー 実証プログラム~」を
メディア向けに公開しました。当日の様子をお伝えします。

【取材会の様子】

2001年7月に開館し、今年で20周年を迎える日本科学未来館。
今回のプログラムは、さまざまな理由で競技会場に行けない方々へ向けて、遠隔地でも
その場にいるかのような臨場感と一体感を提供することをめざした、新しいスポーツ観戦のあり方を提示する
取り組みとなっており、スポーツ競技のリアルタイムでのホログラフィックな映像伝送および
東京2020大会における全天周ドーム映像によるライブ配信は史上初となります。
本来であれば、7月30日より来館者が参加してのライブビューイング実証が計画されていましたが、
新型コロナウイルス感染症の感染予防の観点から一般参加が中止に。しかし、
このプログラムの目的であるイノベーティブなスポーツ観戦技術の創造とその価値を社会に問う為、
メディアを対象としたプログラム公開がなされる事となりました。

『ドーム映像による臨場感体験』

撮影に使われたボックスタイプミラーレスカメラDC-BGH1と魚眼レンズ

未来館7階の「ドームシアターガイア」では、視界幅を超える全天周ドームシアターにおける、
臨場感のある映像体験の技術実証上映が行われました。直径約15mという大型のドームスクリーンを使い、
各競技会場に複数台設置された約250°の画角を持つ魚眼レンズを装着するパナソニック社製、
DC-BGH1ミラーレスカメラで撮影した半球状の映像をライブ配信・上映することにより、
視聴者を包み込むような映像体験を提供し、競技会場で観戦するのと変わらないような臨場感と一体感を体験。

ドームシアターガイアの全天周スクリーンに映し出された3×3バスケットボールの試合の様子

7月27日~8月8日に東京都内2か所、長野県飯田市、福井県福井市の計4か所にてLIVEビューイングが
実施されている本プログラム。開会式、バドミントン、スポーツクライミング、3X3バスケットボール、
バレーボールのいずれかの映像の中から、今回の取材会ではデモ映像として、
取材会当日に行われていた武蔵野の森総合スポーツプラザでのバドミントン女子シングルス準決勝の
LIVE映像が上映され(写真は割愛)、客席下段に設置されたカメラの映像は、人間の視野角を超える
巨大ドームいっぱいに広がる武蔵野の森総合スポーツプラザメインアリーナの場内に入り込んだ様な感覚を覚え、
特等席から双眼鏡等を用いずに自分の目で試合を見る、正に現場の視覚体験そのものに感じられ、
コート上での中国代表選手のシャトルの打音、掛け声、スチールカメラのシャッター音等、
無観客開催という状況下でしか聴く事の出来ないであろうフィールドの音と共に、緊張感を含んだ臨場感を更に高めています。

客席スタンドの特等席のアングルから見る新しい映像体験

また、もう一つのデモ映像として、未来館から道路を2本隔てた場所に位置する競技会場、
青海アーバンスポーツパークにて7月28日に行われた東京2020大会からの新種目、
3×3バスケットボールのROC(ロシアオリンピック委員会)対ラトビアの男子決勝の映像を上映。
前述のバドミントンと打って変わってハイスピードな試合展開を見せる3×3バスケットボール。
コート上で激しい動きを見せる選手のみならず、スタンドに陣取る両チーム関係者の声援や、
四方に飛ぶボールの軌跡、円錐状の天井から降り注ぐ照明の明かり、そして会場のDJが流す
アップチューンなBGMや試合経過を伝えるブザー音という、エンターテイメント性が重視される
今競技の会場の雰囲気が洪水の如く、視聴者に降りかかります。

挨拶をする日本科学未来館副館長の高木啓伸氏

全国に約300ヵ所以上のプラネタリウムが存在する日本は、世界的にもプラネタリウム大国であり、
この充実したインフラを使い、無観客開催となった東京2020オリンピックの大会を「観た!」という
体験を提供したいと、東京2020組織委員会の担当者は話し、今プログラムの主催者である未来館の副館長、
高木啓伸氏は「社会の皆さんに一早く新しい技術に触れて頂き、それによって変わる将来の生活に想像を膨らませ、
そして社会実装を後押しする。またその技術がどの様に応用出来るのかという所を体験して欲しい」とプロジェクトの意義を話されました。

『ホログラフィック映像による新しい臨場感体験』

未来館1階のシンボルゾーンに特設されたバドミントンの試合会場

続いて未来館1階のシンボルゾーンでは、実際のバドミントンの競技会場を模したほぼ実物大のコートと
観客席が設置され、バドミントンの試合が行われる武蔵野の森総合スポーツプラザの会場内に設置された
8Kカメラの撮影映像から、NTTの超高臨場感通信技術「Kirari!」を用いて選手やシャトルの映像を抽出し、
それを未来館の会場へ同じくNTTの超高臨場感メディア同期技術(Advanced MMT)を用いて
リアルタイム伝送。未来館には、伝送された選手とシャトルの映像がコート上にホログラフィックに表示されます。
今回はデモ映像としてバドミントン女子シングルス、ダブルスの試合を上映。

説明を行う木下真吾氏

技術開発を行ったNTT人間情報研究所主席研究員・研究部長の木下真吾氏は、今回のプログラムにおける臨場感の定義は
「実際の試合会場に行った時の「あの感覚」。テレビ等で見ているのとは違う、アスリートが目の前にいる、
アスリートと同じ空間を共有し、一体感が伝わるという現場独特の感覚。」と考えていると話します。

デモ映像として流れた桃田賢斗選手とホ・グァンヒ選手のバドミントン男子シングルス予選ラウンドの試合の様子

グリーンバックなどの専用機材を用いず、現場映像からリアルタイムに被写体のみを抽出する
「Kirari!」の基幹技術である「任意背景リアルタイム被写体抽出技術」。
音楽ライブやステージ、著名な所では歌舞伎俳優の中村獅童主演の「超歌舞伎」等でその名を知られる様になり、
NTTもこの技術の研究開発を日々続けてきましたが、今回は従来技術を発展させ、試合会場に設置された
8Kカメラから送られる8K/60fpsの映像よりリアルタイムに映像抽出。
バドミントンコートに最適化がなされたAI深層学習により、シングルスやダブルス、手前側、奥側の選手を抽出。
更にシャトル専用のAI深層学習モデルを構築し、高速に移動するシャトルも精緻に抽出がなされます。

その抽出データを遠隔伝送する際に活躍するのが「超高臨場感メディア同期技術」。
「任意背景リアルタイム被写体抽出技術」によりバラバラに抽出された、選手映像、シャトルの映像、
そして音声の複数のメディアを同期させて伝送する技術で、技術的には照明データや
選手の心拍数等のバイタルデータも完全同期して伝送する事も可能としています。

観客席からの目線という限定的な視点を最大限に活用したホログラフィック映像体験。
コート上に引かれた複数の白線はシングルス、ダブルスの種目分けの為の物。

そしてその伝送データを未来館の会場に実現するのが「俯瞰観戦型多層空中像表示技術」。
従来のホログラフィック表示技術はディスプレイの映像を斜め45°に設置したハーフミラーに反射させ
空中像を表示するペッパーゴースト手法が多く用いられていましたが、この手法では
空中像が表示される奥行き位置が固定され、1つの層の中でしか立体表現が出来なかったという弱点がありましたが、
今回の技術は実際の競技場の配置に近い高さの観客席を設置。そこから見下ろす視線方向に対し、
コート、2枚のハーフミラー、LEDディスプレイやプロジェクターの配置を最適化。
これによりセンターネットを挟んで手前と奥に別々の層による立体表現を実現。
また、コート内を飛ぶシャトル映像も2つの層の中で表示位置を変化させ、なるべく切れ目が無い様に
連続的で繋がりのあるシャトルの動きを再現しています。

3D映像かと見違う程の立体的な映像表現が没入度を高めています。

ダイナミックなリプレイ演出を可能とし、様々な応用が期待できるとの事でした

そしてメディア向けデモ映像として、7月28日に行われた、桃田賢斗選手対ホ・グァンヒ選手(韓国)の
バドミントン男子シングルス予選ラウンドの試合映像が流されます。
8K/60fpsの滑らかな映像、ユニフォームの背文字どころか選手の髪の毛の質感まで見て取れる解像度、
なにより3D映像なのでは?と錯覚しそうな程、コート内を舞う選手とシャトルの動きの鮮やかさに
目を奪われるばかりでした。そして最後にはコートへのプロジェクションマッピングを活かした演出や、
選手の動きやシャトルの軌跡を連続表示したダイナミックなリプレイ演出が行われ、参加者からは驚きの声が上がっていました。

プログラム上映終了後に行われた囲み取材で、今回の2つのプログラムの感じ方の違いを
記者より問われた組織委担当者は、「ドームの方は全天周スクリーンの中に自分が入り込む形になるので、
会場の観客席に座ってオリンピック独特の雰囲気を楽しんで頂く所に特徴がある」と話し、
木下さんはホログラフィック映像体験に対し「僕等の考える臨場感と2いうのは種類あり、
一つは「自分の目の前に選手が居る」という感覚を今回は「Kirari!」で表現し、
もう一つは「その場所にいる」という感覚であり、そのやりかたとしてはドーム映像の様に
視野角を覆う超ワイドというものも一つです。最終的には空間としての再現性と、
目の前に居る人という2つが合わさると、かなり大きな臨場感が生まれると思います。」と話しました。

また、「Kirari!」について、プレーヤーが多い競技でも再現可能なのか?という問いには
木下さん「サッカーや野球等、引いた絵で見る競技は全てのプレーヤーの層を再現しなくても
ある程度の数の層で胡麻化す事が出来るので大丈夫。逆に今回のバドミントンや、テニス、卓球等、
前衛と後衛が明らかに別れ、その間に物理的なネットが有るタイプのスポーツは
層を完全に分けないといけなくて、そういう意味では一つの層でカバー出来る競技は結構多いかなと思います。」
と答えていました。

事情があって会場に来られなくても高い臨場感でスポーツの素晴らしさを感じられる未来の
スポーツ観戦の姿を感じた実証プログラム。東京2020大会以降の発展に期待したいところですね。

【スポーツ観戦の未来 ~次世代臨場感テクノロジー 実証プログラム~概要】

日本科学未来館の公式サイトはこちら

<日時>
2021年7月31日(土)18:00開始

<会場>
日本科学未来館

<実施体制>
主催 : 日本科学未来館
技術協力:日本電信電話株式会社(通信サービス(超高臨場感通信技術(Kirari!))/パナソニック株式会社(AV機器)
企画協力:東京オリンピック・パラリンピック競技大会組織委員会

 - News, life