2020 Entertainment――エンタメ×ICTによる新たなおもてなし

新しい歌舞伎の楽しみ方 これまでの歌舞伎の主な楽しみ方は 上演される会場に直接赴いての観劇で したが，NTTサービスエボリューショ ン研究所では「上演前」「上演中」「上 演後」のそれぞれについてICTによる 新しい歌舞伎の楽しみ方の実現に取り 組みました． ■上演前 まず「上演前」については，ラスベガ ス の 劇 場 前 で の「KABUKI LION Interactive Showcase」 に お い て 『Henshin Kabuki 変身歌舞伎』と題し， 歌舞伎独特の化粧法である隈取をモ チーフに，歌舞伎俳優への「変身」を 通じて，日本が誇る“文化と技術”が織 りなす不思議な世界感を体験できる， インタラクティブ展示を実施しまし た．体験者が好みの隈取お面を手に取 り大型モニターの前に立つと，お面の 種類が「アングルフリー物体検索技術」 によりお面の向きや傾きによらず高精 度に自動認識され，その隈取模様が， 体験者の顔にAR重畳表示（変身歌舞 伎）されます（写真 1 ）．AR重畳表示 では，「エッジコンピューティング技 術」により遠隔に設置したサーバ側で 画像処理を行った場合でも高速追従が 可能となり，顔を激しく動かしてもぶ れにくい重畳表示を実現しました． また，巨大な立体顔面オブジェクト に歌舞伎特有の間や表情といったダイ ナミックな演出とともにプロジェク ションマッピングし，演出における重 要形成要素（キーポイント）を抽出し て現実以上に際立たせる「Amplified Experience（AX）」というコンセプ トと，その実現に必要な「キーポイン ト抽出・強調技術」の確立に向けた検 証を行いました． さらに，壁面に掛けられた50個もの 動くはずのない隈取お面が，公演でも 用いられた「変幻灯」技術によって， 笑ったり，怒ったり，といった多彩な 表情を自在に変化しました． 延べ1018人の体験者からは性別・ 写真 1 　インタラクティブ展示を体験した市川染五郎丈 本稿ではエンタテインメント分野におけるICTを活用した新た なおもてなしの取り組みの第一弾として，株式会社ドワンゴが 2016年 ４ 月29～30日に幕張メッセで開催したニコニコ超会議 2016内で上演された「超歌舞伎」と，松竹株式会社が ５ 月 3 ～ ７ 日に米国ラスベガスで開催した「Japan KABUKI Festival in Las Vegas 2016」にて上演された「KABUKI LION 獅子王」の 2 つのイベントにおける，歌舞伎と最新のICTのコラボレーション による新しい歌舞伎舞台の実現へのチャレンジについて紹介し ます．

西

谷 智

広 /小

野

　 朗

/兼

清 知

之

山

口 高

弘 /亀

田 明

男 /西

田 眞

也

中

川 純

一 /巻

口 誉

宗

NTTサービスエボリューション研究所

NTT未来ねっと研究所

NTTメディアインテリジェンス研究所

NTTコミュニケーション科学基礎研究所

年齢層・出身国によらず，新たな体験， インタラクティブ性を中心に約 ９ 割の 好意的反応を得るとともに，アングル フリー物体検索技術を用いた隈取認識 は正解率９９.2%の精度を得ました．一 方で，複数面で構成した展示間の誘導 設計，アングルフリー物体検索の辞書 チューニング作業の効率化など今後に 向けた課題も判明しました． ■上演中 「上演中」については，「KABUKI LION 獅子王」の高臨場遠隔上映と 「超歌舞伎」に取り組みました（写真 2 ， 3 ）． （1）　KABUKI LION 獅子王 「KABUKI LION 獅子王」の高臨 場遠隔上映では，ラスベガスでの本公 演の遠隔でのライブ体験として，次の 4 つに取り組みました． ① 　4Kマルチ画面を用いた空間再 現（全天周ルーム）（写真 4 ）： ９ 台の4Kカメラ映像を高圧縮率 のHEVC（High Efficiency Video Coding）による符号化，複数の 映像・音声の絶対時間による 柔軟な同期を可能にするMMT （MPEG Media Transport）技 術 を用いた，世界で初めての4Kマ ルチ映像の国際中継を実現しま した．羽田会場での全天周ルーム では，正面舞台（180インチ/面× 3 面），舞台花道（下手側 1 面， 背面 3 面），天井（上方 2 面）の すべてに4Kマルチ映像として同 期提示し，延べ1９8人のマスコミ・ 招待客の 8 割以上の方から躍動 感を， ７ 割以上の方から再度観劇 したいとの好評価をいただき， ユーザ受容性の高さを確認でき ました．システム面でも同期性・ 遅延時間について，設計どおりの 結果となり，今後に向けての各種 パラメータの妥当性を確認でき ました．一方で，複数スクリーン 間のつなぎ目についての課題も 判明しました． 写真 2 　KABUKI LION獅子王 写真 3 　超歌舞伎 写真 4 　全天周ルームでの高臨場遠隔上映

② 　Kirari!を使った擬似3Dによる 遠隔舞台挨拶（写真 5 ）：被写体 抽出技術を用いて任意背景の映 像から注目する演者のみのリア ルタイムかつ精緻な切り出し，遠 隔会場で擬似3D虚像表示ととも に音声の同期により，現地ラスベ ガスの市川染五郎丈が羽田会場 にいるかのような遠隔舞台挨拶 を世界で初めて実現しました．本 番照明・カメラ位置でのリハーサ ルなど事前検証を十分に行うこ とができなかった中，システム面 では被写体抽出および影生成も 精度良く機能し，ユーザ評価にお いても ７ 割以上の方が，目の前の ステージに染五郎丈がいるよう に見えたと回答しました． ③ 　4K全天球映像のモバイル端末 での高画質なライブ配信（写真 6 ）：全体の縮小画像と，見てい る方向の高画質な映像のみを部 分的に選択して配信することで， 視聴時の体感品質を維持しなが ら帯域の抑制を可能とするシス テムを4Kライブ対応し，モバイ ル端末への高画質ライブ配信を 実現しました（図 1 ）．技術面で は4K全天球映像全体の配信時に 比べて帯域を約80％削減するラ イブ配信システムを構成して安 定運用の実績を得るとともに， ユーザ評価においても多数の方 から劇場で見ているような臨場 感があったとの回答が得られ，全 天球ライブ視聴のニーズを確認 できました．一方で，撮影品質に ついての課題も判明しました． ④ 　変幻灯による演出（写真 7 ）： 中の巻 海之国仲之町の場の背景 画（幅15 m×高さ4.5 m）の上半 面に対して，変幻灯技術を適用し て海の中の街という設定に合わ せて海中の水の揺らめきを実現 しました．俳優にスポットが当た るシーンだと背景の上半分のみ 写真 5 　Kirari!でラスベガスにいながら羽田のお客さまに舞台挨拶した市川染五郎丈 写真 6 　モバイル端末での4K全天球映像のライブ視聴

を動かす演出は目立たないこと や，演出と連動した脚本づくりが 重要といった舞台特有の課題が みえてきました． また，今回の遠隔上演のため，ラス ベガス会場と羽田会場間で，広帯域 ネットワークを構築しました（図 2 ）． 期間的な制約がある中，商用回線，米 国の研究教育ネットワークInternet2， およびNTTサービスエボリューショ ン研究所が運営する研究開発用ネット ワークGEMnet2を組み合わせて，1 Gbit/sの帯域（IPv4マルチキャスト で50 Mbit/s×13本通信可能）を確保 したネットワークを 2 ルート構築し ました．両ルートともに，本映像伝送 期間中FEC（Forward Error Correc­ tion）で救済可能なレベルにパケット ロスの発生を抑えた，高品質なネット ワークを実現することができました． 機動的なネットワーク品質測定，マイ クロバーストトラフィックの監視，コ スト低減，および，さらなる構築期間 本技術 全天球カメラ 国際 伝送 ネットワーク エンコーダ サーバ配信 ユーザの 視線方法 圧縮動画 高解像度 低解像度 Ａ：視聴領域（高精細映像） Ｂ：周辺領域（低解像度映像） B _B A

David Copperfield Theater @LAS VEGAS

TIAT SKY HALL @羽田国際空港

HMD HMD

スマートフォンを用いたHMDで， 直感的に見たい方向を視聴

全天球カメラ：360 度の全方位を撮影することができるカメラ

HMD（Head Mounted Display）：頭部装置型ディスプレイ．センサを内蔵で視聴方向を取得可能なものもある

A

図 1 　全天球映像の高画質なライブ配信

短縮が今後の課題です． （2）　超歌舞伎 「超歌舞伎」では，ニコニコ超会議 201₆で上演された「今昔饗宴千本桜」 （ 5 回公演）において，被写体抽出技術， バーチャルスピーカ技術を用い，中村 獅童丈演じる佐藤四郎兵衛忠信の分身 演出，共演の初音ミクの口元から声が 出ているような臨場感の高い音響演出 を実現し，TVメディアやWebメディ アにも数多く取り上げられるなど，新 しい歌舞伎演出として高い評価を得 ました． ■上演後 「上演後」については，スマートフォ ンと組み合わせて手軽に3D映像を視 聴できるデバイス「Kirari! for Mobile」 の箱型ペーパークラフト用い，箱の中 に浮かび上がる初音ミクを手のひらで 鑑賞しながら超歌舞伎の余韻を味わう 体験を実現しました． 今後の展開 今回の取り組みは歌舞伎×ICTの第 一歩であり，引き続き次世代の歌舞伎 の実現に向け，「超」高臨場表現の追求， 歌舞伎空間体験（インスタレーショ ン），本公演での新しい舞台演出，遠 隔ライブなどに順次取り組み，外国人 を含む一般ユーザへのトライアルを通 じたサービス性評価と技術検証を進 め，実用サービスとしての適宜切り出 しなどビジネス展開も進めていくとと もに，本取り組みで得られたエンタテ インメント分野における表現の知見 を，2020年に向けた深い感動，新し い体験を提供するおもてなしの取り組 みにフィードバックしていく予定です． （上段左から） 西谷 智広/ 小野 　朗/ 兼清 知之/ 山口 高弘 （下段左から） 亀田 明男/ 西田 眞也/ 中川 純一/ 巻口 誉宗  伝統芸能の新たな楽しみ方の実現に向け， 研究開発に取り組むとともに，さまざまな 場所でShowcaseとして多くの方々に体感 いたける機会を設けていく予定です．ご期 待ください． ◆問い合わせ先 NTTサービスエボリューション研究所 2020エポックメイキングプロジェクト TEL　₀46-₈5₉-25₀1 E-mail　eep-hosa lab.ntt.co.jp Internet2 羽田会場 ルート1 ルート2 GEMnet2 NOC （武蔵野） シアトル ラスベガス会場 図 2 　映像伝送用日米間ネットワーク概要