AR コンテンツ『てくてくふぉと』の制作

4.1 作品概要

ディスプレイ画面（以下画面Aとする）に表示する 映像と、専用のアプリを入れたタブレット端末を通信 環境にて連携させて体験するものとなっている。プレ イヤーは、タブレット端末のカメラで画面 Aをのぞき 込むように体験を行う（図1）。

図1 体験方法

画面 Aに映す映像はカラフルなクマのキャラクターた ちが草原をランダムにてくてくと歩きまわっているも のを制作した（図 2）。映像、アプリの開発にはゲーム エ ン ジ ン Unity を 、AR 制 作 用 ラ イ ブ ラ リ と し て

「Vuforia」^[3]を用いた。

図2 画面Aに表示する映像

プレイヤーは、タブレット端末にて専用アプリを起動 し、アプリ内のARカメラで映像を覗き込み、画面A 内のキャラクターを認識することによって、キャラク ターといくつかのコミュニケーションが可能となる。

システムとしては、Vuforiaにて全キャラクターのス クリーンショットをマーカーとして登録しておき、AR カメラがどのマーカーを認識しているかという情報を 画面A側へ送信している。これによって、あたかも画 面A内のキャラクターが外のプレイヤーの存在に気づ いているかのような振る舞いをとらせている。

4.2 キャラクターとのコミュニケーション

4.2.1 キャラクターをおびき寄せる

アプリを入れたタブレット端末の操作によって、画 面 A内のキャラクターをおびき寄せることができる。

アプリ画面において、「キャンディを投げる」を選択す ると、タブレット画面下中央にキャンディのCGモデル が表示される（図 3）。そして、タブレット画面をスワ イプすると、画面 Aに向かってキャンディが飛んでい く。一定距離飛ぶと、タブレット画面でのキャンディ 表示をやめ、それとほぼ同時に、画面 Aにてキャンデ ィモデルを生成することによって、タブレット端末か ら画面 Aへキャンディが投げ込まれたかのような表現 を行なった。映像へキャンディが現れると、キャラク ターはそのキャンディに興味を示し近づいてくる。キ ャンディの色とキャラクターのクマの体の色は対応し ており、投げたキャンディの色のクマが近づいてくる。

図3 キャンディを投げ込む様子

4.2.2 キャラクターがポーズを決める

4.1.1の操作により、キャラクターを画面A前方へお

びき寄せると、タブレット端末のARカメラでキャラク ターを認識することができる。認識されたキャラクタ ーは、まるで画面の外からカメラを向けられているこ とを理解しているかのように、映像の中でカメラに向 かってポージングをする（図4）。

タブレット端末 画面A

図4 画面A内でポーズを決めるキャラクター

4.2.3 キャラクターがプレイヤーの写真を撮影する

キャラクターの中にはスマートフォンを手にしたも のがいる。そのキャラクターをタブレット端末の AR カメラで認識すると、キャラクターが画面Aから飛び 出し、プレイヤー側にスマートフォンを向けてくる。

そして、その瞬間のプレイヤーの写真がリアルタイム で撮影される（図5）。

図5 プレイヤーの写真撮影の様子

システムとしては、プレイヤーの持つタブレット端末 の AR カメラとして使っていた外カメラから、内カメ ラへ一時的に切り替えることによって、プレイヤーの 写真撮影を行なっている。撮影後は、再び、外カメラ へ切り替わり、AR表示に使用される。

この時撮影された写真はタブレットに一時的に保存 され、テクスチャを生成する。そして AR 表示されて いる CG キャラクターがもつスマートフォン画面にそ のテクスチャを貼り付けることによって、擬似的にキ ャラクターによる写真撮影を表現した。なお、写真撮 影後は、画面 A内のスマートフォンを手にした他のキ ャラクターを認識すると、図５のタブレット画面にて、

プレイヤーの写真を手に持っている様と同様に AR 表

示される。キャラクターの間で、プレイヤーの写真が 拡散されているのを表現した。プレイヤーの写真は、

各キャラクターによって、異なってフレームのついた 状態で表示される。

図6 体験の様子

5. まとめ

制作を通して、画面内キャラクターに写真を撮影さ れるというコミュニケーションは、以下２つの効果が 得られると考えられた。

(1) 画面内のCGキャラクターから見られる驚き (2) 現実とバーチャルが混在した表現

(1) 画面内のCGキャラクターから見られる驚き 普段、私たちがゲームをプレイするとき、私たち は一方的にゲーム画面を覗き見ていると言えるが、

本作品では画面内のキャラクターもこちらに視線 を向けてくる。この仕掛けはプレイヤーに驚きと意 外性を与え、キャラクターの存在を感じられたので はないかと考える。

(1) 複合現実感の表現

体験者の写真を撮影することにより、図５のよう に、その写真をCGキャラクターと同一空間に表示 することが可能となった。現実の自分の写真を仮想 空間のCGキャラクターが手にしている画は、仮想 と現実が入り混じった不思議な感覚を与えるもの となった。

総じて、バーチャルなものを AR で拡張するシス

テムは、新しい表現の可能性を感じ取れた。今後は、

展示を行い、体験によってキャラクターの存在を感じ 取れたかについて評価を得て、さらに改善していきた いと考える。

文 献

[1] ^{川喜田 裕之}, 中川 俊夫, 佐藤 誠 (2017). テレビ映像

を画面外へ拡張するシステムの開発映像情報メディア 学 会 誌 71 巻 1 号 , J20 － J27. <

https://www.jstage.jst.go.jp/article/itej/71/1/71_J20/_article/-char/ja>

[2] Brian Barrett (2017). そこに「座る」だけでアニメのキャ

ラクターと遊べる──ディズニーが開発した「マジック

ベ ン チ 」 の 実 力 WIRED

<https://wired.jp/2017/09/20/disneys-magic-bench/> (2018 年1月25日)

[3] PTC Inc. (2018). Vuforia Dveveloper Portal<

https://developer.vuforia.com > (2018年1月25日) (雑誌例 2) Rice, W., Wine, A. C., Grain, B. D., (1964).

Diffusion of impurities during epitaxy. Proc. IEEE, 52(3), 284-290.

[4] 舘 暲、佐藤 誠、廣瀬通孝／日本バーチャルリア リティ学会(2011). バーチャルリアリティ学 特定 非営利活動法人日本バーチャルリアリティ学会

A Work of AR Content “TekuTekuPhoto” that Communicates with Characters on the Screen

－ Photo Shoot by Characters －

Saki MURAOKA

Hiroyuki MATSUGUMA

Faculty of Design, Kyushu University 4-9-1 Shiobaru, Minamiku, Fukuoka, 815-8540 Japan E-mail: ^ⅰ[email protected], ^ⅱ[email protected]

Abstract AR contents generally display information such as CG superimposed on the image of the real space through a camera or the like. In this work, the players look into the video images on the screen instead of the real space using the camera of the tablet terminal. The players can feel they are with the characters by operating this dedicated app.

When a character is recognized by the AR camera of the player. the character makes a pose to be taken the photo.

Besides, the character also makes a shot of the player with its camera. I have aimed for the expression that the players won't feel the boundary between CG screen and the real space.

Keywords Augmented Reality，Character，Communication beyond a Screen，Photography

日本デジタルゲーム学会 デジタルゲーム学研究

Digital Games Research Association JAPAN Journal of Digital Games Research

複数人の協調体動により音楽演奏を楽しむ FloorPad の試作

齋藤 憧弥

船橋 岳留

藤橋 良太

新井 恒陽

Nadia Gloenwald

粟飯原萌

古市 昌一

ⅰ日本大学生産工学部数理情報工学科 ^ⅱ日本大学大学院生産工学研究科

〒275-8575 千葉県習志野市泉町1-2-1

ⅲUniversity of the Arts Utrecht， Utrecht，The Netherlands E-mail: [email protected], [email protected]

概要 音楽は多くの人にとって身近なものであり，心理的に大きな影響を与える効果があるとともに，音楽を通 して初対面の者や言葉の通じない外国人とも，年齢を超えてコミュニケーションを図れる可能性を持っている．そ こで，本研究では音楽の持つこのような特性を多くの人に楽しんでもらうことを目標とし，複数人が同一空間上で 体を協調的に動作させることによって演奏を楽しむためのシリアスゲームFloorPadを試作した．本稿でFloorPadの 概要及び初期評価結果について報告する．

キーワード シリアスゲーム，音楽，協調性，アート，Kinect

1 ． はじめに

近年学生のコミュニケーション能力の低さが問題と なっており，日本学生支援機構による大学，短期大 学，高等専門学校における学生支援の取組状況に関す る調査（平成20年度）によると，対人関係についての 相談の増加が報告されている．また，日本経済団体連 合会の2017年度新卒採用に関するアンケート調査結果 では，コミュニケーション能力が入社採用選考にあた って最重視されることがわかる．これらのことから，

就職活動を行うにあたってコミュニケーション能力が 重要であるにも関わらず，学生のコミュニケーション 能力の欠如が問題であることがわかる．

この問題を解決するため，我々は代表的な協調作業 の一つである音楽の合奏に着目した．身体的な同調，

特にリズムの同調を高めることは，スポーツトレーニ ングやリハビリテーションのように，身体的なコミュ ニケーションを伴う訓練の効果を向上するうえで望ま しいものであると考えられている．そのため，音楽の 合奏を手段とすることで，コミュニケーション能力の 向上が可能であると考えられる[1]．しかし，楽器の演 奏及び合奏は知識の取得と練習が必要なため，多くの 人が気楽に楽しむことができる音楽の合奏を手段とし たコミュニケーション能力の向上を図るシステムを実 現することはできない．

以上の観点を考慮し，本研究では音楽に関する事前 知識や練習が不要であることを基本とし，複数人の協 調体動により音楽演奏を楽しむ「FloorPad」を試作し た．一般的に音楽演奏を楽しむためには高価な楽器を 用意しなければならないが，本システムでは楽器も不 要でPC，センサとプロジェクタだけを用い，システム を操作する過程で実施する簡単な練習だけで，気軽に 音楽演奏を楽しむことができる．センサとしては，複 数人の体動を認識することができるKinect for Windows v2（Kinect）を用いた．

本稿では，試作した FloorPadの概要を述べ，続いて 初期評価の結果を述べる．

2 ． 研究関連

音楽演奏を楽しみながら協調性及びコミュニケーシ ョン能力の向上を目的とするシリアスゲームとして

は，MU3-Table[2]が知られている．MU3-Table は大型

のマルチタッチ機能とユーザ識別機能を有するテーブ ルトップ型のDiamondTouchを用い，4人の演奏者が6 行 6 列の白色のセルをタッチすることでループ型の音 源が流れることにより，4 人で合奏を楽しむものであ る．タッチしたセルはそれぞれの色に変化しアート性 を高めている．MU3-Table では指先による操作だけで 音楽を演奏するもので，協調性とコミュニケーション 能力の向上のために適すると考える身体全体の動きは 考慮されていない．本研究による FloorPadは体動を考 慮している部分が MU3-Tableとは顕著に異なる点であ る．

また，体動により音楽演奏を楽しむシステムとして は，ニヌファブシ[3]が知られている．ニヌファブシは

Kinect によって検出した人や物の形を影のように映し

出し，影を操作することによって音楽を演奏するシス テムである．しかし，本システムは一人での演奏を目 的としたものであり，協調性及びコミュニケーション 能力の向上には適さない．

一方，身体的同調から心理的同調が誘発されること が示された研究[4]では，例えばリズム同調の効果によ り幼児間において類似度や親密度が高まることが示さ れている．この研究成果を応用すると，協調性及びコ ミュニケーション能力の向上を目的としてリズム同調 効果及び親密度の向上が期待できると思われる．

3 ． FloorPad の試作概要

本章では，本研究により試作した音楽演奏シリアス