基礎論文
TVRSJ Vol.22 No.1, 2017音響樽を用いたバーチャル音卓球システムの開発
渡邉 祐子
*1池田 雄介
*2伊勢 史郎
*1Development of Virtual-Sound Table Tennis System Using Sound Cask Yuko Watanabe*1 , Yusuke Ikeda*2 and Shiro Ise*1
Abstract – In this paper, we present the development of a virtual-sound table-tennis system using a 3D-immersive auditory display based on the boundary-surface control (BoSC) principle. Sound table-tennis is a modified version of table-tennis for visually impaired people, in which the players are required to roll a ball from one end of the table to the other, instead of hitting ball over the net. Using a sound-ball and special racket, players may hit the ball by listening for the direction from which the ball is rolling towards them. Our proposed system reproduces the rolling sound by using 3D-immersive auditory display, referred to as a ‘Sound Cask’, and the player is asked to assess the direction of the ball by perceiving the virtual sound source to return the ball. Using a motion sensor, the system detects the hitting action of the player and reproduces the rolling sound. We introduce system configurations and design methods and conduct experimental studies to confirm the applicability of the system. From experimental results, localization was found to improve after the training session of virtual-sound table tennis.
Keywords : boundary-surface control principle, 3D-immersive auditory display, sound table tennis, motion-capture technique, sound localization
1 はじめに 我々、人間にとってスポーツは心身の健康を保つ上 で非常に重要な役割を果たしている。視覚障碍者に とってもスポーツは重要であり、空間知覚の訓練に役 立つだけでなく、娯楽としても楽しまれているが、特 定の場所や設備、道具を準備したり、練習相手を探し たりする必要が生じ、必ずしも気軽に行うことができ ないという問題がある。 そこで、視覚障碍者福祉や教育の支援を目的として、 3 次元音場再現技術を用いた空間認知訓練システムや 娯楽システムなどの研究が進められてきた [1, 2, 3, 4]。 既往研究として、鈴木ら [5] は頭部伝達関数合成法を 基礎として頭部運動に追従する聴覚ディスプレイ装置 を応用した視覚障碍者のための 3 次元音響 VR ゲー ムを開発した。これは動的に変化する 3 次元仮想音響 空間内で楽しみながら「音にふれる」ことができる身 辺空間認知訓練のゲームアプリケーションであり、他 に認知地図形成補助システ厶の開発も進められている [6]。また関ら [7, 8] は、3 次元音場再現技術を用いた 空間認知訓練システムを開発した。これらのシステム は頭部伝達関数（HRTF）を用いたヘッドホン再生に よる聴覚ディスプレイを採用しており、HRTF の個人 *1東京電機大学 *2早稲田大学
*1Toyko Denki University *2Waseda University 差の解消や、HRTF データベースに存在しない方向の HRTF の補間、距離減衰の考慮など様々な補正・補間 技術を用いて 3 次元音場を実現している。最近では松 尾ら [9] が視覚障碍者向けゲームの問題点に着目し、 ゲーム分野における視覚障碍者への対応について調査 すると共に、実際に視覚障碍者のための開発ツールの 提案とその評価について報告している。 一方、3 次元音場再現技術では、その発展と共に仮想 的に実現される音場の再現精度が高まっている。特に、 我々は境界音場制御の原理に基づいた 3 次元音場再現 システム（以下、BoSC : Boundary Surface Control シ ステム）[10, 11] を実現する一形態として、没入型聴覚 ディスプレイ “音響樽” の開発を進めており [12, 13]、 音響樽は高い音像定位精度を有することを報告した [14]。また BoSC システムでは、音像定位だけでなく 音声の発話方向の知覚が可能であることが報告されて おり [15, 16]、話者の微少な動きによる音場の変化が 再現されることで話者の存在感が増すことや [17]、音 信号のみでも相手との対人距離に起因する心理的印 象に影響があることなど、BoSC システムを用いた音 場再現によって音場が人に与える影響の理解が深まり つつある [18, 19]。さらに音響樽内で発した音声や楽 音に空間の響きを実時間で再現する音場シミュレータ を無響室のような大型設備を使うことなく実現するな ど [20]、高いリアリティを伴った様々な応用も行って きた。 TVRSJ Vol.22 No.1 pp.91-101, 2017
そこで本論文では、音響樽を用い、視覚障碍者向け に卓球をアレンジしたサウンドテーブルテニス（音卓 球）を仮想的に行うことが可能な「バーチャル音卓球 システム」を提案する。音卓球は、視覚障碍者用に開 発されたスポーツである。ボールが卓球台中央に張ら れたネットを越えるように打ち合う健常者用の卓球と は異なり、卓球台上の片側から反対側にボールを転が し、ラリーを行う。このとき鉄球が入ったサウンドボー ルと専用のラケットを用い、卓球台上を転がるボール の音を頼りに視覚を用いずに卓球を行うスポーツであ る。提案システムでは、音響樽を用いて仮想的に卓球 台を転がる音を再現し、プレイヤーは聞こえた音のみ でボールの軌道を判断し打ち返す動作を行う。その身 体動作を Kinect センサーによって検出し、打ち返し た瞬間の手の位置や手の移動の方向に応じてボールが 転がる音（打球音）を再現する。また対戦相手がプレ イヤーの前方正面 3 m に位置することを想定して音声 の 3 次元波面を生成し、自然な音声コミュニケーショ ンを行いながら音卓球を行うことができるシステムを 実現する。BoSC システムと Kinect を用いることから プレイヤーに機器を装着する必要がなく、自然な体勢 で訓練やスポーツを楽しめることに加え、ヘッドホン システムで問題となりやすい個人差の問題が生じにく いという特長がある。また、対人競技である音卓球が 遠隔環境でも可能になることは、本提案システムが非 言語の遠隔コミュニケーションを可能にすることを意 味しており、プレイヤー同士の親密さやスポーツの楽 しさを高める観点からも非常に有効であると考える。 以下に本論文の構成について述べる。まず、次章で 提案するバーチャル音卓球システムについて説明する。 3 章では提案システムの有効性を確かめることを目的 として、晴眼者を対象として、まずはシステムを使っ た訓練によって打球音の方向識別能力が向上するかに ついて検証した主観評価実験とその結果について述べ、 4 章ではその考察を行う。 2 バーチャル音卓球システム 2.1 システムの構成 サウンドテーブルテニス（音卓球）とは、上述の通 り、一般の卓球を視覚障碍者も一緒に楽しめるように アレンジした競技である。本論文では、プレイヤーの 打球動作を検出するセンサーと 3 次元音場再現システ ムを用いることで、仮想音場内で転がってくるボール の音を頼りに音卓球を実現するバーチャル音卓球シス テムを構築する。 本論文で提案するバーチャル音卓球システムの処理 の流れを図 1 に示す。また図 2 に音卓球の様子を示す。 システム A の中にいるプレイヤー A が打球動作を行 打球動作 （プレイヤーA） 動作検出・判定 相手(B)の打球音 自分(A)の打球音 システムA システムB 音再生 打球動作 （プレイヤーB） 動作検出・判定 相手(A)の打球音 自分(B)の打球音 音再生 図1 バーチャル音卓球システムの処理の流れ Fig. 1 Virtual-Sound Table Tennis System
図2 音卓球の様子 Fig. 2 Sound-Table Tennis
うと、その動作は身体動作センサーにより検出され、 打った場所とどの方向にボールを打ったかが判定され る。その後、判定された打球位置と方向に対応した打 球音が 3D 音再生システムを介してシステム A 内に再 生される。 一方、検出・判定されたプレイヤー A の動作情報 は、対戦者であるプレイヤー B がいるシステム B に 送信され、プレイヤー A の動作情報に対応した打球 音がシステム B で再生される。プレイヤー B は、そ の打球音を聞いて打球動作を行い、同様に動作情報の 検出・判定が行われる。その後、プレイヤー B の打球 位置と方向に対応する打球音がシステム B に再生さ れると同時にシステム A にも再生される。この音を 聞いてプレイヤー A は再び打球動作を行う。このよう にプレイヤーが自分と相手の打球音を聞きながら交互 に打球動作を繰り返すシステムである。 2.2 打球動作検出・判定アルゴリズム バーチャル音卓球システムを実現するには、音響樽 内において対戦者の打球音を頼りに打ち返すプレイ ヤーの動作（打球動作）を検出する必要がある。打球 動作を検出する装置として Xbox One Kinect センサー (Microsoft 社製) を採用した。この装置はセンサーを 直接プレイヤーに取り付けることなく、RGB 画像と
赤外線センサーの情報のみから身体の骨格情報を検出 し、センサー位置を基準とした骨格の座標情報を約 30 フレーム／ s で提供する。 開発したバーチャル音卓球システムでは、センサー を音響樽の中段上部、床から垂直高さ約 1500 mm の 壁面に設置した。図 3 に設置の様子を示す。ここでプ レイヤーの耳の高さは床から 1200 mm、Kinect セン サー中央部とプレイヤーの頭部中心までの水平距離は 約 1000 mm であり、プレイヤーが打球動作をする際 に検出する手と Kinect センサーの直線距離は最大で も 1500 mm 程度であった。Kinect センサーの深度方 向の検出精度について、距離が離れると分解能が低下 することが知られているが、今回使用した Kinect セ ンサーは、1500 mm の距離で 4 mm 程度の分解能が あると報告されており [21]、これは本論文で必要とさ れる大まかな手の動きを検出するのに十分な精度であ る。また左右上下方向は、深度検出より誤差が小さい ことが報告されており [22]、深度と同様に本論文にお ける実験に十分な検出精度であると言える。 開発したシステムにおいて、プレイヤーは打球動作 を右手のみで行うものとして、Kinect センサーによっ て得られた骨格の座標情報から、頭部の位置に対する 右手の相対的な座標を算出した。ここで頭部に近い領 域と離れた領域の２つの異なる領域を考え、右手の位 置が２つの領域をまたいで変化する場合に打球動作を 行ったと判定した（打球動作検出）。さらに各領域を水 平面内の左右方向について複数個に分割することで、 水平面内においてどの位置からどこの方向へ打球動作 を行ったか判定し、打球動作の分類を行った。また、 プレイヤーの動作検出が出来なかった場合は、検出さ れるまで検出と判定処理を繰り返した。 今回の実験システムにおいて判定に使用した動作範 囲の設定条件を図 4 に示す。これは Kinect センサー と頭部の中心を含む平面である。プレイヤーの頭部中 心位置を原点として右手の相対位置を算出した後、始 点と終点について各々3 つの領域で判定処理を行い、 始点ー終点を組み合わせた計 9 種類で打球動作を分類 した。領域を決定するにあたり、打球動作を分類する 6 つの領域を分ける境目の設定に特に配慮し、始点の 位置の前後方向（奥行き）はプレイヤーの打球動作の 始点の位置の違いを吸収できる程度に前後に幅を持た せて設定した。 2.3 3D音再生システム 2.3.1 3次元音場再現システムの原理 バーチャル音卓球システムでは、打球音の再生シス テムとして、BoSC システムに基づいた音響樽を用い た。BoSC システムの概念図を図 5 に示す。このシス Kinect プレイヤー 音響 2150 mm 1000 mm 1200 mm 1500 mm 図3 検出センサーの設置位置 Fig. 3 Location of motion detect sensor
-0.5 -0.4 -0.3 -0.2 -0.1 0 0.1 0.2 0.3 0.4 0.5 -0.1 0 0.1 0.2 0.3 0.4 0.5 左・始点 中・始点 右・始点 右・終点 頭部中心からの距離 [m] 前方 中・終点 左・終点 頭部中心からの距離 [m] プレイヤー 位置 図4 打球動作の検出における右手の位置範囲と 打球動作の分類
Fig. 4 Area configuration of motion-detection
テムでは、まず（１）原音場において境界 S 上の音圧 信号を収録する。次に（２）再現音場において測定さ れた伝達関数 [Gij] を用い、（３）この逆システム [Hji] を設計する。ただし、i = 1, · · · , N 、j = 1, · · · , M で あり、このとき、N 個のスピーカと M 個の制御点に よるシステムとなる。この逆システムと収録信号を重 畳し再生することで、原音場における境界S に囲まれ た領域V 内の音場が、再生音場の Vにおいて再現さ れる。 本論文では原音場の収録システムとして 80ch の無 指向性マイクロホン（DPA 4060）を用いた BoSC マ イクロホンと、再生音場として 96 個のフルレンジス ピーカ（FOSTEX FX120）を設置した音響樽を使用 した。また音響樽内の制御点も収録システムと同様に 80 点とした。BoSC マイクロホンと音響樽を図 6、図 7 に示す。 2.3.2 逆システムの設計 本論文における逆システムは正則化法 [23, 24] を用 いて設計した。再生空間内の暗騒音はインパルス応答 計測時、並びに実験時において 48 dB（22.5 dBA）で あった。逆システム設計用のインパルス応答の測定方
原音場 V S 再生音場 V’ S’ Gij (2)伝達関数測定
[ ]
Hji (3) 逆システム計算 (1) 収録 (4) 再生[ ]
図5 境界音場制御の原理に基づく音場再現シス テム（BoSCシステム）Fig. 5 Boundary-Surface Control principle
図6 BoSCマイクロホン Fig. 6 BoSC Microphone
図7 音響樽 Fig. 7 Sound Cask
法は、まず、音響樽の中心位置で人が着席する際の耳 の高さを念頭に再現領域の中心の高さが床面から 1200 mm となるように BoSC マイクロホンを設置し、TSP 信号を用いて 96 個の再生用スピーカの各々から各マイ クロホンまでのすべてのインパルス応答を測定した。 次に、測定したインパルス応答を 2048 点で切り出し た。ここで計測したインパルス応答より算出した再生 室内の残響時間（全帯域）は 100 ms 以下であったが、 逆システム設計上はインパルス応答の切り出し長 2048 点（42.8 ms）程度で十分に減衰しているとした。次 に、切り出したインパルス応答を FFT 長 8192 点で 周波数軸上に変換し、次式（１）を用いて正則化法で フィルタ長 4096 点の逆システム [ ˆHji] を設計した。 [ ˆHji(ω)] = ([Gij(ω)]†[Gij(ω)] + β(ω)IM)−1[Gij(ω)]†e−jωτh (1) ここで [·]†は行列の複素共役転置、β は正則化パラメー タ、IM は M 次元単位行列、j は虚数単位、τhは逆シ ステムの因果性を保つために考慮された遅延時間であ り、本論文では約 42.7 ms（2048 点）とした。なお実際 に使用した実験システムでは、実時間で行うべき演算 コストを低減させる目的で、収録した打球音と BoSC システムの逆システムを予め畳み込んだ信号を打球音 データベースに格納して使用した。 更に、本システムでは、対戦相手の打球動作情報を 仮想的に作ることで、計算機と対戦を行うシステムの 構築も可能である。したがって、対戦相手が計算機で ある場合を一人用バーチャル音卓球システムと呼び、 対戦相手が実際の人間であり、音声による会話も行い ながら競技が可能なシステムを二人用バーチャル音卓 球システムと呼ぶこととする。 2.3.3 3D音再生システムの処理の流れ 図 1 におけるシステム A とシステム B では、基本 的に同様の処理を行うので、ここでは簡単のためにシ ステム A における 3D 音再生システムについて述べ る。処理の流れを図 8 に示す。 対戦者の 打球音 逆システム 音響樽 自分の 打球音 打球音DB 成功音 失敗音 システムの動作判定 システムの動作判定 誤 誤 正 正 図8 システムAの3D音再生システムの構成 Fig. 8 3-D sound reproduction system in
まず、あらかじめ、原音場（音卓球の現場）におい て BoSC マイクロホンを用い、自分の打球音（マイク ロホンから離れる方向に転がっていく音）と対戦者の 打球音（マイクロホンに向かって転がってくる音）を 収録し、打球音データベースに格納しておく。 プレイヤー A の打球動作に対して「動作検出・判定 処理」で得られた動作判定情報に基づき、自分の打球 音をデータベースから選択し、逆システムと重畳した 後、音響樽で再生する（3D 音再生）。しかし、ここで 打球動作が「打ち間違い（打球位置が不正解）」と判 定された場合には「失敗音」を再生してゲームを終了 し、プレイヤー A は「負け」になる。打球動作が成功 の場合、システム B で再生される打球音を聞いてプレ イヤー B が打球動作を行う。この際、プレイヤーの動 作検出が出来なかった場合は、検出されるまで検出と 判定処理を繰り返すので、検出出来た時に打球音、ま たは失敗音が再生されるが、実際の実験では検出でき ない場合は観測されなかった。システム B の「動作検 出・判定」ブロックからシステム A に送信されたプレ イヤー B の打球判定情報を用いてデータベースから適 切な対戦者の打球音を選択し、逆システムと重畳した 後、システム A の音響樽で再生する。またシステム B の打球判定により、打ち間違いと判定された場合は、 システム A に「成功音」を再生してゲームを終了し、 プレイヤー A は「勝ち」になる。 3 評価実験：バーチャル音卓球の打ち分け実験 3.1 概要 音卓球は、視覚障碍者のスポーツ促進、娯楽という 役割だけでなく、音空間認知の訓練という観点からも 重要な役割を果たすと考えられる。したがって、提案シ ステムは、視覚障碍者が楽しみながら音に対する感覚 を磨き、学習できるシステムであることが期待される。 そこで二者間バーチャル音卓球システムを用いること で音空間の認知能力が向上するか、具体的にはボール の転がる音に対する方向知覚能力が向上するか、心理 実験により検証する。またコンピュータ相手に行う一 人用バーチャル音卓球システムと二者間システムの心 理的印象の違いについて主観評価により検討すること で提案システムの有効性を検証する。 3.2 刺激音 BoSC マイクホロンを用い、音卓球の打球音を東京 電機大学の視聴覚実験室で収録した。収録条件を図 9、 図 10 に示す。室内に卓球台と同等のサイズ（2700 mm × 1350 mm）の木製テーブルを設置し、卓球台の片 側の中心位置に BoSC マイクロホンを設置した。卓球 台の高さは床から 700 mm、BoSC マイクロホン中心 の高さは 1600 mm とした。 打球音は、自分の打球音（遠ざかる音）と相手の打 球音（近づいてくる音）の 2 条件について、スタート 位置（始点）、振り終わり位置（終点）をそれぞれ左、 正面、右（L, C, R）の 3 つの領域に分割し、それら すべての組み合わせとなる合計 9 つの打球動作を想 定し、実際の音卓球で使用される一般的なボールとラ ケットを用いて収録した。 自分の打球音は、各々の打球条件（9 種類）を繰り 返し回数 3 回として計 27 種類の音源を収録した。相 手の打球音は、後述する方向知覚実験とラリー訓練で 異なる音源を使用する目的で、9 方向を繰り返し回数 3 回、2 種類の実験用で計 54 種類の音源を収録した。 ここでシステムにおける打球動作や方向知覚に対す る打球速度の影響を排除するために、収録の際には、 打球開始時刻からボールが卓球台の反対側の端に到達 するまでの時間が概ね 1 s となるように打球の速度を 統制して打球音を収録した。この時、打球の平均速度 は 2.7∼3.0 m/s 程度であった。また収録した打球音に は、卓球台の端に到達した後、床にボールが落下する 音が含まれたが、収録音源から落下音を削除し、実験 に提示する打球音が 1 s 程度になるように編集し、実 験刺激音を作成した。 収録した打球音は、予め逆フィルタと重畳した後、 音源データとしてシステムの打球音データベースに保 存し、再生時に被験者の頭部中心で 65 dB 程度となる ように再生した。 2700 mm 1350 mm L C R 相手の打球音 自分の打球音 L C R 収録用 BoSC マイクロホン 675 mm 100 mm 卓球台 図9 打球音の収録条件（平面図） Fig. 9 Recording condition in top view
卓球台 700 mm 1600 mm 収録用 BoSC マイクロホン 図10 打球音の収録条件（側面図）） Fig. 10 Recording condition in side view
3.3 実験方法 3.3.1 実験場所と装置 実験は東京電機大学に設置された音響樽で実施し た。この音響樽を遠隔地（明治大学下北沢 CREST オ フィス、直線距離 約 42 km）に設置した音響樽とイ ンターネット回線で接続した。電機大学側は 100Mbps の学内ネットを介して接続し、明治大学オフィスは学 外に設置されたオフィスであることから民間の光回線 （上り最大 100Mbps、下り最大 200Mbps）で接続し、 二者間バーチャル音卓球システムを実現した。通信は TCP/IP プロトコルによって行ったが、データを往復 させて通信遅延を計測した結果、片方向遅延は 10 ms 程度であった。また音声の伝送に対する遅延は、リア ルタイム畳み込みとネットワーク遅延などすべての遅 延を合わせて 100 ms 程度の片方向遅延があることを 確認した。 プレイヤー間の自然な会話を実現するために、境界 音場制御の原理に基づく音声通話システムを構築した。 音響樽内のプレイヤー口元近傍に設置された音声収録 用マイクロホン（DPA 4060）で収録された音声信号 を、インターネットを介して対戦者側のシステムに送 信した後、卓球台を想定して正面 3 m の位置に相手 がいるかのような音声として再生した。このように所 望の位置に仮想的に音声の再現を行うには、音源から BoSC マイクロホンへの伝達関数が必要となるが、こ こでは自由空間を仮定したシミュレーションによって 伝達関数を作成（仮想音源フィルタ）し、この伝達関 数と逆フィルタを音声にリアルタイムで畳み込んだ後、 音響樽で再生した。これにより、対戦者の音声を自分 の前方に感じながら会話をしつつ、再生された打球音 に応じてプレイヤーが交互に打球動作を行うことが可 能となり、遠隔地に居ながらにして音卓球のラリーを 行うことを実現した。 3.3.2 被験者 正常な聴覚を持つ晴眼者 12 名 (男性 9 名、女性 3 名) が実験に参加した。被験者のうち、11 名が右利き、1 名が左利きであった。実験時に被験者はアイマスクを 装着せず、また閉眼の教示はしなかったので目は開け ていた。 3.3.3 実験手順 心理実験の手順を図 11 に示し、それぞれの詳細を 述べる。 1. 移動音の方向知覚実験 1 音響樽内の中央付近に設置された椅子に被験 者を正面を向いた状態で着座させ、耳の高さが 床から 1200 mm になるように実験者が椅子の 高さを調整した。また方向知覚実験、ならびに 後述のラリー訓練など、BoSC 再生システムか ① 移動音の方向知覚実験１ ② 打球動作練習 ⑦ 一人用システムによる訓練 ③ 打球動作実験１ ④ バーチャル音卓球システムによる訓練 ⑤ 移動音の方向知覚実験２ ⑥ 打球動作実験２ ⑧ 心理評価アンケート 図11 心理実験の手順 Fig. 11 Experimental procedure
ら提示される音を受聴する際は、頭部の微小な 左右回転や上下動は許容するが、頭部が制御点 から著しく離脱するような頭部の動きはしない ように被験者に教示した。実験刺激音として相 手の打球音（近づいてくる音）を使用し、刺激 音 9 方向、繰り返し 3 回、合計 27 試行をラン ダム順で提示した。ここで、繰り返しに使用し た刺激音は同じ方向からの打球であるが異なる 収録から作成した音源である。実験において被 験者は刺激音に対して知覚した打球経路（始点、 終点）を回答用紙に示された始点と終点の方向 （L, C, R）から各々選択し、記入した。この際、 被験者の回答の正誤、ならびに誤答だった場合 の正解は被験者に教示せず、ブラインドテスト の方法で実験を実施した。 2. 動作練習 バーチャル音卓球の打球動作は一般の音卓球 の動作と異なるので、被験者に予め動作練習を させた。まず練習に先立ち、被験者を前述の方向 知覚実験と同様の姿勢で着座させた。また後述 のラリー訓練において音刺激の聴取と同時に打 球動作を行うことを考慮し、方向知覚実験と同 様な頭部運動の制約がある旨、教示した。６種類 の方向の打球動作について、おおよその Kinect センサーの検出範囲と典型的な打球動作につい て実験者の身振りなどを交え説明した。また打 球動作が認識されなかった場合は、認識される まで繰り返すように指示した。次に合成音声を 用いて再生用スピーカから「右から右」、「右か
ら正面」など打球方向の指示を与え、打球動作 の練習をさせた。打球動作の際に打球音は提示 しなかった。各動作練習後に、正解かミスかを 知らせる音を提示し、ミスした場合は、打球動 作が実際にどの方向に認識されていたか実験者 が被験者に口頭で示した。自分の打球動作に対 して、打球位置 3 カ所（左・中央・右）、打ち出 す方向 3 方向（左前・中央・右前）、計 9 種類の 打球動作を各 3 回成功するまで練習を継続させ た。次に 9 方向を 1 セットとして、1 セット当 たり 1 回のミスを許容し、3 セット成功するま で練習を継続させた。 3. 打球動作実験１ まず被験者に動作練習と同様の姿勢、状態で 打球動作実験に参加するように教示した。次に 動作訓練と同じ音声信号を用い、被験者に打球 の始点（打ち出す位置）と終点（打つ方向）を 指示し、打球動作を行わせた。実験試行は 9 方 向の打球動作を繰り返し 3 回、合計 27 試行をラ ンダム順に提示した。この際、打球動作の正誤 を示す音の提示、並びにミスした場合に口頭で の正解の提示は行わなかった。 4. 二者間バーチャル音卓球システムを用いたラリー 訓練 被験者は二者間のバーチャル音卓球システム を使用し、遠隔地にいる対戦相手と自由に打ち 合う音卓球のラリー訓練に参加した。ラリー訓 練時間は 15 分間とした。ラリー中、被験者には 相手の打球音の終点を知覚し、その位置を自分 の打球動作の始点として任意の方向に打球動作 をするように指示した。対戦者打球音の終点と自 身の打球動作の始点が一致している間はラリー が継続し、一致しなかった場合は間違ったこと を知らせる教示音（失敗音）を提示した。また 対戦者が打ち出す方向を間違えた場合は被験者 に相手が間違えたことを知らせる教示音（成功 音）を提示した。ラリー訓練中の会話は転がる 音の聴取の妨げとなるので禁止したが、それ以 外の行動には制約を設けなかった。ラリー訓練 における対戦者は実験実施者であった。ここで ラリー訓練に使用した相手の打球音として、方 向定位実験とは異なる 27 種類の収録音源を使用 することで、方向定位実験の課題がラリー訓練 時に学習したテンプレートとのマッチング課題 にならないように配慮した。 5. 移動音の方向知覚実験２ 実験内容は方向知覚実験 1 と同様である。 6. 打球動作実験２ 実験内容は打球動作実験 1 と同様である。 7. バーチャル音卓球（PC 対戦モード） 被験者は一人用バーチャル音卓球システムを 使用してラリー訓練を行った。一人用バーチャ ル音卓球システムは図 1 においてプレイヤー B （対戦者）の打球動作情報を計算機で仮想的に作 成し、それに対応した打球音選択を行うプログ ラムを作成し、計算機を対戦者としてラリー訓 練を行うシステムである。 8. 心理評価アンケート バーチャル音卓球システムについて心理評価 アンケートを行った。一人用と二者間のバーチャ ル音卓球システムに関して、被験者に「楽しい と思ったか」「もっと頑張ろうと思ったか」の２ 項目について「はい」「いいえ」で回答させ、そ の理由について自由記述で回答させた。 3.4 実験結果 3.4.1 打球動作実験の結果 二者間システムを用いたラリー訓練前後の打球動 作実験の平均成功率と標準誤差を算出した。この際、 始点・終点共に正しい位置に動作出来ていた回答の みを成功とした。それぞれ 80.6%（SE=3.3）、77.2% （SE=3.6）であった。その結果を図 12 に示す。図より いずれの場合も 80%程度の割合で、正しく打球動作が 出来たことがわかる。また打球動作に対するラリー訓 練の影響を見るために、訓練前後の平均成功率の差異 について対応のある t 検定を行った結果、有意差は認 められなかった（t(11)=1.03, n.s）。従って、打球動作 に対する訓練効果はなかったと考えることができる。 3.4.2 移動音の方向知覚実験の結果 次に、ラリー訓練の前後に実施した移動音の方向知 覚実験の平均正答率と標準誤差を算出した。この際、 提示音の打球経路の始点と終点の両方が正解だった回 答のみを正答とした。それぞれ 62.7% （SE=4.4）、 73.8% （SE=3.7）であった。その結果を図 13 に示す。 訓練前は、6 割程度の正答率であったが、訓練後は正答 率が高くなったことがわかる。正答率の変化に対する ラリー訓練の影響を検討するために、訓練前後の平均 正答率の差異について対応のある t 検定を行った結果、 平均値に有意差が見られた（t(11)=3.05, p<0.05）。こ れより音卓球のラリーを続ける上で必要な定位精度の 向上は見られたといえる。 次に、始点と終点、各々の正答率を、方向別に算出 した。その結果を図 14 と図 15 に示す。図 14 は始点の 位置が正解である回答（両方正解＋始点のみ正解の合
訓練前 訓練後 成功率 [%] 80.6 77.2 0 20 40 60 80 100 図12 打球動作実験の成功率 Fig. 12 Success rate of hitting motion
訓練前 訓練後 62.7 73.8 0 20 40 60 80 100 正答率 [%] ＊:p<0.05 * 図13 移動音の方向知覚実験の正答率 Fig. 13 Percentage of correct answers of
per-ceived sound direction
計数）の割合を方向別に示しており、始点 3 方向の正 答率の平均は訓練前後でそれぞれ 74.4% 、83.3% で あった。また図 15 は終点の位置が正解である回答（両 方正解＋終点のみ正解の合計数）の割合を方向別に示 しており、終点 3 方向の正答率の平均は訓練前後でそ れぞれ 84.3% 、89.5% であった。ここで、始点およ び終点の正答率に対して、2 要因の分散分析（訓練： 前・後× 方向：左・正面・右）を行った。 その結果、始点の正答率については、訓練および方 向の主効果はそれぞれ有意であった（F (1, 11) = 9.75, p <0.05, F (2, 22) = 6.89, p<0.05）。また始点の方向 について Holm 法による多重検定を行ったところ、2 要因について交互作用は認められなかった（F (2, 22) = 0.85,n.s）。左または右方向と正面方向に有意水準 5% で有意差が見られた。 一方、終点の正答率については、終点の方向のみの 主効果が有意であった（F (2, 22) = 8.27, p<0.05）。 また多重検定の結果、2 要因について交互作用は認め られなかった（F (2, 22) = 0.40, n.s）。左または右方 向と正面方向に有意水準 5% で有意差が見られた。 次に、訓練前後の回答の度数分布図を始点・終点の 83.3 87.0 63.9 75.9 75.9 87.0 訓練前 訓練後 正答率 [%] L C R 始点の方向 0 20 40 60 80 100 * * * * ＊:p<0.05 * * * 図14 始点の正答率（方向別）
Fig. 14 Percentage of correct answers of starting direction 85.2 91.7 74.1 80.6 93.5 96.3 訓練前 訓練後 正答率 [%] L C R * * 終点の方向 0 20 40 60 80 100 * * ＊:p<0.05 図15 終点の正答率（方向別）
Fig. 15 Percentage of correct answers of end direction 各々について、左、正面、右の 3 方向別で表示した。 その結果を図 16 と図 17 に示す。図中、斜線丸は始点 終点の両方が正解、白丸は始点、または終点のいずれ かが正解、黒丸は両方が間違っていた回答を表し、丸 の半径は回答数に比例して大きくなる。また始点が正 しく知覚された回答は図を 9 分割した各領域内の対角 線上に分布し、終点が正しく知覚された回答は図中、 灰色に塗られた範囲内に分布する。 図 16 より、訓練前の回答には、片方のみ正解した 回答（白丸）、不正解（黒丸）共に多くの分布が見ら れるが、図 17 より訓練後は、それらの減少が見て取 れる。特に始点・終点共に不正解（黒丸）の回答の減 少が顕著に確認できる。 そこで、図 16 と図 17 において白丸、黒丸でプロッ トされた誤答数を「両方間違った回答」、「終点のみ誤 答（始点は正解）」、「始点のみ誤答（終点は正解）」で 分類し、訓練前後における誤答数の割合の推移を数値 化し、検証した。その結果をそれぞれ図 18(a)、(b)、 (c) に示す。これは図 13 において不正解となった回答 の割合（訓練前 37.3%、訓練後 26.2%）の内訳とその
L R C L C R L C R L C R L R C L C R 始点 終点 提示方向 回答方向 L R C L R C 図16 回答の分布図（訓練前）
Fig. 16 Scatter plots of sound localization test before training
L C R L C R L C R L R C L C R 始点 終点 提示方向 回答方向 L R C L R C L R C 図17 回答の分布図（訓練後）
Fig. 17 Scatter plots of sound localization test after training
推移を表したものである。 まず図 18(a) より、方向知覚実験において始点、終 点ともに方向が正しく知覚できなかった回答の割合が、 訓練前後で 4.0%から 0.9%に減少した（t(11)=1.91, p<0.1）ことが確認できる。図 18(b) は、終点は正解 だが始点を間違った回答数が 21.5%から 15.7%に減少 したことを示し（t(11)=2.19, p<0.1）、図 14 におい てラリー訓練前後で始点の正答数の割合が有意に増加 した結果とも対応している。また図 18(c) から、終点 のみ不正解だった回答数も 11.7%から 9.6%に減少し たが、t 検定の結果、有意差は見られなかった。 3.4.3 システムに対する心理評価アンケートの結果 「システムを使用して楽しさを感じたか？」の評価 項目については、「はい」と回答した被験者は一人用 システムでは 50%、二者間システムでは 92%であっ た。「訓練を頑張ろうと思ったか？」の評価項目につ いては、「はい」と回答した被験者は一人用システム で 42%、二者間システムで 83%であった。自由記述の 結果については考察で述べる。 † : p<0.1 (a) 始・終点誤答 訓練前 訓練後 (b) 始点のみ誤答 (c) 終点のみ誤答 誤答率 [%] † † 4.0 21.6 11.7 0.9 15.7 9.6 0 10 20 30 40 図18 誤答の割合の推移
Fig. 18 Percentage of incorrect answers for sound localization test
4 考察 4.1 打球動作について バーチャル音卓球システムにおける打球動作は一般 の音卓球と異なるが、3.4.1 項の「打球動作実験の結 果」で述べた通り、システムを使用する前に予め練習 をすることで 8 割程度の割合で正しい打球動作が可能 となることがわかった。一方で、プレイヤーの身体中 心を始点とした場合の打球動作の認識率が他の方向の 動作と比較して低かった。この点については後述する 被験者からアンケート結果でも指摘があった。正面方 向の動作については Kinect と検出の基準点である頭 部中心と手の位置が重なる場合があり、これが起因し て認識率が低下したと考えられる。従って動作検出ア ルゴリズムについては検出センサーの選定も含め、さ らに検討が必要である。 4.2 打球音の方向知覚に関する考察 図 13 の結果より、二者間のラリー訓練前後で打球音 の方向知覚精度が向上し、訓練後の正答率が 73.8%に なったのでラリー訓練の効果があったといえる。しか し一般的な 3 次元音場再現システムにおける静止した 仮想音源の水平面内の音像定位能力に比較すると、正 答率が高いとは言い難い。そこでその原因について考 察する。 刺激音として使用した打球音の収録経路から換算す ると、実験における刺激音は前方 2.7 m、方位角± 14◦ の位置を始点として自分に向かってくる移動音源の方 向を知覚する課題であり、始点の方向については正面 方向の狭い方位角内の音源方向知覚であったことが正 答率が低かった原因と考えられる（図 14）。 一方で、移動するサウンドボールの打球音はその構 造上、音が途切れる場合もあり、確実に終点位置で音 源が提示されていることが保証されていなかったが、 それにもかかわらず、自分に転がってくる音源の終点
の方向知覚は比較的良好であったことから、被験（受 聴者）者近傍の音の方向が知覚し易かったと考えるこ とができる（図 15）。これまでの先行研究により BoSC システムは受聴者から 2 m 離れた水平面内の音源に対 して良好な音像定位を有することが示されていた [14] が、今回の実験結果より、受聴者近傍でも比較的良好 な音像定位を提供できるという知見が得られた。また ラリー訓練前後にかかわらず、始点、終点の両側にお いて左右方向に比較して正面方向の知覚が難しい傾向 も見られた。 4.3 バーチャル音卓球システムに関する心理的印象 評価について 一人用のバーチャル音卓球システムについては、「シ ステムに楽しさを感じたか」の項目で 50%が、「訓練 をもっと頑張ろうと思ったか」の項目で 42%が「はい」 と回答した。その理由としては「間違えなければずっ と続き、反復練習の効果があって楽しい」「反応が早く てやり易い」「気楽に黙々と練習するにはよいシステ ムである」「勝ち負けがなくて気楽」などの回答が得 られたが、「ただ打つだけで楽しくない」「単調だった ので頑張ろうという気がおきない」という回答もあっ た。「相手が居ない気軽さ」や「反復訓練自体の楽し さ」はあったが、一方で単調な反復が続くシステムの ゲーム性についてはあまり楽しいと評価されなかった と解釈できる。今後、ゲーム性やリアル性を向上させ るためには、例えば打球の方向を増やしたり、打球の 速度、タイミング等をパラメータに加え、ラリー訓練 の難易度を徐々に上げるなど、一人用バーチャル音卓 球システムの対戦アルゴリズムの改良が必要である。 二者間のバーチャル音卓球システムについては、「シ ステムに楽しさを感じたか」の項目で 92%が、「訓練 をもっと頑張ろうと思ったか」の項目で 83%が「はい」 と回答した。その理由としては「会話しながら出来て、 コミュニケーションが出来て良い」「スポーツをしてい るようで楽しい」「失敗に共感してくれて嬉しい」な どの回答が多かった。一人用システムと同様、「反復訓 練の楽しさ」に加え、対戦相手が実在することによっ て生じるコミュニケーションの楽しさや共感が、主に 音声を通して行われたことがわかる。また「どちらに 打とうか考えたり、駆け引きができていい」、「相手に 勝ちたいから頑張った」という回答も見られた。勝つ ために相手の癖やプレースタイルを知ろうとするこの ような駆け引きは発話が存在しないラリー中に主に生 じたと考えられることから、二者間バーチャル音卓球 システムによって音声情報以外の身体動作を介した非 言語コミュニケーションが行われたと推測できる。 通信速度が 100 ms 程度あったことに起因するシス テムの遅延についての回答は特に見られなかった。 また両システムに共通した印象としては「動作検出 がうまくできない」「自分の打球動作と打球音の方向 が合わない」など、動作検出に起因した問題の指摘が あった。より自然なバーチャル音卓球システムを実現 するには、動作検出や音刺激生成アルゴリズムなどに ついて更なる検討が必要であろう。会話伝送システム については、音声が聞き取りにくい、相手が居る感じ がしないなどの回答があった。今回は対戦者が自由音 場の 3 m 先に居ることを想定して自由音場シミュレー ションにより作成した伝達関数を用いて対戦者音声の 音場再現を行ったが、音声品質の向上に加え、実音場 の情報を用いた音場共有システムなどを適用し、対戦 者の存在感も伝えるような会話伝送システムについて も検討が必要であると考える。 5 まとめ 境界音場制御の原理を用いた没入型聴覚ディスプレ イ “音響樽” を用いた二者間バーチャル音卓球システ ムを開発した。打球動作実験により、Kinect センサー を用いた提案システムでは 80%程度の割合で、正し い打球動作が可能であることを確認した。また二者間 バーチャル卓球システムを用いて打球音のラリー訓練 を行うことにより、移動する打球音の方向知覚の正答 率が 63%から 74%に向上することを確認した。さら に心理評価アンケートの結果から、一人用システムは 気軽な反復訓練装置として評価でき、二者間システム は、対戦者が存在することによって競争、共感といっ た感情を創出させる可能性があることが示唆された。 一方で打球動作検出や打球音の提示などシステムの問 題点も明らかになった。 今後は、身体動作の検出精度の向上、打球音の再現 精度の向上、会話通信システムの改良などが必要であ ると同時に、提案システムと他の遠隔コミュニケーショ ンシステムとの比較を通して BoSC システムの有効性 を検証する必要がある。加えて身体動作を介した非言 語コミュニケーション実現の可能性とその有効性につ いて検討を進めて行きたい。また本論文における実験 は晴眼者を対象とした検証に留まっており、提案シス テムによって音卓球の能力が向上するのか、また視覚 障碍者の福祉や教育を補助装置としての有効性につい ても更なる実験を進めることで検証する所存である。 謝辞 明治大学理工学部の上野佳奈子氏にシステムの評価 方法に関する助言を、北陸先端大学の小林まおり氏に 分析手法に関する助言を頂いた。また実験を進めるに あたり、永井篤氏、沼上祥子氏にご協力頂いた。ここ に深謝する。なお、本研究は、JST, CREST の支援を 受けたものである。
参考文献
[1] J. M. Loomis, R. G. Golledge, R. L. Klatzky： Nav-igation system for the blind : Auditory display modes and guidance, Presence, Teleoperators, Vir-tual Environ., 7(2), 193-203 (1998.4)
[2] J. S´anchez, M. Lumbreras：Virtual Environment Interaction through 3D Audio by Blind Chil-dren, CyberPsychology & Behavior, 2(2), 101-11 (1999.2). [3] 河井良浩,小林 真,皆川洋喜,宮川正弘,富田文明：3 次元仮想音響による視覚障害者支援システム,電気学 会論文誌(C), 120(5), 648-655 (2000.5) [4] 関 喜一,伊藤精英：障害物知覚訓練用音響データ,第 12回視覚障害リハビリテーション研究発表大会論文 集, 5-8 (2003.6) [5] 鈴木 陽一,岩谷 幸雄,大内 誠：高精度仮想聴覚ディ スプレイの構築とその視覚障害者応用, 電子情報通 信学会技術研究報告,福祉情報工学, 105(186), 73-81 (2005.7) [6] 大内 誠, 岩谷 幸雄, 鈴木 陽一：視覚障害者のため の3次元聴覚情報の提示,バイオメカニズム学会誌, 31(2), 95-100 (2007.5)
[7] Y. Seki, T. Sato：A Training system of orienta-tion and mobility for blind people using acoustic virtual reality, IEEE Transactions on Neural Sys-tems and Rehabilitation Engineering, 19(1), 95-104 (2011.2). [8] 関 喜一, 岩谷 幸雄, 大内 誠, 鈴木 陽一：視覚障害 者用聴覚空間認知訓練システムの実用化, 日本機械 学会,第26回バイオエンジニアリング講演会論文集 (2014.1) [9] 松尾 政輝,坂尻 正次,三浦 貴大,大西 淳児,小野 束： コンテンツ論文 視覚障害者のアクセシビリティに配 慮したアクションRPG :全盲者向け開発環境とゲー ム本体の開発,日本バーチャルリアリティ学会論文誌, 21(2), 303-312 (2016.6) [10] 伊勢 史郎 : キルヒホッフ-ヘルムホルツ積分方程式 と逆システム理論に基づく音場制御の原理,日本音響 学会誌, 53(9), 706-713 (1997.9)
[11] S. Ise: A principle of sound field control based on the Kirchhoff-Helmholtz integral equation and the theory of inverse systems, Acustica, 85(1), 78-87 (1999.1)
[12] 伊勢 史郎,池田 雄介: 複数の演奏空間をネットワー ク接続する「音響樽」の実現, 計測と制御, 51(12), 1110-1115 (2012.12)
[13] Y. Ikeda, S. Ise : Sound Cask : Music and voice communication system with three-dimensional sound reproduction based on boundary surface control principle, Proc. ICA, Acoustical Society of America, Montreal (2013.6)
[14] A. Omoto, S. Ise, Y. Ikeda, K. Ueno, S. Enomoto, M. Kobayashi,“Sound field reproduction and shar-ing system based on the boundary surface con-trol principle”, Acoustical Science and Technology, 36(1), 1-11 (2015.1)
[15] Y. Ikeda, S. Enomoto, S. Ise, S. Nakamura : Three-party sound field sharing system based on the boundary surface control principle -Subjective as-sessment of voice reproduction with speaker’s fac-ing angle, Proc. ICA, Australian Acoustical Soci-ety, Sydney (2010.8)
[16] S. Enomoto, Y. Ikeda, S. Ise, S. Nakamura : 3-D Sound Reproduction System for Immersive En-vironments Based on the Boundary Surface Con-trol Principle, Virtual and Mixed Reality - New Trends, Volume 6773 of the series Lecture Notes
in Computer Science, 174-184 (2011.7)
[17] M. Kobayashi, K. Ueno, M. Yamashita, S. Ise, S. Enomoto : The Effects of Spatialized Sounds on the Sense of Presence in Auditory Virtual Environ-ments: A Psychological and Physiological Study, Presence, 24(2), 163 - 174 (2015.5) [18] 小林まおり, 上野佳奈子：3次元音場における接近 音によるパーソナルスペースの侵害,日本音響学会, 2015.03. [19] 小林まおり,上野佳奈子：3次元音場における接近音 によるパーソナルスペースの侵害―音声刺激の呈示 距離と音圧レベルが及ぼす影響― ”,日本音響学会, 2015.09. [20] 渡邉祐子,吉田飛里,池田雄介,伊勢史郎：没入型聴覚 ディスプレイ装置を用いた音場シミュレータの開発, 日本バーチャルリアリティ学会論文誌, 20(1), 45-53 (2015.3)
[21] L. Yang, L. Zhang, H. Dong, A. Alelaiwi, A. E. Saddik：Evaluating and Improving the Depth Ac-curacy of Kinect for Windows v2, IEEE Sensors Journal, 15(8), 4275 - 4285 (2015.8)
[22] J. Ballester, C. Pheatt：Using the Xbox Kinect sen-sor for positional data acquisition, American Jour-nal of Physics, 81(1), 71-77 (2013.1) [23] 猿渡 洋,明戸 俊英,鎌土 記良：音場制御に用いる逆 フィルタ計算の基礎,日本音響学会誌, 69(2), 63-68 (2013.2) [24] 李 容子,伊勢 史郎: 正則化パラメータに着目した多 チャンネル逆システムの最適化設計法,日本音響学会 誌, 69(6), 276-284 (2013.6) (2016年7月14日受付) ［著 者 紹 介］ 渡邉祐子 （正会員） 東京電機大学情報環境学部講師。95年 英国University of Southampton, ISVR, MSc課程修了。東京電機大学工学部助手、 情報環境学部助手等を経て06年4月よ り現職。3次元音場再現、アクティブコ ントロールに関する研究に従事。 池田雄介 早稲田大学基幹理工学部助教。2007年 早稲田大学博士課程修了(国際情報通信 学)。07年(株) ATR研究員。09年(独) NICT専攻研究員。11年京都大学大学院 研究員、13年東京電機大学情報環境学部 研究員。15年より現職。音場再現、音場 測定・可視化に関する研究に従事。 伊勢史郎 （正会員） 東京電機大学情報環境学部教授。91年 東京大学工学研究科博士後期課程修了。 早稲田大学講師、奈良先端科学技術大学 院大学助手、京都大学工学研究科准教授 を経て2013年4月より現職。工学博士。 境界音場制御の原理に基づくアクティブ 騒音制御や音場再現技術などに従事。
