多感覚知覚の工学的応用

DOI: http://doi.org/10.14947/psychono.36.24 129 鳴海： 多感覚知覚の工学的応用

多感覚知覚の工学的応用

鳴 海 拓 志

Technological applications of multisensory perception

Takuji Narumi

Graduate School of Information Science and Technology, the University of Tokyo

Media technologies for multi-sensory feedbacks recently achieved a major breakthrough by utilizing cross-modal interactions based on knowledge of psychology and cognitive science. By changing sensory perception with these technologies, behaviors, impressions, and recognition of our experiences can be modified dramatically. This paper introduces such novel techniques that augment our senses, emotions, behaviors and cognitions, and discusses the future possibility of interaction between multi-sensory perception research and engineering.

Keywords: cross-modal interface, multi-sensory communications, embodied cognition, virtual reality

1. 多感覚知覚研究が工学研究にもたらしたもの 日本基礎心理学会第 35回大会のシンポジウム「多感 覚知覚研究の最前線」において，工学研究において多感 覚知覚を扱う立場から話題提供をおこなった。筆者は バーチャルリアリティ（VR）の研究を専門としており， 特に五感インタフェースの研究に取り組んできた。こう した立場から，五感を扱うインタフェース研究が昨今の 多感覚知覚研究の隆盛から受けた恩恵と，それによって 生まれた成果について紹介していきたい。 VRとは，「物理的には存在しないものを，感覚的には 本物と同等のように，本質を抽出して感じさせる技術」 の体系である。これまでのVR研究では，対象から得ら れるさまざまな感覚情報を計測し，その情報を各感覚に 対して精度よく再現提示することで，臨場感の高い体験 を提供可能にすることが目指されてきた。しかし，多く の場合，感覚情報の物理的特性を忠実に計測・再現しよ うとすると，大がかりで複雑なシステムが必要になると いう問題が生じる。さらに，嗅覚・味覚といった化学的 反応に基づいた感覚では，多様な感覚情報をセンシング し，生成するための手法そのものが明確ではない。 これに対し，VRが本質の抽出と再現の技術であると いう根本に立ち返り，心理学・認知科学研究で解明が進 む人間の知覚のメカニズムを活用することで，こうした 行き詰まりを打破しようとする取組みが登場した。提示 する刺激を忠実に再現するのではなく，人間の脳内で生 じる知覚を再現するというアプローチから，新たな五感 情報提示手法が研究されるようになったのである。人間 の知覚・認知特性を活用することで，限られた精度や解 像度を持つ感覚刺激しか提示できない場合にも，知覚と してはそれを超えたリアリティを持つ五感情報提示を実 現できるのがこのアプローチの興味深い点である。 こうしたアプローチの中でも，特に，多感覚知覚研究 において解明が進むクロスモーダル知覚を活用したイン タフェースが脚光を浴びている。以下ではそれらの事例 を紹介するとともに，その先に登場しはじめている，感 覚の変化を導入として認知を拡張するインタフェースの 事例を紹介し，心理学・認知科学研究と工学との相互作 用による両者の発展の可能性について検討していく。 2. クロスモーダル知覚を利用した五感情報提示 クロスモーダル知覚を活用した五感インタフェース研 究として，最も進んでいるのが触力覚インタフェース研 究である。視覚触覚間には強く効果の発生する錯覚・融 合現象が観察されることが知られており，その応用につ いても盛んに研究されてきた。その代表がPseudo- hap-The Japanese Journal of Psychonomic Science

2017, Vol. 36, No. 1, 129–132

講演論文

Copyright 2017. The Japanese Psychonomic Society. All rights reserved. Correspondence address: Graduate School of Information

Science and Technology, The University of Tokyo, 7–3–1 Hongo, Bunkyo-ku, Tokyo, 113–8656, Japan.

130 基礎心理学研究 第36巻 第1号 tics （Lécuyer, Coquillart, Kheddar, Richard & Coiffet, 2000）

である。Pseudo-hapticsとは，身体動作を反映するポイ ンタの位置や速度を適度に変化させることで，触力覚提 示デバイスなしに疑似的な触力覚をユーザに知覚させる ことができる現象である。Ban et al.は，Pseudo-hapticsを 応用し，自分の手で実際に触れている物体の形状知覚を 操作する手法を提案した（Ban, Kajinami, Narumi, Tanika-wa & Hirose, 2012a, 2012b, 2012c; Ban, Narumi, TanikaTanika-wa & Hirose, 2013）。 一 連 の 研 究 は，Perception-based Shape Displayと総称され，触覚に関するクロスモーダル知覚 を利用して，簡易な触力覚提示デバイスから，複雑な形 状をしたバーチャル物体の表面に触れる感覚の提示を可 能にしている。

Perception-based Shape Displayでは，Figure 1のように， ユーザはビデオシースルーのモニタ越しに立体物を指で 触る。Figure 1の例では，ユーザが実際に触れているの は円筒形の物体であるが，モニタ中には，実際にモニタ の裏に置かれている立体物ではなく，CGで表された任 意形状のオブジェクトが表示される。このとき，実際に 立体物に触れているユーザの手の動きを取得し，指の位 置をCGオブジェクトの表面形状に沿うようにずらして 表示する。この視覚刺激が触知覚に与えるクロスモーダ ルな効果によって，実際に触っているのは単純な円筒に もかかわらず，CG中の立体形状を触っているような知 覚を生じさせることが可能になる（Ban et al. 2012a）。

一本指でのなぞり動作に関しては，曲面形状の凹凸の 曲率に対する知覚の操作だけでなく，平面上に配置され た角 形 状 の 位 置（Ban et al. 2012b）， 角 度（Ban et al. 2012b）についても知覚操作が可能であり，多様な形状 を提示可能なことが示されている。さらに，手形状を変 形する画像処理技術を導入することで，物体と身体との 空間的整合性が保たれた映像合成をおこなうと，物体を 掴んだ際の物体の大きさに対する知覚を操作できること も示されている（Ban et al. 2013）。こうした効果を組み 合わせると，単純な機構のデバイスから，多様な形状知 覚が提示可能になる。 この研究の発展として，触力覚知覚の変化をきっかけ に空間知覚を操作する研究も取り組まれはじめている。 Matsumoto, Ban, Narumi, Tanikawa & Hirose （2016）は， 視覚提示と触覚提示を組み合わせて利用することで，空 間知覚を大きく変容させる手法である視触覚リダイレク ションを提案した。リダイレクションとは，実世界で頭 を50度旋回させた時に頭を80度旋回させた時のVR空間 を見せるといったように，実際のユーザの身体動作と VR世界におけるバーチャルな身体の動作の間に気づか れない範囲のずれを作り出した映像を提示して空間知覚 を操作し， 狭い実空間を歩き回っているにもかかわらず 広大な VR空間での移動を体験可能にする技術である。 しかし，こうした視覚的操作のみを利用した既存手法で は，まっすぐ歩いていると感じられるためには，直径 44 mの円弧の上を歩かせる必要があることが示されて おり（Steinicke, Bruder, Jerald, Frenz & Lappe, 2010），現実 的な利用は難しいことが問題となっていた。

これに対し，Perception-based Shape Displayの知見を応 用して，触覚刺激を与えることで空間知覚をより強力に 操作し，リダイレクションの効果を強めたものが視触覚 リダイレクションである。視覚的操作によって手で触れ る物体の形状知覚を変化させられるという知見を壁に適 用し，曲がっている壁を真っ直ぐ感じさせる。それに よって自らが真っ直ぐな壁に沿って歩いているという感 覚を強めることで，空間知覚がより強く変化するという 着想である。視触覚リダイレクションを活用した Un-limited CorridorというVRシステムでは，ユーザはVR世 界では直線の壁に沿って歩く。このとき，直径6 mの円 周状の壁に手を触れて歩くと，主観的には直進している ように知覚されることが示されている（Matsumoto, Ban,

Narumi, Yanase, Tanikawa & Hirose, 2016）。

次に，感覚間相互作用を利用した嗅覚・味覚提示手法 を紹介したい。嗅覚や味覚は化学物質に基づく感覚であ るため，任意の嗅覚・味覚を人工的に合成してインタラ クティブに提示することは難しい。こうした制約から， 嗅覚や味覚を扱う五感提示技術はほとんど実現されてこ なかった。こうした問題についても，クロスモーダル知 覚の活用によって解決を図る研究が登場している。 通常，嗅覚ディスプレイによって多種類の匂いを提示 するためには，それぞれの匂いに一対一対応した要素臭 を用意する。しかし，嗅覚ディスプレイとしての実用面 を考慮すると，使用する要素臭の種類は極力少なくでき Figure 1. Perception-based Shape Display.

131 鳴海： 多感覚知覚の工学的応用

るのが理想である。Nambu, Narumi, Nishimura, Tanikawa & Hirose （2010）は，嗅覚の曖昧さを利用し，人工的に 発生させた匂いとは別の匂いに対応する視覚情報を提示 することで，実際に発生させた匂いではなく，提示され た視覚情報に対応する匂いを知覚させる手法を開発し た。この手法により，4種類の香料から13種類の匂いを 感じさせることが可能であることを明らかにしている。 味覚に関しては，Narumi, Nishizaka, Kajinami, Tanikawa & Hirose （2011）が，基本味に対する味知覚に強い影響 を与える嗅覚刺激と，食味の認知に影響を与えることが 知られる視覚刺激の影響を利用することで，元となる食 品（クッキー）を変化させることなく，チョコレート， アーモンド等数種類の食味をユーザに体験させる手法を 提案している（Figure 2）。味覚というこれまで多様な刺 激の合成が難しかった感覚についても，クロスモーダル 知覚を利用することで，バリエーションある感覚情報提 示ができることが示された。 これらの例のように，クロスモーダル知覚を利用する インタフェースの登場により簡易に五感情報を情報提示 できる可能性が示され，その展開が期待されている。 3. 多感覚知覚と認知の拡張 クロスモーダル知覚に関する研究は，人間の知覚がい かに複数の感覚を統合することで成り立っているかを鮮 やかに描き出してきた。このことは同時に，クロスモー ダル知覚による感覚の変化が，体験全体の質を変え，行 動や情動，認知にまで影響を与える可能性をも示してい る。こうした可能性を検討し，人間の持つ認知を拡張し ようとする工学研究の事例について紹介していきたい。 先に紹介した，Pseudo-hapticsを利用して，把持物体 の大きさに対する知覚を操作できる手法は，拡張満腹感 を実現する上でも利用されている（Narumi, Ban, Kajina-mi, Tanikawa & Hirose, 2012）。拡張満腹感とは，食べ物

の見た目のサイズを変えることによって，それを食べた ときに得られる満腹感に影響を与え，摂食量を変化させ ることができる技術である。ここでは，満腹感という複 合感覚が変わったと見ることもできるが，実際に摂食量 が変わっていることから，ユーザの食べたいという気持 ちに変化が現れているとも捉えられる。知覚の変化を通 じて，われわれの気持ちと行動の変化を誘発し，デザイ ンしていくことは，今後，多感覚知覚を工学的・商業的 に応用するうえで重要なテーマになる可能性がある。 心理学・認知科学研究において身体化情動の研究が注 目されているのと同じくして，昨今のインタフェース研 究においても，身体と情動との関係を活用し，情動を喚 起するインタフェースが提案されはじめている。Yoshi-da, Sakurai, Narumi, Tanikawa & Hirose （2013）は，カメラ で取得した映像中の表情を異なる表情にリアルタイムに 変形する手法を用い，自身の表情が変化したように見せ ることで快−不快感情を喚起する手法を構築した。さら に，この表情変形システムをビデオチャット環境におい て活用した研究では，対話相手の表情を笑顔に見せると ブレインストーミングで出るアイデアの数が 1.5倍に なったと報告されており，人間の認知能力の拡張のため にこうしたインタフェースが利用可能であることが示さ れている （Nakazato et al., 2014）。 このように，VRをはじめとする情報技術を活用する と，自らの身体に対する知覚やそれに基づく認知を変容 させることが可能になる。例えば，Ogawa et al. （2016） は，変形するバーチャルハンドを用いてピアノを弾くシ ステムを構成した。ピアノを弾く指が伸びる，右手を動 かすと左のバーチャルハンドが動くように動きの対応が 変わる等，実身体とバーチャルな身体の関係性を変化さ せた際の知覚やパフォーマンスを調べ，人間がどこまで 実際と異なる身体に適応可能かが探られている。 こうしたバーチャルな身体の変化が，人間の行動や認 知に与える影響について，VRを活用した研究が進んで いる。Kilteni, Bergstrom & Slater （2013）は，太鼓の演奏 を習うVRシステムにおいて，自らのアバタがサラリー マンである時に比べて，アフロヘアーの黒人男性である 時の方が，腕の振りが大きくなることを示し，自らが何 者であるかという認識が行動やパフォーマンスに大きな 影響を与えることを示唆した。他にも，白人が黒人のア バタを使うことで差別意識が軽減される（Banakou, Ha-numanthu, & Slater, 2016）, VRでスーパーマンになり，積 極的に人を助けることをした被験者は事後に利他的行動 を取 り や す く な る（Rosenberg, Baughman & Bailenson, 2013）等，VRを通じた身体や知覚の変容が人の認知に Figure 2. MetaCookie＋: Flavor display based on

cross-modal interaction among vision, olfaction, and gusta-tion.

132 基礎心理学研究 第36巻 第1号 影響を与えることがさまざまに検証されはじめている。 多感覚知覚が身体知覚や身体を通して経験する体験に どのように変え，それが人の認知にどのような影響を与 えるのか，また，それが人の能力や可能性を向上させる ためにどのように活用可能なのか，こうした問いは今後 さらに模索されていくことになるだろう。 4. 多感覚知覚研究と工学の相互作用 述べてきたように，五感を扱うインタフェース研究で は，技術的限界を打破するために多感覚知覚研究の成果 を活用し，新しい五感提示手法が実現されてきた。それ だけでなく，昨今ではそれらを活用して，人間の行動や 認知に働きかけるインタフェースの開発までもが取り組 まれ，新たな局面を迎えつつある。 2016年は，メディアで「VR元年」という言葉がもて はやされた。安価な HMDの登場，簡単にVR環境を構 築できる開発環境の整備，クロスモーダル知覚の活用に よる多感覚情報提示の簡易化などによって，VRを専門 とする工学者だけではなく，多くの人がVRや多感覚情 報を手軽に扱えるようになった。現実では不可能な統制 条件をも作り出せる新しい技術は，必ずや心理学研究に 役に立つ。心理学研究のツールとして，VRや多感覚情 報提示は今後活躍の機会を増すだろう。さらに，3章で 述べたような新たなインタフェース研究は，心理学研究 にも新しい視座を提供していると考える。インタフェー ス研究が心理学研究から刺激を受けるだけでなく，心理 学研究を進展させるためにインタフェース研究が貢献 し，また両者が幸福な相互作用によって共に発展してい けるよう，益々盛んな交流が起こることに期待したい。 引用文献

Ban, Y., Kajinami, T., Narumi, T., Tanikawa, T., & Hirose. M. (2012a). Modifying an identified curved surface shape using pseudo-haptic effect. 2012 IEEE Haptics Symposium, 211– 216.

Ban, Y., Kajinami, T., Narumi, T., Tanikawa, T., & Hirose. M. (2012b). Modifying an identified angle of edged shapes us-ing pseudo-haptic effects. International Conference on

Hu-man Haptic Sensing and Touch Enabled Computer Applica-tions, 25–36.

Ban, Y., Narumi, T., Tanikawa, T., & Hirose. M. (2012c). Modi-fying an identified position of edged shapes using pseudo-haptic effects. The 18th ACM symposium on Virtual Reality

Software and Technology, 93–96.

Ban, Y., Narumi, T., Tanikawa, T., & Hirose. M. (2013). Modi-fying perceived size of a handled object through hand image

deformation. Presence: Teleoperators and Virtual

Environ-ments, 22, 255–270.

Banakou, D., Hanumanthu, P. D., & Slater, M. (2016). Virtual embodiment of white people in a black virtual body leads to a sustained reduction in their implicit racial bias. Frontiers

in Human Neuroscience, 10.

Kilteni, K., Bergstrom, I., & Slater, M. (2013). Drumming in immersive virtual reality: The body shapes the way we play.

IEEE Transactions on Visualization and Computer Graphics, 19, 597–605.

Lécuyer, A., Coquillart, S., Kheddar, A., Richard, P., & Coiffet. P. (2000). Pseudo-haptic feedback: Can isometric input de-vices simulate force feedback? Proceedings IEEE Virtual

Re-ality 2000, 83–90.

Matsumoto, K., Ban, Y., Narumi, T., Tanikawa, T., & Hirose. M. (2016). Curvature manipulation techniques in redirec-tion using haptic cues. IEEE Symposium on 3D User

Inter-faces 2016, 105–108.

Matsumoto, K., Ban, Y., Narumi, T. Yanase, Y., Tanikawa, T., & Hirose. M. (2016). Unlimited corridor: Redirected walking techniques using visuo-haptic interaction. ACM

SIG-GRAPH 2016 Emerging Technologies, 20.

Nakazato, N., Yoshida, S., Sakurai, S., Narumi, T., Tanikawa T., & Hirose, M. (2014). Smart face: Enhancing creativity dur-ing video conferences usdur-ing real-time facial deformation.

ACM CSCW 2014, 75–83.

Nambu, A., Narumi, T., Nishimura, K., Tanikawa, T., & Hi-rose, M. (2010). Visual-olfactory display using olfactory sensory map. IEEE VR 2010, 39–42.

Narumi, T., Ban, Y., Kajinami, T., Tanikawa, T., & Hirose. M. (2012). Augmented perception of satiety: Controlling food consumption by changing apparent size of food with aug-mented reality. ACM 2012 Annual Conference on Human

Factors in Computing Systems, 109–118.

Narumi, T., Nishizaka, S., Kajinami, T., Tanikawa, T., & Hirose. M. (2011). Augmented reality flavors: Gustatory display based on edible marker and cross-modal interaction. ACM

2011 Annual Conference on Human Factors in Computing Systems, 93–102.

Ogawa, N. Ban, Y., Sakurai, S., Narumi, T., Tanikawa T., & Hi-rose, M. (2016). Metamorphosis hand: Interactive experi-ence of embodying virtually transformed hands. Virtual

Re-ality International Conference, Article No. 51.

Rosenberg, R. S., Baughman, S. L., & Bailenson, J. N. (2013). Virtual superheroes: Using superpowers in virtual reality to encourage prosocial behavior. PLoS ONE, 8, e55003. Steinicke, F., Bruder, G., Jerald, J., Frenz, H., & Lappe, M.

(2010). Estimation of detection thresholds for redirected walking techniques. IEEE Transactions on Visualization and

Computer Graphics, 16, 17–27.

Yoshida, S., Sakurai, S. Narumi, T., Tanikawa T., & Hirose, M. (2013). Manipulation of an emotional experience by real-time deformed facial feedback. ACM Augmented Human