多感覚相互作用の諸相―学習・知覚の抑制・個人差

DOI: http://doi.org/10.14947/psychono.36.23 125 日髙： 多感覚相互作用の諸相

多感覚相互作用の諸相

―学習・知覚の抑制・個人差

日 髙 聡 太

Various aspects of multisensory interaction:

Learning, perceptual suppression, individual differences

Souta Hidaka

Rikkyo University

Multisensory studies have mainly focused on the manner of integration processes. We investigated learning mechanisms underlying the integration, and found that 3-minutes adaptation could establish a new multisensory re-lationship between arbitrary sounds and visual motion information even for the adults’ brain. We also demonstrated the inhibitory aspect of multisensory interaction: Tactile or auditory stimulation could suppress the perception of vi-sual stimuli. Furthermore, we showed that the manner of multisensory interaction differed depending on the degree of autistic traits among general population. These findings would contribute to further understandings of underlying mechanisms of multisensory interaction.

Keywords: multisensory interaction, associative learning, perceptual suppression, individual differences

近年，多感覚相互作用に関する研究が盛んに行われる ようになっている（Murray, Spence, & Harris, 2013; Van der Stoep, Nijboer, Van der Stigchel, & Spence, 2015）。多感 覚相互作用とは，視覚や聴覚など異なる感覚器官を通じ て入力された情報が，脳内で統合されることを指す。こ れまでの研究で，例えば1回だけ点滅する光と共に短い 音を2回連続で提示することで，光の点滅も2回に感じ るというダブルフラッシュ錯覚（double flash illusion）が 報告されている（Shams, Kamitani, & Shimojo, 2000）。ま

た，2つの光点が画面の両端から中央に向かい，中央で

すれ違ったあとまた画面の両端に移動するという場面に おいて，音を提示しない場合は2つの光点がすれ違うあ るいは衝突するという知覚の両方が生じるが，光点が中 央ですれ違うタイミングで音を提示すると衝突知覚が優 勢になるという現象もある（stream bounce illusion: スト リームバウンス錯視）（Sekuler, Sekuler, & Lau, 1997）。さ らに，「Ba」という音声と共に話者の映像を提示する際， 話者の唇の動きが「Ba」ではなく「Ga」であった場合は，

音 声 が「Da」 と 知 覚 さ れ る 現 象 も 報 告 さ れ て い る （McGurk effect: マガーク効果）（McGurk & MacDonald,

1976）。視覚情報は相対的に他の感覚情報よりも空間分 解能に優れるが，聴覚は時間分解能がより高い，という ように各感覚には情報処理特性に違いがある。異なる感 覚情報を組み合わせることで相補的な情報処理を行い， 我々が知覚する外界に関してより頑健かつ信頼性の高い 脳内表象が形成することが，多感覚相互作用の機能的意 義であると考えられる（Ernst & Bülthoff, 2004）。

上記の観点から，従来の多感覚相互作用に関する研究 は，異なる感覚情報がどのように脳内で統合されるのか という統合様式に関する研究が盛んに行われてきた。そ して，時間的あるいは空間的な一致性が多感覚相互作用 の生起要因となることが示されてきた （Calvert, 2001）。 ここで重要なことは，時間的あるいは空間的な一致性と は物理的な一致性を指すのではなく，あくまで知覚的な 一致性を指すという点である。そのため時間あるいは空 間上において入力間に多少のずれがあっても，知覚上は 一致したものとして統合される場合が多々ある。では， 多感覚相互作用の生起あるいは規定要因として，時間 的・空間的な一致性に関する情報あるいは様式はどのよ うに獲得されるのであろうか。いうまでもなく，知覚的

The Japanese Journal of Psychonomic Science

2017, Vol. 36, No. 1, 125–128

講演論文

Copyright 2017. The Japanese Psychonomic Society. All rights reserved. Corresponding address: Department of Psychology, Rikkyo

University, 1–2–26 Kitano, Niiza-shi, Saitama 352–8558, Japan. E-mail: hidaka@rikkyo.ac.jp

126 基礎心理学研究 第36巻 第1号 に経験を積み重ねるという学習メカニズムが関与してい ると考えられる。事実，多感覚相互作用が生起するため の時間的・空間的な要因が発達に伴って変化することが 指摘されている（Lewkowicz, 1996）。また成人であっても， 知覚的な学習を行うことで，主観的に同時と感じる視聴 覚刺激の提示タイミングが変容することも報告されてい る（Fujisaki, Shimojo, Kashino, & Nishida, 2004）。これらの 研究は知覚的な学習が感覚相互作用の規定要因の形成に 寄与することを示唆しているが （Ernst, 2007），成人にお いても，学習によって全く新しい多感覚相互作用形式が 獲得されるのかについてあまり検討されていなかった。 そこで我々は新たな知覚学習パラダイムを用いた検討 を行った （Teramoto, Hidaka, & Sugita, 2010）。実験参加者 には，画面上に白い光点が左右に仮現運動する場面を提 示した。それと同時に，光点が左側に提示された場合は 高い音，右側に提示された場合は低い音というように， 視覚刺激の位置と対応する形で周波数の異なる音を提示 した。参加者にはこの場面を3分間観察するよう教示し た。この観察学習の前後で実験参加者の視覚運動方向弁 別パフォーマンスを測定したところ，学習前では音は視 覚運動知覚に影響を及ぼさなかったが，学習後には，学 習した形式を再現する形で音の提示が視覚運動知覚を変 容することが示された。上記の例でいえば，学習後に高 い，低い，の順に音を提示した場合は，右方向の動きが 知覚されやすくなった。さらにこの効果は少なくとも3 日間は持続した。また，仮現運動ではなく，様々な方向 に運動する複数の光点から一定方向の動きが知覚される 刺激画面（global motion）（Williams & Sekuler, 1984）を 提示しても同様の効果が得られた。このことから，音は 視覚刺激の位置情報ではなく運動情報と結びつくことが 示 さ れ た （Hidaka, Teramoto, Kobayashi, & Sugita, 2011）。 また，物理的には異なるが知覚的には弁別不可能な音を 提示しても学習効果が生じることから （Kobayashi, Tera-moto, Hidaka, & Sugita, 2012），学習効果は知覚的な処理 段階で生じると考えられる。以上のことから，成人で あっても，わずか3分間の知覚学習によって，新たな多 感覚相互作用生起様式が獲得されることがわかった。 従来の多感覚相互作用に関する研究では，異なる感覚 同士が結びつく統合過程に焦点が当てられていた。一 方，感覚内情報処理に関する研究では，ある感覚入力が 別の感覚入力の知覚を阻害することが示されている。例 えば視覚では，判断対象となる標的刺激の知覚が時間的 に近接して提示された別の刺激によって阻害され，判断 成 績 が 低 下 す る こ と が 報 告 さ れ て い る （Breitmeyer, 1984）。この知覚マスキング現象では，標的刺激に誘発 される神経活動が，別の妨害刺激に由来する神経活動に よって抑制されることも報告されている（Macknik & Livingstone, 1998）。一方，多感覚相互作用において，感 覚内情報処理と類似した知覚マスキング現象は報告され ていなかった。多感覚相互作用においても，神経活動の 抑制が生じることが報告されている。例えば視覚刺激を 提示した場合に聴覚野の活動が，聴覚刺激を提示した場 合には視覚野の活動が抑制されることや （Laurienti et al., 2002），触覚刺激によって視覚野の活動が抑制されるこ と （Merabet et al., 2007） が報告されている。このことか ら，多感覚相互作用においても知覚マスキングが生じる と考え，実験を行った（Ide & Hidaka, 2013）。

視触覚間での知覚マスキング効果を検討するため，画 面の左側に視覚標的刺激としてガボール刺激を短時間 （20 ms）提示した。標的刺激の縞模様は右あるいは左に 傾いていた。参加者の課題は，ガボール刺激の傾きを判 断することであった。視覚標的刺激の提示と同時に，触 覚刺激として左手の人差し指に振動を相応の強度で 200 ms提示した。視覚標的刺激のコントラストを操作し （12–27％），方位弁別課題の正答率が75％になるコント ラスト閾を算出したところ，触覚刺激が提示される条件 において，提示されない条件よりも閾値が上昇した （1％程度）。すなわち，触覚刺激の提示によって視覚刺 激の見えが阻害された。また，正答率を指標として， 20％程度のコントラストで視覚刺激を提示し，視触覚刺 激間の空間位置の一致・不一致の効果を検討した。その 結果，視触覚刺激が空間的に対応する位置に提示された 場合（左側の視覚刺激に対して左手に触覚刺激が提示さ れる），触覚刺激が提示されない条件よりも正答率が低 下することが示された。一方，視触覚刺激が空間的に対 応する位置に提示されない場合（左側の視覚刺激に対し て右手に触覚刺激が提示される），このような抑制効果 はみられなかった。さらに，視触覚刺激が時間的に近接 して提示された場合のみ（およそ15 ms程度触覚刺激が 先行する場合から視覚刺激が125 ms程度先行する場合 までの範囲），抑制効果が生じることがわかった。また 視覚標的刺激と共に聴覚刺激を提示した場面において も，触覚と同様，空間的に視聴覚刺激が対応した場合ま た時間的に近接した場合に，聴覚刺激が視覚刺激の見え を阻害することが明らかとなった（Hidaka & Ide, 2015）。 さらに，触覚による視知覚抑制効果に関わる脳活動を， fMRI を用いて検討した。まず心理物理実験によって， 触覚抑制効果の度合いを個人毎に算出した。そして，視 触覚刺激を受動的に観察する場面を設定しfMRI測定を したところ，画面の左視野に視覚標的刺激が，参加者の

127 日髙： 多感覚相互作用の諸相 左手に触覚刺激が提示された場面では，抑制効果の度合 いが強い参加者ほど右視覚野（V1, V2）の神経活動が ベースラインよりも低下すること，また右体性感覚野 （二次体性感覚野）と右視覚野との機能的結合が強まる ことが示された。 以上のことから，異なる感覚入力をまたいで知覚マス キング効果が生じることが示された。また，感覚内情報 処理と同様，神経活動の抑制が関わることも示唆され た。ここで重要なことは，抑制される感覚入力の強度が 相対的に弱い点である。すなわち，触覚刺激や聴覚刺激 は明確に知覚可能な強度と時間（200 ms）で提示されて い た一 方， 視 覚 刺 激 は 弁 別 閾 付 近 の 強 度 で 短 時 間 （20 ms）提示されていた。近年，各感覚入力の相対的な 信頼性にもとづき多感覚相互作用の生起様式が変化する ことが指摘されている。例えば，視覚刺激と聴覚刺激が 離れた位置に提示されると，もともと視覚の方が空間分 解能に優れるという点を反映し，聴覚刺激の知覚位置が 視覚刺激に捕捉される。しかし，視覚刺激の位置情報を 曖昧にすると，聴覚刺激が視覚刺激の位置情報を捕捉す ることが報告されている （Alais & Burr, 2004）。多感覚相 互作用における知覚マスキングが生じる背景には，一方 の感覚入力が他方に比べて非常に弱い場合，感覚情報を 無理に統合せず，むしろ抑制することで最適な知覚を導 くという機能的意義があるのかもしれない。

また近年は，多感覚相互作用に関する個人差も注目さ れてきている。例えば，Odegaard & Shams （2016） は，60 名程度の参加者を対象に視聴覚刺激の時間的・空間的な 相互作用効果をみる課題をそれぞれ実施した。その結 果，各課題内においては，繰り返し行っても個人でほぼ 同一の傾向がみられるという安定性がみられた。一方， 課題間においては個人のパフォーマンスには関連性がな いという結果が示された。これらの結果は，個人が課題 毎に独自の相互作用特性を持つことを示唆している。ま た，近年個人差として自閉症（autistic spectrum disorder: ASD）傾向も着目されている。ASDは，以前は診断を受 けた群に固有の傾向と見なされていたが，近年は広く個 人がもつ特性だと考えられている（Baron-Cohen, 1995; Frith, 1991）。また，American Psychiatric Association が発 行する最新の診断基準において（American Psychiatric Association, 2013），これまでASD傾向の特性と指摘され ていたコミュニケーションや社会的スキル，行動や反芻 の問題に加え，感覚過敏や鈍麻といった感覚情報処理の 問題も観点に加えられた。以上のことから，近年 ASD 傾向と知覚情報処理特性との関係性を検討する研究が盛 んとなっている。多感覚相互作用に関する研究では， ASDと診断された青年期の参加者群は，診断を受けて いない対照群に比べ，ダブルフラッシュ錯覚が生じる視 聴覚刺激の時間ズレ（時間窓）が広く錯覚が生じやすい という報告がある （Foss-Feig et al., 2010）。一方，ダブルフ ラッシュ錯覚の生起頻度は診断群の方が低いことも報告 されている （Stevenson, Siemann, Woynaroski, et al., 2014）。 ある感覚では過敏，ある感覚では鈍磨というように， ASD傾向の症状は個人毎に異なることが知られており， 多感覚相互作用研究においても一見すると一致しない知 見が提示されている。先に述べたようにASD傾向は一 般的に個人がもつ特性とされており，またその観点から 個人がもつ ASD傾向を測定する尺度（Autism-Spectrum Quotient: AQ）も開発されている（Baron-Cohen, Wheel-wright, Skinner, Martin, & Clubley, 2001; Wakabayashi, Tojo, Baron-Cohen, & Wheelwright, 2004）。AQは自答式の尺度 であるが，全体の自閉症傾向に加え，社会的スキル，注 意の切り替え，細部への注意，コミュニケーション，想 像力といった5つの下位尺度から構成されており，個人 のASD 特性の細かな検討が行えるという特徴を持つ。 そこで我々は65名の大学生を対象に，AQにより個人の ASD傾向を測定し，またダブルフラッシュ錯覚が生じる 時間窓を計測し，両者の関係性を検討した。その結果， 社会的スキル項目の得点が高いほど時間窓がより狭くな るが，コミュニケーション項目の得点が高いほど時間窓 がより広くなることが分かった（Yaguchi & Hidaka, un-der review）。時間窓がより狭いということは，厳密なあ るいは過剰な時間精度を有していることを示唆する。社 会的スキルの傾向は多様あるいは複雑な社会場面への適 応への困難を反映すると考えられるため，時間窓の狭さ と関係性が示されたと推測される。また，ASD診断群で は，マガーク効果が生じる時間窓がより広いことが報告 されている（Stevenson, Siemann, Schneider, et al., 2014）。 また，マガーク効果は発話理解とも関係することが指摘 されている （Brandwein et al., 2013）。したがって，より 単純なダブルフラッシュ錯覚事態においても，時間窓の 広さがコミュニケーションのASD傾向と正の相関を示 したと考えられる。このように，同一の参加対象，実験 指標を用いた検討でもAQの下位尺度で異なる傾向がみ られたことから，ASD傾向と多感覚相互作用との間には 複雑な関係性が存在することが伺える。 ここでは紹介できなかったが，例えばベイズ理論等の 統計学的手法をもちいた感覚統合モデルの構築・検証や （Ernst, 2007），味覚や食行動に対する理解や貢献など （Auvray & Spence, 2008），多感覚相互作用に関する研究

128 基礎心理学研究 第36巻 第1号 種々のデバイスが簡単に利用できる環境が整い，触覚を 対象とした研究も進んできている。今後も，多感覚相互 作用研究は多彩な展開がなされ，新規な知見が提供され ることが期待される。 引用文献

Alais, D., & Burr, D. (2004). The ventriloquist effect results from near-optimal bimodal integration. Current Biology, 14, 257–262.

American Psychiatric Association. (2013). Diagnostic and

sta-tistical manual of mental disorders (DSM-5). Washington,

DC: American Psychiatric Press, Inc.

Auvray, M., & Spence, C. (2008). The multisensory perception of flavor. Consciousness and Cognition, 17, 1016–1031. Baron-Cohen, S. (1995). Mindblindness: An essay on autism

and theory of mind. Cambridge, MA: MIT Press.

Baron-Cohen, S., Wheelwright, S., Skinner, R., Martin, J., & Clubley, E. (2001). Evidence from asperger syndrome/high-functioning autism, malesand females, scientists and math-ematicians. Journal of Autism and Developmental Disorders,

31, 5–17.

Brandwein, A. B., Foxe, J. J., Butler, J. S., Russo, N. N., Altschuler, T. S., Gomes, H., & Molholm, S. (2013). The de-velopment of multisensory integration in high-functioning autism: High-density electrical mapping and psychophysi-cal measures reveal impairments in the processing of audio-visual inputs. Cerebral Cortex, 23, 1329–1341.

Breitmeyer, B. G. (1984). Visual masking: An integrative

ap-proach. Oxford: Clarendon Press.

Calvert, G. A. (2001). Crossmodal processing in the human brain: Insights from functional neuroimaging studies.

Cere-bral Cortex, 11, 1110–1123.

Ernst, M. O. (2007). Learning to integrate arbitrary signals from vision and touch. Journal of Vision, 7(5), 1–14. Ernst, M. O., & Bülthoff, H. H. (2004). Merging the senses into

a robust percept. Trends in Cognitive Sciences, 8, 162–169. Foss-Feig, J. H., Kwakye, L. D., Cascio, C. J., Burnette, C. P.,

Kadivar, H., Stone, W. L., & Wallace, M. T. (2010). An ex-tended multisensory temporal binding window in autism spectrum disorders. Experimental Brain Research, 203, 381– 389.

Frith, U. (1991). Autism and Asperger syndrome. Cambridge, MA: Cambridge University Press.

Fujisaki, W., Shimojo, S., Kashino, M., & Nishida, S. (2004). Recalibration of audiovisual simultaneity. Nature

Neurosci-ence, 7, 773–778.

Hidaka, S., & Ide, M. (2015). Sound can suppress visual per-ception. Scientific Reports, 5, 10483.

Hidaka, S., Teramoto, W., Kobayashi, M., & Sugita, Y. (2011). Sound-contingent visual motion aftereffect. BMC

Neurosci-ence, 12, 44.

Ide, M., & Hidaka, S. (2013). Tactile stimulation can suppress visual perception. Scientific Reports, 3, 3453.

Kobayashi, M., Teramoto, W., Hidaka, S., & Sugita, Y. (2012). Indiscriminable sounds determine the direction of visual

motion. Scientific Reports, 2, 365.

Laurienti, P. J., Burdette, J. H., Wallace, M. T., Yen, Y., Field, A. S., & Stein, B. E. (2002). Deactivation of sensory-specific cortex by cross-modal stimuli. Journal of Cognitive

Neuro-science, 14, 420–429.

Lewkowicz, D. J. (1996). Perception of auditory–visual tempo-ral synchrony in human infants. Journal of Experimental

Psychology: Human Perception and Performance, 22, 1094–

1106.

Macknik, S. L., & Livingstone, M. S. (1998). Neuronal corre-lates of visibility and invisibility in the primate visual sys-tem. Nature Neuroscience, 1, 144–149.

McGurk, H., & MacDonald, J. (1976). Hearing lips and seeing voices. Nature, 264, 746–748.

Merabet, L. B., Swisher, J. D., McMains, S. a, Halko, M. a, Amedi, A., Pascual-Leone, A., & Somers, D. C. (2007). Combined activation and deactivation of visual cortex dur-ing tactile sensory processdur-ing. Journal of Neurophysiology,

97, 1633–1641.

Murray, M., Spence, C., & Harris, L. (2013). International mul-tisensory research forum 2012 meeting special issue.

Multi-sensory Research, 26, 287–289.

Odegaard, B., & Shams, L. (2016). The brain’s tendency to bind audiovisual signals is stable but not general.

Psycholog-ical Science, 27, 583–591.

Sekuler, R., Sekuler, A. B., & Lau, R. (1997). Sound alters visu-al motion perception. Nature, 385, 6614.

Shams, L., Kamitani, Y., & Shimojo, S. (2000). What you see is what you hear. Nature, 408, 788.

Stevenson, R. A., Siemann, J. K., Schneider, B. C., Eberly, H. E., Woynaroski, T. G., Camarata, S. M., & Wallace, M. T. (2014). Multisensory temporal integration in autism spec-trum disorders. The Journal of Neuroscience, 34, 691–697. Stevenson, R. A., Siemann, J. K., Woynaroski, T. G., Schneider,

B. C., Eberly, H. E., Camarata, S. M., & Wallace, M. T. (2014). Evidence for diminished multisensory Integration in autism spectrum disorders. Journal of Autism and

Devel-opmental Disorders, 44, 3161–3167.

Teramoto, W., Hidaka, S., & Sugita, Y. (2010). Sounds move a static visual object. PloS ONE, 5, e12255.

Van der Stoep, N., Nijboer, T. C. W. T., Van der Stigchel, S., Spence, C. (2015). Multisensory interactions in the depth plane in front and rear space: A review. Neuropsychologia,

70, 335–349.

Wakabayashi, A., Tojo, Y., Baron-Cohen, S., & Wheelwright, S. (2004). The autism-spectrum quotient (AQ) japanese ver-sion: Evidence from high-functioning clinical group and normal adults. The Japanese Journal of Psychology, 75, 78– 84.

Williams, D. W., & Sekuler, R. (1984). Coherent global motion percepts from stochastic local motions. Vision Research, 24, 55–62.

Yaguchi, A., & Hidaka, S. (under review). Distinct autistic traits are differentially associated with the width of the mul-tisensory temporal binding window.