背景 オノマトペは擬音語 (e.g., ワンワン) と擬態語 (e.g., ザラザラ) の総称であり，音象徴性を有する語であると されている。音象徴 (sound symbolism) とは，子音や母 音が特定の心的イメージと結びつく現象であり，例えば /b/ が丸みを帯びた形状，/k/ が鋭い形状のイメージに対 応する (Ramachandran & Hubbard, 2001)。オノマトペは音 象徴に基づいた豊富な運動イメージを喚起させると考え られているが，オノマトペの処理により視覚的な運動処 理に影響が生じるか，両者間での統合が生じるかは解明 されていない。本研究ではこの問題に対し，一対の運動 刺激が交差・反発のいずれにも知覚されうる運動刺激 (交差・反発刺激: SBD) にオノマトペを同時呈示し，オ ノマトペがSBD の知覚における交差・反発の判断に影響 を与えるかを調べることで検討した。また，SBD におい て運動刺激が重なる瞬間とオノマトペの呈示される瞬間 との呈示時間差を設けることで，オノマトペ処理と視覚 的運動処理の統合時間窓についても検討した。 実験 1・実験 2・実験 3 実験1・実験 2・実験 3 では，オノマトペ処理と視覚的 運動処理との間で統合が生じるか，生じるのであれば統 合時間窓はどのような範囲であるかを検討した。そのた めに，SBD に反発あるいは交差を表すオノマトペを視覚 (実験 1・実験 2)，聴覚 (実験 3) 同時呈示し，反発と回 答される割合を測定した。また実験2 および実験 3 では， オノマトペの呈示時間差を運動刺激が完全に重なる瞬間 から±500 ms，±100 ms (負値はオノマトペを先行呈示) の 4 条件に設定した。 方法 実験参加者 実験 1 は 9 名，実験 2 および実験 3 はそれぞ れ11 名の学生が実験に参加した。 装置と刺激 装置は PC および 22 インチ CRT モニターを 使用した。視覚運動刺激は同一のガボールパッチ 2 個 (方位 90 deg, 空間周波数 1.5 cpd, 輝度コントラスト 0.3, エンベロープ0.365 deg) であった。パッチはモニター中 央のグレーの正方形の左右両端から呈示され，水平方向 に8.28 deg/s の速度で対極に到達するまで運動した。実 験1 では，オノマトペ刺激として「コツッ」，「ガツッ」， 「シュッ」，「サラッ」の4 種類のそれぞれにひらがなと カタカナの2 種類を設定し，統制刺激としてオノマトペ を呈示しない条件 (無し条件) を設定した。実験 2 (視覚) および実験 3 (聴覚) では「ガツッ」，「シュッ」，統制刺 激として無意味綴りに促音「ッ」を加えた「へユッ」の 3 種類を使用した。実験 3 ではオノマトペを聴覚呈示す るため，Softalk により各オノマトペの合成音声を作成し た。視覚呈示時のオノマトペの呈示時間は全て 200 ms で，音声呈示時のオノマトペの呈示時間は「ガツッ」，「シ ュッ」，「サラッ」それぞれ275 ms, 195 ms, 274 ms であっ た。 手続き 一試行の例を Figure 1a に示す。実験参加者はス ペースキーを押すことでそれぞれの試行を開始した。注 視点および刺激のパッチが1000 ms 呈示され，注視点が 消えると同時にパッチが運動を開始した。実験1 では， パッチが完全に重なる 100 ms 前にオノマトペが視覚呈 示された。実験2 では，パッチが完全に重なる瞬間から
オノマトペ処理と視覚的運動処理の統合メカニズム
キーワード：オノマトペ，音象徴，運動知覚，多感覚統合，bistable motion 行動システム専攻 郷原 皓彦 time 䜺䝒䝑a
Ⓨᅇ⟅ࡉࢀࡓྜ 0.6 0.5 0.4 0.3 0.2 0.1 0 1 0.9 0.8 0.7 -500 -100 +100 +500 ࿊♧㛫ᕪ PV ࢜ࣀ࣐ࢺ࣌࿊♧ࡀඛ ࢜ࣀ࣐ࢺ࣌࿊♧ࡀᚋ Ⓨᅇ⟅ࡉࢀࡓྜ 0.6 0.5 0.4 0.3 0.2 0.1 0 1 0.9 0.8 0.7 -500 -100 +100 +500 ࿊♧㛫ᕪ PV ࢜ࣀ࣐ࢺ࣌࿊♧ࡀඛ ࢜ࣀ࣐ࢺ࣌࿊♧ࡀᚋ 㻱㼞㼞㼛㼞㻌㼎㼍㼞㻌㻩㻌㻿㻱㻹b
c
Figure 1a. 実験手続きの例 Figure 1b. 実験 2 の結果 Figure 1c. 実験 3 の結果
±500 ms，±100 ms のいずれかの呈示時間差でオノマトペ が視覚呈示された。実験3 では実験 2 と同じ呈示タイミ ングで，それぞれの呈示時間でオノマトペが聴覚呈示さ れた。パッチが対極に達すると同時に，参加者はパッチ が交差・反発のどちらに見えたかを左キーあるいは右キ ーで回答することを求められた。 結果と考察 各オノマトペおよび呈示時間差において反発と回答さ れた割合を測定し，分析に利用した。なお，実験1 では 各条件と無し条件との差分を分析に用いた。また，実験 1 の全条件で反発の割合が 10%以下であった参加者 1 名 を分析から除外した。実験2 と実験 3 の結果を Figure 1b およびFigure 1c に示す。二要因分散分析の結果，実験 1 ではオノマトペの有意な主効果が見られ (F (3, 21) = 44.64, p < .001)，反発を表すオノマトペの呈示により反発 と回答される割合が増加し，交差を表すオノマトペの呈 示により交差と回答される割合が増加した。一方，表記 形態の主効果および交互作用は有意ではなかった (表記 形態：F (1, 7) = 3.30, p = .11; 交互作用：F (3, 21) = 1.98, p = .15)。実験 2 ではオノマトペと呈示時間差の双方で有意 な主効果が見られ (オノマトペ：F (2, 18) = 36.18, p < .001; 呈示時間差：F (3, 27) = 3.78, p < .05)，交互作用も 有意であった (F (6, 54) = 7.24, p < .001)。下位検定の結果， 全ての呈示時間差でオノマトペの単純主効果が有意であ った (-500 ms：F (2, 18) = 13.58, p < .001 ; -100 ms：F (2, 18) = 32.24, p < .001 ; +100 ms：F (2, 18) = 20.82, p < .001 ; +500 ms：F (2, 18) = 7.38, p < .01) 。また，「ガツッ」条件 でのみ呈示時間差の単純主効果が有意であった (F (3, 27) = 9.37, p < .001)。実験 3 も実験 2 と同様に，オノマト ペおよび呈示時間差の有意な主効果が見られ (オノマト ペ：F (2, 20) = 10.29, p < .001; 呈示時間差：F (3, 30) = 4.52, p < .01)，交互作用も有意であった (F (6, 60) = 5.43, p < .001)。下位検定の結果，+500 ms 以外の条件において オノマトペの単純主効果が有意であった (-500 ms：F (2, 20) = 9.70, p < .01 ; -100 ms：F (2, 20) = 10.98, p < .001 ; +100 ms：F (2, 20) = 7.94, p < .01)。また，「ガツッ」条件 でのみ呈示時間差の単純主効果が有意であった (F (3, 30) = 7.67, p < .001)。これらの結果から，視覚・聴覚双方 の呈示モダリティにおいて，オノマトペ処理と視覚的運 動処理との間で統合が生じ，SBD の知覚における交差・ 反発の判断に影響を与えること，その影響にオノマトペ の表記形態は関与しないこと，統合時間窓は-500 ms から +100 ms の間であることが示唆された。 実験 4・実験 5・実験 6・実験 7 実験4・実験 5 ではオノマトペの音節の長さを揃える ことで，実験１から実験3 で得られた結果がオノマトペ の音節の長さの違いによるものであるかを確認した。そ のためにオノマトペを「ガッ」，「サッ」，「ハッ」の3 種 類に変更して検討した。 実験6・実験 7 ではオノマトペの持つ音象徴のみによ ってもSBD における交差・反発の知覚的な判断に影響が 生じるかを検討した。そのために，一般的に反発あるい は交差を表す語として用いられない一方で，反発と結び つく子音 /g/ を持つ「ゲッ」，交差と結びつく子音 /s/ を 持つ「セッ」，統制刺激の「ヘッ」の3 種類にオノマトペ 刺激を変更した。 方法 実験参加者 実験 4 は 12 名，実験 5，実験 6，実験 7 はそ れぞれ10 名の学生が実験に参加した。 装置と刺激 装置と運動刺激は実験 2・実験 3 と同様であ った。聴覚呈示での呈示時間は「ガッ」，「サッ」，「ハッ」 がそれぞれ150 ms, 172 ms, 170 ms であり，「ゲッ」，「セ ッ」，「ヘッ」がそれぞれ147 ms, 156 ms, 190 ms であった。 手続き 実験 1・実験 2・実験 3 と同様であった。 結果と考察 各オノマトペおよび呈示時間差において反発と回答さ れた割合を測定し，分析に利用した。実験4 の全条件で 反発の割合が10%以下であった参加者 3 名を分析から除 外した。実験6 および実験 7 の結果をそれぞれ Figure 2a， Figure 2b に示す。二要因分散分析の結果，実験 4 および 実験5 の双方において実験 2 および実験 3 と同様の結果 であり，「ガッ」の呈示により反発と回答される割合が増 加し，「サッ」の呈示により交差と回答される割合が増加 した。これより，実験１から実験3 で得られた結果はオ ノマトペの音節の長さの違いによるものではないことが 確認された。実験6 と実験 7 ではいずれもオノマトペの 主効果が有意であったが (実験 6 : F (2, 18) = 6.08, p < .01, 実験7 : F (2, 18) = 4.50, p < .05)，各オノマトペ間での差は 有意でなかった。また，いずれも呈示時間差の主効果が 有意であったが (実験 6 : F (3, 27) = 9.69, p < .001; 実験 ࿊♧㛫ᕪ PV ࢜ࣀ࣐ࢺ࣌࿊♧ࡀඛ ࢜ࣀ࣐ࢺ࣌࿊♧ࡀᚋ Ⓨᅇ⟅ࡋࡓྜ ࿊♧㛫ᕪ PV ࢜ࣀ࣐ࢺ࣌࿊♧ࡀඛ ࢜ࣀ࣐ࢺ࣌࿊♧ࡀᚋ Ⓨᅇ⟅ࡋࡓྜ 㻱㼞㼞㼛㼞㻌㼎㼍㼞㻌㻩㻌㻿㻱㻹 a b
7 : F (3, 27) = 9.17, p < .001)，交互作用は有意でなかった (実験 6 : F (6, 54) = 1.25, p = .30; 実験 7 : F (6, 54) = 1.33, p = .26)。これらの結果から，オノマトペの音韻処理および 音象徴によって喚起される心的イメージも視覚的運動処 理と統合され，SBD の知覚に影響を与えることが確認さ れた。さらに音象徴のSBD の知覚への影響は支配的と言 えるほどに強力ではなく，統合時間窓は±100 ms の間で あることが明らかとなった。これは実験2 および実験 3 で示唆された統合時間窓とは異なっている。このことか ら，実験1 から実験 3 で得られた結果にはオノマトペの 持つ音象徴性のみならず，別の要因も存在することが考 えられる。そこで，別の要因がどのようなものであるか を検討するため，以下の実験で検討した。 実験 8・実験 9・実験 10 実験8・実験 9・実験 10 では漢字二字からなる熟語を SBD に同時呈示し，SBD との統合がオノマトペ以外の音 象徴性を持たない語によっても生じるのか，統合の度合 いや時間窓がオノマトペを呈示した場合と異なるかを検 討した。 方法 実験参加者 実験 8 および実験 9 はそれぞれ 8 名，実験 10 は 9 名の学生が実験に参加した。 装置と刺激 装置と運動刺激は実験 1・実験 2・実験 3 と 同様であった。実験8 では熟語刺激として，「反発」，「衝 突」，「交差」，「通過」の4 種類および統制刺激として熟 語を呈示しない条件 (無し条件) を設定した。実験 9 (視 覚) および実験 10 (聴覚) では「反発」，「交差」，統制刺 激として反発および交差の意味を持たない「回復」の 3 種類を使用した。聴覚呈示における呈示時間はそれぞれ 470 ms, 335 ms, 374 ms であった。 手続き 実験 1・実験 2・実験 3 と同様であった。 結果と考察 各熟語および呈示時間差において反発と回答された割 合を測定し，分析に利用した。実験8 では各条件と無し 条件との差分を分析に用いた。実験9 と実験 10 の結果を Figure 3a および Figure 3b に示す。一要因分散分析の結果， 実験 8 では熟語の主効果が有意であった (F (3, 21) = 11.35, p < .001)。これより，熟語を呈示した場合でも SBD の知覚への影響が生じることが確認された。二要因分散 分析の結果，実験9 では熟語の主効果が見られたが (F (2, 14) = 13.35, p < .001)，呈示時間差の主効果は有意でなか った(F (3, 21) = 2.85, p = .06)。また，交互作用が有意であ った (F (6, 42) = 4.25, p < .01)。下位検定の結果， +500 ms 条件以外の呈示時間差において熟語の単純主効果が有意 であった (-500 ms：F (2, 14) = 10.34, p < .01 ; -100 ms：F (2, 14) = 17.20, p < .001 ; +100 ms：F (2, 14) = 7.91, p < .01)。 また，「反発」条件でのみ呈示時間差の単純主効果が有意 であった (F (3, 21) = 4.53, p < .05)。実験 3 では熟語およ び呈示時間差の有意な主効果が見られ (熟語：F (2, 16) = 15.99, p < .001; 呈示時間差：F (3, 24) = 5.86, p < .01)，交 互作用も有意であった (F (6, 48) = 5.84, p < .001)。下位検 定の結果，+500 ms 条件以外の呈示時間差において熟語 の単純主効果が有意であった (-500 ms：F (2, 16) = 8.87, p < .01; -100 ms：F (2, 16) = 15.05, p < .001; +100 ms：F (2, 16) = 16.12, p < .001)。また，「反発」条件でのみ呈示時間差 の単純主効果が有意であった (F (3, 24) = 10.21, p < .001)。 これらの結果から，視覚・聴覚双方のモダリティで熟語 を呈示した場合でも視覚的運動処理との間で統合が生じ， SBD の知覚における交差・反発の判断に影響を与えるこ と，また統合時間窓もオノマトペと同様に-500 ms から +100 ms の間であることが明らかになった。このことか ら，オノマトペ処理と熟語の処理には共通した処理過程 が存在することが示唆された。さらに熟語が明確な意味 情報を持つ一方で音象徴性を有していないことから，共 通した処理過程は意味処理過程であると考えられる。 実験 11 実験 11 ではこれまでの実験で得られた結果が単純な 反応バイアス，つまり運動刺激に関係なく特定の語が呈 示された時に特定のキーを押したことによって生じてい る可能性について検討した。そのために，交差あるいは 反発とは無関連かつ回答キーの方向を示す言語刺激を視 覚呈示して，言語刺激の示す方向へのキー入力の割合が 増加するかを調べた。 方法 実験参加者 8 名の学生が実験に参加した。 装置と刺激 装置と運動刺激は実験 1・実験 2・実験 3 と 同様であった。言語刺激として，「左」，「右」の2 種類お よび統制刺激として言語刺激を呈示しない条件 (無し条 件) を設定した。また，これまでの実験と同様に±500 ms， ±100 ms の呈示時間差を設けた。 Ⓨ䛸ᅇ⟅䛧䛯ྜ ࿊♧㛫ᕪ PV ⇍ㄒ࿊♧ࡀඛ ⇍ㄒ࿊♧ࡀᚋ ࿊♧㛫ᕪ㻌㻔㼙㼟㻕 ⇍ㄒ࿊♧䛜ඛ ⇍ㄒ࿊♧䛜ᚋ Ⓨ䛸ᅇ⟅䛧䛯ྜ 㻱㼞㼞㼛㼞㻌㼎㼍㼞㻌㻩㻌㻿㻱㻹 a b
手続き 実験 1・実験 2・実験 3 と同様であった。 結果と考察 各条件で反発と回答された割合を分析に利用した。ま た，「左」条件および「右」条件を，交差の回答キーと同 じ方向を示す言語刺激が呈示された場合 (交差同方向条 件)，反発の回答キーと同じ方向を示す言語刺激が呈示さ れた場合 (反発同方向条件) とにまとめて分析に用い た。各言語刺激・呈示時間差条件と「なし」条件との間 で対応のあるt 検定を行ったところ，いずれの条件との 間にも有意差は見られなかった (ps > .05)。この結果から， これまでの実験で得られた結果が言語刺激による単純な 反応バイアスではないことが明らかになった。 総合考察 本研究の結果から，視覚・聴覚双方の呈示モダリティ において，意味処理過程と音韻処理過程の双方において オノマトペ処理と視覚的運動処理との統合が生じること が明らかになった。さらに意味処理過程と音韻処理過程 では視覚的運動処理との統合時間窓が異なることが解明 された。 本研究では反発を表す語 (e.g., ガツッ) を呈示した時 に安定して反発と回答される割合が上昇したが，交差を 表す語 (e.g., シュッ) では SBD の知覚への影響は小さ く，統制条件との差が見られないこともあった。また， 交差を表す語では呈示時間差の影響も見られなかった。 この理由として，床効果が考えられる。SBD は本来交差 と知覚される割合が優位であるため (e.g., Goldberg & Pomerantz, 1982)，交差を表す語の効果が結果に表れてい なかった可能性がある。
統合時間窓に着目すると，反発を表すオノマトペある いは熟語を呈示した時には-500 ms から+100 ms の範囲で あり，時間窓が不均整である。これについては，運動プ ライミング効果 (e.g., Kanai & Verstraten, 2005) による説 明が可能である。つまり，反発を表すオノマトペあるい は熟語をパッチの重なる500 ms 前に先行呈示すること で反発に関する動的な心的表象が喚起され，SBD におけ る反発方向へのプライミングが生じていたと考えられる。 また，反発に関連する音象徴性を有していないオノマト ペ (e.g., ゲッ) では-500 ms 条件における反発の回答割 合の増加が確認できなかったことから，この言語刺激に よる運動プライミング効果は音韻処理過程ではなく，意 味処理過程で生じていることが予想される。 本研究では運動刺激としてSBD を採用し，交差・反発 の知覚的な判断課題を行った。そのため，オノマトペ処 理と視覚的運動処理の統合により，運動刺激に対する低 次レベルの知覚そのものを変えているのか，それとも運 動刺激が交差・反発のどちらであるかの高次レベルの判 断，つまり知覚的意思決定に影響を与えているかは本研 究の結果のみから断言できない。しかしながら，言語刺 激の処理によりSBD のような bistable motion に対する知 覚的意思決定が修正されることから (Francken, Kok, Hagoort, & de Lange, 2014)，オノマトペ処理も高次の知覚 的意思決定に影響を与えていると予想される。これまで の結果と考察を踏まえて作成したオノマトペ処理と視覚 的運動処理の統合モデルをFigure 4 に示す。 本研究の結果のみでは解明されていない課題も存在す る。例えば，オノマトペが運動方向の検出のような低次 レベルの運動処理に影響するかは不明であり，これは SBD 以外の運動刺激にオノマトペを同時呈示すること で検討が可能である。オノマトペ処理と視覚的運動刺激 の統合についてさらなる検討を重ねていくことにより， オノマトペ処理の持つ特異性を明らかにできるとともに， 言語処理，視覚処理，聴覚処理間のネットワークの解明 へと繋がっていくことが期待される。 引用文献
Francken, J. C., Kok, P., Hagoort, P., & de Lange, F. P. (2014). The behavioral and neural effects of language on motion perception. Journal of Cognitive Neuroscience, 27, 175-184.
Goldberg.D.M & Pomerantz.J. R. (1982). Models of illusory pausing and striking. Journal of Experimental Psychology:
Human Perception & Performance, 8, 547-561.
Kanai. R. & Verstraten. F. A. J. (2005). Perceptual manifestations of fast neural plasticity: Motion priming, rapid motion aftereffect and perceptual sensitization.
Vision Research, 45, 3019-3116.
Ramachandran, V. S., & Hubbard, E. M. (2001). Synaesthesia—a window into perception, thought and language. Journal of Conscious Studies, 8, 3–34.
Figure 4. オノマトペ処理と視覚的運動処理の統合モデル 䜸䝜䝬䝖䝨䛾ධຊ どぬⓗ㐠ື่⃭䛾ධຊ ពฎ⌮ 㡢㡩ฎ⌮ ᙧែฎ⌮ పḟ䛾㐠ືฎ⌮ 㧗ḟ䛾⤫ྜฎ⌮ 㡢㇟ᚩ ▱ぬⓗពᛮỴᐃ
