嫌悪感の形成を支える言語情報処理と視覚的質感情報処理 [ PDF

背景 嫌悪感は感情の一つであり，視覚情報と言語情報から 生じるものである。多くの先行研究は，言語が視覚処理 を変調しうることを示唆している。ならば，嫌悪感に関 しても言語情報によって視覚情報を変調する可能性が高 い。オノマトペは擬音語と擬態語の総称であり，触覚オ ノマトペはそのうち触覚情報を模したものを指す。オノ マトペの認知によって視覚処理が影響を受けうることも 近年明らかになった。また，触覚情報も視覚印象を変調 する。したがって，オノマトペが素材画像のもつ視覚印 象を変えてしまう可能性が考えられる。本研究の目的は， 触覚オノマトペが素材画像の喚起する感情，すなわちこ こでは嫌悪感に与える影響を明らかにすることであった。 実験 1・実験 2 実験 1 では，触覚オノマトペが素材の視覚的な嫌悪感 を変調するかを検討した。Gibson (1966) の言うモダリテ ィ等価性を考え，実験2 では効果のモダリティ横断性を 検討した。 方法 参加者 実験1 は 14 名，実験 2 は 10 名の学生が実験に 参加した。 装置・刺激 刺激は22 インチ CRT モニタに呈示された。 Google から選定した画像から本実験で使用する刺激を 選定するために，予備実験を実施した。予備実験では， 画像の湿り気と光沢感について評定を行った。光沢感の 有意差がないことを前提に湿り気評定値が高い10 枚（高 湿り気画像）と低い10 枚（低湿り気画像）を本実験では 使用した。画像の大きさは 10.0° × 10.0°であり，す べてグレースケール化した。早川・松井・渡邊 (2010) を 基に，実験1 では高粘性を表すオノマトペとして「べと べと」，低粘性を表すオノマトペとして「さらさら」，統 制条件として無意味語「れへれへ」の3 種類を選定して 利用した。実験2 では音声合成プログラム SofTalk (cncc) を用いて実験1 で使用したオノマトペの音声刺激を作成 し，波形エディタAudacity (Audacity Team) によって，再 生時間が約650ms になるように編集した。 手続き 一試行の例を図1 に示す。実験 1 ではスペース キーを押すと試行が開始され，注視点が500ms 呈示され た直後に画像とオノマトペが同時に呈示された。参加者 は画像が喚起する嫌悪感について5 段階 (1: 全く気持ち 悪くない; 5: 非常に気持ち悪い) で評定することを求め られた。実験2 ではオノマトペが聴覚呈示になった。こ れらの点以外は，実験1 と同様の方法であった。 図1 実験 1 の流れ 結果と考察 実験 1 と実験 2 の結果を図 2 に示す。実験 1 と 2 の評定値について，参加者内 2 要因分散分析を行 った。実験1 では，湿り気とオノマトペの主効果が有意 であった (F(1, 13) = 51.22, p < .001; F(2, 26) = 4.54, p < .05)。多重比較の結果，「べとべと」および「れへれへ」 条件での嫌悪感評定値は「さらさら」より有意に高かっ た (ps < .05)。交互作用は有意でなかった (F(2, 26) = 1.60, p = .22)。実験 2 の結果，画像の湿り気とオノマトペの主 効果が有意であった (F(1, 9) = 197.63, p < .001; F(2, 18) = 4.84, p < .05)。「べとべと」の方が「さらさら」および「れ へれへ」に比べて，評定値は有意に高かった (ps < .05)。 交互作用は有意ではなかった (F(2, 18) = 2.21, p = .14)。 図2 (a) 実験 1 の結果。(b) 実験 2 の結果。誤差棒は参 加者内標準誤差である。 実験1 と実験 2 の結果，高粘度を表すオノマトペ (べと べと) が視覚呈示にしても聴覚呈示にしても素材の視覚 べとべと 1 非常に気持ち悪い 5 4 3 2

＋

嫌悪感の形成を支える言語情報処理と視覚的質感情報処理

的嫌悪感を上昇させた。この結果は，触覚オノマトペは モダリティを横断して素材の視覚的嫌悪感を変調するこ とを示唆する。 実験 3・実験 4 実験 3 と 4 では，オノマトペの形態情報が視覚的嫌悪 感に影響するかを検討した。密度の高い円形要素で構成 されたパタンは高い不快感を喚起することがある (Cole & Wilkins, 2013)。高い粘性の「べとべと」は低い粘性 の「さらさら」より濁点のぶん円形要素の密度が高い。 そのため，オノマトペの視覚的な形態情報が素材画像に 対する嫌悪感に影響した可能性がある。そこで実験 3 と 4 ではオノマトペの形態情報の効果を検討した。 方法 参加者・装置・刺激・手続き 実験3 では中国人 12 名， 実験4 では日本人 15 名が実験に参加した。実験 3 の方法 は実験1 と同様であった。実験 4 では，3 種類のオノマ トペは上下反転して呈示された。その他の方法は実験 1 と同様であった。 結果と考察 実験 3 と実験 4 の結果，画像の湿り気の主 効果が有意であった (F(1, 11) = 51.81, p < .001; F(1, 14) = 285.63, p < .001)。一方で，オノマトペの主効果は有意で なかった (F(2, 22) = 1.65, p = .22; F(2, 28) = 2.05, p = .15)。 交互作用も有意でなかった (F(2, 22) = 2.26, p = .13; F(2, 28) = 1.05, p = .36)。 中国人参加者では，触覚オノマトペによって素材の視 覚的な嫌悪感は変調されなかった。実験4 での日本人参 加者の場合でも，上下反転したオノマトペだと視覚的な 嫌悪感に影響しなかった。したがって，これらの実験の 結果によって，触覚オノマトペが素材の視覚的な嫌悪感 を変調する原因は形態情報ではないことが示唆される。 実験 5 実験 5 ではオノマトペが素材の視覚的な湿り気を変調 するかを検討した。オノマトペは知覚体験に即した豊富 なイメージを喚起し (苧坂, 2010)，触覚オノマトペは触 感との対応性が存在することも示唆されている (渡邊 他, 2014)。加えて，触覚情報は視覚的な触感を変容する ことが示されている (e.g., 山本 他, 2014)。そのため，オ ノマトペから喚起される触覚情報としてのイメージによ って素材の視覚的湿り気が変調されることが予測される。 方法 参加者・装置・刺激・手続き 日本人学生11 名が実験に 参加した。参加者は画像の湿り気を5 段階で評定した。 その他の方法は実験1 と同様であった。 結果 実験5 の結果を図 3 に示す。画像の湿り気とオノ マトペの主効果が有意であった (F(1, 10) = 234.65, p < .001; F(2, 20) = 4.57, p < .05)。オノマトペの主効果につ いて多重比較を行った結果，「べとべと」条件の方が「さ らさら」条件より評定値が有意に高かった (p < .05)。一 方，交互作用は有意でなかった (F(2, 20) = 1.21, p = .32)。 図3 実験 5 の結果。 オノマトペの種類によって，素材の視覚的湿り気が変 わった。Oum et al. (2011) によると，素材の湿り気によ って嫌悪感が異なる。ゆえに，見かけの湿り気が変調し た際に，視覚的嫌悪感も変調されることが示唆される。 実験 6・実験 7・実験 8 実験6 と実験 7 は韓国語の粘性に関するオノマトペを 使用し，オノマトペの音韻情報と意味情報のどちらが視 覚的な嫌悪感の変調に重要であるかを検討した。また， 音象徴性のみの効果を検討するために，実験8 を行った。 方法 参加者・装置・刺激・手続き 実験 6 は韓国人学生 15 名，実験 7 は日本人 14 名，実験 8 は日本人 15 名が実験 に参加した。実験 6 と実験 7 では韓国語で高粘性を表す 「끈적끈적」(「っぐんじょっぐんじょ」) と低粘性を表 す「매끈매끈」 (「めっぐんめっぐん」) を使用した。「れ へれへ」を含む3 種類のオノマトペは Google 翻訳の音声 をAudio Hijack で録音して，刺激として用いた。それぞ れの刺激の再生時間は，「っぐんじょっぐんじょ」は950 ms，「めっぐんめっぐん」は 964 ms，「れへれへ」は 650 ms であった。実験 8 では早川 他 (2010) の分布図に基 づき，高粘性のオノマトペとして子音/b/を持つ無意味語 「びてびて」，低粘性を表オノマトペとして子音/s/を持つ 無意味語「せりせり」を選定して使用した。その他の方 法は実験1 と同様であった。 結果と考察 実験6 の結果 (図 4)，画像の湿り気とオノ マトペの主効果が有意であった (F(1, 14) = 41.93, p < .001; F(2, 28) = 3.98, p < .05)。多重比較の結果，高粘性 を表す「っぐんじょっぐんじょ」と「れへれへ」条件の 湿り気 評 定 値 オノマトペの種類 誤差棒：参加者内標準誤差 3.2 3.0 2.8 2.6 2.4 2.2 さらさら べとべと れへれへ 2.0

方が，低粘性を表す「めっぐんめっぐん」条件の方より， 評定値が有意に高かった (ps < .05)。交互作用が有意でな かった (F(2, 28) = 2.34, p = .12)。 図4 実験 6 の結果。 実験7 と実験 8 の結果，画像の湿り気の主効果が有意 であったが (F(1, 13) = 323.38, p < .001; F(1,14) = 207.30, p < .001)，オノマトペの主効果は有意でなかった(F(2, 26) = 2.39, p = .11; F(2,28) = .40, p = .67)。交互作用も有意でな かった (F(2, 26) = 0.90, p = .42; F (2,28) = .67, p = .52)。 実験6 では，韓国人参加者では呈示された韓国語オノ マトペの種類によって，素材に対する視覚的嫌悪感が変 調されることが明らかになった。実験7 の結果，日本人 参加者の場合には韓国語オノマトペは素材の視覚的な嫌 悪感を変調しないことが明らかになった。これによって， 純粋に音韻情報のみでは嫌悪感を変調するには不十分で あることが示唆された。実験8 の結果，オノマトペの音 象徴によって実験1 のような素材の喚起する視覚的な嫌 悪感の変調が生じることはなかった。したがって，オノ マトペによる嫌悪感の変調は，粘性を表すオノマトペの 音象徴性に基づかないことが示唆される。 実験 9 情報統合はある程度の時間幅をもってなされる。それ はオノマトペと視覚的嫌悪感との場合であっても同様で あろう。そのため，実験9 は，Gobara et al. (2016) の±300ms を超える±1500ms までの SOA を設定し，オノマトペが視 覚的嫌悪感に与える影響の時間的範囲を検討した。 方法 参加者・装置・刺激 日本人学生 11 名は実験に参加した。 装置と刺激は実験 1 および 2 と同一であった。 手続き 実験 9 では視覚と聴覚それぞれのモダリティで オノマトペを呈示した。実験では，凝視点が消燈して 1500ms 後に画像刺激が画面中央に 1000ms 呈示された。 オノマトペの SOA については視覚呈示での 5 条件 (-1500ms，-1100ms，±0ms，+1100ms，および+1500ms) と 聴覚呈示での 5 条件 (-1150ms，-750ms，±0ms，+1100ms， および+1500ms) の計 10 条件が設定された。最後に参加 者は実験 1 同様に嫌悪感についての評定を行った。 結果と考察 湿り気条件内で平均化したモダリティごと のデータをプールし，二次関数を当てはめた。「さらさら」 条件と「べとべと」条件における 95%信頼区間を算出し たところ，およそ-1200ms から+1200 の範囲内でこれらオ ノマトペ条件間に有意差が見られた (図 5)。またほぼ同 じ範囲にて「べとべと」条件と「れへれへ」条件の間に も有意差が見られた。一方で，「さらさら」条件と「れへ れへ」条件の間には有意な差は見られなかった。 実験 9 では，画像呈示の±1200ms 程度の時間範囲でオ ノマトペによる視覚的嫌悪感の変調が生じることがわか った。本結果は視覚特徴同士の知覚的な情報統合 (およ そ 50-100ms) よりもかなり広い時間窓の中でオノマト ペと画像の統合が生じていることを示している。 図 5 実験 9 の結果。太い曲線はオノマトペ条件ごとに 当てはめた心理測定関数を表す。点線で囲われた淡い領 域は「さらさら」条件における 95%信頼区間帯を示す。 濃い領域は「べとべと」条件における 95%信頼区間帯を 示す。 実験 10 実験10 では，触覚オノマトペ自体の喚起する嫌悪感に 焦点を当てて検討する。実験1 ではオノマトペが嫌悪感 に影響することが明らかになった。この影響への説明の 一つとして，オノマトペ自体に対する嫌悪感の差異が視 覚的注意に影響した可能性が挙げられる。そこで実験10 ではそもそもオノマトペの嫌悪感に差異が存在している かを調べた。 方法 参加者・刺激・手続 これまでの実験に参加していない 成人100 名がオンライン実験に参加した。参加者は実験 1 で使用したオノマトペの嫌悪感を 5 段階で評定した。 結果 参加者内1 要因分散分析の結果，主効果が有意で 誤差棒：参加者内標準誤差 嫌悪感評定値 オノマトペの種類 3.2 3.0 2.8 2.6 2.4 2.2 2.0 さらさら べとべと れへれへ -1800 -1200 -600 0 600 1200 1800 2.0 2.2 2.4 2.6 2.8 3.0 SOA (ms) 嫌悪感評定値 れへれへ さらさら べとべと

あった (F(2, 198) = 491.81, p < .001)。多重比較を行った ところ，「べとべと」の方が「さらさら」および「れへれ へ」よりも有意に嫌悪感が強かった (ps < .001)。また， 「れへれへ」の方が「さらさら」よりも有意に嫌悪感が 強かった (p < .001)。 図 6 実験 10 の結果 実験 10 では，「べとべと」は他のオノマトペと比較し て嫌悪感をより強く喚起していることが明らかになった。 この結果は，「べとべと」が他のオノマトペに比べ嫌悪感 の強い対象として処理され，その結果近傍領域の視覚処 理を促進させる可能性を示唆している。 総合考察 本研究の結果から，触覚オノマトペの言語情報と素材 画像の視覚情報との統合が生じることが示唆された。具 体的にどのような処理段階でなされているかというと， 一つ目に，表象形成の段階での統合が考えられる。つま り，オノマトペの処理により生じた触覚的イメージが素 材の視覚表象を変調しているというものである。五感の 修飾と被修飾モデル (山梨, 1988) 及び擬音・擬態表現と 五感の関係モデル (苧阪, 2010) によって，言語としての 触覚オノマトペは触覚イメージを提供し，素材画像の視 覚的な湿り気を変調させ，視覚的な湿り気の変調を通し て嫌悪感の変調を生起させることを示唆する (図 7)。 図7 言語・視覚・感情の多層的処理 オノマトペによる視覚的嫌悪感を変調することについ てのもう一つの可能性は，感情処理の段階における平均 化である。感情処理を担当する神経系に複数の感情情報 が同時に入力されるために生じる神経的平均化によって， より嫌悪感の強いオノマトペは平均化後に出力される視 覚刺激への嫌悪感反応を強め，嫌悪感の弱いオノマトペ はそれを弱めた。 オノマトペが呈示された位置の周辺の視覚処理が注意 により促進された結果として画像の嫌悪感の強度が影響 されたのかもしれない。また，画像よりも後に呈示され たオノマトペによっても嫌悪感の変調は生じているが， 空間手がかりは標的よりも後に出現しても標的処理を変 調することから，オノマトペを後続呈示した際の結果に ついても注意の捕捉による説明が可能である。 本研究にてオノマトペの種類によって視覚的嫌悪感が 変調された可能性の一つとして，単純評価バイアスを挙 げることができる。教示では，画像の嫌悪感についての 評定が求められたが，実験の中で参加者は画像ではなく オノマトペの嫌悪感について評価してしまった可能性も ありうる。また，実験3 と 4 はオノマトペの形態情報， 実験7 および 8 はオノマトペの音韻情報の影響を検討し たが，結果的にオノマトペの形態情報にしても音韻情報 にしても素材の視覚的嫌悪感を変調しなかった。しかし ながら，本研究ではオノマトペの意味情報を直接検討し ていない。今後の実験では，オノマトペの意味情報の影 響を直接的に明らかにしたい。 引用文献

Cole, G. G., & Wilkins, A. J. (2013). Fear of Holes.

Psychological Science, 24, 1980–1985.

Gibson, JJ. (1966). The Senses Considered as Perceptual Systems. Greenwood Press.

Gobara, A., Yamada, Y., & Miura, K. (2016). Crossmodal Modulation of Spatial Localization by Mimetic Words.

i-Perception, 7, 2041669516684244. 早川 智彦・松井 茂・渡邊 淳司 (2010). オノマトペを利 用した触り心地の分類手法, 『日本バーチャルリア リティ学会論文誌』, 15, 487–490. 苧阪直行 (2010). 感性言語 三浦佳世 (編). 感性認知 北 大路書房

Oum, R. E., Lieberman, D., & Aylward, A. (2011). A feel for disgust: Tactile cues to pathogen presence. Cognition and

Emotion, 25, 717–725. 渡邊淳司・加納有梨紗・坂本真樹 (2014). オノマトペ分 布図を利用した触素材感性評価傾向の可視化， 『日 本感性工学会論文誌』, 13, 353–359. 山本健太郎・崔原齊・三浦佳世 (2014). 視覚的触感に触 覚情報が及ぼす影響, 『基礎心理学研究』, 33, 9–18. 山梨正明 (1988). 比喩と理解 東京大学出版会 オノマトペの種類 嫌悪感評定値 誤差棒：参加者内標準誤差 4.0 3.5 3.0 2.5 2.0 1.5 1.0 4.5 5.0 触覚イメージ 触覚オノマトペの入力 素材画像の入力 視覚情報 感情出力