九州大学学術情報リポジトリ
Kyushu University Institutional Repository
シカク ト チョウカク ノ クウカン チカク ニ オケ ル ソウゴ サヨウ ニ カンスル ケンキュウ
北島, 律之
長崎総合科学大学情報学部知能情報学科 : 助教授 : 認知科学, 感性心理学, 情報工学
https://doi.org/10.11501/3134570
出版情報：Kyushu Institute of Design, 1997, 博士（芸術工学）, 論文博士 バージョン：
権利関係：
氏 名・本籍（国籍） 北 島 律 之 （福岡県）
学 位 の 種 類 博士（芸術工学）
学 位 記 番 号 乙第5号
学位授与の日付 平成10年2月18日 学位授与の要件 学位規則第4条第2項該当
学位論文題目 視覚と聴覚の空間知覚における相互作用に関する研究 審 査 委 員 会 幹事 教 授 津 村 尚 志
委員 教 授 山 下 茂 樹 委員 助教授 山 下 由己男 論文内容の要旨
本研究では、視覚と聴覚の空間知覚における相互作用の特性とその生起過程を解明する ことを第一の目的とし、5つの実験を行い、検討を重ねた。以下に本研究の概要を記述する。
(1) 音源定位への光刺激の影響における同期性の効果の空間異方性
従来行われていた、音源定位に及ぼす光刺激によるバイアスの研究は、水平面内に限ら れたものであり、水平面内にある音源が、水平面内にある光によって受ける影響を調べた ものがほとんどであった。そのため、音源定位能力が水平面内と異なる正中面内では、光 刺激の影響がどのように現われるかが定かでなかった。さらに、定位バイアスにおいて重 要な要因とされる光と音の同期性が、正中面内の定位にはどれほどの影響をもたらすかも 明らかではなかった。
実験 1 では、水平方向と垂直方向における音源定位のパフォーマンスが、光刺激の提示 タイミングが操作された条件のもとで、測定された。
実験の結果、水平方向においては、光と音が同期した条件のみで、小さなバイアスが観 察された。しかしながら、このバイアスは被験者によっては、まったく見られないことも あった。一方、垂直方向でも、光と音が同期した条件のみにバイアスは観察された。ただ し、バイアスの大きさは顕著なもので、音源の位置がどこであろうとも、すべての被験者 が光の位置と音の位置をほとんど区別することはできなかった。このように、光刺激が音 の定位に及ぼす影響は、水平方向よりも垂直方向で特に明らかになることが示された。
(2) 音源定位に及ぼす視覚的注意の効果
これまで、視覚的注意と聴覚の空間解析との関係は全く明らかにはなっておらず、実験2 では、定位バイアスと視覚的注意との関係を直接的に調べることが目的であった。
実験では、まず水平方向において、注意要因によるバイアス量と同期要因によるバイア ス量が測定された。その結果、注意を払った位置へ音源の定位がシフトする傾向が認めら れた。ただし、それはすべての音源位置に対して小さな量であった。一方、同期要因の効 果は全体的に大きなものであり、音源位置に依存したものとなった。このように質と量と もに要因間で差が現れ、2つのバイアスが全く異なった過程を通して現れている可能性が示 唆された。
この可能性を検証するため、次に、垂直方向で同様に注意要因と同期要因によるバイア ス量を測定した。垂直方向では、実験 1 で、融合を生じさせるような大きなバイアスが同 期要因により生じることがわかっており、もし、2つの要因による処理過程が同じものであ るなら、注意要因によっても水平方向よりも大きなバイアスが得られることが期待された。
しかしながら実験の結果は、同期要因ではより大きな効果が得られたものの、注意要因の 効果は統計的には
見られないほど小さなものであった。
従って、2つの要因による影響は、別の過程を通って現れることが明らかとなった。
Radeau（1992）により仮定された相互作用の2つのメカニズム（データ駆動型、概念駆 動型）の枠組みに従い、注意要因による効果は、概念駆動的処理あるいは判断基準の変化 によって現れ、同期要因による効果は、データ駆動型の処理によって現れたと推測された。
(3) 定位バイアスと同期要因との関係
実験 3 では、これまでの実験で、定位バイアスに大きな効果をもつことが示された同期 要因について、さらに詳細に検討した。特に、光刺激の変化自体が重要であるのか、新た な視覚対象が形成されることが大切であるのかを問題とした。
実験の結果、従来の同期条件であった、光刺激と音刺激の出現と消失の各々が同期する 条件だけでなく、光刺激が出現するだけの条件や消失するだけの条件すべてにおいて、こ れまでの条件と同等な定位バイアスが観察された。光刺激が消失的変化のみを行った場合 でも、定位バイアスが同様に観察されたことから、同期要因による効果は、新たな視対象 が形成されることにより現れると考えるよりも、視野内の対象の変化自体が重要な原因で あると考える方が良いことが示唆された。
(4) 三次元空間における運動光刺激が音の運動知覚に及ぼす効果
Mateeff et al. （1985）によって報告された、静止音源からの音を運動光刺激が捕捉する 現象（ＤＶＣ）を三次元空間において調べた。 Mateeff et al.は、この現象を水平方向のみ について調べただけであり、3次元空間内での運動については調べてはいない。垂直方向や 奥行き方向に関しては、水平方向よりも空間の解析能力が劣ることが知られており、水平 方向とは異なったＤＶＣが現れることが考えられた。
実験4-1の結果から、水平方向に限らず、垂直方向でＤＶＣが生じ、さらに垂直方向での ＤＶＣは水平方向よりもかなり強いものであることがわかった。また、実験4-2では、音源 の運動方向に水平、垂直方向に斜め方向も付加し、被験者には運動方向を二次元平面にお いて自由に報告させた。この場合でも、被験者は音の実際の運動方向を知覚することがで きず、判断の多くは、光の運動方向と同一であった。さらに、実験4-3では、両眼立体視を 用いて光刺激を奥行き方向に運動させるのと同時に、音源も奥行き方向に運動させ、奥行 き次元でのＤＶＣが生起するか否かを調べた。結果は、実験4-1の垂直方向と同様に、顕著 なＤＶＣが生起するものであった。
(5) 視覚仮現運動知覚に及ぼす音刺激の影響
空間知覚における視覚から聴覚への影響は、上述した実験などから明らかであるが、そ の逆に、聴覚から視覚への影響を調べた研究は非常に少ない。これまでに視覚の仮現運動 の知覚に関して、音の影響を論じた研究がいくらか報告されているが、作用を肯定するも の（Maass，1938; Wemer，1928; Staal ＆ Donderi，1983）と、否定するもの（Allen ＆ Kolers，1982;Ohmura，1985）にわかれている。ただし、いずれの研究でも古典的仮現運 動が取り扱われ、被験者の客観的判断が難しかったと思われる。また、音刺激に関しても、
左右いずれかからの短音が視覚刺激と同期して提示されるといったものであり、その刺激 に対しての運動感の有無は問題とされなった。実験 5 では、より客観的な判断を得るため に、光刺激をランダムドット・キネマトグラムとし、音刺激として頭内運動をシュミレー トしたものを用いた。
実験の結果を、従来から知られている仮現運動の 2 つの処理プロセス（ショートレンジ 系、ロングレンジ系）のパフォーマンスと照らし合わせて検討した。それにより、仮現運 動の知覚には音による影響は見られず、判断基準の変化と思われる影響のみが観察された ことが明らかとなった。また、この結果は、両刺激の提示タイミングを組織的に操作した 場合においても同様に見られた。
論文審査の結果の要旨
人間が外界の空間情報を得るうえで大きな役割を果たしているのは、視覚と聴覚である。
これらの感覚の特性は別々に調べられることが多く、それらの感覚の間での相互作用につ いては検討されることは少なかった。しかし、近年、大視野画面によるビデオ表示の普及 や視野全体を覆うヴァーチャルリアリティ表示の実用化などに伴って、視覚や聴覚など複 数の異なる感覚モダリティから得られる空間情報把握を互いに整合させるための設計やそ の評価のために、視覚と聴覚の空間知覚における相互作用の特性やそのメカニズムについ ての研究が重要な課題となってきている。
本論文は、そのような研究課題に答えるために行われた 5 つの実験結果から得られた、
刺激定位や運動知覚などの空間知覚に関する視覚と聴覚の間の相互作用の特性についての 研究結果をまとめたものである。
第 1 章では、視覚と聴覚の空間知覚における相互作用についての、従来の研究によって 得られた知見を示している。第 2 章では、それらに基づいて行われた、視聴覚の相互作用 に関する心理物理学的研究（実験1から実験5）について示している。第3章では、これま での研究や本研究で得られた結果に基づいて、視覚と聴覚の空間知覚における相互作用の 特性やその生起のメカニズムについて論じている。
実験1から実験3までは音源定位のバイアスについて検討している。実験1では、音源 定位ヘの光刺激の影響においては音刺激と光刺激の同期性が相互作用（定位バイアス）を 引き起こす重要な因子であること、また、このような相互作用は空間の水平方向でも垂直 方向でも見られるが、特に垂直方向で顕著に表れるという空間異方性があることを明らか にしている。実験 2 では、刺激が提示される位置へ向けられる注意も定位バイアスの生起
に寄与するが、音と光の刺激の同期性に比べてその効果は小さく、また、同期による効果 は刺激提示位置によって異なるのに比べ、注意による効果は刺激提示位置に依存しないこ とを明かにしている。実験 3 では、視聴覚の刺激の同期性をより詳細に検討し、定位バイ アスを生起させる視聴覚刺激の同期は、必ずしも刺激の提示（ＯＮ）でなくてもよく、そ れまで提示されていた刺激が消滅すること（ＯＦＦ）でも同程度の定位バイアスが引き起 こされることを明らかにしている。以上の結果をまとめると、光刺激と音刺激に同期した 変化があるとき、注意といった高次な精神活動には依存しないで定位バイアスが引き起こ されること、そして、それは水平方向よりも垂直方向において顕著に見られることが示さ れている。
実験4では、音刺激と光刺激の両方が3 次元空間内を運動しているときの相互作用につ いて検討している。運動する両刺激の間にも相互作用があり、光刺激の運動によって、運 動する音刺激の速度（速さと方向）の知覚に大きな歪みが生じることを明らかにしている。
そして、このような効果にも顕著な異方性があり、垂直方向や奥行き方向では水平方向よ りもはるかに大きな影響が見られることを明らかにしている。
実験 5 では、音刺激の運動が光刺激の運動知覚に及ぼす影響を視覚の仮現運動を用いて 検討している。その結果、音刺激から光刺激の運動知覚への直接的な影響は見られず、音 刺激の運動はむしろ光刺激の運動方向の判断基準に影響を与えることを明らかにしている。
以上をまとめると、音源定位や音源の運動知覚などの聴覚の空間知覚に及ぼす視覚刺激 の効果が確認され、また、視覚刺激の運動知覚も運動する音刺激の存在によって影響され ることが示された。特に、刺激の定位バイアスに関しては、刺激変化の同期性が大きな生 起要因となることを明らかにした。本研究の成果は、心理学や神経生理学において人間の 視覚と聴覚の相互作用の解明のみでなく、実用面においては、大視野画面を用いた視覚表 示において、画像と音を知覚的に融合させるための刺激源の空間的位置や時間的同期性の 最適設計やその評価といった技術の発展にも寄与するものと思われる。
よって、本論文は博士（芸術工学）の学位論文に値するものと、本委員会は認めた。
最終試験の結果の要旨
最終試験においては、定位バイアス、相互作用、及び融合感の相互の関連、定位バイア スの生ずる神経生理学上の部位、本研究の結果の応用面における問題点等について質問が あったが、十分な説明が得られた。また、論文内容、発表等より学力も十分と認められた。
公開発表会は、画像、音響の関連研究室及び研究者約30名の参加のもとに開催された。
著者の発表に対して、実験方法の妥当性、音と光の物理レベルでの同期に対して知覚レベ ルでの同期のずれが実験結果に与える影響、アナウンサーの音声と口唇や顔の動きの同期 要因と視覚的注意効果の優劣、等について活発な質疑が行われた。いずれも著者から納得 のいく説明がなされた。
よって、審査委員合議の結果、試験は合格と決定した。
