九州大学学術情報リポジトリ

(1)

九州大学学術情報リポジトリ

Kyushu University Institutional Repository

音と映像の時間的な関係が両者の主観的な調和感と注意に及ぼす影響に関する認知心理学的研究

菅野, 禎盛

Kyushu Institute of Design

https://doi.org/10.11501/3181891

出版情報：Kyushu Institute of Design, 2000, 博士（芸術工学）, 課程博士バージョン：

権利関係：

(2)

(3)

音と映像の時間的な関係が両者の主観的な調和感と注意に及ぼす影響に関する認知心理学的研究

菅野禎盛

(4)

音と映像の時間的な関係が両者の主観的な調和感と注意に及ぼす影響に関する認知心理学的研究

Psycllo1ogical Study on the Effects of

Auditory-Visllal Temporal Relationships on their Subjective Congruency and Attention

2000年12月

菅野禎盛

S

U G

_AN

0

_Yoshimori

(5)

第1章序論

1.1 はじめに

ある映阿背楽をふとlfにした!瞬間，その音楽と結びイ.Jいた1��"IiÎのワンシーンがある感 'hうをイ、1:'って鮮明に思し) U'，されたという経験をされたことがないであろうか. 映像作品で使われる??長音楽は，「7Tht」という名が示すようにその作I日lの'1'ではあくまでもわき役 íl�なイ子化である. しかし，氾!像以上に背示TT楽は我々の記憶やRig-lfjに対して大きな影響

を及ぼしている.

|りと�lliがまだ、?!!りif映ïlliíであった11刊にでも，バンドによる音楽出奏やj(--Iてによる|夫JJ t了の解説がつけられることが多かったと言われる. 作かに，音j与や音楽が全く入っていない映像を延々と見続けることは忽像しただけでも退問である. エンターテイメント性のおし1

|映像作!日lを製作しようと忠えば， ?T， ?守二;た:の存心:が必要不可欠であると言えよう. そし

て，効果音や音楽が映像の印象や映像の内容の則的平に対して大きな影響を及ぼしていることは芥易に怨像できる.

では，背景音楽は映像の印象に対してどのような影響を及ぼしているのであろうか，

また逆に映像によって背以台湾jの印象は変化するのであろうか. I決断やテレビジョン欣送などのメディアの制作現場では，映像と背， ??楽をキIlみ合わせることによってどのような心用的効果を悦lm名-にワ唱えることができるかということについて経!倹的な知識が芸研されている. しかしながら，そのような知識は，あくまで経験的なものであり存観的な袋小Iけがされているわけではない. 映像と-行楽との問には本11に心開的な十Il/r_11:JrJが存れするのか，また，イヂ紅するとしたら，それはどのように生じるのかといったことを知るには，尖験による科学的な H今|味が必要である.

|映像は似党による情報伝達であり音奈は聴党による情報伝達である. 十見党とIg党という2つのモダリティーは，互いに独立性がJli'fi?に高いモダリティーであるため， rlf，í�ーはそれぞれfl"il日Ijに研究されることが多い. しかしながら，我々の経!検する内作は絞欽のモ

(11)

第1 �l Jr;�í命 ^.)

ダリティーがldb制したがiAViLじる複合的なものであり， 1え々の帝王J�剣付作を全体nりに;論じるためにはモダリティー1/'1]の仙のつながり(十[11日刊11)を1f{えることが非常に主主jである.

1.1.1

現実的な場面でのダイナミックな相互作用

これまでに，視聴党間の十111工作月]については多くの基礎的な研究が行なわれてきている. これらの仰究では， 11庁主で光を青を同11‘?に呈示し，光に刈ーする!メI.t，や711二に付する!λ 応、がどのように変化するかといったような問題が検討されてきた. _rj': R�ïìではそれらの広礎的な研ヲピについても削!れる. しかしながら、これら基礎的研究の多くは、実験三においてのみ体験される現象を取り扱うにとどまっており、現実のIl常生活で体験するよりダイナミックな悦ifEjI現象を抜ったものではない. 我々の11 'tt;イ本!股に収ざした}�I:��(I�矢11 兄を明らかにするためにはより現実場而に近い状況での人間の反応を調べることが必必であろう. ただしこれはよ�(lt'r:: (1'0な研究が無立l床であるということを述べているのでは決してない. そうではなく， lr�伐的な尖15会主研究を補うものとして， _r1 'ft�'体験と流:岐に関係しているよりダイナミックな視聴党現象を取り上げ、る必要があるということである.

本論文では，このようなダイナミックな悦聴党現象として背，汗楽がイJけられた映像作品を忽、定している.

1.1.2

視覚情報と聴覚情報の心理的なまとまり

音(音楽)と映像とを111J叫に体験した場合，聴覚情報である庁(庁楽)と悦党・|百平11である映像とはそれぞれf[iî1別の対象事象としてではなくまとまりを持った総体として認知されるはずである. そして，主観的にはこのまとまりは汗(背楽)と映像の!日!の“制不11 感"として体験されるものと忠われる. 汗と映像の問の制手11感は同右の認知的なまとまりの良さを反映しているに述いない. 三い伴えれば ??と映像が心内でとJのヂIU主“統合"されているかということが調和感に反映される. つまり調和感が出ければ|映像と什楽はたえ介されており訓和感が低ければpGj名-は統合されていないとみなすことができる. そこで，主観的制不11[さに影響を及ぼす要因を調べることで，映像とr.'f��というY4

弁る'1'1件11がどのように心内で統介されるかという問題にアプローチできる.

i去(行楽)とl映像の主的HJ�な司tïJ.HI感に影響を及ぼす�ωとしては， �.子楽のリズムや映像

のD!JJきといったHFmflu-titi主的な安[J，l ， (lj_ ( [子来)と映像とが全1/'1] (1リに�îJーの位inから主Ij

(12)

第l市 !日命

米するカか玉i汗f勾?カか、というシ全kN|ド川;日川lリl打f的|内Uな11川lυlîJリj一一-'↑性|

字谷:子玉といつた;意吉意:1川味川床乙(1作的ド内〈句Jな!必t必:2引山〔日山|い川)�川�Iなど， f;級E々な2梨5引lい同j刈dカがf与号aえられる. しかし， 111でも11日\J ÎI� . 悦治的な安[)(lは重要である. なぜなら，古(11'楽)と|映像の最大の特徴は，それらがU，ÏII}j的に変化する点にあるからである. そこで，1可fI-が心内でどのように統介されるかということ，古いかえれば計と映像の心内での統合過れについて検討する際には， g-_{(山梨)とl映} 像のそれぞれの時間的な川辺，および音(苦楽)のII�):nn fflJ)古と映像の115HiltitjEとの十[1_f1�の関係に注UすることがJ|:'ji?に有効で、あるものと思われる.

また，苛(音楽)と映像に刈ーしてどのように注意を向けるかという情報の受け下の1!!1Jの安肉も考服する必25がある. それは，lft党と侃党とが互いに独立↑''1の高いモダリティーであり，それぞれ比較的独立した情報伝達のチャンネルを情成すると考えられるからで

ある. 音( 白音二楽)と|削映り決とげ(像象カがf刊IlîJ刊H

怖向jけるカか、ということは ;悦)見山川�l[腿r�出)恋5幻j党工工引'1'1附1'1庁5J報F限RがとJのように心内で統合されるかということに大きな影響を及ぼしているものと忠われる.

ここまでに述べてきたような祝聴覚情報の統令に関わっていると考-えられる祐史内を校式的に衣した凶をf611.1に示す. ネ机;見l党'1'1υ川|f山1j:報とm�幻!り1、ζ引tι幻，↑伯|

幸報Rとj即胞f他忠党，れ情|じ山i百5円平報Rとが同)川切しているカか、(刊11昨与引刊|ド山:日iリjけfI昨t幻j活丘の刈対-r.応いω)，十jiftally卒11とlr�il Jtl古宇11が空fHJ的にIrï]

の方向から到来しているか(空間的な対応)，机党情報と恥党情報が伝達する内作が丘

|味ÎIJに刈1忘しているか(伝述内科の対応)，といった祝覚情報と町�1ji'l'I'J�IÆのfLljの情造的・怠味的関係(図l.l(a))によって，机党|古'�Ilと聴党情報とがうまく心|付で統合されるかどうか (図1.1(c))がi)とまってくると考えられる(例えば， Calvert， Bl乱l11111('r， &. I \'Cl'SCll， 1098).

また，政々が悦党情Fliとm�lj、tally報に対してどのようにitなを配分するかという�[刈 (以1 1.1(lJ))によっても，十机J見LJ、l引tι幻'1'，

あろう(例えば， \、羽，へVc川clえlclじc11 & \Var、T、'C1口1， 1980)ト. 一般f的|内qに言つて，十fLJ't'l'，'j 'Wと!問、党情報の1mの構造的・，Q�I味的な|対係(1ヌ11.1(cì))というll�i tllの特性に関する�:[klと，十n党情報と肱�it情報にどのようにjiC;をIrlJ^tJるか(閃l.l(b))という情報の受け千の↑!!IJの1Q [)�とは， ^1(_し=に悶えliしあっているものと以われる. そして，机Jf��{1:t情報がより強く心内で統合されていれば，りliI-|庁出とll!EItillj字11とのtl\jにはより白川、調布lが感じられる(1文1l.1(<1))であろう.

本論文のI-jÎI0は人!日jが侃党情報とlf�� jt'l市山とから情成されるマルチモー夕、ルな情報をどのようにして処JIIIし l可{5-を統合しているのかというn �J忠について認知心Jfl�学的に

(13)

第l市] (: 11�1命

視覚情報聴覚情報

附造的意昧悶係E 巴主主2tする

- 時間構造の対応

・空間的な対応

- 伝達内容の対応〈コ ^{- 視覚と聴覚への} ^{注意の配分}

百円V

(c)視聴覚情報の統合

Ixl 1.1 1JLlr��l �l情報の統合過程についての模式凶

(14)

、島川リJInn -JaHH j ・3E，a・p ιEa

-

け丘ハ -一J 11ム 3f - ら

考寂することである. j4.体的には，凶1.1にぶされている祐史1)，:1のうち， tJU問、JiJN .mO)

11.1 H\]防法の閃係(1ヌ11.1(a)) と似党とlf512に丸jするy}:JJのIÎ1Jけ)f (l't(l 1.1 (b)) の2つの�I)�I

が統合に来たす役割について検討を加えていく. いくつかの実験の出;17に入る前に，まず第1 �lでは，映像作品における古楽と映像の相互作用や音裂と映像の剥和に閃する研究，光のフラッシュや短し1f?などのより単純な刺激をJ-fJし1た机党とl他党とのIHjの村111_作川についての基礎的な問先，悦党と聴覚の問のクロスモーダルな注意に関する研究，などについてこれまでに行なわれてきた研究を概観する. そして，本論文のj主体的な!日122 設定について述べる.

1.2

映画やテレビコマーシャルにみる音楽と映像の相互作用

映pl日やテレビコマーシャルでは必ずといってよいほど映像に付して効県否や古楽がf.j

け加えられている. そして， j映像にイ、j- )JIIされた効果古-や汗楽はl映像作J^I^l^lの全体的な印象や内科のJrll併に対して大きな;;与響を及ぼしているものと忠われる.

では，映画音楽の機能としてはどのようなものが考えられるのであろうか. Co-

11811 (199₈)は映回 ?? 来の機能を， (1)映写機などからU11る不安なノイズを隠す， (2)映像

のカットを結び付ける， (3) 映像の特定の部分に飢符のYE立をI�Jけさせる， (-1)制作の感情を変化させる， (5)特定の伯祐I'j')な怠!床を伝える， (G)特定の人物やn�米事の記憶と結び付く， (7)感情を党四日させる，という7つに分類している. これらは，物Jlll的な青智としてのす楽の機能(1)，{JU5やまとまりをJ、11つものとしての音楽の機能(2， 3)，孜々に!さ '!'ïIJを引き}�こすものとしてのff楽の機能(4， 7)，情緒的・象徴的怠けよを伝達するものとしてのif来の機能(5， G)，と�1�Jlnすることもできるであろう.

官二涼;と|映像をキ11み介わせたj易合には，庁交-の印象が映像の印象に影響を及ぼし，また逆に， j映像の印象が丘楽の印象に影響を及ぼす，というようにす来の印象と|映像の印象のflUにキ11 iL作J1Jが生じることが実験的に示されている (1\larshall ð.: COllCll， 108S‘TllけγC>l・

� _Lcvcn80n， 1983; _{ßolt.z_} Schlllkind & Kantra， 1991;岩'点1') 1992a. 10₀2b). また， j映像作品のストーリーのう己主，'í'I生が[liJIl.jに呈示される背景背楽の終11こ感によって影響を叉-けるということ(Tholllpson， n llSSOうふ: Sinclair 1 199-1)，音楽によって映像作J^Illの場^rf^li設定^や、

ストーリ一反聞などの予測が変わってくるということ(B_ullcrjahn&. GilldcllrÎllg. 1 _D0-1)

なども/J�されている. ここで本論文では，印象UfÍ緒的印象)という日必を， '，":; (1 �Jリ(j)に

(15)

第l市 !子論

従い “感情111日，感情. Nj緒的tS:Y1:，イメージ，気分などを包jl�(1なにj-日しぷす川話"として1IJし1ることにする.

Thayc^r^6..:，LCVCnSOll (1983)は，ストレスを感じさせるような工場の事故の映像とIrîJ 11手

にif楽を2示し，映像をJよることによって生じる心血性J'H的な反応が，音来によってどのように変化するかを検討した. 彼らは反応の指標として j如何のコンダクタンスレベルの変化(皮J肯定気反射反応: G^SR反応)を} 11 ^vìた. この結果，映像のみで音楽が十J-)川されないjijdull条件と比較して，リラックスした印象を与える汗楽は映像から受ける緊民感を有意に低下させ，緊張感を与える音楽は映像から受ける緊仮感をイT意に増加lさせた.

この結果は，映像に付)mされる行楽が映像から受ける緊仮!さを緩和させたり，辺に増加l させたりする力を持っているということを示している.

また， ivléLrshall & COhCll (1988)は， Hcidcl・& SÌllllllCl (19�14)の実験で、使われた短いアニメーションを川い，このアニメーションに対して2極類の音楽を組み合わせていJII主に主示した. 2租実nの71L!15はゆったりした印象と力強い印象をそれぞれ与えるように作rUlされたものである. 実験では，被験者は映像と音楽の印象をSD 法(SCll18nt^{ic D}i^{f f}^c^r^{e n}t icd

Icthocl )によって評定した. 映像と音楽を組み合わせた場合の映像とif楽の印象が，それぞれを単独で、呈示した場介と比較してどのように変化するかが調べられた. 彼たら

は， 1映像と背楽の同n.f呈ぷの効果について， SD 1去で得られる典型的な3つの次JC，評価 (cvclll1ation) ，出動性(activity)，ブJ動性(potcncy)に関して検討し，以下のことをゆjらかにした. すなわち，音楽は活動性とブJ動性の次元では映像の印象に対して直後(I�Jな影継を与える. つまり，活動的な印象を与える音楽を十J力11すると映像の活動性も14く判断され，迫力のある音楽をiJ)Jrlすると映像のプJ動性も高くなるというように， (活古動性とノ刈)!fjJ動E到助}J J 性の次冗では音楽が|映り決tげ(像2象:の'11

を同11川1.昨.与?に:主l止1示することによつて，互いの情緒的印象が強制されるかたちで心J[1l的にみて同)JIÎIJへと変化することは“共鳴現象"(YJR1992a)と昨ばれる. ただし古川Uiの次j亡で、

は，映像の印象の変化は刈.rJl/Jミされた音楽の印象とIVJ際な関係をJ、千たず， I映像とjf来のキflみ介わせに依存しているという結果がf5られた. さらに分析を進めた結果，似kらは，

|映像と行裂の同n.fÏぷにより映像とて??来-に付する選択(I'J注意が変化しこれが相互作川を'1:-じさせる一つの1f裂な袋内になっていると考えるに苧aった.

'd}�. (l992n. ^{1 9}9^2b)は， ^アニ^メー^ショ^{ンでは}ない^リア^ルな|映像 rlJillをJ1 Jし】てif決とl決

(16)

第l市j (;論

(象のイ訂正イ午月!について検討している. これは， I\[arshall i: Cohell (1088)とIriJtnのSD i去による印象許制実験によって，背楽が映像の1=1 J象に及ぼす影響と|映像が自i55の印象に付して及ぼす影響を検討した尖!倹である. 実験の結果明るさや迫力といった次ノ乙で、やは

り映像と-行来との11\]にJl.�n現象が観察された.

また， 'Ir肝(1997)も，山下干(1992a， 1992b)とIn]係，市販の!りとpTfl作品をfl]しミてSDi去による印象評価実験を行なった. 印象詐定他に対して因子分析を行なった結果，映像と台二楽の情緒的I:IJ�とに共通した附下として， '1犬-不快強-弱という2つの|刈rが��山された.

快-不快悶子は， I\üushall & COhCll (1988)で仮定された詐1ifflの次元にほぼ対応し， �11 iJ�J 囚下は活動性とブJ動竹の2つの次兄を併せたような性質を持っていた. この2つのr)�子に関して映像と??楽の附術的印象の十I J互作川を検討した結果快不快!大，-rに関しては|映像の印象と音楽の印象がlμ、にjU智を及ぼしあっていたが， �rtl-�J�J r品了-に関しては，音楽が映像の印象を大きくJI:� iし， Jii!.に背215の印象は映像からあまり影響を受けていないという . )jfílJの影響関係が作イ1:することカq�lらかにされた. 映像素材と13-楽素材をj14なったものに変えて，また印象評価にJllし、る詐定尺j支対を変えて複数の実験を行なった場介

も，大作としては前述の似I ílJが作認、された. I\I孔川仙r口凶川、T百叫s山オA巾山hé日a川州tl心l日1 & Co叶h凶lCll (1988)や?背7刈虫針F (1907)の実験結呆は， I映決{像象と?汗a

楽と切映とげ(像象のネ相日五五aイ刊作q乍ミ}川l日]のL生l七Lじブ万jが児なるということを示している. これらの研究結県を非常に単純化してまとめると， rYlるさ，好ましさといった対象に対ーする評価，言い答えれば静IYJな1WJ而に関する印象に関しては，映像と音楽の印象が互いに影響を及ぼし合って両者の組み合わせノJに依作した相互作用が生じる. その一方，ブj必さ，迫力，泊先さといった対象の動的なiI!IJ ï市に閃する印象に関しては，音楽の印象が映像の印象を大きく規定すると言ってよいのではないかと忠われる.

さらに，記憶のif!IJ而に附する映像と汗楽のネf1lL作川について検討した研究がある. Doltz

ct al. (1991)は，映同iのクライマyクスシーンに対してムードに a放した古-楽をつけた

場合，一致しない音楽をつけた場合音楽をつけない場-合で映像の記憶がどのように変化するかを調べた. この結果， I映像の内容を記述させる|厚生記憶テストでは， iff;が i映像のムードに一致しているJ-b)合で一致していない場合や?守楽をつけない場合よりも再生成総が良かった. 彼火らはこの結果を映像のムードに一致したす来が映像への選択的た怠を引きj包こして映像の記憶の符号化が促j草されたためであると解釈している.

(17)

�\ ₁?;î r訂命

本節で概観したlljuzd/|:JIlll におけるff楽と映像の村1 (工作川に閲する研究からは，映像と

71iiGをInJn.fに呈示したJ劾イトには，映像の印象がif来によって変化し，逆(こi.f裂の印象が

映像によって変化するというように映像と音楽の!日jに実際に村l'日午川が飢祭されるということ，また，この十IPT_作川は汗楽から映像への影響の方が逆の影響よりも大きいということ，さらに，村Il日午川の'I:_じ)jは映像と音楽のキIIみ合わせノJに依存する場介があるということ，そして十!日工作用には注意のメカニズムが大きく関与していると考えられていること，などがI�jらかにされている.

1.2.1

音と映像の調和

I決凶やテレビ者二組では映像に刈ーしてこ仔��や効栄台が力[lえられることが多い. このようにす楽と映像を組み合わせた対象の詐11111は ff〉来と映像の組合わせ)J 特にTlfij者がì:ltJH1J に調和していると半1]1析されるか汗かによって大きく変わってくる(日宮， 1092b;

Ì\Icllδhall

&

COhCl1，

1988; Oyan18， '{anlacla， & Iwasawa， 19₉8; 菅野

-

阿部， 199G) . お下ç (1902b) は， HlIJ作者により互いに訓手11するように組み合わされた音米-と映像の印象と，調不11を崩した音楽と映像の印象をSD {去によって被験在にßf定させた. その結以調和したff楽と|映像は訓和を出した汗来と|映像と比較して音交aと映像と組み合わせることにより古・

米:と映像の評価が上J11する効果が大きいことを見いだした. この結呆から岩r�:�� (1902b) は，音楽と映像の調和lを検知する机ibt党統合過程が音楽と映像のや[11工作川を1flIらかのかたちでコントロールしているのではないかと指摘した. このj点を十検食言討、'fするため， 1色i;型肝f

.

ド阿可古削部|目S(_{l 9}9_G

)

は， T音ま楽と|削映り吹�1像象が司訓I�刊不布和Ilしていることにより3司;1刊|

i号計詐、1千|ド刊門附2刊斗市イh仙|リ111肋カが{，士iルし、カか、ら調和していると午判|リJI断析されるのカか、を，付与j丘方程式モデル(t1rrl， 1992)をJtJ いて検討した. この結果，刑不11していることにより評価が高まるという影響関係が作紅することがIYJらかにされた. このことは音楽と映像の制不11がまずいJI析され，その後に

l子来月と映像に刈ーする去Hllliが|でされるという心内過程が有イ正することを示している.

では， '1'千五!;と映像の訓利!必はどのように'j:1j断されるのであろうか. 絞数の研究者が， iT

楽と|映像の調不11を怠1I木n0なi!!IJ I(riでの訓不flとIl.jl{\Jn0 (惜j出1') )な1!l1JI師での訓干rlに分けることを提案している

(ßoliれ九v引引t礼川IIム，

Coω)バ11児C1刊1し】&F、、、C山csδ止、199-1; LμlpSCOlll凶1山b & Kc∞l口凶lclιlしt札川II心l日1. 1印99似-1; _Lじ11

l叩99∞G;

i\Ia川11凶d山h川t礼川111

_&.Co叶)汁11叩C1日1， 1988め) . 意味n0な調和とは，例えば“IYJるい・・印象のl映像に -.n)J

るい印象の;'i-�を組み介わせたときに生じる怠|床の類似性に基づく市村!!であり， lI.f Il\j

(18)

第l章作論。

的(構造的)調不1Iとは，映像の動きと古楽のリズムの11�:rI�j的なIlîJnJJやrd!j {1-のt�}j{t (l�な関係によって/kじる制不11であるとされる.

ßolivar ct al. (199--1)は，子ffQjと!決(象の志・:1味的調和とH志向的(構造的)司'�fl1を独立に操作

し，背楽と映像の'l'r'j*行ÎI\J印象がTl�し、にマッチしているか(意味的な -j女)，またrlil] �干のタイミングが合っているか(1I.j:I日JÎI�Jな一致)を被験者に評定させた. この結果，備法的調和l は意味Íls司I�和から影響を叉-けるがその逆は成り立たないことが示された. 彼らはこれを，音:r床「ドJ調和|のllJl析が十I'tj.)主Iì'J調不11のll:1j1析よりも先行して生じるためであると角f仰(している. ただし，調和の'I=IJI析は'j:1J断力!日待やj主主;の向け方といった安II�に影響されることが .jf(i i!!lJできるので彼らのキlli来はさらに検討される必要があると言えるであろう.

1.3 マルチモータルなコミュ二ケーション

ネJ-�党とjftiZというモダリティーはそれぞれ呉なった情報を(云達するコミュニケーションのチャンネルとみなすことができる. 例えば人との会話や音楽演奏を思い浮かべてみれば分かるように，政々は発市内容や出奈された7?といった聴覚からの情報だけでなく，表情や手ぶり身ぶり， ?�j-i!Æ者の[i)jきといった机党からの十17Fliも砧極的に利川して，会話相手のな図や感情状態を.jf(� 1!llJし，あるいは7f来演奏の鑑賞を行なっている. その怠I味で，我々のコミュニケーションの形態は本米マルチモーダルなものである (河川し1990).

1.3.1

インタ-フェース:WWWの例

例えば，情報検宗にJlJし1られる\V\V\Vブラウザを考えてみよう. \V\V\\'ブラウザは，

文字，画像， illJJ I出，背などの保々なデータを統合的に抜うことができるものであり，文字r!1心だったコミュニケーションを町像，重VJ回，?371f，背を利川した総合的なものに変 7iVしつつある. このようなマルチモーダルなコミュニケーションは，多くの情報を伝達できるという.'.'.(でイ史利なものである. しかしながら，呉質なモダリティーのe情報を制lみ介わせるということは，それだけ情報の受け千に対して↑!?報処出の負仰をlj-えることにもなりかねない. そこで，マルチモーダルな情報をいかにして組み合わせるかということが主裂になってくる. マルチモーダルといっても，コミュニケーションに関係するモダリティーは主として悦党と聴覚であり，これに体性感党が}Jl1わるくらいであろう. 'Ir'í

(19)

�} 1市11'�論j ^1EA ^{) (}

報の受け手に�Rf;川な認知I(I�) 0仰をかけずに伝えたい情報のみにn三位をIrl J けさせるためには，十J�J-.t"古械とi!!53ζ|15Fliがうまく統合されて認知l されるように情報を日心する必裂があろう. 統合された，言い換えるとII�いに制手11のとれた悦聴覚情報を呈示することが効果的なコミュニケーションを実現する仁で主主!な�I刈である. このことは，\\'\\'\\'ブラウザのようなコンビュータインターフェースを設計する上で今後ますます考慮しなければならない裂凶となってくるであろう.

1.3.2

表現の伝達における視覚情報と聴覚情報の寄与

情緒的なコミュニケーションに関して，祝j1:-1'I持11と聴覚情報の��: I}ーを実験的に検討した川先がし、くつかある.

佐久II�J .大巾(199，1)は，打楽��Ùlr奏におけるが{奏者の意図の伝達がifE党情報のみ，十}!

党情報のみ，そして机lflij‘tall1j報によって伝達された場合にどのように異なるかを検討した. この結果，悦覚的報と聴党'1'11報を一緒に呈示することでより泌奏者の立凶した|行絡表現が伝わりやすくなることが示された. さらに，祝党とjfE11とがそれぞれ逆の情緒表現を伝達する場合には仰党'l'tj仰が優先的に利月jされるという結決が1�1:られた. ただし，

伝達される情緒表現によっては机党情報が優先されるものとm�1J、't'l'llj fliが優先されるものがあった.

下迫・大中(1994)は， JW;表的なピアノ演奏から誇張されたピアノ演奏までの表現の大きさの児なる演奏をfllい，これらの問で?tir奈右の身体の動きと演奏背とを株々に組み合わせて表現の大きさと良さに対する侃党情報と聴覚情報の影響を検討した. この結果，

表現の大きさに関しては{�-��'iJXの学生でも美術専攻の学生でも行�Jl情報の影響のノjが聴覚情報の影響よりもはるかに大きいという結果を得た. さらに，表現の良さに関しては悦党情報とl限定;情報が一致している場合に良いと判断された. 彼女らの後の研究(ド迫・菊地・大111�， 1999)では，侃党i有印をtllゆlするように教示した場令でも特に苛来経験の少ない被験者はtfLJ't 'I'?J y;11に彩併を受けることが示された. これは，悦党とmBJ'tによって"(j幸11が伝達される場合には両方の'h!j械がlr民主図的ないしは前注志的にJlJし3られて判断が行なわれるI可能性を示唆している. しかしながら彼女らの研究では背来れ験の多い被験者の場合は悦jt'!?i:十11をmはlすることができる場合も報行されており，視覚からの

↑N fl�と聴覚からの'l'llj fRの屯みづけはかなり采l駄に変化させることができるとィ与えた)jが

(20)

第1 �そ1[:論 11

よいであろう.

需詩的なコミュニケーションの場介はどうであろうか. íf{�!)' (100öλ1908h) は，1之I�'I

が伝える!剖Jiとff戸が伝える!長'1，')とが矛応する場合に，どちらの'I'，Lífliが優先的に利川されるかを検討した. この永山県，1と|占と音yhーが伝える感情が矛j丙している場合，全体的に衣'1'1Jの情�Iiが利川されるわ1げりがjJミされた. これは，表情が伝える!恐怖の)jが同定しやすいことを示していると言-えよう. しカか、しながら，怒り，�.似胤j派伝r:忠ι，悲しみといつたコミユニケ一シヨンの|際ηには去'1情|出古にI�隠(沼3される可能↑性生のI芦口?可jωし1ネガガ、テイフブ守な!感占ぷ'1附|

文化の人H防川lりjのj場易合は古二j戸}討子が(伝去えるi情肯報がより5強虫く手利リf川日される(傾頃向も示された. この傾向は，祝党'1'，科I�とlfE党'1古宇I�のどちらが虫色'な'1行慨を伝達しているかに|到する経験的に従f�f した知識が悦党情報とJf��Jt'lfí -'(:11の利j日方111併を柔l欧に変化させていることを意味している.

打楽総Wr奈における'問先行表現の伝達について検討した研究(佐久II\j・大Fl�， 100-1; -I'-;Ù .

大lJ131994;ドJJ}ら， 1999)も，党三月における'Iù術表現の伝j主について般討した研究(主野1 19088.， 1908b) も，十侃兄党とl片胤f惚B幻1党工がA止午応.した!感さ芯剖'1附|

に利川されることを不している. これらの研究の結果は，!ボ1'，11衣JJ�の伝達に|均しては悦党によってJj-えられる↑"1 '?-11がかなりの影響力をJ、?つことを示唆している. これは，伝達される内符の性質のためかも矢11れない (出!k表現は訓練された人!日jであればffそのものからも十分汲み取れるものであろうが，1立倒的にいって，身J反りやJぷ己ξ討，↑附|

幸報|民iによつてカか、なりの部分が{伝云j述主されることが考えられる. つまり，?Fr炎表現とし寸内谷に関しては視党表現の)Jがlf511衣現よりも多くの情報を伝達しており分かりやすいということである. また，会話相手の感情状態にしても，経験的に友情や身振りといった悦覚経山で伝達される↑占報がかなり多いと思われる.

ill�l (1008a， 1998h)のfi)f究結果は，視党情報とlfE党情報の相対的な笥:与が，伝達され

る内容によって変わってくることを示した. また下j自ら(1000)の研究は，)}:立を11'lJけなかったチャンネルからの↑"J t=liも利)11されており，必本(Iíには悦党とlf512のfl!lj )jのチャンネルからの情，tllが州立|χI (I�に利JTjされている可能性を示唆している. 政々が伎数のモダリティーからの民I'I�に見なる'hilliliをどのように利川してコミュニケーションを行なっているかについては更なる'夫験的な検討が必�であろう.

(21)

第1単 J j':論

1.4

人間にとっての視覚と聴覚の役割

悦jtとlfEjZのイ;r1'i_1Î:) I Jを1111j起にするときに念到においておくべき一つの主�な安ぷは，

人!日]にとって悦党とJf��tJtがどのような役訓をJ、子っているのかということである. この!日j 坦を与-えるにあたってはまず， r 1 '，:;;' 11.爪で人I!\Jが侃党とl惚党をどのようにJ1]し、ているのかを考えてみる必要がある.

まず，ねljtと聴党のどちらか_-)Jが使えなくなったらどうなるかをィ与えてみよう. これには机党|笥在者と聴覚lff;i;:者についてだ!像してみれば良い. ??がIU-]こえるのに物体が見えないという状態と，物体がJ�えるのに背がIlrJこえないという状態はどちらが不似であろう. nJJらかにlìíj 1Tの)jが11'日. �L i!îを営む上で、より不便な状況である.

また， Ilは手や人工の保共を似わなくとも完全につぶることができ'情報を注|析することが可能であるが，耳は手や人工の出具のブJをイ!?りずには塞ぐことはできない. したがって，音が聞こえるが見えないという;1犬況は，見えるけど??が聞こえないという状況よりも口北'(10にあり得る.

十見党もlft覚もともに[Ll分から泣い位置にある事象ないしは対象の'l'1'J報を受けとることができるが， J他党はノ注方位からくる事象についての'情報を受け取ることができるのに付して，十J�党が受け取ることのできる情報は日分の前方にある対象の'1古字削こ|以定されている. そのため，視覚よりもlfE党のブjが臼分に答を与える物体，事象の情報を即座に犯打差し易い. ある対象ゃ:jL象がr'J分に筈となるものかそれとも従となるものかというfilli他i、ドイrtlíは情説jの役告IJである. 1.2節で述べた，映像作I日lの情緒的な印象に音が大きな影響を及ぼすという知l見は，対象の1ITIí f也Rf仰をH日出に行なえるというこのようなlfit党の特性を反映したものかも知れない.

視覚は空間処理に仮れている一方，聴覚はn寺山処fjlに優れていると言われている. このように悦党とm�党とで刊=立とする処理が314なる四llllとして， !芯党受作詩千fのj主いを挙げることがある. つまり，光の受容器であるkfËJJJ�%は二次元の付与迭をとっており感覚持の段階で空IJlJ (厳告に宍えば平而)を知党できる. それに付し，音の受谷c�であるJIJ氏JJ史の動作は一次元的であり -ffの到来日手刻や)�fJ波数といったn，):間的な分析が感覚6�の段階でなされる. ミ子四i (1980)は，行11213官と聴党総行がなぜこのように児なっているかについて，光j伐と青j皮の波長の追い，刺激がイヂ任する場所とその�llj ��が伝達するifiFliがイf-イl:

するJJ)j (ví'との閃係の迎いなどのml，liからゆJMi�で詳細な考察を)JIlえている. これによれ

(22)

第l章 J (_:��ù };1

ば，祝Jtの情報源は11.)":lInに派閥係に存在する対象としての性質を持ち， . )J聴覚のII与tli j加はH与々刻々と移り変わる7ji象という性質をJ5っている.

l.2節では，活動性やブJi効性といった対象の動的な側面についての印象に閃して映像の情緒的印象に対して汗(f1j-楽)の大きな影響が見られるということについて述べた• ifi rrりJ 'I'lや力動性という印象は)，!�本(11，)には刺激の時系列的な展開から�tみ!'I'Iされる印象である.

これらの動的な↑11IJ lliîでのlr��i Jt優位性は l他党が机党よりも11寺I1n処理に優れていることを反映しているのかも矢1Iれない.

1.5 様々な視聴覚聞の相互作用

前節までは， Iりとïl日iやテレビコマーシャルなとJの映像作日1 にみる舟と|映像のHl-f工作川について初先制し，コミュニケーションの形態は本米的にマルチモーダルなものであることを指摘した. そして感JL('�'I";および情報のチャンネルとしての祝党とlfUZのそれぞれの特徴について述べた. この節では，音とI映像の相互作fl1の基礎としての侃党とlf512との

問の穐々の相互� fl:川について概制する.

1.5.1

通様相的な対応

光のI珂るさや背の大きさといった属性は感覚問で共通した強さという次元でぶ刻されていると考えることができる. _StcvellS

(19G 1 )は，電気刺激， jE i 度，重さ，光，音な

どを基準刺激としてそれらの治さと出力計をJ屋る力とをマッチングさせる実験を行ない，

PhJ者の間にはべき関数で泣似できる関係が成り立っていることを見いだした. これは例えば， ffの強さが大きくなればなるほどそれとマッチングする出)jの強さもまた大きくなるということである. これは，様々な感覚経験の問で共通する性質(例えば強さ)がイu

1IすることをJ2�1床しており， illH創刊'1生と呼ばれる.

また， _f\Iarks(1987)は悦党とJr��l Jtとの!日jの通機十I1 íl�な対応関係を反応[I!If HJをJmJRとして検討した. 彼は子?のJJj;さや大きさと光の旬jるさとの!問の通様相的な関係を惣定し， 71ーのおさと光のIYJるさ汗の大きさと光の!YJるさをまずマッチングさせた. そして光と古とを正いにマッチングさせた条1lとマッチングさせない条件で同II.)に呈示し，イ?と光に対する選択反応課題を行なって反応H叩nを測定した. この結果 ?!?に付する選択以応11午

(23)

第1111F前 1 1

[lfjは同I! ，j:にJ71心された光がffのlfJjさにマッチングしている場合に，そうでない場介よりもより速くなった. つまり，lfJjいすに対する反応はrrî] 11与に呈示された光がlりjるい場合に n(fいよりも速くなり，また，低い背に対する反応はH白い光が向H5にE11jFされた場合の}i が1�1るい光の場合よりも辿くなった. 光に対する反応、H刊行についても同級の現象がをJl��

された.

このような�:rIIT_作川はどの処llliレベルで生じているのであろうか. 感覚，知党レベルであろうかそれとも言語を以介とした意味的な処浬レベルであろうか. 一凡すると，このような相克作川は純粋に失1I党レベルで生じているように忠われる. しかしÌ\Iarks(1987) は，iiifRと音の高さにも同校の相互作用が飢祭されるのへ'allωl' &ζSnlÌth， 198--1)ことから，

感覚，知党レベルでの過れだけでなく意味的な過程も関与している可能性が白定できないとしている.

1.5.2

共感覚

共感覚(Synesthcsia)とは，例えば音によって色の感覚そのものが生じる(色lr�� )というように，1つの刺激によって兵なる感党が2つ生じることを言う(丸!ll，19G9). 1.2.1項で述べた “共r!日現象"と矧似しているが，共I!日の場合は実F祭にi14胞の感党経験がIl�_じるわけではない点で共感覚とは医別される. その窓味で、共鳴現象には:j:iJl析や記憶などのげ;j 次の過程が関わっており，対して共感覚は感覚レベルでのより直接的なキrllL作!日であると忠われる. ただし，共r!日も共感覚もl惚党から机覚への影響がその逆よりも大きい(九

山， 19G9)という点では類似していると言える.

Peacock (1985)は，共感jlをイ本!検していたと-tfl:?!!IJされる詩人や行来家について言及している. 例えば，文字と色との付!ιを体験していたと考えられる詩人のArt hur n imba ud， {f 楽の調と色彩との対応を体験していたと考えられる作rlll家のRilllsky-l{orSèd.;:ovやScrial)ill などのぷ術家がしEる. ただし，Rimsky-Iく01'SèlkovとSc:riahill 1刊さじていた訴!と色との汁

応には -致する部分もあるものの，互い;兵11ヰi2:なる百剤部|日i分も多く，例えば，s針rαr山'1七下iじ1c山了:l

の調カか、ら!感岳じられる色を亦としている一ブ万jでで、，Rill1sky- I\orsakovはその調からはL1が!さじられるとしている. また，nÜllba uclが文字に対応づけた色については， i皮が幼少H5に JlJいていた下内いの本に，アルファベットが色付けされて放っていたことによるものであることが後に判明している. このように，色彩と文字や立との共感覚的な汁/，必には伽|

(24)

第1辛口ラ論 ^.，EE& ^「J

人の過去経験も大きく関与していることが分かる.

また， �之近では色lfEに|対して允述心理学的なアプローチを試みた川究も現れている.

三笠・小谷( 199G)は，総々な�J-:リ玄米� C，fによって奏でられた|司ーのメロデイーを/jJPiL，

小学生，高校生および大小'l-:.にlfBかせ，それらの楽待のす色の印象を8011によってJ�f

fËさせた. さらにそれらの楽慌の音色からイメージされる色彩を子めJll怠した色彩衣から被験者に選ばせ，管弦来tFの背色と色彩との!日]の共感覚的対応、と管弦楽器の行色を点

。lする言葉の磁�J{について調べた. 彼女らの実験は，I音をlftくと色が実際に凡える」という純粋な色胞ではなく，むしろ「音を仰いてイIIJらかの色彩をイメージできるJといった音と色彩イメージとの通株相的な対応を調べたものである. 笑!検の結果，小学生の場ムは各楽探の音色からイメージされる色彩にはかなりの個人差があり，被験名-11\1でほぼ一致して認められた色彩は(1色，茶色，派青などモノトーンに近い色彩であった. また，

iQi持の背色に|刻する表現誌としてはIl?J熱lí�-冷静J， I熱い-冷たしづのような圧力やエネルギーを表す単純な形符詞に限られていた. I-IJ学生の場合は，楽待の音色をぷ現する形容詞がiiiに圧力やエネルギーを表すものだけでなく，情緒的なものまで合まれてくるようになる. また，楽��の汗色に対ーする色彩イメージにもW�人足が減少し， J� J凶にイメージされる色彩がモノトーンから多彩になってくる. そして， fJi校生と大学生になるとこのrll学生の傾向がさらに進み楽誌の背色を表明する形符討の訪感にかなりj�J凶の認識をもつようになり，さらにまた音色からイメージされる色彩のflòi人差もかなり減少し，共通の色彩イメージをJJつようになるということが示された. 圧力やエネルギーなどの量的な次元では色彩と音色との間にある程度普通的な対応関係が存右:するといってよいであろう. この強い対応関係は色彩と音色との問の何らかの共通の知党的な特徴

に本づいているのかも矢I1れない.

彼女らの実験では，過去紙13食や矢II�訟の混入を避けるために被験者にはも三に対)，いした奔出名を会11らせなかったにも関わらず，特に高校生や大学生ではTf来符!換のft富さから手

��字Iを同JËできる被験者もかなり多かった. 従って，発j主に十|川、音色からイメージされる色彩にfll，1人だが少なくなってくるという彼次らの結果が， ii1に楽出に関する経験と知識がI自大したためではなく， fLに認、矢IIn� な発達による変化であるかは議論の余地がある.

(25)

第1 �-î ^J(_:，��iì

1.5.3

視覚と聴覚の聞の促進および抑制効果

l(j

2つのj14なる!岳党モダリティーの刺ì��がl司11与に呈示された場介に -)iに付する以応

が他ブJのイヂイ1:によってイj心lliされる刻象は!長fînIJイjtj生という手ノJI日jで、失11られている.!:芸jtll\J 促j庄の現象は，主として付�jtとlfUIのnりで訓べられている D処刑nりな実験パラダイムは，

以応すべき祝党刺激の呈示[I.j}，'�よ�) nír，同r!.j，ないしは後にMjI刺激を呈示し，侃党刺激のみを14ぷする条1lと比'1攻して侃党刺激に対する反応11.�:問がどのように変化するかを検討するものである. 聴党�ilJì放が{jjl党刺激と同Il.jかそれより前に2JRされた場介には，十!�

党刺激のみを呈示した場合と比べて視覚刺激に対する反応lI.jll日が短紡され，この短縮は聴覚刺激を悦党刺激よりも1000 1118程度前に呈示した場合でも観祭される(r!I�IH'， 1リ07).

さらに，lfE党�ilJ ì放を制党刺激より後に呈示した場合でも視聴党�flJì放のオンセットのずれ(SOA : SLÏlnu1ns On8ct Asynclll'ony)が100 1118程度までであれば反応の促進が観祭される('1'出J-，

1997;

^lVlolTcl，

19G8).

しかし，聴覚�ilj ì散を祝党刺激より400 l11S後に呈示した場合には:trp;lì!JIII�な効果が{tJ124され，視覚刺激のみを呈示したj必介よりも反応II.JIjjJは明

大する(�1iller， FÌ'anz， & Ulrich， 1999).

これらの実験結果については，lfB党刺激がターゲットである悦党刺激にう'C;1 rして日/ドされた場合には，聴覚刺激が机j't刺激に対する反応、の準備状態をltiめるために反応11.7:I[\J の短縮が生じるのであると考えられている. また，祝党刺激と問党刺激がほぼ|日JII.'j:にlll 不される場合には視覚入力とiftjI入力のエネルギー力11主という安住|も反応II.j R�Jの短縮に関与していると考えられている(r11肝， 1997). 一方，聴覚刺激が似党刺激よりも後に呈示された場合に観察される反応の抑制は，聴覚刺激の検山によって似j't刺激の処出が|二

渉を受けるためにであると考えられている(�liller ct ^a1.，1990).

また，f?とIlfJIl.jにIE示された|映像は背f Zの怒さをIl立たなくさせる効果を持つという結果がすf�l;(1993)によって山氏されている. このらk;験では，映像と青楽をそれぞれè�í. �リ!

で，もしくは互いにキ11み合わせて呈示し映像および官二来に対する印象をSO?去によって被験者に評価させた. ).f楽の条(午としてはフィルタによる，;，;:J或HJIJI浪により汗貨を劣化させた条十|二とそうでない条1'1:をJf]志した. 音楽のみを単独で呈示した場合の背来の印象と音楽に映像を1J JJflした場合の行楽の印象とを比較した結果，音質を劣化させた伝来では映像を付加することによってその印象がより虫かで引き締まったものへと持ち，N すという付米がî!}られた. これは，映像の作イi�があたかもIT11の劣化をけ\/たなくさせ

(26)

第1 �it J[:前l

るように仰山、ていることを怠|床しているものと忠われる. しかしながら，この結果はあくまで，印象庁1�1il1Îの千j去を)1]し、て背24に関する主観的印象のレベルで倒祭されたものである. そのためす質の劣化に付する弁別のI��仰などに反映されるであろうすに対する感覚の鋭敏さそれれ体が映像の{、f加により実際に変化するかということまでは明らかではない.

この他に感党・知党レベルでの別象と思われるものとしては，音を十J JJIlすることにより視覚刺激による仮現連動の矢IIJ't闘が低下する(Staal ^&DOllderi， 1983)，イJ JJIlした音の持続時間によって仮現運動の支11党述度が変化する(J\Ianabe ^& HiquÌlllarollx， 2000)といった現象を挙げることができる.

1.6 視覚と聴覚の間の情報の不整合がもたらす影響

十J�j't '1' fJ �IlとlfEiI情報とが続々なiI!lJ而で不佐合をきたしている場介には，不快感が恵，ñ哉されたり，あるいは侃党'I"'J'(:I;.と!他党情報との11\]に徐々な相互作川が'kじる. この節では，

付�jt'lí'J宇11と聴覚'h'j:報が不必合を示す場合に生じる段々な心月Elì�な影響および机lfutilljに

�tじる相Jr_作Jllについて，空l1'rj (1')な不登合，115pijflqな不笠令，伝達|付谷のイミ笠イ?という 3つの制点から過去の研究を11先制する.

1.6.1

空間的な不整合

守とl映像を空11日的にj14なった位置に呈示した場合は，音の到来);lnJが映像の到米方I^flJ に引きイ.Jけられるという現象が観察される. この現象は，JJ良市術で使われる人形が実際に話しているように感じられる鈷党から腹話術効果(ve川1・iloqUiSlll

efFcct) (小?引11)

_199G;

北島. 111下、1999)と呼ばれたり，あるいは机党的:t!lì殺(visual Cé1 pture) (丸山・佐々木、

199G)と呼ばれ，悦党情報とlfBit-情報の日jに空間的なイミ22合が生じた場合には十JLfi:優位の情報統介がなされることを不している.

rll林・辻本・二階立(1979a)は，映像と背{象の到来するブ;ItlJを系統的にずらした場合に，とごのFijitのず、れまで音像の歪IJ米)jf白jが映像の主IJ米方向に引かれて矢IU!されるかを牧討した. この結果I 0 I支から10 I交のずれまでは映像によるt日象の引きつけが加者に比られ，

20 1Stをl也えると庁(象はゆと像のJIJ米)J IÍïJにほとんど引きつけられないという結果を作た.

(27)

第l市 !日命 ^‘BEE-- ^‘、^，^、²

JackとThurlow _(Thurlow& Jnck， 1973; Jack & ThllrlO\V， 1973)は，人形や人のSfiの映像と音戸ないしはi?を JJ良市中l�i�)JM�が生じる組問|付でZE川(I�Jにずらして日ぶした. 被験者は，子千が映像の到来方向からl応えるという融合!きが感じられているfHJは反応ボ‘タンを押し続けるように教示され了?と映像の融合が生じた時間が測定された. 級数の実験の結果からは，人形のr J日Lを取り除いたり口の動きをなくしたりした場合に，また顔の映像に対して純古二を前lみ介わせるというように机党情報と聴覚的傾をちぐはぐにしたりした場合に，子fが映像の予Ij米)JI句から来ると感じられる時!日jが減少することが不された.

これは侃党I占報とifgjtallijfliがIÌîjーの対象から発せられているという一体感ないしは付1.乙関係によってJJF1_�丹市I:J効果の大きさが影響を受けることを示している. さらに彼らは，人形に動きがあることそして動きと7fがf1.j=PU (I�に同期していることが版話術効洪を生じさせる非常に大きな史民|であることを示している(Jack& Thurlow， 1973).

Choc， Welch， Gil[onl， & Jllo1礼(1975)は，視覚情報と聴覚情報が11寺[HJ óなにr�ÎJWJしている場合に背像が映像に大きく引き付けられるという効果が純粋に知覚的なメカニズムを通して現れているのかそれとも単に判断基準が変化したものによるのかを検討した.

彼らは聴覚刺激と制党刺激とを1l.'iltD的にずらして呈示し阿将が同じ)Jr�Jから米ているのかそれとも別の方向から米ているかを被験者に判断させた. この結果祝脱党刺激が同期している場合には刊Ij -(\-が�11\Jlí/Jにずれているかいないかに関わらず何者が同)JlrlJから米ているという判断が増加した. そして信号検山理論を月]し、た分析ーからは，制限党刺激の時間的な同期，ずれによらず，空間的なずれに対する知覚的な感受性(d')は変化しない一方で， 'j:1J 断基準(ß)は変化することが示された. このことから彼らは，腹話術効果は刺激を知覚する段階で生じているのではなくむしろ反応の段階で生じていると結論づけた. しかしながら， Drrtelと:ìOll &. n _R_c_l_e_au (1976)は， Cltoe _et _al.(1975) の研究の立義を大きく認めながらも，信号検nll理論でfllいられるdlとがとが矢l仁党過程と抗論過程とに直岐刈応しているかどうかは(lr珂ではなくまた判断基准の変化だけからは融合感の変化 (Thurlo\\' & J acに1973; Jack & Thurlo\\ヘ1973)や空間的なずれに対する)llñl必効果について説明できないことを列挙し彼らの結論の妥当性に疑問を投げ、かけている.

Radcall (1992)は，祝lfE党刺激が111間的に同期している場合に背像が映像に大きく引き

付けられるという効果が純粋に知J't的な現象であってデータ駆動明の処瑚をjillして現れるものであるとしている.

(28)

第l章 J"r;論 ^司EEA ^りJ

腹話術効果に凡られる行lift121111の融合感は視聴覚刺激の空間的なずれに対するリアル

タイムの反応である-)i，初!他党刺激の2EVilf10なずれに刈ーする)llfI}ιの幼県はずれに�.Jする長H引間の暴露の結果として，*..じることからnfl}右は別の現象であると惣定される(\Velch

& _vVarren，1980). TIadc(_ìu & ßcrLelsoIl (1977)は，jllR55は祝党刺激と聴覚刺激が物思(1'0

に対応しているか丙かによって影響を受けない-)J，融合!岳は視聴覚のIBjの物思(1りな付

応によって影響を受けることを示した. さらに彼らは，ずれが感じられていても)llfü与は生じることを示した. これらの永山県は，矢11党的な)11即応とJJ支話術効果に見られる融介感とが51なったメカニズムによってII�じていることを物語っている )lltiJ，�，が矢11党システム臼体のïì}調楚よって起るのに対し，腹話術効果に凡られる侃覚的なi!lr獲は制党と12、党が伝

達する'h'JネIlのどちらを重悦するかという情報統合の重みづけの変化によるものであると考えられる(Wclch & vVarren， 1980). JJ反話術効果に凡られる融合住と知覚的な)llfl}.c:'とは

全く1!l.�関係ではないものの，失1I j't的な)11買応をIÜi史的な原rElとして融介!惑が生じているわけではないと言えよう.

J]町市有効果には注意のI_tIJけ)jの�囚も大きな影響を及ぼしている. rll林・辻本・二1;皆

� (1979b)は，タj性と女性の話者|映像を川い，映像による音仰のi!lì獲の影響を児性被験者とた|生被!段者の間で比11攻した. この結果， �II�'I生の話者|映像の場合により大きなitlì獲効果が観察された. これは，映像に対する注意が音源のi!lì獲を助長したことを示している.

机Ir�Æ党n1dの空間(1'0なずれに対する心理的な反応はどのように発注してくるのであろうか. 生後1ヶ月から2ヶ)Jの乳児でさえも，発話者の顔と発話音声とが空間的にずれた位置から呈示されると非常な不快感を示すという報告がある(AronSOll _& ROScllbloOln，

1971 ). 机lfB党問の空[Hj(1'0なずれを検lUする機併は生得的にもしくは生後非常に速やかに獲得されるようである.

このように，腹話術効洪 (視覚的1111獲)の現象が情報処J��のどのレベルでイtじているのかについては，未だに多くの議論がイ子イ正する. 腹話術効果もしくは�fI\l(1りな↑HlJ r師で、の侃116党間半[iの融合は空Wd (I�Jなずれに対して知党システムが同訓笠されること(illff )，必)だけからはfï5� IVJできない非常に紋維な現象であり，そこには刺激の付与法的な特性，モダリティーの特性， ffJl祭t-の過去経験や刺激に対する併え，そして選択的�J:立などのさまざまな安閃が関係していると言える (\Vclch _�\\'mTcll. 1980).

九州大学学術情報リポジトリ