日本感性工学会論文誌

1.

は じ め に 映画やアニメーションのクリエーターは，伝えたいシーン を効果的に表現するために画像や動画等の映像情報に工夫を 凝らす．更にはシーンの印象を高めるための音響情報，すな わちバックグラウンドミュージックや効果音を映像と共に提 示することで，シーン表現をより豊かに，精緻にしようとす る．鑑賞者側では，映像と音響情報とが心的に連合し，様々 な印象が形成される． この種の印象形成においては，映像・効果音情報間の構造 的特徴並びに意味的特徴の一致性が重要となってくる［

1

，

3

，

4

，

6

］．構造的特徴の一致性では，映像・音響情報間の時空 間変化の一致度が問題となり［

7

，

10

，

18

，

19

］，意味的特徴 の一致性では，各情報によって形成される印象の一致度が問 題となってくる［

5

，

12

］．そのどちらもが，映像と音響の組 み合わせについての総合的な印象形成や記憶に貢献すること がわかっている［

9

，

10

］．本研究では，映像と音響との間の 構造的特徴ではなく，意味的特徴の一致に注目して議論を進 める． 本研究では，印象の一致しない情報が同時に与えられた事 態を「意味的不協和」と呼ぶ．先行研究では，視覚情報と聴 覚情報の意味的調和による視覚情報印象の変容［

8

］，およ び意味的調和が総合印象に及ぼす影響が検討されてきた ［

3-5

］．本研究では「意味的調和」の反義語として「意味的 不協和」という言葉を用いる． 映像と音楽によってもたらされる意味的不協和時の印象形 成について，

Cohen & Dunphy

［

15

］が検討している．彼女

らは，印象の一致しない映像と音楽を同時に提示し，総合的 な印象について鑑賞者に尋ねた所，互いの印象が常に相殺さ れる訳ではなく，片方の印象が優勢になる場合があることを 示した．映像及び音楽によって形成される印象の顕著性や曖 昧さの強さに違いがある場合に，

Cohen & Dunphy

が示した ような印象の非対称性がみられると考えられる［

13

］．

Cohen

（

2005

）［

6

］によると，鑑賞者は，同時に提示さ れた映像と音楽に基づいて能動的に物語（

narrative

）を創造 しようと試みるのだという．その物語は主に映像等の視覚情 報に基づいて創造されるが，音楽や効果音等の音響情報はそ の物語生成に影響することが指摘されている． しかしながら，実際に創造される物語においても，

Cohen

& Dunphy

が示したような非対称性が見られるかどうかは未 検討の問題である．本研究では，創造される物語と印象評定 値との結果を総合的に考察することにより，この問題を検討 する．

Cohen

ら［

6

，

15

］によると，視覚情報に基づいて創造さ れる物語が，聴覚情報の意味的側面によって影響されるとい う．つまり，任意の意味をもつ視聴覚情報が同時に提示され た場合，物語の状況的側面や感情的側面は，視覚情報だけで はなく，聴覚情報に基づいて形成されると考えられる．物語 想像及び印象形成に関わる，視聴覚情報の意味次元における 相互作用はどちらも短期記憶によって介されることが想定さ れており［

6

］，印象形成と物語創造の間には密接な関連が 期待される．また，実際に印象を測定し，それと物語創造と の対応関係を検討することにより，刺激の差違ではなく，印 象の差違に基づいて物語創造を検討可能になるため，一般性 の高い結果が得られると思われる．

意味的不協和における印象形成と物語の創造

河邉 隆寛

九州大学大学院 人間環境学研究院

Impression Formation and Narrative Creation During Semantic Discordance

Takahiro KAWABE

Faculty of Human-Envrironment Studies, Kyushu University, 6-19-1 Hakozaki, Higashi-ku, Fukuoka, 812-8581, Japan

Abstract : Semantic discordance refers to the situation where a single observer simultaneously has several discordant impressions

for an external event. This study examined the relationship between the semantic discordance and a narrative creation for the external event. First, participants were asked to rate the impression for the evaluative aspect of computer graphics of a posed man or the sound effects separately. Second, they were asked to rate the impression for the evaluative and discordant aspects of the combination of computer graphics and sound effects. Third, they created a possible narrative on the basis of the posed man and sound effects. Forth, they rated the difficulty in creating the narrative. Interestingly, the participants reported high difficulties for creating the narrative when they reported the high discordance score for the combination of a posed man and sound effects, indicating that semantic discordance intimately relates with narrative creation. Surprisingly, the participants could create the narrative even when the discordance score was high. The results indicate the cognitive abilities for the human being to assign a meaning to the combination of visual and auditory information.

Keywords : Semantic impression, Audiovisual integration

報  告

そこで本研究においては，意味的調和

/

意味的不協和を引 き起こす視聴覚情報を提示した際に生じる印象並びに想像さ れる物語の関係性について考察することを目的とする．具体 的には

3

つの目的をもって本研究を遂行した．

1

つ目の目的 は，先行研究［

15

］で報告されている，意味的不協和時に 形成される印象の確認であった．ポジティブなもしくはネガ ティブな印象をもたらす画像並びに効果音を組み合わせ，そ れに対して生じる評価次元の印象（よい，快い，好き），及 び不協和印象（まとまりのない，違和感のある，不自然な， あまりない）の変動を検討した．

2

つ目の目的は，画像と効 果音の組み合わせに対して観察者が物語を創造する場合にお いて，その困難さが不協和印象とどのような関係にあるかを 明らかにすることであった．物語を創造し難いことが，意味 的不協和印象に関係すると考えた．

3

つ目の目的として，観 察者が創造した物語と形成された印象との関連を質的に検討 することであった．不協和印象が強い場合に物語が創造可能 なのか，またその物語の状況的・情動的側面は視覚・聴覚情 報並びにその組み合わせによってもたらされる印象とどのよ うな関係にあるのかを検討することを目的とした．

2.

実 験 方 法

2.1

 被 験 者

12

名（男性

6

名，女性

6

名，平均年齢

26.6

±

4.7

（

SD

）歳） が実験に参加した．全ての被験者は視覚異常並びに聴覚異常が ないと報告した．全ての被験者は実験の目的を知らなかった．

2.2

 機 材 画像は

20

インチの液晶ディスプレイ（

Cinema display

；

Apple

，

USA

）に提示された．刺激は

3

次元形状モデリング

ソフトウェア（

Poser version 6

；

Curious Lab

，

Japan

）を用 いて作成された．効果音は液晶ディスプレイの両脇に設置さ れたステレオスピーカー（

S-EU5BS-LR

；

Pioneer

，

Japan

） によって提示された．画像と効果音の提示は，

Mac Pro

（

Apple

，

USA

）によって制御された．画像と効果音の時間的

同期については，フォトトランジスタ（

TPS603A

；

Toshiba

，

Japan

）及び騒音計（

LA-2560

；

Ono Sokki

，

Japan

）の出力 をオシロスコープ（

DS6062T

；

Owon

）で観察することによ り確認された．

2.3

 刺 激 視覚刺激は，男性モデルがポーズをとった情景を表現した コンピュータグラフィックス画像であった（図

1

）．このコ ンピュータグラフィックスは幾つかの心理物理学実験におい ても利用されており，男性は

2

種類のポーズのいずれかを とった．一つは右手を上げ跳躍しているようなポーズ（「跳 躍」と呼ぶ）であり，もう一つは床に座り，顔を膝にうずく まらせているポーズ（「うなだれ」と呼ぶ）であった．視覚 刺激は

4

秒間提示された．跳躍が評価次元においてポジティ ブな印象を，うなだれがネガティブな印象をもたらすことを 予測した．この予測については後述する個別印象評定フェー ズにおいて確認した．聴覚刺激は，

2

種類の効果音であった． 一つは大勢の人が拍手する音（「拍手」と呼ぶ）であり，も う一つはピアノの不協和音（「不協和音」と呼ぶ）であった． いずれの効果音も持続時間は

4

秒間であった．「拍手」が評 価次元においてポジティブな印象を，「不協和音」がネガティ ブな印象をもたらすことを予測した．この予測についても個 別印象評定フェーズにおいて確認した．

2.4

 手 続 き 実験は暗室で個別に行った．被験者は椅子に腰掛けた．実 験を始める前に，実験についての説明を行った．そして実験 を受ける事に同意し，署名した者を被験者として採用するこ とにした．結果的に，全員が実験に参加した．実験は

3

つの フェーズに分かれていたため，以下にそれぞれについて個別 に説明する．

a.

 個別印象評定フェーズ 画像並びに効果音のそれぞれに ついて印象評定を独立に行った．実験参加者は画像並びに効 果音の評定を別々のセッションにおいて遂行した．画像，効 果音を

2

種類ずつ用いたため，各セッションの試行数は

2

試 行であった．どちらのセッションを先に遂行するかの順序は 実験参加者間でランダム化された．コンピュータキーボード のスペースキーを押すと，一つの画像もしくは効果音が

4

秒 間提示された．参加者は画像もしくは効果音が消失した後で それらの印象を評定することが求められた．「不快な−快い」 「よい−悪い」「好き−嫌い」の

3

つの項目について

7

件法に より評定を行った．これらの形容詞対は，各画像もしくは効 果音に対する評価次元の印象を測定するために先行研究 ［

11

］を参考に選ばれた．評定は

A4

サイズの紙に印刷され た評定スケールにて行った

b.

 組み合わせ印象評定フェーズ 画像並びに効果音の組み 合わせについて印象評定を行った．

2

種類の画像と

2

種類の 効果音を用いたため，試行は全部で

4

回であった．評定のや り方は個別印象評定フェーズと同じであった．つまり，画像 と効果音の組み合わせを

4

秒間観察した後に評定を行った． 画像と効果音のオンセットは同期していた．その一方で，本 フェーズでは，参加者は

7

つの項目について評定を行った． 具体的な評価項目は，個別印象評定フェーズで用いられた評 価次元の印象評価項目

3

つ（「不快な−快い」「よい−悪い」 「好き−嫌い」）に加え，不協和印象に関係すると思われる評 価項目

4

つ（「まとまりのない−まとまりのある」「違和感の ��� ��� 図1 実験で用いた画像．（a）跳躍ポーズ，（b）うなだれポーズ．

ある−違和感のない」「あまりない−よくある」「不自然な− 自然な」）であった．

c.

 物語創造フェーズ 参加者は，組み合わせ印象評定 フェーズと同じ画像と効果音の組み合わせを一つずつ観察 し，物語を創造することが要求された．そこでは，

1.

どのよ うな場面で（状況），

2.

ポーズをとっている男性はどのよう な気持ちか（心情），という

2

点についてイメージし，物語 を創ることが求められた．刺激提示後，参加者は心に浮かん だ物語について自発的に回答するように求められた．報告ま での時間については制限を設けず，参加者のペースに合わせ た．心に浮かんだ物語が複数ある場合は，幾つでもよいので 報告するように教示した．また，全くイメージできない場合 には報告しないでよいことを教示した．創造した物語を報告 した後で，観察者はその物語創造の困難さについて評定を 行った．簡単であったと感じれば感じるほど

1

に近い整数を， 困難であったと感じれば感じるほど

7

に近い整数を答えた．

3.

結果および考察

3.1

 個別印象評定フェーズ 各画像並びに効果音についての評定値を参加者間で平均 し，それらを評定項目ごとにプロットしたのが図

2

である． 各項目の評定値について，画像（「跳躍」並びに「うなだれ」） 及び効果音（「拍手」並びに「不協和音」）について

t

検定を行っ た．画像については，すべての評定項目について，「跳躍」 と「うなだれ」との間に有意な差が見られた（「不快な−快い」：

t

（

11

）

= 16.30

，

p

< .0001

；「よい−悪い」：，（

t

11

）

= 43.51

，

p

< .000002

；「好き−嫌い」：（

t

11

）

= 5.433

，

p

< .001.

）．効 果音についても，全ての評定項目について，「拍手」と「不 協和音」との間に有意な差が見られた（「不快な−快い」：（

t

11

）

= 16.99

，

p

< .0001

；「よい−悪い」：，（

t

11

）

= 12.58

，

p

<

.0005

；「好き−嫌い」：（

t

11

）

= 3.401

，

p

< .03.

）． 本研究で採用した画像「跳躍」と効果音「拍手」は，それ ぞれ評価次元における評定値が高く，画像「うなだれ」と効 果音「不協和音」はそれぞれ評価次元における評定値が低かっ た．この結果は，方法セクションにおいて述べた予測と一致 するものであった．

3.2

 組み合わせ印象評定フェーズ

2

種類の画像と

2

種類の効果音との組み合わせに対する評 定値を参加者間で平均し，それを評定項目ごとプロットした のが図

3

である．各項目の評定値を用い，因子分析を行った 所，評価次元の項目（「不快な−快い」「よい−悪い」「好き −嫌い」）と不協和印象の項目（「まとまりのない−まとまり のある」「違和感のある−違和感のない」「あまりない−よく ある」「不自然な−自然な」）の

2

要因が抽出された．評価次 元要因の寄与率は

56.9 %

であり，不協和印象要因の寄与率 は

21.2%

，累積寄与率は

78.1%

であった．上記結果より， 本研究で設けている評価次元要因の項目と不協和印象要因の 項目の区別は適当であったと考えられる．それぞれの要因に 含まれる項目の評価値を用い，画像（「跳躍」並びに「うな だれ」の

2

水準）及び効果音（「拍手」並びに「不協和音」 の

2

水準）を要因とした

2

要因分散分析を行った． まず評価次元の項目における評定値の分析結果を報告し， 考察する（有意であったもののみ記述する）．「不快な−快い」 については，画像の主効果が有意であった（

F

1，11

=8.76

，

p

< .02

）．効果音の主効果も有意であった（

F

1，11

=18.41

，

p

<

.002

）． 更 に 交 互 作 用 も 有 意 で あ り（

F

1，11

=14.44

，

p

<

.003

），画像が「跳躍」の条件における単純主効果が有意であっ た（

p

< .05

）．また効果音が「拍手」の条件における単純主 効果も有意であった（

p

< .05

）．「よい−悪い」については， 効果音の主効果が有意であった（

F

1，11

=12.76

，

p

< .005

）． 更に交互作用も有意であった（

F

1，11

=14.73

，

p

< .003

）．画 像が「跳躍」の条件における単純主効果が有意であり（

p

<

.05

），また効果音が「拍手」の条件における単純主効果も有 意であった（

p

< .05

）．「好き−嫌い」については，効果音 1 2 3 4 5 6 7 不協和音  拍手 快い 不快な 評定値 1 2 3 4 5 6 7 不協和音  拍手 よい 悪い 評定値 1 2 3 4 5 6 7 不協和音  拍手 好き 嫌い 評定値 1 2 3 4 5 6 7 跳躍  うなだれ 快い 不快な 評定値 1 2 3 4 5 6 7 跳躍  うなだれ よい 悪い 評定値 1 2 3 4 5 6 7 跳躍  うなだれ 好き 嫌い 評定 値 (a) (b) 図2 個別印象評定フェーズの結果．（a）効果音に対する印象， （b）ポーズに対する印象．誤差棒は95%信頼区間を示す． � � � � � � � ���� ��� �� ���� � � � � � � � ���� ��� �� ���� � � � � � � � ���� ��� �� ���� �� ��� ��� �� �� ��� �� �� ��� (a) � � � � � � � ���� �� �� ���� � � � � � � � ���� �� �� ���� ���� ��� � � � � � � � ���� ��� �� ���� � � � � � � � ���� ��� �� ���� ��� ���� ��� ��� ��� ��� ��� ��� �� �� ��� ��� �� ���� ��� ��� (b) 図3 組み合わせ印象評定フェーズの結果．（a）評価次元印象， （b）不協和印象．誤差棒は95%信頼区間を示す．

の主効果が有意であった（

F

1，11

=12.76

，

p

< .005

）．更に交 互作用も有意であった（

F

1，11

=14.73

，

p

< .003

）．画像が「跳 躍」の条件における単純主効果が有意であり（

p

< .05

），ま た効果音が「拍手」の条件における単純主効果も有意であっ た（

p

< .05

）． これらの結果，一致しない印象をもつ情報を組み合わせて 提示した場合，その評価次元印象評定値は，評価次元印象評 定値の低いもの同士を組み合わせたものを提示したものと同 程度になることがわかった．具体的には，「うなだれ・拍手」 条件，及び「跳躍・不協和音」条件における評価次元印象評 定値は，「うなだれ・不協和音」条件と同程度の低さであった． これらの結果は，どちらか一方の情報の評価次元印象評定値 が低い場合には，組み合わせられた条件での得点も低くなる ことを示唆している．この考察は，分散分析における交互作 用の有意な単純主効果に基づく．また同様の結果が

Cohen &

Dunphy

［

15

］によっても示されていることを付記しておく． 次に，不協和印象に関係する項目における評定値の分析結 果を報告し，考察する（有意であったもののみ記述する）． 全ての項目について，画像と効果音の交互作用のみが有意で あ っ た（「 ま と ま り の な い − ま と ま り の あ る 」：

F

1，11

=

32.63

，

p

< .0001

；「違和感のある−違和感のない」：

F

1，11

=

59.78

，

p

< .0001

；「 あ ま り な い − よ く あ る 」

: F

1，11

=

33.14

，

p

< .0001

；「不自然な−自然な」

:F

1，11

= 39.60

，

p

<

.0001

）．また全ての項目について，画像の単純主効果は「う なだれ」「跳躍」の両方について有意であり（

p

< .05

），効 果音の単純主効果も「拍手」「不協和音」の両方について有 意であった（

p

< .05

）． これらの結果，個別印象評定フェーズにおける評価性次元 印象評定値が高いものと低いものとを組み合わせて提示した 場合，不協和印象得点が上昇することがわかった．具体的に は，「うなだれ・拍手」条件，及び「跳躍・不協和音」条件 において不協和印象評定値が上昇した．これらの結果は，参 加者は個別の画像及び効果音における評価次元の印象を比較 することで，不協和印象の判断材料にしていると考えられ る．これらの結果は，意味的調和が存在することを示した先 行研究と一致する［

1

，

5

］． それでは，個別の印象が異なる情報が一緒に提示された場 合に，何故不協和印象が上昇するのだろうか．本研究では， 画像と効果音との統合に基づいて物語を想像することが困難 である場合，それが不協和印象につながるのではないかと予 測した．この予測に従えば，物語創造の困難さと不協和印象 とは類似したパタンを示すことが想定される．

3.3

 物語創造フェーズ

2

種類の画像と

2

種類の効果音との組み合わせについて， 参加者が，画像と効果音が表現している物語を，

1.

状況と

2.

ポーズをとっている男性の心情について創造し，口頭報告し た内容を表

1

（跳躍ポーズ条件）及び表

2

（うなだれポーズ 条件）に示す．また，物語創造の困難さに対する評定値を参 加者間で平均し，それを画像と効果音の組み合わせごとにプ ロットしたのが図

4

である．困難さの評定値について，画像 （「跳躍」並びに「うなだれ」）及び効果音（「拍手」並びに「不 協和音」）を要因とした

2

要因分散分析を行った．その結果， 画 像 と 効 果 音 の 交 互 作 用 の み が 有 意 で あ っ た（

F

1，11

=

46.98

，

p

< .0001

）．画像の単純主効果は「うなだれ」「跳躍」 の両方について有意であり（

p

< .05

），効果音の単純主効果 も「拍手」「不協和音」の両方について有意であった（

p

<

.05

）．また，困難さ評定値と不協和印象に関係する項目に対 する評定値の平均値との関係を検討するため，両者のピアソ ンの積率相関係数を計算したところ

r

= 0.64

であり，統計的 に有意であった（

p

< .00005

）． これらの結果は，不協和印象の生起に物語創造の困難さが 強く関与していることを示唆する．第

1

節で述べた様に，

Cohen

（

2005

）［

6

］は，鑑賞者が提示された映像と音楽に 基づいて能動的に物語（

narrative

）を創造しようと試みるこ とを指摘している．また映像表現分野においても，カット間 の意味のつながりを積極的に理解しようとする人間の特性が 中島によって指摘されている［

16

］．これらの考えに従うと， 画像と効果音が同時に提示された場合，その組み合わせに基 づく物語創造が容易である場合には不協和印象が低く，一方 でそれが困難である場合には不協和印象が高くなることが予 想され，この予想は結果により支持された．しかしながらこ の解釈は相関分析にのみ基づいている．因果関係を相関分析 の結果から断定することはできないため，物語創造の困難さ と不協和印象との関係に関する解釈は，今後更に深めていく 必要があるだろう． 次に，表

1

に記した，各参加者が報告した物語について質 的に考察し，印象評定得点との関連を検討する．まず，不協 和印象得点の低かった「跳躍・拍手」条件において共通にみ られた物語の特徴を述べる．状況については，参加者はポー ズをとった男性がスポーツやダンス，舞台での演劇において 成功し，周囲の人々から賞賛を浴びている様子を報告してお り，また心情については，嬉しく，満足げで達成感に満ちあ ふれている様子報告した．一方で，同様に不協和印象得点の 低かった「うなだれ・不協和音」条件においては，状況につ いては全ての参加者が失敗して落ち込んでいる様子を報告し

1

2

3

4

5

6

7

不協和音

拍手

跳躍

うなだれ

難しい

簡単

評定値

図4 物語創造の困難さ評定結果．誤差棒は95%信頼区間を示す．

ており，心情についてはがっかりし，失意の底にいる様子を 報告した． 一方で，不協和印象得点の高かった「跳躍・不協和」条件 における物語の特徴を述べると，状況については崖や高い所 から落ちたり，スポーツで失敗したりといったネガティブな 様子を報告し，心情については，ショックであったり，衝撃 をうけたり，悲しんでいたり，落ち込んでいたりしている様 子を報告した．一方で，同様に不協和印象得点の高かった「う なだれ・拍手」条件における物語の特徴は，参加者間で多様 であった．状況については，殆どの参加者が舞台やコンサー トホールなど多くの人がいる様子を報告したが，ポーズを とっている男性については，舞台で悲嘆にくれている人を演 じている演技者だったり，失敗した人だったり，寝ている人 だったりを報告した． まず興味深いのは，物語を創造するのが困難であったと評 定された高不協和条件においても，参加者は物語を作成でき ていることである（跳躍・不協和条件における参加者

4

を除 く）．特に「跳躍・不協和音」条件においては，非常に類似 した物語（男性が何かに失敗している状況でネガティブな心 情）を参加者が創造したことは注目に値する．「うなだれ・ 拍手」条件においても，個人による物語の違いはあるものの， 全員の参加者が物語を創造した．これらの結果は，たとえ違 和感のある情報が同時に提示された場合においても，参加者 はそれに意味づけし，物語を創造する能力を有していること を示唆する． 一見脈絡の無い情報間に意味づけを行い，一つの物語を創 造する能力は，クレショフ効果の検討を通じて行われてきた ［

16

］．クレショフ効果とは，非関連な情景のカットを連続し て提示することで，それぞれを単一で提示した時には得られ ない第

3

の物語が創造される心理現象のことをさす．つま り，事前に提示されるカットの違いが後に提示されるカット の解釈を大きく変えることが示されている．本研究において も，同時に提示された効果音によって同一のポーズの解釈が 大きくことなった．これは，効果音がポーズに対する意味づ けを変化させたと解釈可能であり，クレショフ効果と同等の 現象が生じていることが示唆される．また，聴覚情報が視覚 情報に基づく物語創造に影響するとした，

Cohen

（

2005

）［

5

］ の考えとも一致する． 画像と効果音が一緒に提示された際の物語創造には質的に みてどのような法則があるのだろうか．拍手が効果音として 提示された場合，殆どの参加者は，跳躍ポーズをとった男性 が多くの観衆の前で何かしらのパフォーマンスをしている物 語を創造した．つまりポーズと効果音の両方が情景創造にお ける状況的側面に貢献したといえよう．その一方で，不協和 音と跳躍ポーズとが組み合わさって提示されると，報告され た物語の状況的側面は主にポーズ（視覚情報）に基づいたも のであったが，感情的側面は不協和音（聴覚情報）に基づい たものであった．逆に，うなだれポーズと拍手音が組み合わ さって提示された場合には，物語の状況的側面は拍手音（聴 覚情報）に基づいて創造され，感情的側面はうなだれポーズ （視覚情報）に基づいて創造された．以上のことから，創造 される物語においては，視覚情報・聴覚情報のいずれかが， 創造された物語の状況的・感情的側面に決まった形で貢献す るのではないことが示唆される． この問題には，効果音自体がもつ「状況」の喚起可能性が 関与していると考えられる．つまり，拍手は多くの観衆がい るという状況を強く喚起するが，不協和音はそのような状況 をあまり喚起せず，むしろ男性の内面の心境のネガティブな 側面を喚起していると言えよう．効果音に限って言えば，上 記の喚起可能性については，効果音が環境音的側面を有して いるかどうかに依存するのかもしれない．よって，今後の研 究においては，効果音もしくはポーズの「状況」並びに「心 情」的側面の喚起可能性をあらかじめ測定した上で，画像と 効果音から創造される物語の検討を行うべきであろう． 画像もしくは効果音のどちらか一方が低い評価次元印象評 定値をもつ場合には，画像と効果音が組み合わされた条件に おいてもネガティブな印象になることを示した．前述したよ うに，一つの情報がもつ印象が総合的な印象を引きつける傾 向は，先行研究［

15

］においても一致してみられた傾向で ある．一方で，本研究では，物語創造においても同様に，ど ちらか一方が低い評価次元印象評定値を有する場合にはネガ ティブな心情が報告されるケースが多いことを示した．これ らの結果は印象形成と物語創造との密接な関連を示唆するも のである．

4.

 お わ り に 本研究では，画像と効果音との評価次元での印象が不協和 である場合における物語創造について検討した．その結果を まとめると以下の

5

点について検討したと言える．

1

）先行 研究と同様に，評価次元における印象の一致しない情報が同 時に提示されると不協和印象が上昇することを確認した．

2

）評価次元における印象の一致しない情報が同時に提示さ れた場合，総合的な評価次元印象は，評価次元印象の低い情 報に影響されて低くなることを示した［

15

］．

3

）不協和印 象と物語創造の困難さは強く関連していることがわかった．

4

）不協和印象が高くとも，参加者は物語を創造できること がわかった．

5

）創造された物語と印象評定との間には密接 な関連があることがわかった． 本研究で用いた

CG

の男性モデルにおいては，できるだけ 明示的な情景を喚起させないニュートラルな服装や影のパタ ンのレンダリングを採用した．その一方で，このモデルの選 択が結果に特異的な影響を及ぼした可能性は否定できない． 将来的には，男性の服装や照明の当て方など様々な視覚要因 を操作することにより，視覚印象の変動と効果音の組み合わ せの効果を検討することも重要な課題となるであろう． 本研究では，静止画像と効果音との組み合わせによる印象 や物語の変化について検討した．しかしながら，創造された 物語と印象評定値との間の考察が主な目的であったため，用 いる刺激数を最小限にとどめた．しかしながら，そのために

様々な種類の画像や効果音情報を用いるケースに対する一般 化可能性を小さくした可能性もある．印象形成と情景イメー ジとの関連についてより多くの画像，効果音情報用いること で，更に考察を深めていく必要があるだろう． 本研究においては，意味的不協和時における物語創造に焦 点をあてて研究を進めた為，先行研究で行われてきたよう な，意味微分法［

11

］を用いた検討を行わなかった．意味 微分法においては評価性（

Evaluative

），力量性（

Potency

）， 活動性（

Activity

）の

3

因子から評価の根底にある内的メカ ニズムを予測する．本研究を更に進展させる方向性として， 創造された物語とこれら

3

因子との関連を考察するのも興味 深い方向性であると思われる．実際に，幾何学図形が追いか けっこをするよう運動する映像［

13

］をみた場合，その印 象は同時に提示された音楽の印象によって変容することが意 味微分法的観点より明らかとなっている［

14

］． 視覚物体認知の上で文脈情報は非常に重要である．物体は 常に文脈を伴って生じ，その文脈は物体認知を促進する［

2

，

17

］．本研究の結果は，男性のポーズについての視覚認知に， 効果音の印象という聴覚情報が文脈として影響することの一 端を質的及び量的側面から明らかにした．今後の検討として は，画像と映像を統合し一つの物語を創造する際に，どのよ うな認知的メカニズムが文脈形成に働いているのかを明らか にすることが必要であろう．また，物語創造においてどのよ うな「文法」が存在するのか，それを明らかにしていくこと も映像と効果音の統合問題を明らかにしていく上で必須の課 題である． 参 考 文 献

［1］ Bolivar, V. J., Cohen, A. J., & Fentres, J. C.: Semantic and formal congruency in music and motion pictures: effects on the interpretation of visual action. Psychomusicology, 13, pp.28-59, 1994.

［2］ Cox, D., Meyers, E., & Sinha, P: Contextually evoked ob-ject-specific responses in human visual cortex. Science, 304, pp.115-117, 2004. ［3］岩宮眞一郎：オーディオ・ヴィジュアル・メディアを通して の情報伝達における視覚と聴覚の相互作用に及ぼす音と映 像の調和の影響 日本音響学会誌，48（9），pp.649-657， 1992． ［4］岩宮眞一郎：映像作品における視聴覚コミュニケーション 電子情報通信学会技術研究報告．HIP，ヒューマン情報処 理，102，533（20021212），pp.39-46，2002． ［5］金基弘・岩崎敬吾・岩宮眞一郎テロッププレゼンテーショ ンにおけることばと効果音の印象の意味的調和の効果，日 本音響学会誌，63（3），pp.121-129，2007．

［6］ Cohen, A. J.: How music influences the interpretation of film and video: approaches from experimental psychology. R. A. Kendall & R. W. H. Savage (Eds.), Perspectives in

Systematic Musicology, pp.15-36. Ethnomusicology Publi-cations: California, 2005.

［7］菅野禎盛・岩宮眞一郎：映像と音楽の情緒的印象に対する 同期要因と速度対応要因の効果，日本音響学会誌，56（10）， pp.695-704，2000．

［8］ Bolivar, V. J., Cohen, A. J., & Fentress, J. C.: Semantic and formal congruency in music and motion pictures: ef-fects on the interpretation of visual action. Psychomusicol-ogy, 13, pp.28-59, 1994.

［9］ Cohen, A. J.: Film music: Perspectives from cognitive psy-chology. In J. Buhler, C. Flinn & D. Neumeyer (Eds.). Mu-sic and cinema (pp.360-377). Hanover: Wesleyan Univ. Press, 2000.

［10］ Kim, K-H., & Iwamiya, S.: Formal congruency between telop and sound effects. Music Perception, 25, pp.429-448, 2008.

［11］ Osgood, C. E., Suci, G. J., & Tannenbaum, P. H.: The mea-surement of meaning. Urbana: University of Illinois Press, 1957.

［12］ Cohen, A. J.: Associationism and musical soundtrack phe-nomena. Contemporary Music Review, 9, pp.163-178, 1993.

［13］ Heider, F. & Simmel, M.: An experimental study of appar-ent behavior. American Journal of Psychology, 57, pp.243-259, 1944.

［14］ Marshall, S., & Cohen, A. J.: Effects of musical soundtracks on attitudes toward animated geometric fig-ures. Music Perception, 6, pp.95-112, 1988.

［15］ Cohen, A. J. & Dunphy, D.: Musical and visual processing in film. Canadian Psychological Association, Canadian Psychology, 31, p.220, 1990.

［16］中島義明：映像の心理学 マルチメディアの基礎 サイエ ンス社，1996．

［17］ Biederman, I.: Perceiving real world scenes. Science, 177, pp.77-80, 1972.

［18］ Walker, R.: The effects of culture, environment, age and musical training on choices of visual metaphors for sound. Perception and Psychophysics, 42, pp.492-502, 1987. ［19］ Walker, R.: Musical Beliefs: Psychoacoustic, Mythical,

and Educational Perspectives. ISBN-13: 978-0807730089, 1990. 河邉 隆寛（正会員） 2005年九州大学大学院人間環境学府行動シ ステム専攻心理学コース修了，博士号（心理 学）取得．現在，九州大学大学院人間環境学 研究院特任准教授．視覚心理学，聴覚心理学 の立場から，映像作品の評価や，視覚芸術の 評価に関する研究を行っている．2009年電子情報学会ヒューマ ン情報処理研究会専門委員．

表1 跳躍ポーズと効果音が同時に与えられた場合に創造された物語 画像 効果音 参加者番号 イメージされた情景 跳躍 不協和音 1 自分のポーズがよいと思うんだけど，実はあまりよくないと評価されてショッ クを受けている． 2 高いところから落ちた感じ．何かにしがみつこうとしているところ．しまった， びっくりしている．予期しないで落ちた感じ． 3 舞台で，衝撃を受けてオーバーなリアクションをしている． 4 想像することができない 5 崖につかまっていたんだけど，高い所から落ちてしまった．しまった，ショッ ク，もうだめだ． 6 崖から落ちている．助けて∼という感じ． 7 高い所から落ちそうでしがみついている．やばい． 8 人の前で不幸自慢を話している．俺，こんなひどい目にあっていたんだよって． ある意味前向き．逆にいうと嫌なことから目をそらそうとしている． 9 何か，とれなくてがビーン，という感じ．もしくは，落ちている状況．ネガティ ブな感じ． 10 野球でボールをとり損なってショック．音はその人の気持ちやそれをとり損 なった人の気持ちを表現している．もしくは，バレーを踊っている人．悲しい 情景を演じている． 11 何か，ショックなことがあった状況．でもそれを隠そうとして変なポーズをとっ ている．表情としては笑っているが，本当は落ち込んでいて，それを隠そうと している． 12 （実際のシーンというよりは，頭の中で考えたものだが）上手くいきそうだっ たけど，うまく行かなかった過去のことを思い出している．心情としては後悔． 画像 効果音 参加者番号 イメージされた情景 跳躍 拍手 1 似合っている，ダンスしている．非常に難しいポーズやダンスをしている．違 和感はない．美しい．この人は気持ちがよい．この場合は拍手． 2 バスケットのシュートをした瞬間．入れ！と願っている．音は歓声や拍手に聞 こえる． 3 競争で１位で入ってきて喜んでいる 4 ステージの上にのって表彰を受けている，嬉しい 5 ダンスをしている．最後の決めポーズが決まっている．やったぞ，という気持ち． 6 舞台の最後のシーンが終わって，賞賛を浴びている．満足，やりきった！とい う感じ． 7 バスケットボールシュート，やった，という感じ． 8 踊っている，観衆の中．決めポーズ，跳んでいる様に見える．やってやった． うまいこといった，という気分．スポーツとかダンスに見える．でも明らかに 部屋着なのが気になる． 9 劇，コンサート．何かを演じ終わって，観客に手を振っている感じ．気持ちは 満足気な感じ，達成感． 10 ナイスキャッチできて嬉しい．もしくは，バレーの踊り手としては，フィナー レでポーズを決めて拍手をされている 11 あるミュージカルの最後の場面．最後の決めポーズ．気分が高揚している．達 成感．やり遂げた． 12 何かを演じきって，達成感に満ちあふれている．自分かっこいい，自己陶酔の 心情．

表2 うなだれポーズと効果音が同時に与えられた場合に創造された物語 画像 効果音 参加者番号 イメージされた情景 うなだれ 不協和音 1 あっている．人が悲しんでいる． 2 ショックなことがあって落ち込んでいる．部屋の片隅にいる感じ． 3 落ち込んでいる．状況についてはあまり思いつかない． 4 仕事に失敗して，上司から怒られて落ち込んでいる． 5 大きな失敗をしてふさぎ込んでいる状況．おれはダメな人間だ． 6 非常にショックなことがあって立てないくらいに落ち込んでいる． 7 悲しい．場面はがっかりしている． 8 へこんでいる，どん底の状態． 9 落ち込んでいる．シチュエーションは色々ある．悩んでいる． 10 失意のどん底で落ち込んでいる．とりあえず気分は悪い． 11 人生においてすごくショックなことがあって，すごく落ち込んでいる様子．絶 望を抱いている感じ． 12 家に帰って，その日にあった事に対してへこんでいる． 画像 効果音 参加者番号 イメージされた情景 うなだれ 拍手 1 悲しいときに人が拍手をしている． 2 コンサートにいってその人は寝てしまっていて，そのまま気づかずに寝てい る．気持ちは寝ているのでわからない．取り残されている． 3 舞台の俳優さん，舞台の終わりに悲嘆にくれている演技をしている，演技終わ りの拍手． 4 二人で対戦して，場面に映っていない相手が勝って，その人は落ち込んでいる． 5 悲劇的な舞台を演じきって，カーテンがしまる直前．よいお芝居だったので， 拍手を受けている，気持ちとしては２つあって，一つはお芝居のキャラクター としてはあまりよくない気持ち，役者としてはやり遂げた，という印象．印象 評定をしている時からこのことを思っていた． 6 2つあって，１つは舞台の最後のシーンで観客の人の拍手で終わる．気持ちは， 舞台が終わった！悪い気持ちではない．２つ目は，落ち込んでいる人の心の中 の風景．他人に責められている印象． 7 いじめられている．悲しい気持ち．あるいは舞台でラストシーン．役者なので 悲しい気持ち． 8 励まそうとしているように見える．何かで負けた人を奮い立たせているような 感じ．一方で，人は周囲の人がいじめているように見える． 9 これなんだろう？場所はコンサートホール，劇のイメージ．敢えて言うのであ れば，失敗して落ち込んでいるけど，周囲は評価してくれている． 10 何か良いことがあって，感激して泣いている．もしくは，いじめられていて， 悲しい． 11 劇のラストシーン．主人公が落ち込んでいる．人生の悲嘆にくれている劇のラ ストシーン．お客さんが賞賛の拍手を送っている． 12 試合に負けて，残念でしかたない．だけど「よく頑張った的拍手」なので余計 に辛い．