第2章 音楽と映像の調和の判断基準の 検討
2.2 実験1 : 調整法による映像の動きの速さと音楽のテン ポのマッチンク
2.2.1
方法
2.2.1.1 被験者
九州芸術工科大学学部学生， 大学院学生20人が実験に参加した. 年齢は21 --}-から2G 才(平均年齢は約23才)であり， 男性が1"1名，久!J:.勺，性|
字折;は正常な祝j刈J(t矯喬正十付悦j児!)かjを合む)と正常な!聴f出EUj力Jを;付j三つていた.
�} 2 tfi_ ì't楽と|映像の訓不11のllJ IHf必准の検討
(a)正方形通勤
‘，、.，
ι・-E 、，、‘， -e
(b)円運動
図2.1 ;k;J倹1および実験2で)!J}ました映像素材
r、
E1 V A 、 1
Piano IE11汀、E|司、、1.1111 -:1:・主A _ F ム
、
1 1 1 1 rl�
1l l 1 1 [) 1 1 1 1. 1
0 1nu 1 n. ロ， パ
い同
p - ...
lI I 1 I I I I _ I I I í ，. I
l I 1 I 1 I I ...1 I I _ ，. I 1 I I I I
l. I 1 I I ...1 . .... 1 . I I I I I I
l 1 ...1 I I ...1 .... I I I I I
骨
DrunlS
巨-l 1 1- " 1-'-1 ， I I I I I 1 I L__l_____L__j
図2.2 尖験1および2でnJし1た背来素材(Avalon)の冒頭部の楽譜
図は伴奏あり条f'l二での来諮を表している. 伴奏なし条1'1"-ではピアノの音色による旋律部だけが"ÈJJミさ れる.
第2F1 -行来と映像の訓111のliJ I'tJr基準の怜討 •• 、、，、，， -EE--
2.2.1.2 実験素材
1 1同のIR1本がディスプレイ仁を注[!JJするコンピュータ・グラフィックスを映像素材とし た(図2.1). 球体の動きにアクセントがあるかそれともないかということによって， 球体 の速さの設定が異なってくることが十分に考えられるので， Lji体の!l!)Jきのアクセントを 操作した J;j(休の[í)Jきに|珂雌なアクセントがある条{午として， 球イ体 本が一定のj速宝さで正j必j 7形伝をf打払lJlf:いiJf
として， 球体が一;定iじ;のj述主さでITJをtNí占れ:いし、てj述歪動する|切映り決tげ(像象(円j述j主li動条l'刊件'1午|十..) を川意した. ここで は， 球体の動く方向のnJfffJ 1ねな変化を映像の!lJ)Jきのアクセントとみなす. 正)i J杉j主主)Jの 場合は球体が1回転するlI\jに4つのアクセントが存花することになる. 正プJ-H�の動きを 川窓したJjl rt-Iは， 後述する??楽の拍子が4/41.11子であり， 1ノト節rllに4つの打IÎj目的なアク セントがあるということに対応させたためである.
球体の速さは， 球体が1 l?;-Jして元の位置に戻るまでを1回'1'7.として， 7.5 (同転/分)---157.5 (向転/分) までの川で変化させることが山来るようにした. 球体の速さは， キー ボードからの操作によりリアルタイ ムに変化させることができる. f;Jtイ十三の依iH:のj主さと 最高の述さは， 7f楽とI映像が制手11すると，忠われる述さの範凶を十分にカバーするように 設定した.
実験に川いる音楽として， ジャズのスタンダードナンバ- AVòloll(Vinccllt Rose作1[11) を月]いた(図2.2). この斤楽素材は， 旋作中に僅端に短いまたは長い音符がないため， テ ンポを変えても焼伴が不11然、にならない. このため， 本実験の素材としてふさわしいと 考えた. 音楽のリズムに明雌な1"(1節的なアクセントがあるかないかということによって 球体の速さの設定が異なったものになることが十分に予想されるので， t�� [j目的なアクセ ントの明確さを操作した. ?T115のリズムに!珂仰なtll節(I'Jアクセントがある条件として，
Avnlollの続伸に4ビートのベースラインとスネアドラムとパスドラムのうど互の繰り返し からなる4ビートのドラムスパターンを付加したもの(十ド奏あり条1t) を川広した. さら に， 汗交-のリズムに明確なHI日行的アクセントがない条(千として， Avalollの肱作のみのも の(十ド奏なし条1l)をmg;した. さらに， 背楽のテンポとして， 25， 37.5， 50， 02.G， 75 (小節/分) 1の5条f'l二を川，CCした. こうして， 10極類の音楽素材をコンピュータl二で、作 成した. 各音楽ぷ材の持続時間は10秒から30秒であった. コンピュータj-_で作成した
l自・;�のテンポを衣JJIする際に一般的に使われるbl】m(lH'at j>t'r ll1inute)の単位で去すと， それそれ100.
150， 200， 250， 300 hplllとなる.
�'} 2章 斤楽と|りと(象の訓有!のI:1j断lr�Utの伶三、j 35
2つの映像素材と10 i問の音来素材の全てをキ11み令わせ ， 20 Í[1ï!の悦lfE12点中止を作成した.
2.2.1.3 実験装置
映像素材と二ff楽の呈示のiljlj御と印象評定は， シリコングラフィックス社(SilicOllGraphics Inc. )のワークステーション(Illdy R4400)で行なった. 映像素材は17インチディスプレイ (SO町GDrvI-17E11)岡而上に呈示し， 音楽はIncly R4400に接続した1\ rrDI音源(Roland SC-88) からのオーデイオ伝号をアンプ(Alpine/LuXlllan LV-117)によって増幅し， 被験 者のrìíI万に置かれた2台のスピーカ(PanasonicSß-1\rIX30)によって呈示した. 被験者と ディスプレイ画面の距向性は約50crnであった.
2.2.1.4 手続き
被験者の課題は 同時に流される音楽と調和するように回而に世示される球体の動き の述さを調位法によって制笠することであった. 球体の速さの訴Hをの仕方として ， 最高 値から次第に速さを孫して調整する場合(下降FI'j調整)と， 最低仙から次第に速さを上げ、
て調fをする場合(上昇的訓fl�)の2つのやり方で調牲を行なわせた. ただし， 最終的には 速さを上げ下げして微調fとすることを被験者に許した.
各被験者は， 20 il日の視聴党素材のそれぞれについて上界的制整および下降的制整の2 通りの前提方法で球体の速さを調整した. 半数の被験者(10人)は， 先に上昇的調整のや り方で20f同の素材の球体の速さを調詮し 数分間]の休憩を挟んだ後， 下降的制整のやり
方で同じ20 f回の素材の球体の速さを調発した. 残りの被験者(10人)は， 逆に， 先に 降rl�調整のやり方で球体の速さを調整し 次に上昇(I�R周監のやり方で球体の速さを制挫 した. また， 20 f回の侃聴党素材の呈示)llft序については， ローテーション法(森， 1000)に より被験者間でカウンターバランスした. 課題終了後， 被験者に対して課題が難しかっ たか， 調布!の基準を考えていたか ， 等について簡単な質問を行った.
2.2.2
結果
試行1fj�に符られた球体の述さの設定値の分布を， 正);形辺動. i'l�突あり， îI )j)f� j主動・
伴奏なし， 円j主動. il奏あり， IIj;31動. il奏なし， の各尖験条件ごとに図2.3にぷす. x
'Iq!，はif裂のテンポ(小節/分)， y州は音!i!;のテンポと球体の速さ(1可'1広/分)の比(付欽仙
針�2章 苦楽とl映像の市I�J ，fflの判断基i111の検討 .FU 、，、.J
以下， 速度比と111おす)， z '11111は皮数を表している. これらの図からみてとれるのは， 1) ll�
)J形 見li 動条件 (閃 2.3(a)， (b))で球体の述さと背楽のテンポの比が0.25， 0.5， 1.0， 2.0，
等となる点(図rllj波 紋上)に述さの設定他が集中している一方で， rq J主 !11)J条件(凶2.3((・)，
(cl) )ではそのょっな傾向があまり兄られないこと， 2)伴奏あり条十1-.(閃2.3((1)， (c))では
伴奏なし条{午 (肉2.3(b)， (d)) と比較して， より速く球体の速さが設定されていること，
3)円JI1i}J条件では， 正ブJ)伝辺到J条flと比較してデータのばらつきがやや大きいこと， の 3点である. 以下 これら3 点に焦点を絞って分析を行なった.
2.2.2.1 音楽のリズムと映像の動きの同期
正ブjJI�ill動・伴奏あり条件から円運動・伴奏なし条件までの4つの各条1'1こにおいて， 球 体の述さの設定111'1が行楽のテンポに対して0.25， 0.5， l.0， 2.0， 与の比になる点に集1� J
する傾向がどの紅皮�rttv \か すなわち図2.3でいうとデータがとJのれJit破線上に集rjlし ているかを定量的に検討するために 1-'1己中日間関数を川いた分析を行なった.
図2.3に示したデータの度数分布を周期的な変動とそれ以外の成分からなる変動デー タとみなし， 正方形J]!ü)J . 1'1: �妥あり条件から円j主動. 1'1:奏なし条1'1こまでの」つの各条件 について， 各テンポ条{午わJ�にj主)交i七の常用対数変換値上で、自己tllt渇|羽数を算I'Hした. そ して， 正方形運動 ・伴奏あり条件から円運動・伴奏なし条1'1こまでの4つの各条件nnの比 較を行なうため テンポ条件川でILl己相関関数の平均をとった. これらを図2.4に示す.
刈2.4を見ると， 程度の差はあるが どの条件でもT = 0.3十J近に関数のピークが現れて いる• T = 0.3( = logL02) は， 図2.3でのfifJ( kJ;tの間隔に相当する. ア= 0.3での白己中I�関係 数は， 被験者が球体の1ぬきのアクセントと音楽の拍節的なアクセントとを同期させよう とする傾向の強さを示していると考えられる. つまり 程度の差こ そあれどの条1'1二でも 被験者は， Ljt体の1ぬきのアクセントと音楽のtl�l�目的なアクセントが同月jしている場合に 汗楽と映像とのrmに調和を感じたということが言える. 音楽のリズムと映像の到JきをI rïJ j�Jさせようとする意識が存住することは 実験後に被験者が行なった内観報台からもう かがえた. 内観銀行の内界を， 1)映像の動きのアクセントと音楽のHI節H�jEとの[rîJWJを 怠識したか， 2)映像のill)Jきの速さと71二来のテンポとの対応を意識したか， 3)映像の重VJ )Jによって課題の困灘さもしくは'l=IJ IfJf �!� i牲が変化したか， 4)音来のテンポによって課 題の同支lfさもしくは調和の基準が変化したか， 5)音楽の伴奏のイバg�によって課題の11�[難
ðf'; 2 7i-'1 (f-楽とI映像の制不11の下Ij 断基準の検討
Frequency 10
。
ハUr、J勾/aa，J n叶
5 '阿川 ヲ-s-6勾hu o匂 o e
5人間一5向
日 子 川 O 引町
ζJFU 2釘υu M
( a)正プi Jf�運動 ・伴奏あり条1'1ニ
Frequency 10
。
nu r、J7川，5h 2MO 〆口h仲、U ~eJU 牟J4川匂一\Uλん川
、
P〉3nu
7' Fh
〕~
0 句
，、，d-U川吋
2
M 川町
(c)円運動 ・伴奏あり条件
3ì
Frequency 10
。 25.0 MuC':_ 37.5
USiCal I，白内 50.0...____
匂川'POf�_ ó2 卜rneaSUr::向冷)川j:- 75Jì
(b)正方形運動 ・伴奏なし条件
Frequency 10
。
ん111<，.iCril.，. al I"，� 37.5 50.0'____ JVV � 夫..._. ピ斤lpOf... _ 62.5
l叶lf;fasUr，白 75.0 S何lηj
(cI)円辺動 ・伴奏なし条件
図2.3 符;k.!段条件での球体の速さの設定他の度数分布
1.2
-71U
1.1 0.9 0.8 0.5 0.6 0.7
Lag (r)
0.3 0.2 0.1 0.4
0.2 0.8
0.6 coニ国一ω』』Ouovコ《』o-cω-u-むωoυ
i守来とI映像の調不11の判断基準の検討
1.2 1.1 0.9 0.8 0.6 0.7 0.5 0.4 0.3 0.2 0.1
第21主
0.6
0.4
0.2 C 0
-悶
� 0.8
‘-。 ι3 0 -コ 4
F 0
-E ω u
::: 由o
u
(b)正方形j主動. l'ド奏なし条件
Lag (い)
(a)正)j形運動・fド奏あり条件
1.2
ン九い小川�
1.1。 0.1
。 0.8
0.6
0.2 0.4 coニ同一ω』』ouovコ《』OVE@-u-E@oυ
1.2 1.1 o.g 0.5 0.6 0.7 0.8
Lag (r)
0.4 0.3 0.2 0.1 0.8
0.4
0.2 0.6 E05国一@』』ouovコ《』OFEω-u-E。。υ
( cl)円運動 ・伴奏なし条件
(c)円運動 .1'ド奏あり条件
�1 2.4 各実験条f'J:ごとに算il 1，した球体の速さの設定他の皮数分布の[=-1己相関関委文をテ ンポ条件n日で平均をとったもの
第2草 音楽とl映像の訓fllの判断基準の険討 .. 、、，tJ(
表2.1 似!投-t.の|付おlfliiEの内科の分�Sïと集計の結来
分知した報行内谷 報告苫数
1. m)JきのアクセントとfffiGのf(1との同月]を意i哉した 1-1
2. HJ)J きの述さと音楽のテンポとの対応を意識した 7 3. 映像の動き方によって諜起の困難さもしくは判断基準が変化した 10
1)円運動がmiltで正方形運動は難しい 3
2)円運動では基準が|度|床になる 3
3)円運動では球の周期と音楽の的を対応させた 7 4. 音楽のテンポによって課題の困難さもしくは調和の基準が変化した 4 5音楽の{、ド奏のイ引慌によって諜起の囚史IF:さもしくは調挫の基準が変化した 5
Ü:)この分知は1G人の被験者の内在日報告にもとづいて行なった. 4人の被験者の内観報告が除外され た理巾は， 実験者のミスから聴取できなかったため(1名) ， 非常に筒時で判断基準についての記述を全く
合んでいなかったため(3才1) ， である.
さもしくは調径の基準が変化したか という5つの観点から分類して集計した結果を衣 2.1に示す. 表2.1からは ほとんどの被験者が音楽-の拍節情浩と映像の動きの同期を窓 誠したことが分かる. しかしながら表2.1からは 同月]を意識したことに加えて台二楽の テンポと映像の速さの対応を志:識した被験者も多数存イI�することが分かる.
さらに， アニ0.3での仁!己相関係数を尖!倹条件[1\jで比較してみると， 正}JJf�;主動. 1'1:�妥 あり条件(a)， 正方形運動. 1'1':奏なし条1'1二(b)でその他が最も大きく ， その次に他が大き いのは円運動・伴奏あり条1'1:(C)， そして円運動. 1'1:奏なし条件(cl )では他が肢も低いこ とが分かる. このことは 映像の動きに明確なアクセントがある正方形述動条竹二で ， 似 験省が音楽の拍節的アクセントと|映像の動きのアクセントを同期させ ようと強く志議す るということを示している. 正)J形運動で、は球体が1回転する問に4つの動きのアクセ ント(方向転換)があり， 4/4. flll下の音楽のtíl�íJ的アクセントと対応させやすかったこと も ， 正方形日li到Jで、73二涼のJ(IÎifirドJアクセントとl映像の拐Jきのアクセントを同月jさせる傾向 が強まった一囚として考えられる であろう.
この結巣により前述の 1)の傾向(正方形運動条件 では[2_<(]1ド破線上に述さの設定他が 集'11する ， 3Gページ参11のが昨認された. またこの結果は， 前述した3)の傾向(円逆到J 条件では述さの設定他のばらつきが大きい， 36ページ参照)とも関係すると考えられる.
この点については後で詐述する.
第2-r;'t 行来と映像の�)，�]tllの'j:IJ断基準の検討 l ・11、... ，
2.2.2.2 伴奏あり条件と伴奏なし条件での球体の速さの設定値の遣い
J;J<:体のj主さの設定イl立と在来のテンポの比(迷皮比)の分布を/Jミした!司2.3からは， fl�ー あり条1lで1'1:奏なし条fl:よりもより大きな述!支比で球体のJiliさが設定さ れる傾向jが凡ら れた. この傾向を定量的に検討するために， 各実験条件での球体の述さの設定他のI!I火 11立をよヒl政した.
各条件?万二の速度比の'11火似を図2.5に示す. 図2.5を見ると， どのテンポ条件でもfl 奏あり条件が伴奏なし条1lよりも速度比の寸1.:k:11!1が大きい傾向が兄られる一方， j1)j )f�
逆illJJ条件と円運動条件との差は小さい. この結果により， 前述した2) の傾向(伴奏あり 条イ午の方が速さの設定イl立が高い， 3Gページ参照)が雌認された. そしてこの結果は， i‘I�
4三の有J!\r:という35囚は77楽と映像が調和する述)支比の大きさに影響を及ぼすのに対して，
|映像の引き方の要因は述皮比の大きさにほとんど影響を及ぼさないということをポして いる.
さらに図2.5からは いずれの条件でも音楽のテンポによらず述皮比の中央他がほぼ 一定である傾向が凡られる. このことは 音楽のテンポが速くな れば， 球体の動きも速 い方が73二楽と調和して感じられるということを示しており， l:Jミイイミのj主さと1-千五!;のテンポ との間にある一定の刈-応、関係が存在することを示唆している.
ただし， 図2 .5では， テンポ= 50.0 (小節/分)の条件で正方形述動・伴奏あり条件での 速度比の中央官Eの同所rl�な孫ち込みが見られており， 速度比のrll�11自がテンポ問で一定 であるという傾向から大きく逸脱している. また， テンポ= 75.0 (小節/分)の条fllこでPl 運動・伴奏あり条(午での}iliJ支比の'11央値も局所的に上昇しているものの， これはテンポ が速くなるにつれ球体の動きがより速く設定されるという点では迎脱とは言えない. if 楽のテンポと球体の速さの士、Hl:'関係は単純なl次関数ではなくむしろべき関数のような
関数で近似できるのかも矢11れない.
ブJで， 正方形注予ÛJ • fl6三あり条1'1二でのj生脱についてはさらに考旋する必要がある. そ こで， 述!支比ではなく球体の述さ設定値そのものについてテンポIt\]での他の変化を検討 した(凶2.6参r.n). !支12.6からは(1い四角で示された正方形運動・伴奏あり条件での速さ 設定11üのr!1うた11ftが テンポ= 37 .5 (小節/分)からテンポ= 50.0 (小節/分)にかけて， およ そ30 ([111rl日/分)でほぼ一定であることが分かる. 音楽のテンポと球体の速さの問に比例 関係が見られるならば， テンポ= 50.0 (小節/分)での球体の速さ設定11立はおよそ50.0 (