呈示時差の主観的許容に関する実験

第4章  不完全文の内容理解向上を目的とした顔映像の呈示方法

として英語を学習する者の英語の聴解に対する学習効果を向上させることを目的にし ている点が異なる．この研究の一連の報告では，英語学習において英語音声と英語字幕 を呈示する際，英語字幕の方を英語音声に対して1秒早く呈示した方が，英語聴解にお ける理解度が向上すると報告している．話者顔映像に対し英語音声の呈示である点が本 研究とは大きく異なるが，興味深いのは，音声に対し対応する字幕を1秒早く呈示させ る条件が，同じ情報を同時に呈示する条件よりも理解度が向上すると結論している点で ある．つまり呈示する複数情報の情報量は同じであっても，意図的に呈示タイミングを 変え適切な条件にすることにより，理解度が向上すると結論している点が本研究と類似 した点である．先述の通り，字幕はある一定時間映像上の画面に留まれる．本研究にお いて，話者顔映像は曖昧さを含むため厳密な情報を読み取るためには困難が伴う．第二 言語として英語を学習している者にとって，英語音声は聴解が困難であると推察される．

読み取りが困難な情報に対し，文字（字幕）と言う比較的厳密な内容を呈示できる情報 を先行呈示させることにより曖昧な情報をより正確な情報へ誘導させ，結果これらの情 報が相互作用されることでより高い理解度に繋がるのではなかろうか．

呈示時差を設けた複数情報の呈示における情報の相互作用に関しては，基礎研究の 領域まで掘り下げていくと，より興味深い結果が導かれる可能性がある．

第4章  不完全文の内容理解向上を目的とした顔映像の呈示方法

る境界は「時差（ずれ）の検知限」と呼ぶことができる．本章では，これら時差（ずれ）

の許容限・ずれの検知限を算出する実験を行った．

4.5.1  実験方法 

実験では4.3節と同様に，字幕と顔情報との間に-5秒〜+5 秒まで１秒刻みの呈示時 差を設けた 11 種の試料を用意した．それらの試料を呈示したとき，字幕と顔情報がず れていることが，気になる／気にならないを 5段階の尺度（「ずれがなく，気にならな い」「ずれがあるが，気にならない」「ずれが少し気になる」「ずれが気になる」「ずれが 非常に気になる」）で評定した．5 段階尺度の中で，ずれの許容限はずれが気になる／

気にならない境界であるため，「ずれがあるが，気にならない」と「ずれが少し気にな る」の間に存在する．ずれの検知限はずれが認識できる／認識できない境界であるため，

「ずれがなく，気にならない」と「ずれがあるが，気にならない」の間に存在すると言 える．呈示文には日本音響学会編「研究用連続音声データベース」の音素バランス文[5]

を原文のまま用い，音声認識間違いによる要素を排除した．被験者への試料の呈示は，

時差-5秒（字幕先行5秒），…，-1秒（字幕先行1秒）， 0秒，+1秒（顔先行1秒），

…，+5 秒，+5秒，…，+1秒， 0秒，-1秒，…，-5秒，…の順で繰り返し，時差1種 に付き4題，合計44題（昇順2巡・降順2巡）を用いた．被験者には，呈示順が増加

→減少→増加…で連続することのみ伝え，呈示時差の幅時間（時差のステップ数）（秒）

は何秒であるかは伝えずに実験を実施した．そのため被験者は，見ている試料の呈示時 差が何秒であるかは知り得ない．本実験では，字幕と顔情報の「同期が取れていない状 態」（ずれ）に着目させ，課題文中のずれが気になるか／気にならないかを評定させた．

作成した時間ずれ主観評価実験用の 3 呈示領域における呈示タイミングを図 4.13 に示 す．

被験者は表4.14に示すとおり，聴覚障害者5名（D1〜D5）と健聴者5名（H1〜H5） の計 10 名で行った．なお被験者 D2 において，人工内耳の埋め込みを幼児期に行って いるが現在はほとんど使用していない．また，D2 の主コミュニケーション手段の欄に ある「聴力補助」とは，補聴器による音声取得が主なコミュニケーション手段であり，

口話や手話は取得していないことを意味する．また本課題は日本語による書き取りであ り，被験者によっては書記日本語の親密度が異なる可能性もあるため，参考までに教育 背景（最終学歴）を記載した．本実験における被験者は，4.1 節「顔映像と最適呈示部 位に関する実験」と同じ被験者である．

第4章  不完全文の内容理解向上を目的とした顔映像の呈示方法

図4.13  時間ずれに対する主観評価における呈示タイミング

第4章  不完全文の内容理解向上を目的とした顔映像の呈示方法

表4.14  被験者属性

区分 ID 年齢 性別 失聴 年齢

聴力レベル (左, 右)[dB]

主コミュニケー ション手段

教育背景

（学歴）

D1 24 F 0 100, 100 口話 Bachelor

D2 19 F 8 100, 人工内耳 聴力補助 High School

D3 32 F 5 110, 110 手話 Ph.D.

D4 33 F 2 100, 100 手話 Bachelor

聴覚 障害

D5 35 M 3 100, 100 口話 Master

H1 26 M ­ ­ 音声(日本語) Master

H2 26 F ­ ­ 音声(日本語) Master

H3 32 F ­ ­ 音声(日本語) Bachelor

H4 23 M ­ ­ 音声(日本語) Master

健聴

H5 23 M ­ ­ 音声(日本語) Bachelor

4.5.2  実験結果

結果を図4.14に示す．横軸は呈示時差，縦軸にはずれが気になるかどうかの5段階 尺度を示す．結果は被験者ごとに平均した値を示してある．なお，図4.14(a)は聴覚障害

者群，図4.14(b)は健聴者群に関する結果である．

第4章  不完全文の内容理解向上を目的とした顔映像の呈示方法

図4.14(a)  主観的許容限・検知限に関する実験結果（聴覚障害者群）

図4.14(b)  主観的許容限・検知限に関する実験結果（健聴者群）

第4章  不完全文の内容理解向上を目的とした顔映像の呈示方法

図4.14(a)より聴覚障害者群においては，字幕先行状態（横軸のマイナス側），呈示時

差 0 秒，顔先行状態（横軸のプラス側）で，各被験者の傾向が分かれた．字幕先行状 態では大きく2つの傾向が見られ，「ずれがあるが気にならない〜ずれが少し気になる」

領域で推移している被験者（D1，D2，D3）と，「ずれが少し気になる〜ずれが非常に 気になる」領域で推移している被験者（D4，D5）に分かれた．呈示時差 0秒において どの被験者も最大値を示し，その後の顔先行状態でほぼどの被験者でもずれが気になる 傾向が強まる（グラフが単調減少する）傾向が見られた．

図4.14(b)より健聴者群においても字幕先行状態，呈示時差 0秒，顔先行状態で，各

被験者の傾向が別れた．字幕先行領域では「ずれがあるが気にならない〜ずれがあるが 非常に気になる」領域で推移している被験者（H2，H6）と，「ずれが少し気になる〜ず れが非常に気になる」領域で推移している被験者（H4，H5）に分かれた．この領域で はH3は前者の傾向にあるが，呈示時差 0秒手前でずれが気になる傾向が強まる（グラ フの値が減少する）傾向が認められる．呈示時差 0 秒においてはどの被験者も最大値 を示した．

呈示時差 0秒を過ぎてから顔先行状態では，聴覚障害者群と同様にずれが気になる 傾向が強まる（グラフが単調減少する）傾向が見られた被験者（H4，H5，H6）と，呈 示時差 0秒を過ぎてから一旦ずれが気になる（グラフの値が減少する）傾向が増すが，

顔先行状態が増すに従いずれが気にならない（グラフの値が上昇する）傾向を示す被験 者（H2，H3）に分かれた．

4.5.3  考察

4.4 節で述べた通り，「ずれが気になる／気にならない」境界は「時差（ずれ）の許 容限」と呼ぶことができ，この値は「ずれがあるが気にならない〜ずれが少し気になる」

の間に存在すると言える．聴覚障害者群においては，図4.14(a)の結果を見てわかるとお り，字幕先行状態では「ずれがあるが気にならない〜ずれが少し気になる」領域で推移 した被験者（D1，D2，D3）と「ずれが少し気になる〜ずれが非常に気になる」領域で 推移した被験者（D4，D5）に分かれた．前者の被験者では，ずれの許容限はこの間の 領域で値が推移しているため許容限の値の正確な算出は困難である．後者の被験者では，

ずれの許容限は「ずれがあるが気にならない〜ずれが少し気になる」の間に存在すると 言え，その値はD4では呈示時差-1秒〜-2秒の間（字幕先行1秒〜2秒の間）に存在し，

D5では呈示時差 0秒〜-1秒（同時呈示〜字幕先行1秒の間）に存在すると言える．

顔先行状態においては，いずれの被験者も「ずれがあるが気にならない〜ずれが少 し気になる」を横切る値が存在するため，許容限は被験者によって異なるが，呈示時差

0秒〜+2秒の間に存在すると言える．

第4章  不完全文の内容理解向上を目的とした顔映像の呈示方法

一方，「ずれがない／ずれがわかる」境界は「時差（ずれ）の検知限」と呼ぶことが でき，この値は「ずれがなく気にならない〜ずれがあるが気にならない」の間に存在す ると言える．被験者D5を除いたいずれの被験者も呈示時差 0秒を頂点としてこの領域 を横切っているため，検知限は呈示時差-1秒〜+1秒の間に存在することがわかる．D5 の結果に関しては，検知限を示す領域を横切っていないため，その値は本実験の範囲内 には存在しないことを示している．

健聴者群においては，図 4.14(b)の結果より，字幕先行状態では「ずれがあるが気に ならない〜ずれがあるが非常に気になる」領域で推移した被験者（H2，H6），「ずれが 少し気になる〜ずれが非常に気になる」領域で推移した被験者（H4，H5）の 2 群に大 きく分かれた．前者の被験者は先程の聴覚障害者群と同様に，ずれの許容限の値は正確 な算出が困難である．後者の被験者においては，H4では呈示時差 0秒〜-2秒（同時呈 示〜字幕先行2秒の間）に存在し，H5では呈示時差 0秒〜-4秒（同時呈示〜字幕先行 4秒の間）に存在すると言える．被験者 H3はこれら2つの傾向と異なる傾向を示し，

結果だけから述べれば，ずれの許容限は本実験の範囲内で2箇所存在することになる．

顔先行状態においては，被験者 H2と H3 を除き，「ずれがあるが気にならない〜ず れが少し気になる」を横切る値が存在し，いずれの被験者においても呈示時差 0 秒〜

+2秒の間に存在すると言える．被験者H3に関しては，字幕先行状態と同様にずれの検 知限は2箇所存在し，被験者 H2に関しては，値の変化する傾向は被験者H3に似てい るがその値の算出は困難である．

「時差（ずれ）の検知限」は「ずれがなく気にならない〜ずれがあるが気にならな い」の間に存在し，被験者H4を除いたいずれの被験者も呈示時差 0秒を頂点としてこ の領域を横切っているため，呈示時差-1秒〜+1秒の間であることが分かる．被験者H4 の結果に関しては，検知限を示す領域を横切っていないため，ずれの検知限の値は存在 しない，もしくは，算出は困難と言える．

以上の実験より，ずれの許容限の計測に関しては，聴覚障害者群・健聴者群に依ら ず，被験者の個人に大きく依存すると言える．また，許容限の値が読み取れる被験者は ごく限られていた．許容限の値が算出できた場合においても，算出された許容限は実験 条件を1秒間隔に設定したので，1秒精度で算出された．より精度が高い実験を実施す ることでより精度の高い値を算出することができる．

許容限が算出できなかった被験者においては，本実験の測定範囲において，許容限 は存在しない，もしくは，設定範囲外に存在する可能性がある．測定範囲を広めること で存在可能性が確認できる．

検知限に関してはどの被験者も呈示時差 0秒を頂点としたグラフを描いていること からも，呈示時差 0 秒を中心とした範囲にずれの検知限があることが分かる．許容限