考察

第4章  不完全文の内容理解向上を目的とした顔映像の呈示方法

第4章  不完全文の内容理解向上を目的とした顔映像の呈示方法

図4.12  試料の各時差における顔映像と字幕のオーバラップ量

字幕先行呈示領域における他の呈示時差，つまり呈示時差-3 秒と-2秒においても，

停留した字幕を先行して視聴できる効果は期待できるはずであるが，聴覚障害者群・健 聴者群ともにこれらの呈示時差には有意差は認められなかった．字幕先行呈示領域の他 の時差に効果が現れ，-3 秒と-2 秒に現れなかった理由に関しては，本実験で設定した 条件だけでは十分検証ができない．字幕と顔映像がオーバラップした状態における各被 験者の情報取得の方法を検証する必要があると考えるが，例えば，視線追従装置などを 用いて，各被験者がどのタイミングで何をどれくらい停留させて見ているかなどのデー タも踏まえて考察していく必要がある．

顔先行状態（顔情報が字幕に対して先に呈示される状態；横軸のプラス側）におい ては，聴覚障害者群において呈示時差+3 秒に有意差が認められ以外，聴覚障害者群・

健聴者群の何れの群においても顕著な傾向を示さなかった．顔映像は字幕同様に時々 刻々と呈示内容が更新されるが，顔映像は動画像であるためディスプレイ上に映像は留 まることができず，次の映像が次々に更新される．つまり顔映像は時間的に揮発な情報 であると言える．ある映像は呈示後直ぐに揮発してしまい，被験者は字幕のような読み 返しをすることができない．また，顔映像は原文（正解文）を読み上げた際の映像であ るため，顔映像からは課題文中の要修正箇所を把握することができない．字幕が呈示さ れて初めて課題文中の要修正箇所を把握することができる．加えて，顔映像から読み上 げ内容を詳細に読み取るには困難が伴うため，顔先行呈示されると，本実験の課題遂行

第4章  不完全文の内容理解向上を目的とした顔映像の呈示方法

における手がかりなどがほとんど得られずに課題開始となるのではなかろうか．顔先行 呈示において顕著な傾向を示さなかったのは，以上のことが理由ではないかと推察され る．

聴覚障害者群においては，聴覚の障害ゆえ，健聴者群よりも顔映像から情報を読み 取ることに比較的慣れている可能性が高い．そのため，顔映像だけからでもある程度正 確な情報を読み取れる可能性がある．聴覚障害者群にとって，本実験における呈示時差 +3 秒の呈示条件が，顔先行呈示領域における効果的な呈示タイミングとして現れたの ではなかろうか．聴覚障害者群のみ呈示時差+3 秒に有意差が現れた理由は，このよう に推察される．

図4.11(a)と(b)に示したとおり，聴覚障害者群と健聴者群ともに似たような傾向を示

しているが，図3(a)と図3(b)の各群における各呈示時差の標準偏差を見ると，健聴者群 の標準偏差は聴覚障害者群のそれよりも，大きい値を取っていることがわかる（11 時 差中 7時差において）．つまり，健聴者群は個人差が大きいと言える．このことは，本 実験のような2 つの情報に対し意図的な時差を持たせて呈示させることによる効果は，

健聴者においては非常に個人に依存すると言える．しかし，効果は個人依存であるが，

ほぼ全ての健聴被験者においても回答文完全率は課題文完全率平均（図中点線）とほぼ 同等か上昇する傾向を示したことからも，どの呈示時差においては内容理解を阻害する 傾向はほとんど認められず，むしろ効果は十分現れていると言えよう．被験者H4のみ が，ほとんど全ての呈示時差において，回答文完全率が呈示文完全率平均よりも下回っ ていた．つまり，この被験者にとっては，本実験の条件で情報呈示することは，内容理 解を阻害していると言える．しかしながら被験者H4においても，回答文完全率の増減 の傾向は他の健聴被験者・聴覚障害被験者と似た傾向を示した．その意味で，被験者 H4 においては，他の被験者と比較して全体的に回答文完全率が低いと言え，むしろ本 実験の課題の遂行に不慣れであることが原因であると推察される．

4.1節の顔映像の最適呈示条件の実験では，誤認識を含む字幕に対し話者の発話時の 顔情報を同時に呈示することで，字幕のみの呈示よりも内容理解が向上することが確認 できた．この研究では，顔映像と字幕を同時呈示する条件に対してのみ実験を行ったた め，本節では呈示時差の影響を知るために，意図的に呈示時差を設けた条件において実 験を行った．本節でいままで述べてきたとおり，呈示時差-1秒の呈示条件が，本実験の 条件では最も高い回答文完全率を示し，呈示時差 0 秒では課題文完全率平均よりも 数％上昇したに留まった．呈示時差 0 秒とは過去の研究における同時呈示と同じ呈示 条件を意味する．同時呈示は意図的な操作がないため最も自然な呈示方法であると予想 されたが，本論文で述べてきたような結果が得られた．このことは，ノンバーバル情報 を，適した呈示時差を意図的に設けて呈示することが，呈示時差を設けない自然と思わ

第4章  不完全文の内容理解向上を目的とした顔映像の呈示方法

れる条件で呈示するよりも，より効果的に内容理解を向上させることを示している．

話者の顔映像と字幕を呈示させることを考えた場合，通常では，話者が話した内容 を字幕に変換するための処理時間が必要なために，必ず字幕は話者の顔映像よりも遅れ て呈示されることになる．つまり，本実験の結果で得られたような呈示時差で2つの情 報を呈示するためには，呈示に関して何らかの工夫が必要になる．例えば，顔映像と字 幕をコンピュータなどに一旦バッファし，最適な呈示時差を設けて再呈示することで，

内容理解を向上させる上で最適となる呈示時差を持った情報呈示が可能になる．本論文 では，本システムの持つ現状の字幕呈示のリアルタイム性を前提としているため，例え ば，呈示時差-1秒の条件を実現するためには，字幕が話者の発言から最速4秒で呈示さ れるとすると，顔映像を“生”の状態より5秒遅らせて呈示させることで，この呈示条件 が実現できる．

4.4.3.1  複数情報呈示における呈示時差に関する従来研究 

以上，考察してきたとおり，呈示時差-1 秒の呈示条件における回答文完全率は，聴 覚障害者群においては極大値，健聴者群においてはほぼ極大値と同じ値を示した．また，

呈示時差 0 秒（同時呈示）におけるそれは課題文完全率平均よりも数%の向上に留ま った．この結果は，自然な呈示方法であると想像される同時呈示よりも，意図的に字幕 を顔映像よりも早く呈示する本来自然な状態ではあり得ない呈示方法の方が，内容理解 を促進させると言う興味深い結果を示した．

複数情報の呈示の同期・非同期に関する研究は，単純な光（フラッシュ）と単純な 音（クリック音）に関する非同期検知限の研究[11]から始まり，話者の顔情報，つまり 口唇情報の呈示に関しては，聴覚障害者が用いるディジタル補聴器が開発され始めた時 期に盛んに研究された．ディジタル補聴器が開発された当時は，DSP（Digital Signal

Processor）の処理能力がまだ劣っていた関係上，処理後の音声が遅れて聴覚に入力され

る影響が問題視されていた．聴覚障害者の多くはコミュニケーションの情報源として読 唇からも情報を読み取っており，ディジタル補聴器による遅延音声と口唇との情報の呈 示時差の影響を検証することが目的であった．これらの研究は，音声ピッチ音と口唇と の非同期検知[12]と言った単純な組み合わせから，読み上げ音声と口唇との非同期検知 [13]や，音声-口唇の情報統合の研究[14],[15],[16]へと発展していった．これらの研究は，

音声-顔情報（口唇）の呈示時差に関する研究である点が本研究と大きく異なる．

字幕を用いた同期・非同期呈示に関する研究においては，音声と字幕の呈示に意図 的な呈示時差を設けた影響を検証した報告がいくつかある[17],[18],[19]．本研究で行っ たような字幕の読み取りを目的とはしていなく，また，誤認識字幕に対し話者顔情報を 呈示させることにより内容理解の促進・阻害を検証することが目的ではなく，第二言語

第4章  不完全文の内容理解向上を目的とした顔映像の呈示方法

として英語を学習する者の英語の聴解に対する学習効果を向上させることを目的にし ている点が異なる．この研究の一連の報告では，英語学習において英語音声と英語字幕 を呈示する際，英語字幕の方を英語音声に対して1秒早く呈示した方が，英語聴解にお ける理解度が向上すると報告している．話者顔映像に対し英語音声の呈示である点が本 研究とは大きく異なるが，興味深いのは，音声に対し対応する字幕を1秒早く呈示させ る条件が，同じ情報を同時に呈示する条件よりも理解度が向上すると結論している点で ある．つまり呈示する複数情報の情報量は同じであっても，意図的に呈示タイミングを 変え適切な条件にすることにより，理解度が向上すると結論している点が本研究と類似 した点である．先述の通り，字幕はある一定時間映像上の画面に留まれる．本研究にお いて，話者顔映像は曖昧さを含むため厳密な情報を読み取るためには困難が伴う．第二 言語として英語を学習している者にとって，英語音声は聴解が困難であると推察される．

読み取りが困難な情報に対し，文字（字幕）と言う比較的厳密な内容を呈示できる情報 を先行呈示させることにより曖昧な情報をより正確な情報へ誘導させ，結果これらの情 報が相互作用されることでより高い理解度に繋がるのではなかろうか．

呈示時差を設けた複数情報の呈示における情報の相互作用に関しては，基礎研究の 領域まで掘り下げていくと，より興味深い結果が導かれる可能性がある．