視覚コンテンツとナレーションの同期性

前項5.6.1.の結果から，タブレットPCを用いることで他デバイスよりもコンテンツへ

の注視を阻害することなく書き込みを行えることが示された．本項では，タブレットPC の使用により聴覚チャンネルと視覚チャンネルの同期性が向上するのかについて，コンテ ンツ上での視点移動データを用いて分析する．

図5.3は，あるコンテンツへの規範注視点と各書き込み方法での学習者の注視点位置 の時系列データ例である．横軸はタイムスタンプ（1目盛あたり0.2 sec），縦軸は注視点 位置座標（単位：pixel）で，黒線が注視点位置のX座標，灰色の線がY 座標である．規 範注視点はコンテンツ作成者が作成したもので，作成者の意図を反映した規範として扱う ことができる．例えば，図5.3より，ペンタブレットやタブレットPCを用いた学習者の 注視点のほうが紙媒体やキーボードを用いた学習者の注視点よりも規範に従っていること がわかる．

タブレットPC使用時の効果を測定するために，規範移動データと被験者の視点移動 データ間の距離の二乗差の平均を出した．結果を表5.6に示す．

表 5.6: 規範データと注視点間の二乗距離の平均

（*：多重比較の結果，タブレットPCと比較して 5%水準で有意差あり）

書込み無し 紙 キーボード ペンタブレット タブレットPC

テキスト 139603.3 243824.4 468320.10* 124962.6 91358.69

テキスト図 103537.5 229492.1 504733.42* 122300.7 115355.4 テキスト＋静止画 69569.89 120081.75* 418204.43* 71409.58 50604.17

静止画 143418.2 212715.65* 386781.90* 132039.2 131153.6

動画 18210 57744.36 397345.86* 101640.8 96859.34

コンテンツ形式毎に書込み方法を1要因として，分散分析した．その結果，コンテン ツ形式において有意差があった．次に，コンテンツ形式毎にTukeyの方法で多重比較を 行った．その結果，全てのコンテンツでタブレットPC使用時の注視点とナレーションの 説明箇所との距離の差が，キーボード使用時の距離の差より有意水準5％で小さく，テキ

5.7 視覚コンテンツとナレーションの同期性 71

図5.3: 注視点位置座標データ例

スト＋静止画コンテンツと静止画コンテンツでタブレットPC使用時の距離の差が，紙媒 体使用時の距離の差より有意水準5％で小さかった．

しかし，この結果は必ずしもコンテンツ作成者が意図した部分を見ているということ を保障しない．例えば意図した部分と注視点の距離は近くても，意味的に異なる場所を見 ている可能性もある．そこで，各被験者のコンテンツ上での視点移動データから被験者が コンテンツ再生時間に対してどの割合でコンテンツ作成者が意図した文節および画像の部 分を注視しているかを計測した．結果を表5.7に示す．

表5.7: コンテンツ再生時間における説明箇所注視時間の割合(％)

書込み無し 紙 キーボード ペンタブレット タブレットPC

テキスト 56.48 27.77* 21.29* 60.59 68.06

テキスト図 53.55 30.21 19.61* 49.37 59.6 テキスト＋静止画 59.49 42.96* 27.13* 58.01 65.26

静止画 44.88 36.6 20.91* 54.86 57.73

動画 79.96 48.07 15.55* 48.98 58.95

計測はアイマークレコーダで記録された動画上での視点データを目視によって確認し，

ナレーションの意味のある文節ごとに学習者が意味的に正しい部分を注視していれば正答 と判断した．そのために，計測者によって基準が変わる可能性があるが，実験内では判断 基準の一貫性を保つように計測を行っている．例えば，図5.2の形式4の静止画で，ナレー ション「自動車のブレーキペダルを踏むと」では，図中の「人の足」もしくは「それに接 しているブレーキ」に注視点がある場合，正答と判断し，それ以外を誤答と判断する．計 測された説明箇所への注視時間の再生時間に対する割合について， コンテンツ形式毎に 書込み方法を1要因として，分散分析した．その結果，全てのコンテンツ形式において有 意差があった．次に，コンテンツ形式毎にTukeyの方法で多重比較を行った．その結果，

全てのコンテンツでタブレットPC使用時の注視時間が，キーボード使用時の注視時間よ り有意水準5％で高く，テキストコンテンツとテキスト＋静止画コンテンツでタブレット PC使用時の注視時間が，紙媒体使用時の注視時間より有意水準5％で高かった．

更に，タブレットPC使用時において，ナレーションの説明箇所とペンの位置および 注視点が同期している時間を計測した．計測の結果，コンテンツ再生時間において，説明 箇所・ペン・注視点が同期していた時間の割合の平均は，テキスト：58.55％，テキスト 図：48.21％，テキスト＋静止画：57.07％，静止画：46.78％であった．これは，表5.7の 説明箇所注視時間の割合のうち約8割は，ペンの動きと同期していることになる．この結 果から，タブレットPCでの下線引きやペン先でなぞる行為により，ナレーションとそれ に対応した文章への学習者の注視が支援され，デュアル・チャンネル・モデルにおける聴