3.7 比較実験結果の分析と評価
3.7.2 タスク 2 の分析と評価
3.7.2.1 入力文の正確さ・十分さに関する分析
a) 良い手書き入力サンプル
b) 悪い手書き入力サンプル
図3.23 手書き入力のサンプル(タスク 1)
<含まれなかった概念数>
分析した結果,図3.24に示すようにキーボードの方が手書き入力より平均27.9%程度含 まれなかった概念が多いということが分かった.また,正規化(提示文に含まれなかった 概念数/出現可能最大概念数)したデータに対してt検定を行った結果,キーボードと手 書きの間に有意水準1%で有意差が認められた(t(14)=-7.768, p <0.001).図3.25.は,タ スク2で各被験者がキーボードで入力した総文の中に含まれなかった概念数の値から,手 書きで入力した総文の中に含まれなかった概念数の値を引いたものを示す.これより,15 人の被験者の内,13名が手書きよりキーボードの方が含まれなかった概念の数が多く,残 り2名はキーボードと手書きの評価が同じだったということが分かった.このように,手 書きの方が含まれなかった概念数が多いという被験者は一人もいなかったという結果が得 られた.
63.1 45.5
20 30 40 50 60 70 80 90
手書き入力 キーボード入力
合計概念数の平均
図3.24 含まれなかった平均概念数(タスク2:全概念数285個)
0 5 10 15 20 25 30 35 40
Fj Ina Ino Kk Kt Kz Og Sd Sh Td Tkd Ty Wd Ym Zk 被験者
合計概念数の差
図3.25 手書きとキーボードにおける含まれなかった概念数の差(タスク2)
[“キーボード入力の値”-“手書き入力の値”]
<100%評価(全ての概念が含まれた)文の数>
次に,100%の評価を取得した文について分析した.ここでは,提示文の中から予め抽出
した概念と,手書き及びキーボードで入力した文の中から抽出した概念を比較し,入力し た文の中に提示文の概念が全て含まれた文の数が,手書きとキーボードのどちらが多いか を分析した.100%の評価を取得した文の数が,手書きとキーボードのどちらが多いかを分 析した結果,図3.26に示すように,手書き入力の方がキーボード入力より,100%評価を 取得した文の数が平均5個程度(全体提示文の8%)多いということが分かった.t検定を 用いて調べた結果,キーボードと手書きの間に有意水準1%で有意差が認められた
(t(14)=4.224,p <0.01).また,図3.27は,キーボードの値から手書きの値を引いたもの を被験者ごとにまとめたグラフである.このグラフから分かるように,15人の被験者の内,
12名が手書きの方が100%評価の文の数が多かったという結果が得られた.
35.3
29.8
20 30 40 50
手書き入力 キーボード入力
文の平均合計数
図3.26 100%評価の文の平均合計数(タスク2:全入力文数60文)
-14 -12 -10 -8 -6 -4 -2 0 2 4 6
Fj Ina Ino Kk Kt Kz Og Sd Sh Td Tkd Ty Wd Ym Zk
被験者
文の合計数の差
図3.27 手書きとキーボードにおける100%評価文の合計数の差(タスク2)
<50%以下評価の文の数>
3 番目の評価項目は,悪い評価の文(提示文の概念が半分以下しか含まれなかった入力 文)の数を分析し,手書きとキーボードでどちらが多いかを明らかにする.分析した結果,
図3.28に示すように,手書き入力の方がキーボード入力より,悪い評価となった文の数が 3文程度(全体提示文の8%)少ないということが分かった.この差は小さいが,t検定を 用いて調べた結果,キーボードと手書きの間に有意水準 1%で有意差が認められた
(t(14)=-5.285,p <0.001).また,15人の被験者の内,手書きのほうがキーボードより悪 い評価となった文の数が多かったのは2名のみであり,9名がキーボードの方が多かった という結果が得られた.
8.3 5.1
0 3 6 9 12 15
手書き入力 キーボード入力
文の平均合計数
図3.28 50%評価の文の平均合計数(タスク2:全入力文数60文)