第 4 章 評価実験
4.3 定性的データの分析
表4.10 相関係数 各項目間の相関係数
項目 1 と 2 の相関係数 -0.312 項目 1 と 3 の相関係数 0.357 項目 1 と 4 の相関係数 0.448 項目 1 と 5 の相関係数 0.406 項目 1 と 6 の相関係数 0.301 項目 2 と 3 の相関係数 -0.094 項目 2 と 4 の相関係数 0.074 項目 2 と 5 の相関係数 -0.409 項目 2 と 6 の相関係数 -0.148 項目 3 と 4 の相関係数 0.282 項目 3 と 5 の相関係数 0.478 項目 3 と 6 の相関係数 0.497 項目 4 と 5 の相関係数 0.340 項目 4 と 6 の相関係数 0.157 項目 5 と 6 の相関係数 0.490
各項目間の相関算出結果,項目1と4の相関は比較的強い相関を示した.しかし項 目4は先に述べた通り,システム1.では回答をしてない.そのため次に述べる分析方 法が他の項目とは異なるため,今回は別々に扱った.また項目 5,6 と他の項目との 相関が比較的高いが,項目5と項目6はシステム全体の感想を聞く,他の項目の包括 的な項目である.これらの項目は被験者の直感的な意見を調査する項目であるため,
別々に扱った.
次に,システム毎の各項目の得点の平均値,標準偏差を求めた(表4.11).
表4.11 アンケート結果
平均 項目1 項目2 項目3 項目4 項目5 項目6
システム1 3.42 2.58 2.67 3.50
システム2 4.00 1.92 3.08 3.33 3.67 3.75 システム3 3.50 2.17 3.00 3.00 3.00 システム4 3.83 1.58 3.83 3.67 3.92 4.00 標準偏差 項目1 項目2 項目3 項目4 項目5 項目6
システム1 1.08 1.08 1.30 1.17
システム2 1.04 1.08 1.38 1.44 0.65 0.62 システム3 1.17 1.27 1.81 1.04 0.85 システム4 1.27 0.67 1.19 1.37 1.31 0.74
更に定量的データによる分析と同様,2つの機能による効果を検証するため,質問 項目3と4を除くものに対して,2要因2水準の分散分析を行った.質問項目3と4 についてはウェルチのt検定により,システム間の有意差を検証した.表4.12〜4.
19に各質問項目ごとの各要因における分散分析の結果を示す.
表4.12 質問項目1(落ち着いて発言を入力することができたか)の結果 平均 B完了順 B開始順
A見えない 3.42 3.50
A見える 4.00 3.83
標準偏差 B完了順 B開始順
A見えない 1.08 1.17
A見える 1.04 1.27
表4.13 項目1の分散分析結果
平方和 自由度 平均平方 F比
要因A 2.52 1 2.52 1.81
要因B 0.02 1 0.02 0.01
A*B 0.19 1 0.19 0.13
誤差 62.82 45 1.40 1.00
48
表4.14 質問項目2(話の流れに追いつけないことがあったか)の結果 平均 B完了順 B開始順
A見えない 2.58 2.17
A見える 1.92 1.58
標準偏差 B完了順 B開始順
A見えない 1.08 1.27
A見える 1.08 0.67
表4.15 項目2の分散分析結果
平方和 自由度 平均平方 F比 要因A 4.69 1 4.69 3.99*
要因B 1.69 1 1.69 1.44
A*B 0.02 1 0.02 0.02
誤差 52.82 45 1.17 1.00
48
*は有意水準10%で有意
表4.16 質問項目5(発言タイミングはとりやすかったか)の結果 平均 B完了順 B開始順
A見えない 2.67 3.00
A見える 3.67 3.92
標準偏差 B完了順 B開始順
A見えない 1.30 1.04
A見える 0.65 1.31
表4.17 項目5の分散分析結果
平方和 自由度 平均平方 F比 要因A 11.02 1 11.02 8.38*
要因B 1.02 1 1.02 0.78
A*B 0.02 1 0.02 0.02
誤差 59.18 45 1.32 1.00
48
*は有意水準5%で有意
表4.18 質問項目6(システムは使いやすかったか)の結果 平均 B完了順 B開始順
A見えない 3.50 3.00
A見える 3.75 4.00
標準偏差 B完了順 B開始順 A見えない 1.17 0.85
A見える 0.62 0.74
表4.19 項目6の分散分析結果
平方和 自由度 平均平方 F比 要因A 4.69 1 4.69 5.82*
要因B 0.19 1 0.19 0.23
A*B 1.69 1 1.69 2.09
偶然 36.27 45 0.81 1.00
48
*は有意水準5%で有意
「話の流れに追いつけないことがあったか」に関しては相手の入力状態が見えない 場合の方が見える場合より,得点が高い傾向を示した.これは,相手の入力状態が見 えないため,発言のタイミングが上手く取れず,発言をする機会を失ってしまう場合 があるためだと考えられる.
「発言タイミングは取りやすかったか」,「システムは使いやすかったか」に関しては,
相手の入力状態が見える方が有意に高い点を示した.これは相手の入力状態が見える ことにより,発言タイミングが取りやすく,システム的にも使いやすい事が考えられ る.つまりこれは発言タイミングが取りやすくなれば,チャットシステムは使いやす くなる事を示唆していると考えられる.
質問項目 3(相手の打ち込み状態が見える機能はあったほうが良いか)について,ウ ェルチのt検定を行った結果を示す(表4.20).
表4.20 質問項目3の検定結果 平均 標準偏差 システム2 3.08 1.38 システム4 3.83 1.19
自由度 21.56
t値 -1.36
検定の結果,システム3と4における項目3の有意差は見られなかった.すなわち,
相手の入力状態が見える機能は,発言表示方法が異なるシステム間で差は無く,一定 の評価が得られたことになる.被験者の意見として,「相手の入力状態が見えるのは 好ましいが,自分の入力状態は見られるのは好ましくない」という意見が多数あった.
しかしこの問題はトレードオフの関係にあり,両立は困難である.続いて,質問項目 4(相手がタイピング中なので,自分のタイプを止めて待とうとした事があったか)
について,システム2,3,4のそれぞれについて,ウェルチのt検定を行った結果を 示す(表4.21).
表4.21 質問項目4の検定結果
「システム2と3」
平均 標準偏差
システム2 3.33 1.44
システム3 3.00 1.81
自由度 20.92
t値 0.48
「システム2と4」
平均 標準偏差
システム2 3.33 1.44
システム4 3.67 1.37
自由度 21.95
t値 -0.56
「システム3と4」
平均 標準偏差
システム3 3.00 1.81
システム4 3.67 1.37
自由度 20.50
t値 -0.97
検定の結果,全てのシステム間で有意差は見られなかった.すなわち質問項目4 について各システム間での違いは見ることはできなかった。