チェックリストの信頼性の評価結果と考察

第５章 フロー理論適合度チェックリストの評価 117

図 5-4 評価実験の手順

118 第５章 フロー理論適合度チェックリストの評価

それぞれ，1.9，2.1，となっている．

また，表 5-5 より，教材毎のκ係数の標準偏差は，教材 A：0.28，教材 B:0.19，教材 C:0.40 となっており，教材 C の評価者毎のばらつきが一番大きい結果となった．

表 5-5 教材毎の評価結果のまとめ

κ係数 専門家評価

との一致率

専門家の教材の 評価値の平均 平均 標準偏差

教材Ａ 0.47 0.28 56% 2.7

教材Ｂ 0.61 0.19 69% 1.9

教材Ｃ 0.58 0.40 59% 2.1

全体平均 0.56 0.31 61% 2.2

また，各評価者のκ係数は表 5-6 に示した通りである．表 5-6 において，A1～A7，B1

～B7，C1～C8 はそれぞれ，教材 A，B，C の評価者である．教授経験とフローの知識とは，

事前アンケートにおいて，評価者が 1 から 5 までの 5 段階で自己評価した，自分の教授経 験・教材設計経験，及びフロー理論に関する知識の多寡，である．１が少なく，５が多い．

κ 係数と教授経験，フロー理論の知識との間に有意な相関は見られなかった．また，κ 係 数の検定結果を表 5-5 の右列の数字の右肩に*で示した．*は有意水準 5％，**は 1％，***

は 0.1％である．

表 5-2 の κ 係数の目安に合わせて，表 5-6 で示した評価者毎のκ係数 の分布割合を示 したのが図 5-5 である．図 5-5 において，κ 係数の目安の「かなりの一致」となる，κ 係数が 0.61 以上の評価者の割合は，教材 A，B，C でそれぞれ，29%，71%，63%，となり，

全体平均は 55%であった．また，「中程度の一致」以上であれば，それぞれ，71%，86%，63%

となり，全体平均は 73%となった．

予備実験での 3 つの教材に対する評価の一致度係数κが 0.28～0.33 であったことを考え ると，本実験結果では，0.47～0.61 とかなり改善されており，表 5-2 の一致度係数 κ の 目安からは「かなりの一致」に近い「中程度の一致」であると言うことができる．また， 図 5-5 に示した通り，「かなりの一致」以上に該当する評価者が全体の 55%，「中程度の一致」

以上に該当する評価者が全体の 73%，いう結果となり，信頼性の観点からは実用上問題の ないレベルであるといえる．図 3-1 で示した再設計支援フレームワークの実運用を繰り返

第５章 フロー理論適合度チェックリストの評価 119

しながら，徐々に改善の実例やフロー経験に関する知見を蓄積して，チェックリストを形 成的に改善していくという観点から，現段階のチェックリストの初期値の信頼性としては 十分であるといえる．

表 5-6 評価者毎の評価結果のまとめ

教授経験 ﾌﾛｰの知識 専門家評価

との一致率 κ係数

教材 Ａ

A1 3 2 60% 0.69^***

A2 3 2 42% 0.24

A3 3 2 45% 0.43^*

A4 3 1 46% 0.44^*

A5 1 2 31% 0.08

A6 4 3 47% 0.40

A7 3 4 100% 1.00^***

教材 Ｂ

B1 1 1 73% 0.84^***

B2 3 2 36% 0.59

B3 1 2 67% 0.65^***

B4 3 2 87% 0.60^***

B5 2 3 50% 0.18

B6 3 3 80% 0.70^***

B7 1 1 80% 0.71^**

教材 Ｃ

C1 3 2 15% -0.02

C2 4 2 73% 0.89^***

C3 3 2 27% -0.07

C4 5 3 100% 1.00^***

C5 3 3 29% 0.39

C6 1 2 80% 0.86^***

C7 3 3 53% 0.78^**

C8 4 3 80% 0.83^***

(^* p<0.05, ^** p<0.01, ^*** p<0.001)

120 第５章 フロー理論適合度チェックリストの評価

図 5-5 教材毎の評価者の κ 係数の分布