第4章 評価実験
4.4 考察
4.4.1 検出特徴の確認と考察
締切り遵守状況については,開発用データではもっとも早期に検出ができたが,検証 用データの場合検出状況が最も低下した.原因としては,開発用データは15回の復習 があり,授業期間の前半で,締切りを守らないルーズな行動をしていた学生が後半にな り復習放棄の行動を行う例があったのに対し,検証用データは8回しか復習がなかった ため,ルーズな復習行動が復習放棄になる前に授業時間が終了し,結果的に検出例が減
55
ったことが理由と考えられる.また,このような復習放棄の行動を行った学生は締切り を守らない理由で復習放棄状態になるずいぶん前から検出される,このような例が検出 されないことによって,平均的に検出が遅れることになる.
検証実験でも,そのような学生がどのように検出され,また,どのような誤検出が存 在していることを確認する必要があるため,3.4節で求めた閾値を用い,検証用データ において,各提案手法の検出の特徴を確認した.
・累積未完成数
累積未完成数では,長期に渡って復習を実施せず,復習放棄状態になる学生が存在し ている. 図 42 に示した学生は第 1 回から第8 回まで全期間が検出すべき回である.
この例では第3回から第8回までが正しく検出されている.開発用データで似た検出パ ターンが存在している.図 43に開発用データでの似た行動を取った学生を示す.
図 42 評価用データの検出状況(累積未完成数)
0 1 2 3 4 5 6 7
1 2 3 4 5 6 7 8
累積未完成数
授業回(回)
A10*
閾値 1.95
検出すべき回
56
図 43 開発用データの検出状況(累積未完成数)
一方,開発用データでは15回の復習期間の間に,復習をしばしば溜め込み,まとめ て実施することを繰り返して最終的に復習放棄者になった学生が存在していた(図 44).
しかし,検証用データでは復習期間が8回しかなく,このような学生は存在しなかった.
検証用データでも,十分な期間があれば,ルーズな復習行動が復習放棄に変化した可能 性が高いと思われる.
0 1 2 3 4 5 6 7 8 9 10
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
累積未完成数
授業回(回)
RU
閾値 1.95
検出すべき回 検
出
す
べ
き
回
57
図 44 開発用データの検出状況(累積未完成数)
図 45 検証用データの検出状況(締切り遵守状況)
0 1 2 3 4 5 6 7 8 9 10
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
累積未完成数
授業回(回)
DE
閾値 1.95
検出すべ き回
-3 -2 -1 0 1 2 3
第1回 第2回 第3回 第4回 第5回 第6回 第7回 第8回
締切り遵守状況
授業回(回)
A10*
閾値 -1.05
検出すべき回
58
・締切り遵守状況
締切り遵守状況では,締切りを守らない学生が検出される.図 45に例を示す.この 学生は,第1回から第3回まで締切りを守らなかったため,第3回終了時点で検出され た.一方,第6回で締切りを守って復習を行ったため,第6回以降は検出されなくなっ た.しかし,この学生は第1回から第8回までが検出すべき回であるため,ここでは検 出すべき回が検出されていないことになる.
また,開発用データでも同様に検出すべき回が検出されない例がある.図 46では第 11回が検出すべき回であるにもかかわらず検出されていないことが確認できる.
締切り遵守状況でも,開発用データでは15回の復習期間中,締切り守らない学生が 最終的に復習放棄者になった例が存在していたが,検証用データにはそのような例は存 在しなかった.
図 46 開発用データの検出状況(締切り遵守状況)
-3 -2 -1 0 1 2 3
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
締切り遵守状況
授業回(回)
DC
閾値 -1.05
検出すべき回
59
図 47 検証用データの検出状況(復習時間指数)
図 48 開発用データの検出状況(復習時間指数)
-3 -2 -1 0 1 2 3
第3回 第4回 第5回 第6回 第7回 第8回
復習時間指数
授業回(回)
A14*
閾値 -1.46
検出すべき回
-3 -2 -1 0 1 2 3
3 4 5 6 7 8 9 10 11 12 13 14 15
復習時間指数
授業回(回)
DC
閾値 -1.46
検出すべき回
60
・復習時間指数
復習時間指数では,復習を行わず,復習所要時間が不足している学生が検出される.
図 47にはこのような学生の例を示した.この学生は復習所要時間不足しており,第3 回から検出され,第6回と第8回は復習を行ったため検出されなかった.しかし,この 学生は第1回から第8回までが検出すべき回であるため,ここでは検出すべき回が検出 されていないことになる.
また,開発用データにもこのような検出すべき回が検出されない例がある.図 48で は,第10回と12回復習を行ったため,第10回から第14回までが検出すべき回であ るが,復習時間指数では検出されていないことが確認できる.
・複数の手法を組み合わせた検出
図 49には組み合わせた検出手法での検出を示した.この図の矢印の点を個別の手法 で見た, 図 50 と図 51 に示した通り,復習放棄者をより早期に検出できることが確 認できた.
開発用データの場合と同じく,組み合わせた検出手法では他の手法では誤検出となっ てしまう検出できたりする.しかし,全体的には正しくない点を検出してしまうことが 多く,組み合わせた検出手法により検出結果を向上させることはできなかった.
図 49 検証用データの検出状況(組み合わせた検出手法)
-3 -2 -1 0 1 2 3
0 2 4 6 8
締切り遵守状況
累積未完成数
検出対象 外
復習放棄 者の検出 すべき回
61
図 50 検証用データの検出状況(組み合わせた検出手法・累積未完成数)
図 51 検証用データの検出状況(組み合わせた検出手法・締切り遵守状況)
0 1 2 3 4 5 6 7
第1回 第2回 第3回 第4回 第5回 第6回 第7回 第8回
累積未完成数
授業回(回)
B07*
閾値 1.95
検出すべき回
-3 -2 -1 0 1 2 3
第1回 第2回 第3回 第4回 第5回 第6回 第7回 第8回
締切り遵守状況
授業回(回)
B07*
閾値 -1.05
検出すべき回
62