DEIM Forum 2016 A3-2
MOOC 受講生の科目選択支援のための科目内容解析
戴 憶菱
†浅野 泰仁
‡吉川 正俊
‡†京都大学大学院情報学研究科 〒606-8501 京都市左京区吉田本町
E-mail: †[email protected], ‡{asano, yoshikawa}@i.kyoto-u.ac.jp
あらまし 近年，教育の公開化と情報化の進展を背景に，大規模オープンオンライン講座(Massive Open Online Course，下記 MOOC)という教育サービスが生まれ，注目を集めている．これによって学習者は，身分，時間，空 間や費用の制限なく多様かつ良質な教育資源にアクセスできるようになってきた．しかし，このような教育の自
由化と個人化により，学習者は自ら適切な科目を選択することが困難になっている．本研究では，MOOC における
学習者の科目選択を支援するため，ダイナミックな科目選択支援システムを提案する．また，システムの実現に 必要となる初期分析として，シラバスから科目の知識カバレッジを抽出する 手法を提案する．実験では， ACM/IEEE-CS Computer Science Curricula 2013（下記 CS 2013）の知識体系を参照コーパスとして，bag-of-words を 用い，CS 2013 が提供したサンプル科目に対して解析分析を行った．また，結果について評価を行い，不足と展望 に関する議論を加えた． キーワード MOOC，科目解析，シラバス，知識カバレッジ，bag-of-words
1. は じ め に
近 年 ， 情 報 通 信 技 術 の 発 展 に よ り ， 教 育 資 源 の オ ー プ ン 化 が 徐 々 に 進 ん で き た ． 専 門 的 な 知 識 を 解 説 す る 文 書 か ら ， オ ン ラ イ ン テ キ ス ト ブ ッ ク ， オ ー ブ ン コ ー ス ウ ェ ア の よ う な 指 導 者 の 工 夫 を 相 当 に 含 め る 学 習 資 源 ま で が 容 易 に ア ク セ ス で き る よ う に な っ て き た ． そ の 中 ，大 規 模 公 開 オ ン ラ イ ン 講 座 (Massive Open Online Course，下 記 MOOC)の 登 場 は 教 育 の 公 開 化 と 情 報 化 の 新 局 面 を 拓 い て い る ．MOOC は 教 育 資 源 の 公 開 化 の 推 進 の 波 で 生 ま れ [1]，2012 年 に「 オ ン ラ イ ン で 公 開 さ れ た 講 義 を 受 講 し ， 修 了 要 件 を 満 た し た ら 認 定 を も ら え る 」 と い う 教 育 サ ー ビ ス の 形 で 定 着 し ， 僅 か 数 年 間 で 世 界 中 に 広 が っ て き た ． MOOC の 主 要 な 提 供 者 Edx で ， 2012 年 秋 か ら 2014 年 夏 ま で 一 番 人 気 が あ っ た コ ン ピ ュ ー タ 科 学 分 野 の 科 目 は 全 体 で 60 万 人 以 上 が 受 講 し た と い う 統 計 デ ー タ が 報 告 さ れ て い る [2]．ま た ，MOOC へ の 注 目 が 集 ま り つ つ あ る 日 本 国 内 の 調 査 か ら ，1228 名 の 調 査 対 象 の う ち ，3%の MOOC 利 用 経 験 率 に 対 し 利 用 意 向 者 率 が 57% と 高 い こ と が 分 か る [3]．し か し ，MOOC へ の ニ ー ズ が 増 え つ つ あ る 一 方 ，前 述 の Edx の コ ン ピ ュ ー タ 科 学 分 野 の 科 目 の 受 講 者 数 に 比 べ 際 立 つ の は 僅 か 7%の 認 定 （ 最 後 ま で 受 講 し ，修 了 条 件 を 満 た し ，認 定 を も ら う ） 率 で あ る ． MOOC は “ Education should be accessible to everyone” と い う 使 命 に ま だ ほ ど 遠 い と 言 え る ． 実 際 に ，MOOC の 活 用 で 正 式 な 教 育 を 代 替 す る よ り ， MOOC の 受 講 で 純 粋 な 知 識 へ の 好 奇 心 を 満 足 さ せ た り ， 生 涯 や 職 業 に プ ラ ス ア ル フ ァ 効 果 を 目 指 し た り す る よ う な モ チ ベ ー シ ョ ン が 多 い [4]．ま た ，受 講 者 の 身 分 は 作 家 ， エ ン ジ ニ ア ， 大 学 生 ， 主 婦 な ど 想 像 以 上 に 多 様 で あ る こ と が [4]の 報 告 で う か が え る ．こ の よ う な MOOC 利 用 者 が 直 面 し て い る 困 難 は ，自 習 と い う 場 面 で 使 え る 時 間 が 足 り な い ， 科 目 の 内 容 は 想 像 以 上 に 自 分 の 理 解 範 囲 を 超 え る な ど が 挙 げ ら れ る [4]．す な わ ち ， MOOC は ，イ ン タ ー ネ ッ ト を 経 由 す る こ と に よ る 対 面 型 指 導 の 欠 如 な ど の バ リ ア に 加 え ， 受 講 者 の 自 発 性 へ の 依 存 ， 多 様 な 受 講 者 へ の 適 応 不 能 に よ り ， つ ま ず き や す い 学 習 環 境 と な っ て い る ． [5]が 主 張 す る と お り ，大 規 模 な オ ン ラ イ ン 科 目 を よ り 広 範 な 学 習 者 に 便 宜 を 与 え る に あ た っ て ， 教 育 の 個 人 化 が 重 要 で あ る ． 教 育 の 個 人 化 は 学 習 者 の 学 習 目 的 と 学 習 能 力 の 両 者 を 考 慮 す べ き で あ る が ， 先 行 研 究 で は 学 習 能 力 に 重 点 を 置 き ， 学 習 目 的 へ の 考 慮 が 不 足 し て い る ． ま た ， 教 育 個 人 化 を 実 現 す る た め の 手 法 に 関 し て は ， 概 念 の 構 造 化 や 前 提 知 識 の 抽 出 に つ い て の 研 究 が 盛 ん に 行 わ れ て き た が ， 概 念 の 構 造 化 に 指 導 者 の マ ン パ ワ ー へ の 依 存 と 前 提 知 識 の 抽 出 に 学 習 デ ー タ へ の 依 存 は 課 題 に な っ て い る ． 本 研 究 は こ れ を 踏 ま え て ， 科 目 マ テ リ ア ル を 自 動 的 に 共 通 な 知 識 ベ ー ス に マ ッ チ ン グ し ， そ れ に 基 づ き ， 学 習 者 が 科 目 検 索 を 行 う 段 階 で シ ス テ ム イ ン タ ラ ク シ ョ ン デ ー タ を 用 い て 学 習 目 的 と 学 習 能 力 を 推 定 し ， ま た そ れ に よ っ て 有 効 か つ 効 率 的 な 科 目 内 容 の パ ス を 提 示 す る ダ イ ナ ミ ッ ク な 科 目 選 択 支 援 シ ス テ ム の 提 案 を 目 的 と す る ． 上 記 の シ ス テ ム の 実 現 に 向 け た 本 研 究 の 貢 献 は 以 下 の と お り に な る ： 従 来 の 研 究 と 異 な り ，マ ン パ ワ ー に 依 存 せ ず ，自 動 的 に 科 目 内 容 を 知 識 ベ ー ス に 構 造 化 す る こ と が で き る ． 学 習 デ ー タ に 依 存 せ ず ，学 習 者 の 科 目 検 索 段 階 の 行 動 デ ー タ で 学 習 対 象 を 最 適 化 す る こ と が で き る ． 本 稿 は 以 下 の 様 に 構 成 さ れ る ． 先 ず ， 2.節 で は 関 連 研 究 を 紹 介 す る ． 次 に ， 3.節 に て 学 習 者 に 適 応 す る 科 目 内 容 の パ ス を 提 示 す る 科 目 選 択 支 援 シ ス テ ム を 提 案 す る ． 4.節 で は ， 科 目 シ ラ バ ス 情 報 を 用 い る 科 目 内 容 解 析 と い う 初 期 分 析 に つ い て 述 べ る ． 最 後 の 5.節 で は ま と め と 今 後 の 課 題 に つ い て 検 討 す る ．
2. 関 連 研 究
2.1. 教 育 の 個 人 化 に 関 す る 研 究 教 育 の 個 人 化 に つ い て ， 90 年 代 末 に Adaptive learning や Adaptive education が 提 唱 さ れ た ． そ の 中 ， 示 唆 に 富 ん で お る Brusilovsky ら [5]の 研 究 で は ， ウ エ ブ に お け る 学 習 の 文 脈 で ， 学 習 者 が そ れ ぞ れ 異 な る 学 習 目 的 ，背 景 知 識 ，学 習 能 力 な ど を 持 つ こ と を 理 由 に ， 彼 ら の 個 人 特 徴 に 合 わ せ る 科 目 内 容 を 提 示 す べ き で あ る と 主 張 し て い る ．同 様 の 研 究 と し て ，Li ら [6]は 学 習 者 の 背 景 知 識 に 学 習 ス タ イ ル を 加 え ， 事 前 に 定 義 し た 判 断 基 準 を 参 照 し て 構 造 化 さ れ た 科 目 マ テ リ ア ル を 適 応 す る フ レ ー ム ワ ー ク を 提 出 し て い る ．E-learning や Intelligent Tutoring 技 術 の 発 展 に よ り ， オ ン ラ イ ン シ ス テ ム で 行 う 学 習 が 盛 ん に な っ て き た ． そ れ に 伴 っ て ， 学 習 者 の オ ン ラ イ ン 学 習 シ ス テ ム で の 学 習 デ ー タ を 用 い ， 科 目 の 内 容 を 分 析 し て 調 整 す る 研 究 は 個 人 化 教 育 に 関 す る 研 究 の 一 つ 大 き な 流 れ に な っ た [7], [8]． 例 え ば ， Barnes[8]は 学 習 者 の 学 習 デ ー タ と 科 目 内 容 を 行 列 化 し た う え で ， 両 者 を つ な げ る 潜 在 的 な ス キ ル モ デ ル を 構 築 す る ． そ の ス キ ル モ デ ル は 今 後 の 学 習 者 に 対 す る 科 目 内 容 の 調 整 に 役 立 つ ． ま た ， Matruda ら [7]は テ ス ト 質 問 に 対 す る 学 習 者 の パ フ ォ ー マ ン ス デ ー タ を 用 い ， 学 習 者 が 科 目 を 理 解 で き る 必 要 な ス キ ル を 抽 出 す る 手 法 を 改 善 し て い る ． し か し ， 教 育 個 人 化 の 目 標 に つ い て ， 以 上 の 研 究 は 科 目 内 容 の 学 習 者 の 背 景 知 識 ， 学 習 ス タ イ ル と い っ た 学 習 能 力 へ の 適 応 に 止 ま っ て い る ． 学 習 効 果 に 影 響 を 与 え る も う 一 つ の 要 因 ― ― 学 習 目 的 に 対 し て は あ ま り 注 意 が 払 わ れ て い な い ．MOOC 受 講 と い う 学 習 者 の 自 発 性 ， 自 由 度 を 強 調 す る 学 習 環 境 に お い て ， 科 目 内 容 を 学 習 者 の 学 習 目 的 に も 適 応 せ ね ば な る ま い ． ま た ， 教 育 個 人 化 の 手 法 に つ い て ， 先 行 研 究 で は ， ど の よ う な 手 法 に せ よ ， ど の よ う な シ ス テ ム の 仕 組 み に せ よ ， 適 応 性 の あ る 科 目 内 容 を ア レ ン ジ す る に は 以 下 の と お り に 共 通 な ア プ ロ ー チ が み ら れ る ． 先 ず ， 最 終 の タ ス ク は 学 習 者 の 特 徴 と 科 目 マ テ リ ア ル の マ ッ チ ン グ す る こ と と す る ． 次 に ， こ れ を 実 現 す る た め ， 学 習 者 の 特 徴 デ ー タ （ 学 習 目 的 ， 背 景 知 識 ， 学 習 ス タ イ ル な ど ）を 入 力 し ，そ れ を 判 断 基 準 と な る 知 識 構 造（ 知 識 概 念 の 関 係 性 を 示 す も の ） を 参 照 に し ， 仕 立 て の よ い 科 目 マ テ リ ア ル の パ ス （ 望 ま し い 学 習 対 象 の 順 序 ） を 出 力 す る 仕 組 み で あ る ． こ の 仕 組 み に お い て ， 急 速 に 発 展 し て い る オ ン ラ イ ン 学 習 に 対 応 す る に は 二 つ の 課 題 が 生 じ る ． 第 一 に ， 学 習 者 の 特 徴 と 科 目 内 容 を 繋 げ る 共 通 な 知 識 構 造 は 人 手 で 作 成 さ れ る ． つ ま り ， 一 つ の シ ス テ ム に 対 し ， 特 別 な 知 識 構 造 が 専 門 家 や 科 目 の 指 導 者 に よ り 事 前 に 定 義 さ れ か ね な い ．そ う す る と ， 人 的 ， 時 間 的 な コ ス ト が 非 常 に 高 ま る 一 方 ， 異 種 な 科 目 に 対 応 す る 柔 軟 性 が 欠 け る ． 第 二 に ， 多 く の 研 究 は 実 際 の 学 習 者 の 科 目 内 容 に 対 す る 反 応 に 依 存 す る ． 具 体 的 に 二 種 類 の 状 況 が 挙 げ ら れ る ． 先 ず ， 学 習 デ ー タ を 提 供 す る 学 習 者 に と っ て ， そ の デ ー タ は 後 続 の 学 習 者 の 科 目 適 応 に 生 か さ れ る が ， 自 身 の 学 習 は 適 応 さ れ な い ． ま た ， 学 習 者 が 提 供 す る 学 習 デ ー タ が 自 身 の 学 習 適 応 に 用 い ら れ る 場 合 で も ， 学 習 者 が 当 該 学 習 シ ス テ ム に 入 っ て か ら 科 目 適 応 が 行 わ れ 始 め る ． 言 い 換 え れ ば ， こ の 二 つ の シ チ ュ エ ー シ ョ ン と も 個 々 の 学 習 者 に 最 適 な 科 目 内 容 を 作 成 す る 一 番 良 い タ イ ミ ン グ を 損 な っ て い る ． 以 上 が 述 べ た よ う に ，MOOC 受 講 と い う 学 習 環 境 で 教 育 の 個 人 化 を 進 め る に は 三 つ の バ リ ア を 克 服 し な け れ ば な ら な い ： (1) 科 目 内 容 の 適 応 に お け る 学 習 者 の 学 習 目 的 へ の 考 慮 (2) 知 識 の 構 造 化 に お け る マ ン パ ワ ー と 非 効 率 性 の 制 約 の 突 破 (3) 学 習 デ ー タ へ の 依 存 の 回 避 以 下 で は ，先 ず ，(2)と (3)を 解 決 す る た め の 知 識 構 造 化 に 関 す る 文 献 の レ ビ ュ ー を 行 う ．次 に ，(1)と (3)を 解 決 す る た め の 探 索 型 検 索 シ ス テ ム に 関 す る 研 究 を ま と め る ． 2.2. 知 識 構 造 化 に 関 す る 研 究 情 報 化 さ れ た 教 育 と い う 文 脈 に お い て ， 知 識 の 構 造 化 は 主 に 知 識 を ， 階 層 的 ， 依 存 的 な ど と い っ た 知 識 間 の 関 係 性 ， 知 識 の 難 易 度 ， 抽 象 度 な ど の 特 徴 に よ り ， 科 目 で 扱 わ れ る 知 識 を 視 覚 的 に 再 現 し ， 容 易 に 取 り 出 す こ と が で き る よ う に 編 成 す る こ と を 指 す ． 名 称 の 違 い は あ る た め ， 概 念 地 図 (Concept Map)[9]–[11]， 前 提 知 識 (prerequisite)[12]–[14] な ど の テ ー マ を 取 り 上 げ る 研 究 を 知 識 構 造 化 に 関 連 す る 研 究 と し て 捉 え る こ と が で き る ．
そ の 中 で ， 知 識 の 関 係 性 を 抽 出 す る た め に 用 い ら れ る 資 源 は 学 習 者 デ ー タ と 指 導 者 デ ー タ の 二 つ に 分 け る こ と が で き る ． 学 習 デ ー タ は 学 習 者 が 知 識 を 学 ぶ 際 に そ の 知 識 に 対 し て 理 解 で き る ど う か を 測 る テ ス ト の ス コ ア の よ う な デ ー タ で あ る ． Tseng ら [9]は 学 生 の 試 験 成 績 デ ー タ を 用 い ， 機 械 的 に あ る 概 念 に 対 す る 前 提 概 念 を 抽 出 す る ア ル ゴ リ ズ ム を 提 出 し た ． 同 じ よ う に ， Vuong ら [12]は 大 規 模 な 学 生 の 評 価 デ ー タ を 活 用 し ， カ リ キ ュ ラ ム の 中 の ユ ニ ッ ト の 依 存 関 係 を 分 析 し た ． こ ち ら の 研 究 は ， 正 確 に 回 答 さ れ る 概 念 を よ く 間 違 え ら れ る 概 念 の 前 提 知 識 と み な し て い る ． 一 方 ， 学 生 デ ー タ の 代 わ り に ， 指 導 者 の 知 恵 に よ り 再 現 さ れ た 知 識 そ の も の を 利 用 す る 研 究 も 進 ん で い る ． 例 え ば ， Bose ら [11]は テ キ ス ト ブ ッ ク の 内 容 と 構 造 を 利 用 し ， 単 語 の 共 起 度 で 概 念 間 の 関 係 性 を 抽 出 す る こ と を 試 み た ． Gasparetti ら [13]は Wikipedia の 文 書 を 用 い ， 意 味 解 析 技 術 で 学 習 対 象 の 前 後 関 係 を 見 つ け 出 す た め の 補 助 に な る 初 期 分 析 を 行 っ た ． 学 習 者 デ ー タ 依 存 の 分 析 手 法 は サ ン プ リ ン グ と し て 用 い ら れ る 学 習 者 に よ っ て 知 識 の 関 係 性 が 変 化 し て し ま う と ， 分 析 の 結 果 は 分 析 用 の デ ー タ を 提 供 す る 学 生 と 類 似 す る 学 生 し か に 応 用 で き な い と い う 懸 念 が あ る ． 本 研 究 で は ， 専 門 家 や 教 育 機 関 が 長 期 間 に 渡 っ て 蓄 積 し て き た 経 験 に よ る 知 識 の 普 遍 的 な 関 係 性 が 存 在 す る と 考 え る ． そ の 普 遍 的 な 知 識 の 関 係 性 は ， 各 学 習 者 の 背 景 知 識 や 学 習 能 力 に よ っ て そ れ ぞ れ 最 適 な 知 識 の 系 列 に な る ．ま た ，普 遍 的 な 知 識 ベ ー ス に 基 づ い て ， 機 械 的 に 科 目 内 容 を そ れ に マ ッ チ ン グ す る こ と で 人 手 と 時 間 の コ ス ト を 削 減 す る こ と が で き る ． 2.3. 探 索 型 検 索 シ ス テ ム に 関 す る 研 究 情 報 通 信 技 術 の 進 展 に よ り ， 情 報 検 索 は 日 常 生 活 の あ ら ゆ る 場 面 に 埋 め 込 ま れ て お り ， 学 習 活 動 ， 特 に オ ン ラ イ ン 学 習 も 例 外 で は な い ． 何 か 学 ぼ う と す る 時 に 学 習 す る 対 象 に つ い て の 検 索 が 行 わ れ る と 考 え ら れ る ． MOOC 受 講 と い う 自 発 的 な 学 習 環 境 で は 学 習 対 象 を 決 定 す る こ と は 困 難 で あ る ． 学 習 者 が 学 習 意 欲 を 持 つ も の の ， 学 習 ニ ー ズ が 明 確 で は な い ケ ー ス は 正 に 情 報 検 索 の 分 野 で 心 中 の 情 報 ニ ー ズ を 明 確 な ク エ リ に 変 更 で き な い 状 況 に 当 て は ま る ．例 え ば ，既 存 の MOOC を 提 供 す る プ ラ ッ ト フ ォ ー ム で は 単 に ユ ー ザ に 与 え ら れ 学 習 し よ う と 思 う 科 目 に 関 連 す る キ ー ワ ー ド ， い わ ゆ る 検 索 シ ス テ ム が 分 か る よ う な 消 極 的 な ク エ リ に 対 し 関 連 度 の 高 い 科 目 の リ ス ト を 返 却 す る 仕 組 み を 採 用 し て い る ． こ の よ う な 科 目 の 検 索 シ ス テ ム は 学 習 対 象 が 明 確 で は な い 学 習 者 の 検 索 ニ ー ズ へ の 耐 性 は 低 い 懸 念 が あ る ． 視 野 を 情 報 検 索 の 分 野 に 広 げ れ ば ， 漠 然 と し た 状 態 か ら ， 探 索 を 経 て 知 識 を 学 習 す る こ と を 支 援 す る 探 索 型 検 索 シ ス テ ム へ の 需 要 が 高 ま っ て い る [15]． 以 上 に 述 べ た よ う な 現 状 を 踏 ま え て ， 本 研 究 は 学 習 開 始 前 の 検 索 プ ロ セ ス も 学 習 プ ロ セ ス と し て 捉 え る ． 特 に 学 習 ニ ー ズ が 曖 昧 な 状 態 に あ る 学 習 者 が 自 分 の 学 習 目 的 に 合 う 学 習 対 象 を 探 索 す る プ ロ セ ス に 支 援 す る シ ス テ ム を 提 案 す る ． こ の よ う な シ ス テ ム は 以 下 の 二 点 で 優 れ る ． 第 一 に ， 学 習 者 の 学 習 目 的 を 明 確 に し な が ら そ の 目 的 に ふ さ わ し い 科 目 内 容 を 推 薦 す る こ と が で き る ． 第 二 に ， 検 索 プ ロ セ ス で 本 番 の 学 習 プ ロ セ ス を 模 擬 す る こ と で 学 習 デ ー タ を 利 用 せ ず に 学 習 効 果 を 事 前 に 最 大 に す る こ と が で き る ．
3. 科 目 選 択 支 援 シ ス テ ム の 提 案
前 節 で は ，教 育 の 個 人 化 を MOOC 受 講 で 進 め る に あ た っ て 解 決 す べ き 問 題 点 を ま と め て き た ． 本 研 究 は そ れ を 踏 ま え て ， 自 動 的 に 異 種 な 科 目 マ テ リ ア ル を 普 遍 的 な 知 識 ベ ー ス に マ ッ チ ン グ し ， そ れ に 基 づ き ， 学 習 者 が 科 目 検 索 段 階 で シ ス テ ム と の イ ン タ ラ ク シ ョ ン デ ー タ を 用 い 学 習 目 的 と 学 習 能 力 を 推 定 し ， ま た そ れ に よ っ て 有 効 か つ 効 率 的 な 科 目 内 容 の パ ス を 抽 出 す る ダ イ ナ ミ ッ ク な 科 目 選 択 支 援 シ ス テ ム の 提 案 を 目 的 と す る ． 次 に ， コ ン ピ ュ ー タ 科 学 分 野 を 例 に し て ， 図 1 か ら 図 9 で 示 す シ ス テ ム 利 用 の シ ミ ュ レ ー シ ョ ン を 描 く イ ラ ス ト を 参 照 し な が ら ， シ ス テ ム が 果 た す 機 能 を 詳 細 に 説 明 す る ． 本 シ ス テ ム が 想 定 し て い る ユ ー ザ は 明 確 な 学 習 目 的 を 持 っ て い な い 学 習 者 を 主 と す る た め ， 以 下 で は あ る 社 会 学 の 学 生 が 何 等 か の デ ー タ マ イ ニ ン グ 手 法 で 社 会 調 査 の デ ー タ を 分 析 す る と い う モ チ ベ ー シ ョ ン で デ ー タ マ イ ニ ン グ を 学 ぶ シ ー ン を 仮 定 す る ． 先 ず ， こ の 学 生 は 「 デ ー タ マ イ ニ ン グ 」 と い う キ ー ワ ー ド で 検 索 を ス タ ー ト す る (図 1)． 図 1 シ ス テ ム イ ラ ス ト ― ― 最 初 の 検 索 次 に ， 図 2 の よ う に ， シ ス テ ム は ユ ー ザ の 入 力 に 一 番 関 連 度 の 高 い 科 目 を 科 目 マ ッ プ の 中 心 と し て ユ ー ザ に 提 示 す る ． 科 目 マ ッ プ は 図 3 が 示 す よ う な 知 識 ベ ース に お け る 科 目 の 位 置 と 関 係 性 を 再 現 す る マ ッ プ で ， シ ス テ ム に よ り 事 前 に 分 析 さ れ る ． 図 3 の イ ラ ス ト で は ， 薄 い 線 で 囲 ん だ 各 領 域 が 知 識 ベ ー ス の 各 知 識 カ テ ゴ リ ー を 表 し ， 濃 い 線 で 囲 ま れ た 領 域 が 科 目 を 意 味 す る ．「 デ ー タ マ イ ニ ン グ 」 に 関 す る 科 目 は ，「 知 能 シ ス テ ム 」 と い う 知 識 カ テ ゴ リ ー の 概 念 に 集 中 す る は ず で あ る ． ま た ， 一 つ の 科 目 は 一 つ の カ テ ゴ リ ー の 知 識 だ け で は な く ， 複 数 の カ テ ゴ リ ー の 知 識 を 含 め る 可 能 性 も あ る た め ， 図 3 の 科 目 が 複 数 の 知 識 カ テ ゴ リ ー を 横 断 し て い る ． 図 2 シ ス テ ム イ ラ ス ト ― ― シ ス テ ム の 返 却 図 3 シ ス テ ム イ ラ ス ト ― ― 科 目 マ ッ プ 続 い て ， 学 生 が シ ス テ ム か ら 提 示 さ れ た 最 初 の 科 目 マ ッ プ に 反 応 す る (図 4)．か な り 位 置 が 近 い 科 目 の 詳 細 を 比 較 し た い 学 生 が い る 一 方 ， 提 示 さ れ た 知 識 カ テ ゴ リ ー の 意 味 が 分 か ら な く も っ と 広 い 視 点 で 全 体 像 を 見 た い 学 生 も い る と 想 定 す る ． も し こ の ユ ー ザ は 図 5 が 示 す よ う に 科 目 マ ッ プ を ズ ー ム イ ン し た ら ， シ ス テ ム の 表 示 は 図 6 の 科 目 詳 細 図 に 変 更 す る ． 科 目 詳 細 図 は 一 つ の 科 目 が 含 め る 具 体 的 な 知 識 を ユ ー ザ に 見 せ る も の と 設 計 さ れ て い る ． そ の 知 識 の 表 現 は ， ユ ー ザ の 理 解 度 に よ り 知 識 ベ ー ス レ ベ ル ， 科 目 表 現 レ ベ ル ， 学 習 結 果 レ ベ ル ， あ る い は 練 習 問 題 レ ベ ル を 跨 い で 調 整 で き る ． 図 4 シ ス テ ム イ ラ ス ト ― ― ユ ー ザ の 反 応 a 図 5 シ ス テ ム イ ラ ス ト ― ― ユ ー ザ の 反 応 b 図 6 シ ス テ ム イ ラ ス ト ― ― 科 目 詳 細 図 科 目 詳 細 図 を 見 る 学 生 が ， デ ー タ マ イ ニ ン グ 手 法 と し て k-means， Apriori， Support Vector Machine な ど が よ く 利 用 さ れ る と 分 か る よ う に な っ た こ と と し た ら ， 次 に 一 つ か 二 つ の デ ー タ マ イ ニ ン グ 手 法 に 絞 っ て 学 ん で い こ う と 思 う だ ろ う ． こ の よ う に ユ ー ザ が シ ス テ ム と イ ン タ ラ ク シ ョ ン を 繰 り 返 す う ち に ， 学 習 目 的 と 学 習 能 力 も 明 瞭 に な る は ず で あ る (図 7)．最 終 的 に ，シ ス テ ム が ユ ー ザ に 適 切 な 科 目 の 受 講 パ ス を 提 示 す る ( 図
8)． 科 目 内 容 パ ス は 図 9 が 示 す よ う に ， ユ ー ザ の 学 習 能 力 か ら 学 習 目 的 に 辿 り 着 く 最 短 の 受 講 経 路 と 見 な し て も 良 い ． 例 え ば ， こ の 学 生 が 興 味 を 持 た な い デ ー タ マ イ ニ ン グ 手 法 を 省 い た り こ の 学 生 が 必 要 と な る 別 の 予 備 知 識 を 加 え た り す る こ と で 時 間 の 浪 費 と 注 意 の 逸 散 を 最 小 限 に と ど め る ． 図 7 シ ス テ ム イ ラ ス ト ― ― イ ン タ ラ ク シ ョ ン 図 8 シ ス テ ム イ ラ ス ト ― ― シ ス テ ム の ア ウ ト プ ッ ト 図 9 シ ス テ ム イ ラ ス ト ― ― 最 適 受 講 パ ス 以 上 の よ う な ダ イ ナ ミ ッ ク 科 目 選 択 支 援 シ ス テ ム を 実 現 す る た め ，図 10 に 示 す フ レ ー ム ワ ー ク が 考 え ら れ る ． 先 ず ， 学 習 者 の 学 習 目 的 ， 学 習 能 力 と 適 切 な 科 目 内 容 と マ ッ チ ン グ す る た め に ， 共 通 な 知 識 ベ ー ス が 必 要 と な る ． こ れ に よ っ て ， 異 種 な 科 目 マ テ リ ア ル を 比 較 す る こ と や 組 み 合 わ せ る こ と が で き る よ う に な る ． 従 っ て ， 二 つ の タ ス ク が 明 確 に な る ． 第 一 に ， 種 々 な 科 目 内 容 を 自 動 的 に 統 一 な 知 識 ベ ー ス に 関 連 づ け る こ と で あ る ． 第 二 に ， 構 造 化 さ れ た 科 目 内 容 に 基 づ き ， 学 習 者 の 学 習 目 的 と 学 習 能 力 を 推 定 す る ソ ー ス と 基 準 を 策 定 し ， 学 習 者 の イ ン タ ラ ク シ ョ ン を 駆 使 し て 最 適 な 科 目 受 講 パ ス に 導 く こ と で あ る ． 図 10 本 研 究 の フ レ ー ム ワ ー ク
4. 科 目 内 容 解 析
本 節 で は ， ダ イ ナ ミ ッ ク 科 目 選 択 支 援 シ ス テ ム の 実 現 の 手 始 め と し て の 科 目 内 容 解 析 に つ い て 説 明 す る ． 4.1. 概 要 異 種 な 科 目 内 容 を 共 通 な 知 識 ベ ー ス に 位 置 付 け る た め ， 本 研 究 は コ ン ピ ュ ー タ 科 学 分 野 の カ リ キ ュ ラ ム 標 準 の 知 識 体 系 に 基 づ き ，科 目 の シ ラ バ ス 情 報 を 用 い ， bag-of-words で 科 目 内 容 の 知 識 カ バ レ ッ ジ を 抽 出 す る こ と を 試 み る ． コ ン ピ ュ ー タ 科 学 分 野 で は ， IEEE-CS と ACM が 定 め た カ リ キ ュ ラ ム 標 準 が あ り ， 大 学 学 部 レ ベ ル コ ン ピ ュ ー タ 科 学 学 科 が 扱 う べ き 知 識 を 網 羅 し て い る ． 2013 年 末 発 表 さ れ た「 Computer Science Curricula 2013」[16] （ 下 記 CS2013）で は ，コ ン ピ ュ ー タ 科 学 分 野 の 知 識 体 系 を 18 個 の 知 識 領 域 (Knowledge Area， 下 記 KA)に カ テ ゴ リ ー 化 し ， そ れ ぞ れ の KA に 属 す る 知 識 ユ ニ ッ ト （ Knowledge Unit，下 記 KU）と 知 識 ト ピ ッ ク を 明 記 し て い る ． ま た ， 様 々 な 目 的 を 持 つ 教 育 機 関 に 適 応 し ， コ ン ピ ュ ー タ 科 学 教 育 の 幅 を 広 め る た め に ， 教 育 に ま だ 定 着 し て い な い 先 端 な 知 識 を 包 括 す る よ う に し て い る ． こ の よ う な カ リ キ ュ ラ ム 標 準 も よ く 教 育 機 関 の カ リ キ ュ ラ ム 分 析 に 用 い ら れ る [17], [18]． 石 畑 ら [17]は 設 立 経 緯 が 異 な る 理 工 系 情 報 学 科 で 実 際 に 教 え ら れ て い る 内 容 の 全 体 像 を 把 握 す る た め ， 収 集 し た 大 学 の シ ラ バ ス が コ ン ピ ュ ー タ 科 学 知 識 体 系 に ど う 対 応 す る か を 専 門 家 に よ る 人 手 の 判 定 を 行 っ た ． Sekiya ら [18]は 教 師 あ り の LDA モ デ ル を 用 い ，科 目 が コ ン ピ ュ ー タ 科学 知 識 体 系 の KA を カ バ ー す る 確 率 を 予 測 し た ． 以 上 の 議 論 か ら ， カ リ キ ュ ラ ム 標 準 が 定 め た 知 識 体 系 を 知 識 ベ ー ス と し て 活 用 す る 可 能 性 が 見 ら れ る ． 4.2. デ ー タ セ ッ ト CS2013 で は 実 際 の 大 学 で 開 講 さ れ て い る 81 個 の サ ン プ ル 科 目 の 調 査 デ ー タ を 公 開 し ， 各 科 目 の シ ラ バ ス 情 報 以 外 に ， 各 指 導 者 が 自 分 の 科 目 が ど れ ほ ど カ リ キ ュ ラ ム の 知 識 体 系 を 含 め る か と い う カ バ レ ッ ジ デ ー タ も 提 供 し て い る ．図 11 は あ る 科 目 シ ラ バ ス 情 報 の 抜 粋 で あ る ． 指 導 者 が 付 与 し た カ バ レ ッ ジ デ ー タ が 図 12 に 示 す よ う に ， 各 KA の 知 識 を 含 め る 程 度 が 講 義 の 時 間 数 で 表 さ れ て い る ． 本 研 究 で は ， カ バ レ ッ ジ デ ー タ の 欠 如 の あ る 科 目 を 除 い て ，73 サ ン プ ル 科 目 を 科 目 内 容 解 析 の デ ー タ と し て 利 用 し た ． 図 11 シ ラ バ ス 情 報 の 例 図 12 指 導 者 が 付 与 し た 知 識 カ バ レ ッ ジ の 例 4.3. 分 析 手 順 分 析 の 目 標 は ， 自 然 言 語 処 理 で よ く 使 わ れ る bag-of-words 手 法 を 用 い ，各 科 目 の シ ラ バ ス を CS2013 の 知 識 体 系 の 単 語 空 間 で ベ ク ト ル 化 す る こ と に よ り ， シ ラ バ ス の KA カ バ レ ッ ジ を 予 測 す る こ と で あ る ． 具 体 的 な 分 析 手 順 は 以 下 の よ う に な る ． 先 ず ， CS2013 の 知 識 体 系 に 出 現 し て い る 単 語 集 合 を V = {𝑡1, 𝑡2, ⋯ 𝑡|𝑉|} で 表 す ．そ し て ，各 KA の ド キ ュ メ ン ト の V 空 間 で の ベ ク ト ル を 𝑘𝑎⃗⃗⃗⃗⃗⃗ = (𝑤𝑗 1,𝑗, 𝑤2,𝑗, … , 𝑤|𝑉|,𝑗)（ 𝑤𝑖,𝑗は i 番 目 の 単 語 が j 番 目 の KA に お け る 重 み で あ り ， 当 該 単 語 が 当 該 KA を 代 表 す る 度 合 を 表 す ） で 記 し ， (1-a)と (1-b)と 二 種 類 の 数 式 で 𝑤𝑖,𝑗を 算 出 す る ．(1-b)は 各 文 書 に お け る 単 語 の 重 み 付 け 手 法 と し て よ く 知 ら れ る TF-IDF 手 法 で あ る ． 𝑤𝑖,𝑗= 𝑜𝑐𝑐𝑖,𝑗 (1-a) 𝑤𝑖,𝑗= 𝑡𝑓𝑖,𝑗× 𝑖𝑑𝑓𝑖 (1-b) こ こ で ： 𝑜𝑐𝑐𝑖,𝑗：i 番 目 の 単 語 が j 番 目 の KA で 出 現 す れ ば 1， そ う で な け れ ば 0 𝑡𝑓𝑖,𝑗： i 番 目 の 単 語 の j 番 目 の KA で の 出 現 頻 度 𝑖𝑑𝑓𝑖： i 番 目 の 単 語 の 逆 文 書 頻 度 ま た ，V を 参 照 し て ，用 意 し た 𝑘𝑎⃗⃗⃗⃗⃗⃗ を 用 い ，科 目 シ ラ𝑗 バ ス 文 書 の KA 空 間 に お け る ベ ク ト ル 𝑠𝑘 ⃗⃗⃗ = (𝑣1,𝑘, 𝑣2,𝑘, … , 𝑣|𝐾𝐴|,𝑘)を 算 出 す る （ 𝑣𝑗,𝑘が k 番 目 の シ ラ バ ス の j 番 目 の KA に お け る 知 識 カ バ レ ッ ジ を 表 し ， 数 式 (2)に よ り 算 出 さ れ る ）． 𝑣𝑗,𝑘= ∑𝑖∈𝑉𝑜𝑐𝑐𝑖,𝑘× 𝑤𝑖,𝑗 (2) こ こ で ： 𝑜𝑐𝑐𝑖,𝑘： i 番 目 の 単 語 が k 番 目 の 科 目 シ ラ バ ス で 出 現 す れ ば 1， そ う で な け れ ば 0 得 た 科 目 -KA ベ ク ト ル の 正 確 さ を 評 価 す る た め ， 科 目 -KA ベ ク ト ル の 成 分 の 大 き さ に よ り 各 科 目 の 含 め る KA の 順 位 を 指 導 者 が 付 与 し た KA カ バ レ ッ ジ 順 位 と
比 較 す る ． 比 較 に あ た っ て ， 順 位 付 け 問 題 で よ く 用 い ら れ る 評 価 指 標 nDCG （ Normalized Discounted Cumulative Gain） を 利 用 す る ． 具 体 的 な 算 出 手 法 は 数 式 (3)に 示 さ れ る ． { 𝑛𝐺𝑐[𝑖] = 𝑟𝑒𝑙𝑐[𝑖] 𝑚𝑐[𝑘] 𝐷𝐶𝑛𝐺𝑐[𝑘] = 𝑛𝐺𝑐[1] + ∑ 𝑛𝐺𝑐 [𝑖] log2𝑖 𝑝 𝑖=2 𝑛𝐷𝐶𝑛𝐺𝑐[𝑘] =𝐼𝐷𝐶𝑛𝐺𝐷𝐶𝑛𝐺𝑐[𝑘] 𝑐[𝑘] (3) こ こ で ： c:科 目 𝑟𝑒𝑙𝑐[𝑖]：あ る 科 目 に 対 し ，指 導 者 が 付 与 し た i 番 目 の KA の 知 識 を 扱 う 講 義 時 間 数 𝑚𝑐[𝑘]： 上 位 k 個 に 着 目 す る 際 の 𝑟𝑒𝑙𝑐の 最 大 値 𝑛𝐺𝑐[𝑖]： 標 準 化 さ れ た ゲ イ ン 値 𝐷𝐶𝑛𝐺𝑐[𝑘]： 上 位 k 個 に 着 目 す る 際 の デ ィ ス カ ウ ン ト 累 積 ゲ イ ン 値 𝐼𝐷𝐶𝑛𝐺𝑐[𝑘]： 上 位 k 個 の KA に 着 目 す る 際 の 理 想 的 な 順 位 で 得 ら れ る デ ィ ス カ ウ ン ト 累 積 ゲ イ ン KU は KA の 下 位 カ テ ゴ リ ー で ， 科 目 -KU ベ ク ト ル の 算 出 と 評 価 は 同 様 な 手 順 で 施 す ． 4.4. 結 果 と 考 察
上 記 の 分 析 手 順 を Python の ラ イ ブ ラ リ scikit learn で 実 装 し て ， 以 下 の 結 果 を 得 た ． 表 1 科 目 -KA の nDCnG 値 k 1 2 3 4 5 6 7 8 9 nDCnG[1] 0.863 0.874 0.866 0.866 0.877 0.880 0.880 0.875 0.875 nDCnG[2] 0.959 0.914 0.917 0.917 0.920 0.928 0.930 0.932 0.934 k 10 11 12 13 14 15 16 17 18 nDCnG[1] 0.878 0.882 0.884 0.885 0.887 0.888 0.889 0.889 0.889 nDCnG[2] 0.936 0.938 0.939 0.940 0.941 0.942 0.942 0.942 0.942 nDCnG 平 均 値 [1] 0.880 nDCnG 平 均 値 [2] 0.934 (注 ： [1]は 数 式 (1-a)で 計 算 し た 結 果 で あ り ， [2]は 数 式 (1-b)で 計 算 し た 結 果 で あ る ． ) 図 13 科 目 -KA の nDCnG 値 の 折 れ 線 図 表 1 と 図 13 が 示 す よ う に ，単 語 が 各 KA で の 重 み を 0-1 変 数 で 計 算 す る 場 合 ， 本 研 究 が 提 案 す る 手 法 で 予 測 し た KA 単 位 で の 科 目 の 知 識 カ バ レ ッ ジ は 指 導 者 が 付 与 し た 知 識 カ バ レ ッ ジ と 0.880 水 準 で 一 致 し て い た こ と が 分 か る ．ま た ，単 語 の 重 み と し て tfidf 値 を 利 用 す る 場 合 ， 0.934 水 準 で 一 致 し て い た ． 特 に ， 一 個 の KA に 着 目 す る 場 合 ，95.9%の 正 確 率 で 予 測 す る こ と が で き た ． 一 方 ， KU レ ベ ル で の 予 測 は 更 に 細 か い 粒 度 で 計 算 す る た め ， 精 度 は KA よ り 落 ち て い た ． 単 語 の 重 み を 0-1 変 数 で 計 算 す る 場 合 ， nDCnG 平 均 値 は 0.577 水 準 に 留 ま っ て い た ．単 語 の 重 み の 計 算 に tfidf 値 を 利 用 す る 場 合 は ，nDCnG 平 均 値 は 0.697 水 準 で あ っ た ．nDCnG 値 が ど の 水 準 で あ っ た ら 正 確 に 科 目 の 知 識 カ バ レ ッ ジ を 反 映 で き る か は 議 論 す る 余 地 が あ る が ， KU レ ベ ル で の 予 測 精 度 は 理 想 的 で は な い と 言 え る ． 原 因 と し て は ， 各 KU の 特 徴 単 語 が 重 複 す ぎ る 可 能 性 ， 科 目 の シ ラ バ ス の 語 彙 と カ リ キ ュ ラ ム 標 準 の 語 彙 と の 相 違 な ど が 挙 げ ら れ る ．
5. ま と め と 今 後 の 課 題
教 育 の 公 開 化 を 背 景 に ，MOOC 受 講 と い う 自 由 化 と 個 人 化 を 強 調 す る 学 習 を 支 援 す る た め ， 本 研 究 で は ， 自 動 的 に 科 目 マ テ リ ア ル を 共 通 な 知 識 ベ ー ス に マ ッ チ ン グ し ， そ れ に 基 づ き ， 学 習 者 が 科 目 検 索 段 階 で シ ス テ ム と の イ ン タ ラ ク シ ョ ン デ ー タ を 用 い 学 習 目 的 と 学 習 能 力 を 推 定 し ， ま た そ れ に よ っ て 有 効 か つ 効 率 的 な 科 目 内 容 の 受 講 パ ス を 抽 出 す る ダ イ ナ ミ ッ ク な 科 目 選 択 支 援 シ ス テ ム を 提 案 し た ． ま た ， こ の よ う な シ ス テ ム を 実 現 さ せ る た め ， 初 期 分 析 と し て の 科 目 内 容 解 析 を 行 っ た ． そ の 結 果 ， 本 研 究 が 提 案 す る 手 法 は 科 目 の 知 識 カ バ レ ッ ジ を 予 測 す る 可 能 性 を 示 し た ． 今 後 の 課 題 は 次 の 二 点 に 分 け る こ と が で き る ． 科 目 の 知 識 構 造 を 自 動 的 に 抽 出 す る 手 法 を 改 善 す る ． 学 習 者 の 学 習 目 的 と 学 習 能 力 に 適 応 す る 科 目 内 容 を 見 つ け 出 す プ ロ セ ス に 不 可 欠 な 学 習 者 デ ー タ の 推 定 す る 手 法 を 策 定 す る ． 0.8 0.85 0.9 0.95 1 1 3 5 7 9 11 13 15 17 n D C n G k [1] [2]参 考 文 献
[1] L. Yuan, S. Powell, and J. CETIS, “MOOCs and open education: Implications for higher education,” 2013. [Online]. Available: http://publications.cetis.org.uk/wp -content/uplo ads/2013/03/MOOCs-and-Open-Education.pdf. [Accessed: 11-Jan-2016].
[2] A. D. Ho, I. Chuang, J. Reich, C. A. Coleman, J. Whitehill, C. G. Northcutt, J. J. Williams, J. D. Hansen, G. Lopez, and R. Petersen, “HarvardX and MITx: Two Years of Open Online Courses Fall 2012-Summer 2014,” Social Science Research Network, SSRN Scholarly Paper ID 2586847, 2015. [3] “ 大 学 の オ ー プ ン 化 に 関 す る 調 査 結 果 （ 2015）： NTT コ ム リ サ ー チ ,” NTTコ ム リ サ ー チ 調 査 結 果 - IT動 向 や 消 費 行 動 な ど ト レ ン ド な リ サ ー チ 結 果 レ ポ ー ト を 公 開. [Online]. Available: http://research.nttcoms.com/database/data/0020 02/. [Accessed: 06 -Jan-2016].
[4] Y. Belanger and J. Thornton, “Bioelectricity: A Quantitative Approach Duke Univers ity’s First MOOC,” Report, 2013.
[5] P. Brusilovsky, J. Eklund, and E. Schwarz, “Web-based education for all: a tool for development adaptive courseware,” Computer
Networks and ISDN Systems , vol. 30, no. 1–7,
pp. 291–300, 1998.
[6] F. W. B. Li, R. W. H. Lau, and P. Dharmendran, “An Adaptive Course Generation Framework,”
Int. J. Distance Educ. Technol. , vol. 8, no. 3, pp.
47–64, 2010.
[7] N. Matsuda, T. Furukawa, N. Bier, and C. Faloutsos, “Machine beats experts: Automatic discovery of skill models for data -driven online course refinement,” in Proceedings of the 8th
International Conference on Educational Data Mining, 2015.
[8] T. Barnes, “Q-matrix Method: Mining Student Response Data for Knowledge,” in Technical
Report (WS-05-02) of the AAAI-05 Workshop on Educational Data Mining , 2005.
[9] S.-S. Tseng, P.-C. Sue, J.-M. Su, J.-F. Weng, and W.-N. Tsai, “A new approach for constructing the concept map,” Computers & Education, vol. 49, no. 3, pp. 691–707, 2007.
[10]J. J. Villalon and R. A. Calvo, “Concept Map
Mining: A Definition and a Framework for Its Evaluation,” in Proceedings of the 2008
IEEE/WIC/ACM International Conference on Web Intelligence and Intelligent Agent Technology - Volume 03, pp. 357–360, 2008.
[11]R. J. C. Bose, O. Deshmukh, and B. Ravindra, “Discovering Concept Maps from Textual Sources,” in Proceedings of the 8th International Conference on Educational Data Mining, 2015.
[12]A. Vuong, T. Nixon, and B. Towle, “A method for finding prerequisites within a curriculum,” in Proceedings of the 4th International Conference on Educational Data Mining , 2011.
[13]F. Gasparetti, C. Limongelli, and F. Sciarrone, “Exploiting wikipedia for discovering prerequisite relationships among learning objects,” in Proceedings of the International
Conference on Information Technol ogy Based Higher Education and Trainin g, pp. 1–6, 2015.
[14]J. Řihák, R. Pelánek, and J. Nižnan, “Student Models for Prior Knowledge Estimation,” in
Proceedings of the 8th International Conference on Educational Data Mining , 2015.
[15]三 輪 眞 木 子 , “検 索 の ゆ く え (<特 集 >『 検 索 』 の ゆ く え),” 情 報 の 科 学 と 技 術 , vol. 63, no. 1, pp. 2–8, 2013.
[16]A. for C. M. (ACM) Joint Task Force on Computing Curricula and I. C. Society, “Computer Science Curricula 2013: Curriculum Guidelines for Undergraduate Degree Programs in Computer Science,” Technical report, ACM, 2013. [17] 石 畑 清 , 大 岩 元 , 角 田 博 保 , 清 水 謙 多 郎 , 玉 井 哲 雄 , 長 崎 , 中 里 秀 則 , 中 谷 多 哉 子 , 疋 田 輝 雄 , 三 浦 孝 夫 他 , “理 工 系 情 報 学 科 の 授 業 内 容 分 布 の シ ラ バ ス に よ る 調 査 ( 中 間 報 告 ),” 情 報 教 育 シ ン ポ ジ ウ ム , 2010.
[18]T. Sekiya, Y. Matsuda, and K. Yamaguchi, “Curriculum analysis of CS departments based on CS2013 by simplified, supervised LDA,” in
Proceedings of the Fifth International Conference on Learning Analytics And Knowledge, pp. 330–339, 2015.
