The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014
- 1 -
invisible
迷路
を用い
人
学習過程
可視化
的学習
支援
Visualizing mental learning processes with invisible mazes for assisting continuous learning
山口
智浩
*1
竹森
孝樹
*1
高玉
圭樹
*2
Tomohiro Yamaguchi and Kouki Takemori Keiki Takadama
*1
奈良
業高等専門学校
*2
電気通信大学
Nara National College of Technology The University of Electro-Communications
This paper reports our learning support system for a human learner to visualize his/her mental learning processes with invisible mazes for continuous learning. The objective of this research is to bring the learning ability of the learning agent close to that of a human. To fill in the missing piece of reinforcement learning whose learning process is mainly behavior change, we add two mental learning processes, awareness as pre-learning process and reflection as post-learning process. To observe mental learning processes of a hu-man, we propose a new method for visualizing mental learning processes with invisible mazes consisting of invisible walls which are perceived as a sign that is the number of walls in the neighborhood.
1.
め
本論文 強化学習 枠組 を拡張 人 学習
ン 共通 的 学 習過 程 設 計[Yamaguchi 2014]
い 述 強化学習を拡 張 学習前後 過程
気 , 振 返 2 心的過程を追 的学習
を通 両者 を可 視化 迷 路 invisible 壁
遭遇 回避行動 有無 気 過程を可視化 次
invisible 壁 気配 気 を記述 meta-action
振 返 過 程 を可 視 化 実 験 結果 的 学 習
解発見数 振 返 強い負 相関を持 解発見数
位者ほ 効率 く振 返 を行 い こ 示唆さ
2.
的
学習過程モ
ル
本 節 的 学 習[Sessa 2006][Smita 2012][Yamaguchi
2013] 気 , 振 返 理論的背景 い 述
2.1 的学習 強化学習 比較
Fig.1 人間 的学習 学習agent 強化学習 学習
過程 比較を示 Fig.1(a) Buckler 提案さ 的改善を 学習過程 [Buckler 1996] あ
主 特徴 各過程 状 終 いこ あ
各過程 心的過程 あ ア 化さ い い
一方 Fig.1(b) 学習agent 強化学習過程を示 学
習過程全体 Fig.1(a) 異 直線状 始 終わ あ
Fig. 1: A comparison of learning processes
理 既 強化学習 目的 人間 設計者 え
学習目標 対 最適解 発見 あ 次 各過
程 を 両 者 比 較 Fig.1(a) 2) understanding, 4)
enactment Fig.1(b) 2) 4-1), 4-2) 過程 相当
Fig.1(a) 過程1), 3), 5) Fig.1(b) い こ 学習
や ア を変 更 学 習 的 役 割 を持
的学習 本質的過程 あ う 3) commitment 過程 標準
強化学習ア 含 設計者 学習目標を設
定 Fig.1(a) 1) awareness, 5) reflection 過程 い
次節 説明
2.2 学習過程 おけ 気 き 振 返
本 節 的 学習 過程 け 本 質 的 過程 あ 気
振 返 [Kravcik 2013] い 述 気
(Awareness) 振 返 (Reflection) 共通 将来 改善
情 報 学 習者 経 験 注 目 こ あ 両 者
い 気 知覚 関連 振 返 行動(行 知覚
行 ) 関係 こ あ
(1) 学習前過程 気 き(Awareness)
学 習 関 気 [Marton 1997][Reinhardt 2011]
様々 意味 あ 本研究 気 定義を 近い将来 状
況 予 測 関 知覚 [Kurapati 2012] 学習 前過 程 い 気 行動変更(behavior change) け いう
要 役 割 あ こ 々 気 体 的 意 味 を 将
来 失 敗 間 区 困 難 完 全 知覚 を区
必 要 性 理 論 的 述 区 困 難 知 覚
完全知覚状態[Kaelbling 1998] 生 仮定
(2) 学習後過程 振 返 (Reflection)
学習 関 振 返 [Boud 1985] 様々 意味 あ 本
研 究 振 返 定義 を 将来 行 動を く 経 験 意
識 的 再 評 価 [Krogstie 2012] 学 習 後 過 程 い
振 返 行動変更や学習結果 何 意味 創造 い
う 要 役割 あ こ 々 振 返 体的 意味を
学 習 者を将 来 失敗 く く規 則 習 慣 向 け
説明 解釈 生
3.
迷路モ
ル
よ
的
学習過程
設計
本節 学習環境 的学習 設計概念
連絡先：山口智浩 奈良 業高等専門学校情報 学科
〒639-1080 大和郡山 矢 22
The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014
- 2 - [Yamaguchi 2014][山 口 2014] い 述 本 研 究
Fig.1 的学習過程 化 学習環境を一
目標地 迷路を構 壁 invisible あ 迷路 定式化[Yamaguchi 2013] 的学習
迷路 をく く歩く迷路 巡回 学 習者
当初 気 い様々 学習目標を発見 う設計
3.1 的学習過程 流
Fig.2 本論文 提案 的学習過程 流 を示 こ
過程 イ [Yamaguchi 2014] 構 さ 側 イ を trial 呼ぶ trial 開始状態 目標状態
遭遇 迷路巡回 条件を満 場合 他 失敗
壁 呼 ば 障 害 遭 遇 失 敗 移 系 列 定 義
さ こ イ 線 mental processes 外部 観測困難 心的過程 Fig.1(a) 1) 5) 各過程
相当 学習者 失敗 action
気 (awareness)を含 心的過程を繰 返
中間 イ をachievement 呼ぶ achievement 迷路 巡 回(maze sweeping) 学 習 定 義 さ こ イ
学習者 壁や目標 遭遇 trial終了時 reflection
trialを振 返 後 進行中 trial 未 場合
開始状態 移 を再開(restart) trial 場合 achievementを終了 外側 イ 的 学習 イ あ 進行中 achievementを give
up 学習者 次 achievement 挑戦
Fig. 2: The flow of the continuous learning process
3.2 invisible迷路モ ル よ 学習環境 設計
人 学 習 者 学 習 環 境 設 計 開 始 状 態
目 標 状 態 至 格 子 迷 路 [Yamaguchi 2013]を用 い
迷 路 を用 い 理 試 行 錯 誤 過 程 を通 解
筋 を見 例 両 者 を対 応 さ や い例 あ
迷 路 状 態 集 合 壁 気 配 値(sign) 移 壁 action
集合 meta-action 5 要素 定義さ
Fig.3 2次元格子迷路 構 を示 周 壁 長方形
あ 迷路を単純迷路 呼ぶ Fig.3 (a) 開始状態S 目標状
態Gを持 3×2 単純迷路 表示イ を示 迷路
各 正 方 形 を状 態 呼 ぶ 迷路 状 態 間 移
あ 状態 右 4近傍 状態 連結(壁 ) 非連結(壁
あ ) 定義さ Fig.3 (b) 有向 フ 表さ action集
合 学習者 実行可能 右4方向い 移動
を表 {up, right, left, down} 4種類 action 定義さ
Fig. 3: The structure of a 3 x 2 simple maze
次 3.1 節 述 achievement 行 う 迷 路 巡 回(maze
sweeping) い 述 迷 路 巡 回 2次 元 迷
路 固定さ 開始状態S 目標状態G い 迷路
全状態を う １回 訪問 S G 経路 解
呼ぶ を求 定義さ
移 動 先 状 態 移 状 態 を訪問 済 但
巡回 迷路訪問済状態 後戻 (backtrack)
い 壁 衝 突 action 開始 状 態 S 移 trial を
restart 目標状態G 移時 迷路巡回
定を行い 未 時 自動的 restart
3.3 気配値(sign) よ 気 き過程 可視化
本節 迷路 invisible 壁 在を示唆 気配値
を学習者 知覚 提 示 壁 対 衝 突 回避行 動 有
無 気 過程を可視化 方法 い 述
あ 状態 気配値(sign) [Yamaguchi 2014] 状態
4 近 傍 け 壁 数{0,1,2,3,4} 定 義 さ 学 習 者
invisible 壁を直接知覚 い代わ 各状態 気配値を
invisible 壁 在 知 覚 知 覚 済 気 配 値 trial
終了 迷路 訪問済状態 表示さ Fig.4 invisible
壁 構 さ 単 純 迷 路 例 を 示 Fig.4 (a) 4×4
invisible 単 純 迷 路 を 示 線 trial 中 表 示 さ い
invisible 壁 位置を表 Fig.4 (b) 移系列 例を示
Fig.4 (c) 迷路 訪問済 状態 気配値 を示
Fig. 4: An example of a simple maze with invisible walls
3.4 気配値 基 く不完全知覚状態 そ 解決
本節 invisible 壁 気配値 0以外 場合
完 全 知 覚 状 態 あ こ を述 次 学 習 者 自 身 視 拡
大 気 く 完 全 知 覚 状 態 解 決 未 知 壁 予 見 可
能 こ を説明
気配値 0 周 壁 い(完全知覚)状態 気配値 1,2,
3 4近傍 壁 位置 特定 い 完全知覚状態 あ
単 一 完 全 知 覚 状 態 を解 決 学 習 者 移 動
視 を 拡 大 近 傍 状 態 気 配 値 を 知 必 要 あ
invisible 壁を衝突前 予見 要 気 学習目
標 Fig.4 示 周 壁 長方形 あ 単純迷路 場合
近傍状態間 気配値系列 01 び invisible 壁
位置関係 気 くこ あ 次 要 適 特徴
注目 視 拡大 invisible 壁 見え う こ あ Fig.4 (c) 単純迷路 例 2種 気配値{01, 12} 壁{!, #} パ ン{01!, 12#} 着目 未知壁!
び 未 知 角(corner)#を予 見 周 壁 形 状 長 方 形 以
外 壁 岐 や孤 立 島 を持 非単 純迷 路 場合
壁 配 置 状 況 応 気 配 値 壁 位 置 規 則
性 気 くこ ば 未知壁 予見 可能
以 未知壁 予見 学習目標系列を示
subgoal1: invisible 壁を見 け 位置を特定
subgoal2: 壁周辺 気配値 注目
The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014
- 3 -
3.5 meta-action よ 振 返 過程 可視化
本 節 invisible 壁 気 配 気 を 記 述
meta-action 学習者 心的学習過程を表 振 返
過程を可視化 方法 い 述 meta-action
を迷路地図 状態 置く操作 定義さ 学習者 心
的学習過程を表現 要約 目的 あ
振 返 緑 赤, 青 3種類あ 各Trial 最
後 行う振 返 過程を表 用い こ
色 数 区 さ 緑 1 赤
青 4
trial終了時 振 返 過程 振 返 を 迷路 地
任 意 状 態 置 くこ 型 的 使 い方 緑
目 標 状 態 を見 け 時 印 を 黄 色 赤
発見 壁 位置 び迷路 四隅 位置を表 場
合 あ 地 印 を け 振 返 あ
achievement 一連 trial 中 迷路地 表示さ
4.
実験
本 章 invisible 迷 路 系 列 学 習 環境
的学習 被験者実験[山口2014] い 述 気
関 先 行 研 究[藤 本 2004] 答 え 直 接 教 示 間 接
教示 方 学習 定着率 良 いこ わ い こ 知見
を参 考 教示 学習 関 直接 的 説明 を少 く
実験条件を設定 主 実験目的 被験者 的
学習 長さや振 返 過程 可視化 あ 被験者 実
験を行う 操 作方法を教 示 総数や迷路形状
用意 色 役割 使い方等 教示 い い
4.1 invisible迷路 よ 的学習タスク設定
(1) 学習環境
被験者 的学習 長さを見積 全 54
迷路系列を用意 各 単一 invisible迷
路 2 以 解を持 解 総数 54×2=108
個 あ 系列 難易度 う 前半 8
単 純迷路 を状態数 昇 並 9 目 以降
非単純迷路を状態数 昇 配置 用い 非単純迷路
周 壁形状 長方形以外 を持 一形状 迷路
後半 迷路 独立 壁を配置 い
(2) meta-action よ 振 返 過程 可視化
trial終了時 振 返 過程 い 3種 色 緑1,
赤4, 青4 を用意 色 役割 い 説明
事後アン 各色 役割を決 決 い
場合 使い方を調査
(3) 的学習タスク
実験前 被験者 教示 概要を 記 列挙
至 経 路 中 最 大 長
経路 を解 呼ぶ
解を2 見 け こ 目的 あ
実験を け く い 思えば終了 い
表示さ 数 隣接 壁 枚数 あ
迷路中 操作方法
reflection 過程 説明 ップ 操作方法
こ こ 迷 路 挑 戦 を振 返 気 い こ を記 録
こ 中略 ップ を置くこ
次 挑 戦 備 え 挑 戦 時 気 や 注 意 い場
所 を移動さ さい Red(4 ), Blue(4
) Green(1 ) 3種類 あ 以 操作方法 説明
(4) 測定項目
主 測定 目 被験者 挑戦 数
挑 戦 回 数 壁 衝 突 回 数 解 発 見 数 実 験 時 間
achievement 時 間 reflection 時 間 reflection 回 数 あ
reflection 過程 被験者 作 迷路地 を 像形式
保 実験時間 構 を式(1) 示
実験時間＝achievement時間 reflection時間 (1)
(5) 的学習タスク 仮説
reflection時間 長い程 的学習 長く
4.2 実験結果
18才 22才前後 高専男子学生8 を被験者 4.1
節 説 明 一 条 件 を用 い 学 習 実 験 を行 実 験 謝
礼 的 学 習 影 響を え い う 実 験 時 間
関係 く 安価 菓子 う い棒 1 本 以 実験結
果 概要を述
的学習 長さ
(1) 実験時間：最短 被験者 48 間実験を行 残
7/8 被験者 60 以 (60～105 間)実験を
(2) 挑戦 率 解発見率：6/8 被験者 半数以
(30～50 ) 挑戦 半数以 (60～
100個) 解を発見
的学習 け 実験時間 析
(3) reflection時間 長さ 解発見数 弱い負 相関 あ
相関係数 -0.28
(4) achievement時間 解発見数 強い正 相関 あ
相関係数0.94
(5) 壁 衝突回数 解発見数 強い正 相関 あ
相関係数0.88
実験結果(1)(2) 大半 被験者 実験 60 以
組 半 数 以 解を発 見 結果 的 invisible 迷 路
学習 性 貢献 考え
こ 対 実 験 結果(3) 著者 予想 外 あ
事 後 ア ン 回 答 び 実 験 状 況 析 解 発 見 数
位 2 No.8,6 被 験 者 主 序 盤
reflection 時 間 長 く 中 盤 以 降 一 部
reflection 時間を使 い こ わ 一方 解発見数最
No.7: 16 解20個を発見 被験者 reflection
時間 73 間 8 中2番目 長い こ 解発見数
reflection時間 くreflection 質 依 こ 予
想さ reflection 質を評価 指標 reflection
を式(2) 定義 析を行
reflection ＝reflection時間 解発見数 (2)
Table 1 reflection を含 実験結果を示 相関
析 結果 reflection 解 発見数 強い負 相関 相関係数 -0.78 壁 衝突回数 中程度 負 相関 あ 相関係数 -0.68 今回 的学習 い
解発見 数 位 被験者 解発見 数 位 被 験者 比
要領 くreflectionを行い reflection 壁 衝
突 を許 容 壁 衝 突 回 数 大 こ 多 く 解 を発 見
The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014
- 4 - Table 1 Experimental results
4.3 議論
(1) reflectionコス 意味 上達支援
reflection 意味 使い方 い 議論 reflection
を振 返 キ 度
楽 解け う いく え 多く
解を発見 的学習 長く こ 予想さ
今後 課題 学習 中 reflection 逐次的 算 を予 定 い こ reflection 大 い被験
者 を学 習 早 期 発 見 振 返 キ 初 級 者 択 的
支 援 一 方 reflection さ い 被 験 者 対
級者 位置 け 難易度調 整 び後 述 新
学習目標 設定を検討
(2) 振 返 スキル 個人差 基 く対話的上達支援へ向け
reflection 個 人 差 要 因 有 効 使 い方 い 議
論 reflection 大 い 位被験者 配
置 数 多 く 配 置 規 則 一 貫 性 弱 い傾 向 あ 対
reflection さい 位被験者 reflection map
を置 頭 中 け 迷路 を解い い
中盤以 降多 い reflection け く
使用 数や 置 方 を行 動観 察法[松波 2013] 析
振 返 キ 度を精度 良く見積 期待さ 一
方 今回実験 学習環境 び学習 系列 け 振
返 キ 個人差を吸収 い こ 予想さ
こ 振 返 キ 個人差 基 く適応的 支援
び対話的 支援 以 目を検討予定 あ
振 返 キ 個人差 基 く 級者 初級者 類
振 返 キ 応 気配値提示 適応的 支援
級者初級者ペア 振 返 キ 対話的 支援
行動観察法 reflection過程 キ 析 細 化
5.
結論
本論文 強化学習 枠組 気 , 振 返 2
心 的 過 程 を追 イ 構 さ 的 学 習
過程 を提 案 invisible迷路 を用い 気 可
視 化 振 返 可 視化 を実 現 invisible 迷 路系 列 を用 い
的 学 習 被 験 者 実 験 結 果 析 的 学
習 長 さ を見 積 解 発 見 数 振 返 強 い負
相関を持 解発見数 位者ほ 要領 く振 返 を行 い
こ 示唆さ
今 後 課 題 的 学 習 条件 を明 比 較
条件 検討 reflection 基 く学習 中 振 返
キ 度 ン イン見 積 実装 検 証 振 返 キ
個人差 基 く適応的 対話的 支援 検討 あ
謝辞
本研究 JSPS科研費 23500197 助 を け
参考文献
[Boud 1985] Boud, D., Keogh, R., and Walker, D. “Reflection: Turning Experience into Learning”, Routledge (1985) [Buckler 1996] Buckler, B. “A learning process model to achieve
continuous improvement”, The Learning Organization, Vol.
3, No. 3, pp.31-39, MCB University Press (1996)
[藤本 2004] 藤本武司, 砂山渡, 山口智浩, 谷 正彦: 視
線行動 可視 化 着眼 キ 伝 支援 , 人 知能学
会論文誌, Vol. 19, No. 3, pp.174-183 (2004)
[Kaelbling 1998] Kaelbling, L.P., Littman, M.L. and Cassandra, A.R. “Planning and acting in partially observable stochastic
domains”, Artificial Intelligence, Vol.101, pp.99-134,
Elsevier (1998)
[Kravcik 2013] Kravcik, M., et al.(Eds.), Proceedings of the 3rd Workshop on Awareness and Reflection in Technology Enhanced Learning (ARTEL2013), http://ceur-ws.org/Vol-1103/ (2013)
[Krogstie 2012] Krogstie, B., Prilla, M. “Tool support for reflection in the workplace in the context of reflective learning cycles”, Proceedings of the 2nd Workshop on Awareness and Reflection in Technology-Enhanced Learning (ARTEL 2012), pp.57-72, http://ceur-ws.org/Vol-931/ (2012) [Kurapati 2012] Kurapati, S., et al. “A Theoretical Framework for Shared Situational Awareness in Sociotechnical Systems”, Proceedings of the 2nd Workshop on Awareness and Reflection in Technology-Enhanced Learning (ARTEL 2012), pp.47-53, http://ceur-ws.org/Vol-931/ (2012)
[Marton 1997] Marton, F. and Booth, S. “Learning and Awareness”, Routledge (1997)
[松波 2013] 松 波 晴人 行 動観 察 基 本 イヤ ン 社
(2013)
[Reinhardt 2011] Reinhardt, W. and Christian, M. “Awareness in
Learning Networks”, Proceedings of the The PLE
Conference 2011 (ARTEL2011), pp.12-20 (2011)
[Sessa 2006] Sessa, V. I., and London, M. “Continuous Learning in Organizations: Individual, Group, and Organizational Perspectives”, Psychology Press (2006)
[Smita 2012] Smita, J., and Trey, M. “Facilitating continuous learning: re-view of research on individual learning capabilities and organizational learning environments”, the annual meeting of the AECT International Convention, Louisville (2012)
[Yamaguchi 2013] Yamaguchi, T., Takemori, K. and Takadama, K. "Modeling a human's learning processes toward continuous learning support system", in Interdisciplinary Mechatronics, M. K. Habib, J. Paulo Davim, (eds.), pp.69-94, Wiley-ISTE (2013)
[Yamaguchi 2014] Yamaguchi, T., Takemori, K., Takadama, K.
“Visualizing mental learning processes with invisible mazes
for continuous learning”, Proceedings of 16th International Conference, HCI International 2014, June, (2014) to appear [山口2014] 山口智浩, 竹森孝樹, 高玉圭樹: Invisible 迷
路 を用 い 人 学 習 過 程 可 視 化 計 測自 動 制 御
