手続き的知識の理解を促進するルールベース認知モデリングシステムの開発と評価

(1)

手続き的知識の理解を促進する

ルールベース認知モデリングシステムの開発と評価

Development and evaluation of a rule-based cognitive modeling

system of promoting an understanding of the procedural knowledge

柴山和哉

1∗

_三輪和久

1

_寺井仁

2

Kazuya Shibayama

1

_{Kazuhisa Miwa}

1

_{Hitoshi Terai}

2

1

_{名古屋大学大学院情報科学研究科}

1

_{Nagoya University}

2

_{近畿大学産業理工学部}

2

_{Kinki University}

Abstract: People perform tasks using their knowledge such as driving a car, cooking, and

process-ing arithmetic tasks. Such knowledge for performprocess-ing a variety of cognitive activities is referred to as procedural knowledge. In learning, it is important to understand what procedural knowledge is used for performing tasks. However, it is also diﬃcult to monitor procedural knowledge automati-cally performed after repetitive experiences. In this study, we promote learners’ understandings of procedural knowledge by having them engage in the externalization of procedural knowledge. We developed a rule-based cognitive modeling system for training of the externalization of procedural knowledge. An important feature of this system is the function to refer other members’ models in group activities. With this feature, it is expected that more learners are guided to create cognitive models. We conducted two experiments for the evaluation of this system. In Experiment 1, it was confirmed that, in the solo learning setting, two thirds of learners create models using the system. In Experiment 2, it was also confirmed that, in the group learning setting, more learn-ers successfully create plausible models with the function for group activities. Pre and post tests were performed in Experiment 2, indicating that externalizing procedural knowledge promotes the understandings of the knowledge.

1 はじめに

車の運転や料理，簡単な四則演算などの課題を遂行するときに，人は自身の持つ知識に基づいて処理を行う。このように，さまざまな認知的活動を遂行する際のやり方に関する知識のことを手続き的知識と呼ぶ [1]。自らがどのような手続き的知識に基づいて処理を行ったのか客観的に理解することは，学習において重要である。しかし，反復的な経験によって自動化された手続き的知識を客観的に理解することは困難である。手続き的知識のような人の内的処理についての理解を促進する方法として，「認知モデルを作ることによる学習」が挙げられる。三輪らによる認知モデル作成の授業実践では，参加者に 12 回の授業時間内と授業時間 ∗_{連絡先：名古屋大学情報科学研究科} 名古屋市千種区不老町情報科学研究科棟 4 階 424 E-mail:[email protected] 外における自習によって認知モデルの作成を経験させた。提出させた自由記述のレポートを分析した結果，参加者は認知モデル作成を通して自身の内的処理について内省を行ったことや，認知モデルの行動を観察・分析することで人の内的処理への理解を深めたこと等が明らかになった [2]。また，森田らは認知モデリングスキルの学習支援の方法として，意図しない認知モデルの行動をモデル作成者に観察させることを提案し，授業内での実習を行った [3]。実習の中で行われた人間の認知システムに関するアンケートでは，実習の前後で，認知モデルと対比させた人の認知の優れた点についての言及が上昇した。このことから，学習者は認知モデルと人の認知を比較しながら，認知モデル作成に従事していたと考えられる。以上をまとめれば，認知モデルを作成するためには自身の内的な処理を内省する必要があり，このことが認知モデル作成によって人の認知処理に対する理解を促進させる要因になると考えら人工知能学会研究会資料 SIG-ALST-B503-16

(2)

れる。このような内省的な活動をさせることが学習対象の理解促進に効果があることが示されている。 Chiらの研究では，参加者に学習中に頭で考えていることを説明させる自己説明活動について検討を行った。Chi らは，力学問題を学習させるときに，参加者自身の思考を言語報告させたところ，成績が高い参加者の方が低い参加者よりもより自己説明を行っていることを示した [4]。続く研究では，人間の循環系システムに関する文章を読ませて，自己説明を行う群と行わない群に分けて比較したところ，自己説明を行った群の方がより知識を獲得していることを示した [5]。自己説明は自身の理解をモニタリングすることによって生成されるため，自己説明を促すことによって学習を促進すると考えられる。Renkl らは，確率計算や金利計算の学習において自己説明による学習の効果を示した [6][7]。また，自己説明を用いた学習によって転移問題の成績が向上することも示された。認知モデルの作成においても，自己説明で行われるような自身の内的な処理に対するモニタリングが必要なため，認知モデル作成を通して知識の「外在化」を訓練させることで，手続き的知識の理解が促進できると考えられる。神崎らは，プレ・ポストテストを用いて，より詳細に認知モデル作成の学習効果を検討している [8]。参加者は，中池らによって開発された教育用プロダクションシステムである「どこでもプロダクションシステム（DoCoPro）」[9] を用いて，認知モデル作成を行った。 DoCoProは，ルールベースモデルを構成するための汎用アーキテクチャであり，多様な認知モデルを作成できる反面，初学者が認知モデルを作成できるようになるためのハードルは高く，モデルの実装に失敗する参加者が多岐にわたる。一方，神崎らの実験では，学習効果は，認知モデルを完成できた学習者のみに確認されている。そこで本研究では，作成できる認知モデルを特定の問題に限定することで，学習者が認知モデルを作成するハードルの低いシステムを開発する。これにより，多くの学習者が認知モデルの作成を通して，手続き的知識の外在化に集中的に取り組めると考えられる。本研究のシステムは，覆面算を解くシミュレータ [10] を参考に開発する。覆面算を解くシミュレータは与えられる知識を少し変更されるだけで，問題解決行動が大きく変わることがわかっている。これは，手続き的知識への誤った理解に気づかせる要因になると考えられる。また，覆面算で使われる手続き的知識の一つ一つは，参加者となる大学生にとっては，比較的簡単な算術知識である。一方，これらの手続き的知識は，自動化されており，その知識を言語的に相対化することに困難を覚える参加者が多数にわたる。このような性質は，覆面算が，手続き的知識の外在化のトレーニングタスクに適していることを示唆する。本システムのもう一つ重要な特徴は，他者が作成した認知モデルを参照できる機能を実装し，グループ学習によって認知モデルを構成してゆくことを可能にした点である。これによって，全体として，より多くの学習者が認知モデルを完成できるようになると考えられる。本研究では以下の 2 つの研究目的を掲げる。1 つ目の目的として，知識の「外在化」の訓練のためのルールベース認知モデリングシステムの開発を行う。学習者が作成するモデルは覆面算を解くモデルに限定し，他者が作成したモデルを参照できる機能を実装することで，多くの学習者のモデル作成を可能にするか評価する。2 つ目の目的として，知識の「外在化」によって手続き的知識の「理解」が促進されるかの検討を行う。本研究での「理解」とは，手続き的知識を言語化して，相対化して，把握することである。

2 覆面算

覆面算とは，文字の計算式から数字の計算式を導く数学パズルである（図 1 参照）。覆面算のルールは，「同じ文字には同じ数字が割り当てられる，違う文字には違う数字が割り当てられる」である。今回，モデル作成の題材として覆面算を用いたのには 3 つの理由がある。1 つ目は，シミュレータの持つ知識の違いが問題解決行動に極めて強く影響するからである。2 つ目は，覆面算を解くために必要な知識は，一般的な大学生なら持っている基本的な算数の知識である。3 つ目は，覆面算で使われる知識は，多様で，自動化されたものである。図 1: 覆面算の一例

3 システム開発

3.1 システムの概要

学習者によって外在化された知識に基づいて，本システムは問題を解く過程をシミュレートする。本システムはクライアントサーバ形式のシステムである。クライアント側では，学習者が利用するシミュレータやルール作成機能などの学習用機能を提供する。サーバ側では，あるクライアントで作成されたルールの内容を別のクライアントへ反映させるための相互参照機能を提供する。

(3)

3.2 モデル作成

覆面算を解くための手続き的知識は，if then 形式のルールとして記述できる。このように，覆面算を解決するモデルは，複数のルールの組み合わせから構成される。そのため，本システムにおけるモデルの作成は，モデルが使うことのできる一連のルールをモデルにインプリメントしていくことを意味する。モデルに実装されるルールの種類や数によって，モデルの問題解決行動は変化する。本システムにおけるルールは，ある一桁の計算を処理するための手続き的知識のことである。いくつかのルールの例を図 2 に示す。図 2: ルールの例 (a) 足された数が足す数よりも小さいとき，上位の桁へ桁上がりが発生する。 (b) 上位の桁への繰り上がりがないとき，足された数は足す数よりも大きくなる。 (c) 下位の桁からの桁上がりがわからないとき，足された数は（足す数＋足す数）もしくは（足す数＋足す数＋ 1）である。

3.3 シミュレータ画面

図 3 はシミュレータ画面であり，図中の⃝∼1 ⃝は以5 下の機能を提供する。 1 ⃝ 問題の選択を行う。 2 ⃝ 選択された問題を筆算形式で表示する。「表示切 替」ボタンによって，「問題を解いている状態」と「文字だけの筆算の状態」の 2 つの問題表示方法に切り替えることができる。 3 ⃝ シミュレーションの制御パネルである。「更新」ボ タンで推論をワンステップ進め，「一つ戻る」ボタンで直前の状態に戻る。「最初に戻る」ボタンを押下すると初期状態に戻る。 4 ⃝ 推論結果を逐次的に表示する。どのルールをどの 桁に適用し，どんな値が推論されたのかの推論履歴を表示する。 5 ⃝ 学習者が作成したルールがリストとして表示す る。現在の問題状態で発火可能なルールについては赤枠で表示される。各ルールは，競合解消方略によって，発火のプライオリティが決まる。一方，「強制発火」ボタンを押下することで，任意のルールを強制発火させることができ，学習者の任意のタイミングで作成したルールの動作を確かめることができる。図 3: シミュレータ画面の説明

3.4 エディタ画面

図 4 はルール作成画面であり，図中の⃝∼1 ⃝は以下5 の機能を提供する。 1 ⃝ ルールの保存，ルール作成画面のリセットを行う。 2 ⃝ システムに読み込ませた問題を筆算形式で表示す る。「表示切替」ボタンによって，「問題を解いている状態」と「文字だけの筆算の状態」の 2 つの問題表示方法に切り替えることができる。この表示は，シミュレータ画面と同期している。 3 ⃝ 作成するルールをどのような文字の計算式に適用 するのか設定する。例えば，ある行 D+D=T に適用するルールを作成する場合は，「x=y」を選択する。 4 ⃝ ルールが発火する条件，すなわち適用条件を記入 する。y>5 かつ a==0 のように，複数の条件を「∼かつ∼」で設定したいときは，前提条件に改行を入れて複数行で記入することで設定できる。 5 ⃝ 推論結果を記述する。変数名の左側のチェックボッ クスにチェックを入れて，ルールを適用した行のどの変数の値を推論するのか設定する。

(4)

図 4: ルール作成画面の説明

4 実験

1

予備的検討として，本研究で開発したシステムによって，どの程度の学習者が，実際にモデルを構成することに成功するのかを，単独学習の状況において調査した。そのため，実験 1 では，開発したシステムの内，他者ルール参照機能が使えない状態の単独作業用システムを使用した。実験は 2 週にわたり，授業内の実践として行われた。

4.1 方法

参加者学部生 45 名が実験に参加した。手続き実験 1 は授業実践として，2 週に分けて講義の中で行われた。各週の実践時間はそれぞれ 60 分である。1 週目では，実験課題として用いる覆面算の説明を行った。チュートリアルでは，参加者に教材を配布して，教室前方のスクリーンで操作方法を示しながら，実際に覆面算を解くモデルの作成を行った。チュートリアルで作成したモデルは全参加者で同じである。2 週目はモデル作成の実践として，覆面算を解くモデルを参加者が各自で作成した。2 週目で使われた問題は，図 1 に示された問題であった。

4.2 分析指標

本実験の分析指標として，参加者の生成したモデルが，問題解決に要したステップ数を用いる。

4.3 結果

あるステップまでに問題を解けるモデルを作成した参加者の割合を図 5 に示す。ステップ数が少ないモデルであるほど，問題解決性能が高いと言える。図 5 より，50 ステップ以内に問題を解ける，ほぼ理想的な問題解決過程を示す性能の高いモデルを作成した参加者は約 50%で，500 ステップ以内に問題を解けるモデルを作成した参加者は約 70%であった。このことから，本研究で作成したシステムは，初めて認知モデルを作成する初学者にとっても，十分利用可能な，実用的システムであることが明らかとなった。図 5: 各ステップまでにモデルを作成できた参加者の割合

5 実験

2

実験 1 の結果を踏まえて，グループ学習の状況で，どの程度学習のパフォーマンスが上昇するのかを検討する。さらに，このような認知モデルを作ることで，学習者の手続き的知識の「理解」が促進されるかどうか検討する。

5.1 方法

参加者学部生 36 名が実験に参加した。実験は 3 人 1グループで行われた。3 名の参加者が欠席したため， 3人組 10 組，2 人組 3 組を対象に実験を行った。手続き実験 2 は，各グループごとに実験室で行われた。まず最初に，実験 1 同様に 60 分間のチュートリアルを行った。次に 20 分間のプレテストを行った後に， 60分間のラーニングフェーズを通して，参加者は覆面算を解くモデルを作成した。ラーニングフェーズの前半 30 分間は単独学習フェーズとして学習者が単独でモデル作成に従事し，後半 30 分間はグループ学習フェーズとして他のグループメンバーが作成したモデルを参照できる状態でモデル作成に従事した。実験 2 のラーニングフェーズで使われた問題は，実験 1 同様，図 1 に示された問題であった。その後，20 分間のポストテストを行った。プレ・ポストテストでは，覆面算で用いる知識に関する問題（文章説明課題：1 問，システム入力課題：1 問）と筆算のバグに関する問題（同定課題：

(5)

表 1: プレ・ポストテストの正解者・不正解者数プレポスト正解者数不正解者数正解者数不正解者数覆面算問題文章説明課題 3 33 21 15 システム入力課題 2 34 16 20 バグ問題同定課題 10 26 22 14 1問，再現課題：2 問）を行った。前者は，覆面算の知識の理解に関する確認テスト，後者は別の課題における知識の理解に関する転移のテストの位置づけとなる。

5.2 結果

モデルを作成できた参加者あるステップまでに問題を解けるモデルを作成した参加者の割合を図 6 に示す。図 6 には，参考として，実験 1 の結果も合わせて表示している。実験 2 の単独学習フェーズと実験 1 は，学習者が単独でモデルを作成するという点で同様の作業内容である。これらの違いは，作業時間の違いであり，実験 2 の単独学習フェーズは 30 分，実験 1 は 60 分の作業時間であった。50∼200 ステップで問題を解けるモデルを作成した参加者の割合は，実験 2 のグループ学習フェーズの方が実験 1 より高かった。このことから，他者のルールを参照することで，より性能の高いモデルを作成できることが確認できた。図 6: 各ステップまでにモデルを作成できた参加者の割合プレ・ポストテスト覆面算問題とバグ問題の同定課題のプレ・ポストテストでの正解者数・不正解者数を表 1に示す。フィッシャーの正確確率検定より，各問題でプレテストからポストテストにかけて正解者数は有意に増加した。（文章説明課題：p<.01，両側；システム入 力課題：p<.01，両側；同定問題：p<.01，両側）バグ問 題の再現課題の平均点を以下の図 7 に示す。バグ問題の再現課題は全 2 問で 1 問 1 点の 2 点満点である。1 要因参加者内分散分析より，プレテストからポストテス トにかけて点数は有意に向上した。（F (1,35)=16.735， p<.01）図 7: 再現課題におけるプレ・ポストテストの平均点

6 総合考察

システムの評価実験 1 及び実験 2 の単独学習フェーズにおいて，単独の参加者に対してモデルを構成させたところ，実験 1 では，約 70%の学習者がシステムを使い覆面算を解けるモデルを作成することができたのに対して，実験 2 の単独学習フェーズでは，問題を解けるモデルを作成できた参加者は 50%に至らなかった。それぞれの作業時間は，実験 1 は 60 分，実験 2 の単学習独フェーズは 30 分と作業時間である。このことから，初めて本システムを使って参加者にモデルを作成させる場合，60 分は作業時間に充てる必要があると考えられる。60 分という時間は，90 分の大学授業でも十分に確保可能な時間であり，授業内での実践にも対応するシステムであるといえる。実験 2 のグループ学習では，約 70%の参加者がシステムを使い覆面算を解けるモデルを作成することができた。その結果，実験 2 において，50∼200 ステップで問題を解くモデルを作成できた参加者の割合は，実験 1 に比して大きく増加した。他者の作成したルールを参照することで，より性能の高いモデルを作成できるようになったといえる。学習効果の検討実験 2 で行った覆面算問題において，正解者の数はプレテストよりポストテストで有意に多かった。このことから，参加者はシステムを使って認

(6)

知モデルを構成することで，手続き的知識を外在化できるようになったことが明らかになった。また，実験 2 で行ったバグ問題の同定課題において，正解者の数はプレテストよりポストテストで有意に多かった。バグ問題の同定課題は，覆面算以外の課題においても，参加者が手続き的知識を理解できるようになるのかを評価するために行われた。このことから，参加者の手続き的知識の理解は，他の課題へ転移することが示唆された。また，実験 2 で行ったバグ問題の再現課題において，参加者の成績はプレテストよりポストテストで有意に高かった。この結果は，参加者が，特定の課題に対して，同定した手続き的知識を運用し，その結果を推論することができるようになったことを示している。これは，参加者が同定した手続き的知識を用いて，その推論結果をメンタルシミュレーションによって導出可能になったことを示唆している。

参考文献

[1] John R. Anderson. Cognitive psychology and its

implications. New York W.H. Freeman, 1995.

[2] 三輪和久, 寺井仁, 森田純哉, 中池竜一, 齋藤ひとみ. モデルを作ることによる認知科学の授業実践. 人工知能学会論文誌, Vol. 27, No. 2, pp. 61–72, 2012. [3] 森田純哉, 三輪和久, 中池竜一, 寺井仁, 齋藤ひとみ, 小島一晃, 神崎奈奈. 意図せぬルールの発火に注目したプロダクションシステムの学習支援. 教育システム情報学会誌, Vol. 31, No. 3, pp. 225–238, 2014.

[4] Michelene TH Chi, Miriam Bassok, Matthew W Lewis, Peter Reimann, and Robert Glaser. Self-explanations: How students study and use ex-amples in learning to solve problems. Cognitive

science, Vol. 13, No. 2, pp. 145–182, 1989.

[5] Michelene TH Chi, Nicholas Leeuw, Mei-Hung Chiu, and Christian LaVancher. Eliciting self-explanations improves understanding. Cognitive

science, Vol. 18, No. 3, pp. 439–477, 1994.

[6] Alexander Renkl. Learning from worked-out ex-amples: A study on individual diﬀerences.

Cog-nitive science, Vol. 21, No. 1, pp. 1–29, 1997.

[7] Alexander Renkl, Robin Stark, Hans Gruber, and Heinz Mandl. Learning from worked-out ex-amples: The eﬀects of example variability and

elicited self-explanations. Contemporary

educa-tional psychology, Vol. 23, No. 1, pp. 90–108,

1998. [8] 神崎奈奈, 三輪和久, 寺井仁, 小島一晃, 中池竜一, 森田純哉, 齋藤ひとみ. 認知モデル作成による認知情報処理の理解を促す大学授業の実践と評価. 人工知能学会論文誌, Vol. 30, No. 3, pp. 536–546, 2015. [9] 中池竜一, 三輪和久, 森田純哉, 寺井仁. 認知科学の入門的授業に供する web-based プロダクションシステムの開発. 人工知能学会論文誌, Vol. 26, No. 5, pp. 536–546, 2011.

[10] Kazuhisa Miwa. A cognitive simulator for learn-ing the nature of human problem solvlearn-ing.人工知能学会論文誌, Vol. 23, No. 6, pp. 374–383, 2008.

手続き的知識の理解を促進するルールベース認知モデリングシステムの開発と評価