教えながら学ばせる : 教え方を教える。人工知能技術が学習科学に期待すること。

教えながら学ばせる

:- 教え方を教える。

人工知能技術が学習科学に期待すること

Learning by Teaching :- Teaching how to teach.

What does AI expect for the Sciences of Learning?

松田 昇

Noboru Matsuda

テキサス

A&M 大学、Teaching, Learning and Culture 学科

Department of Teaching, Learning and Culture, Texas A&M University

Abstract: We study the effect of adaptive scaffolding to facilitate learning by teaching. We hypothesize that learning by teaching is facilitated if (1) students receive adaptive scaffolding on how to teach and how to prepare for teaching (the metacognitive hypothesis), (2) students receive adaptive scaffolding on how to solve problems (the cognitive hypothesis), or (3) both (the hybrid hypothesis). We conducted a classroom study to test these hypotheses in the context of learning to solve equations by teaching a synthetic peer, SimStudent. The results show that the metacognitive scaffolding facilitated tutor learning (regardless of the presence of the cognitive scaffolding), whereas cognitive scaffolding had virtually no effect. The same pattern was confirmed by two additional datasets collected from two previous school studies we conducted.

はじめに

「教えることにより学ぶ」という学習形態の効果 は、古くから検証されており、その効果は、極めて 普遍的にすら感じられる [1-5]。多くの実証実験が、 様々な学年を対象に報告されており、また、その効 果は多様な教科・教材で観察されている [3]。「教え 方」の形態も、様々報告されており、例えば、教え る側と教わる側の学力の差異や、教える側と教わる 側の役割を固定するか入れ替えるかなど、多くの形 態で「教えることで学ぶ」ことの効果が認められて いる。 近年になり、人工知能およびオンライン学習環境 の技術が発達するに伴って、「教えることで学ぶ」と いう学習形態を実装したシステムがいくつか開発さ れるようになった。そのいずれもが、teachable agent [6]と呼ばれる擬似的な学習者を実装し、学習者が対 話的に教授できる機能を実現している。 Betty’s Brain [7] は、初期の代表的なシステムであ る。Betty’s Brain は、生態系のにみられるような「因 果の連鎖」を学習する領域に適用される。Betty は、 teachable agent であるが、学習者とのやり取りを通し て、実際に知識を獲得する機能 (すなわち、機械学習 の機能) は、有していない。学習者は、認知マップ (Cognitive Map) と呼ばれる知識表現言語を用いて、 当該領域の因果関係を記述し、それを Betty に与え る (図１)。Betty’s Brain には、認知マップを解釈する 機能があらかじめ組み込まれており、学習者の与え た認知マップを元に、あらかじめ用意された課題を 解く。学習者の視点からは、「自分の教えた因果関係 を理解して、課題を解いている」ように見える。シ ステムには、Meta-Tutor と呼ばれる教師の役割を演 ずるエージェントが存在し、課題の正誤は、Meta-Tutor が採点し、学習者に提示する。学習者は、Betty “が” 犯した誤りを分析して、正しい認知マップを 教えなおすことで、Betty に課題をクリアさせるよう に導く。 図 1：Betty’s Brain で用いられる認知マップの例 人工知能学会研究会資料 SIG-ALST-B504-03

TAAG は、算術の学習を支援する「教えることで 学ぶ」学習環境である [8]。TAAG に組み込まれた teachable agent は、Betty’s Brain と同様で、新しい知 識を学習者から学ぶことはない。TAAG の teachable agent は、当該の課題を解決するのに解決するのに十 分な知識が全て実装されている。その初期状態にお いて、それらの知識は、いわば凍結された状態であ り、teachable agent が問題を解決する際に使われるこ とはない。学習者との対話の中で、凍結されている 知識に言及されることがあれば、その時初めて、そ の知識が利用可能となる。学習者の視点からは、対 話を通して、teachable agent の問題解決の力が向上し ているように見える。 上述したシステムの他にも、幾つかのシステムが 開発され、「教えることにより学ぶ」という学習形態 の効果を実証的に解明しようとする研究が活発に活 発になりつつある [9]。

「教えることにより学ぶ」の科学

様々な実験が様々なシステムを用いて行われてき た が 、 そ の 効 果 は 一 様 で は な い 。 あ る 研 究 は 、 teachable agent を用いた学習支援によるコストパフ ォーマンスの向上を強調している [10]。別の研究で は、学習領域による違いを示している [1, 11]。また、 前提知識の違が学習効果へ及ぼす影響も報告されて いる [12, 13]。さらに、「教えることにより学ぶ」こ との学習効果 (effect size) は、比較的小さいことも 報告されている [11, 14]。 Teachable agent を用いた研究・実践においても、同 様に、学習効果は、必ずしも観察されることはなく、 効果があった場合でも、その effect size は、比較的 小さい [9]。すなわち、現状において、「教えること で学ぶ」 学習形態を支援する効果的な教育システム を構築するための十分な理論が確立されているとは 言い難い。 筆者らは、より効果的に「教えることにより学ぶ」 学習形態を支援するシステムを設計・開発するため の理論が不足しているという問題を克服するために は、再生可能な学習実験が不可欠であると考えてい る。すなわち、実際の教育現場において、特定の仮 説 の 検 証 を 目 的 と し て 、 ラ ン ダ ム 化 比 較 試 験 (Randomized Controlled Trial) が必要であると考える。

筆者らの研究室では、SimStudent と呼ばれる擬似 的学習者を開発し、その教育応用に関する研究を行 っている。具体的には、Teachable agent としての応用 をはじめ、学習過程のシミュレーション [15]、およ び、Cognitive Tutor の知的オーサリングへの応用 [16] に関する研究等を行っている。

SimStudent を teachable agent として用いて、「教え

る こ と で 学 ぶ 」 効 果 を 研 究 す る た め に 、APLUS (Artificial Peer Learning Environment Using SimStudent) と呼ばれるオンライン学習環境を構築 した。APLUS および SimStudent を用いて、実際の中 学生 (米国でいう６〜８年生) を対象とした学習実 験を複数回行ってきた。それらの経験を通して、効 果的な「教えることで学ぶ」学習環境の設計に示唆 を与える理論が明らかにされてきた。 以下、本稿では、APLUS および SimStudent の概 要を示し、学習実験および、そこから得られた知見 を紹介する。最後に、筆者らの研究の経験を踏まえ て、学習科学の人工知能への貢献について議論する。

APLUS/SimStudent

SimStudent は、例から帰納的に、問題解決の一般 的な手続きを学習する。「教えることで学ぶ」という 文脈においては、学習者 (SimSutdent に問題の解き 方を教えている者) との対話を通して、“例” が与え られる。ここで言う “例” は、個々の問題ではなく、 問題を解決する上で必要な「知識の適用の仕方」の 例である。学習者は、SimStudent に問題を与え、 SimStudent は、それを１ステップ毎に解いていく。 学習者は、それぞれのステップに対して、その正誤 に関するフィードバックを与える。このフィードバ ックは、 “例” の一つである。すなわち、「このステ ップにおいては、この知識を適用する (適用しては な ら な い) 」 と い う こ と を 示 す “ 例 ” で あ る 。 SimStudent がステップを正しく実行できない場合、 学 習 者 に 助 言 を 求 め る 。 そ の 際 、 学 習 者 は 、 SimStudent に代わってステップを実行する。これも “例” の一つである。

SimStudent は、Programming by demonstration [17] の理論を応用し、提示された例を一般化することで、 プロダクション・ルールを合成する。技術的には、 Inductive Logic Programming [18]の技術を用いている。 個々のプロダクション・ルールは、特定の知識を次 の形式により表現している：

IF: <a WME set> satisfies <conditions>

THEN: <apply a sequence of operators to the WME set> SimStudent を教える時、学習者とのインタラクショ ンは、tutoring interface を通して行われる (図？参照)。 Tutoring interface 上に実装されている GUI の構成要 素 (テキスト・ボックス、ボタンなど) は、Working Memory の要素 (working memory element; WME) と して内部的に表現されている。上記、<a WME set> は、それらWME の部分集合であり、「特定の知識を 適用する上で、注目すべきtutoring interface の構成要 素」を表す。<condition> は、<WME set> の内容 (テ キスト・ボックスの中の文字列、ボタンの状態など)

が満足するべき条件を表す。例えば、方程式を解く 課題の場合、<WME set> は、方程式の左辺と右辺を 表す２つのテキスト・ボックスであり、<condition> は、「左辺が変数項と定数項を含む多項式で、かつ右 辺は単項式」という例が考えられる。THEN 部は、 予め与えられたオペレーターの適用方法を表してい る。上記の方程式の例の場合、「左辺に含まれる最初 の定数項をX とし、X を両辺から引く」という具合 である。 SimStudent は、プロダクション・ルールを構成す る上記の３つのパーツを個別に学習する。<WME set> は、focus of attention と呼ばれ、Version Space [19] の 手 法 に よ り 一 般 化 さ れ る 。<condition> は 、 Inductive logic programming の実装例である FOIL [20] と呼ばれる既存の手法を適用している。<sequence of operators> は、Iterative Deepening Depth-First Search [21] の手法を用いて実装されている。SimStudent の 技術的な詳細に関しては、別途報告されている文献 [22] をご参照頂きたい。 SimStudent は、APLUS と呼ばれる学習環境に組み 込まれ、学習者が対話的に教授できるようになって いる。図 2 に APLUS の画面の例を示す。画面左下 にSimStudent のアバターが表示されている。右下に 見えるのは、teacher agent (Mr. Williams) であり、学 習者がSimStudent を教える過程を支援する。左上が tutoring interface である。Tutoring interface の上部に は、複数のタブが表示されおり、学習者は、随時、 自由にこれらのタブを切り替えることができる。一 番左のタブは、現在表示されている tutoring interace である。残りのタブは左から、「Problem Bank」「Intro video」「Unit Overview」「Example」そして「Quiz」で ある。

Problem Bank は、学習者が SimStudent を教える時 に使うに相応しい問題の候補が示されている。Intro Video は、APLUS の使い方を使い方を説明するビデ オである。Unit Overview は、方程式の解き方の概要 を説明する。Quiz は、SimStudent が解く方程式の課 題である。Quiz は、難易度に応じて、４つのレベル がある—１ステップで解ける方程式（２問）、２ステ ップ (３問)、両辺に変数のある方程式 (４問)、チャ レンジ課題 (８問)。チャレンジ課題は、両辺に変数 のある方程式である。APLUS を利用している学習者 のゴールは、SimStudent が全てのレベルの Quiz を正 しく解くことである。SimStudent は、自ら学習した プロダクション・ルールを用いて、Quiz を解く。 SimStudent の 解 答 し た Quiz の 答 え は 、 tutoring interface 上に１問ずつ表示される。それらの答えは、 Mr. Williams が採点をし、その正誤が表示される。 図 2：APLUS の画面の例

学習実験

「教えることで学ぶ」は、いつ、どのようにして 起こるのか？学習のメカニズムを探求し、予測的お よび説明的な理論を構築することが現行のプロジェ クトの最も重要な課題の一つである。この課題を追 行するために、筆者らの研究室では、APLUS を用い た学習実験を過去６回にわたり行ってきた。 学習実験は、実際の中学校の数学の授業の中で、 通常の授業の一環として行われた。それぞれの実験 は、特定のresearch question に基づき、特定の仮説を 検証するために、ランダム化比較試験 (Randomized Controlled Trial) として実施されている。これまでに、 約1500 名の中学生 (６〜８年生) が実験に参加して きた。 それぞれの実験は、その詳細において若干の違い はあれ、６日間実施された：事前テスト (１日)、 APLUS による学習 (４日)、事後テスト (１日)。事前 および事後テストは、互いに同じ構成であり、問題 に使われている値が異なるだけであった。いずれの テストもオンラインで行われた。テストは、代数の 基本的な概念を問う２４問の選択肢問題と、方程式 の解き方を問う１０問の筆記問題および５問の選択 肢問題から構成された。

結果と考察

それぞれの実験の結果は、過去に発表された論文 で詳述されている (www.SimStudent.org/Publications)。 ここでは、その概要を述べ、これらの学習実験を通 して得られた知見が、「教えることで学ぶ」 学習形 態を支援する効果的な教育システムを構築するため の理論を確立するために与える示唆を考察する。 先ず、2010 年に行われた実験においては、教授の

過程において、自らの教授行為を説明 (もしくは正 当化) するような対話を行うことで、「教えることに より学ぶ」という学習効果が向上するか否かを検証 した。これは、self-explanation もしくは内省の理論に 裏付けられた仮説であった。実験では、学習者に対 して、「なぜ？」という形式の質問 (例えば、「なぜ、 ここで両辺から３を引くのは間違っているのか？」) を発するバージョンの SimStudent と、そうでない (通常の) バージョンの SimStudent を比較した。実験 の結果、「なぜ？」形式の質問を発するSimStudent を 相手に教えた学習者の方が、事後テストの点数が有 意に高いことが示された [23]。この点を踏まえ、こ れ以降の実験においては、常に「なぜ？」形式の質 問をするSimStudent が使われている。 次に、過去の多くの実験において、学習者は、 SimStudent を誤って教えていることがデータにより 示されていた [9]。学習者は、時として、不適切な問 題を教え続け、また、ある時は、間違った解法を提 示していた。これらは、学習者とシステムの間のイ ンタラクションの log を解析することで明らかにな った。そこで、近年になって、APLUS に Mr.Williams が追加され、問題の解き方および教え方に関して、 適応的な支援を与えるようになった [24]。 「教えることにより学ぶ」を効果的に行わせるた めには、適応的な支援が必要であることは実証され たが、どのような支援が最も効果的であるかは、定 かではなかった。我々は、(1) 問題の解き方を教える 支援、(2) 問題の教え方を教える支援、(3) その両方 が必要である、という３つの仮説を立てた。 最も新しい実験では、上記の仮説が検証された。 「問題の解き方」「問題の教え方」「その両方」に関 する適応的な支援を行う３つのバージョンの Mr. Williams が実装され、ランダム化比較試験により、 その効果が比較された。 実験の結果、「問題の教え方」を適応的に支援する ことが効果的であり、「問題の解き方」の支援は、「教 えることにより学ぶ」ことの効果を向上させないこ とが明らかになった。図 3 は、これまでの３つの実 験—Study IV, V, および VI—で得られた事後テスト の点数の比較を示す。それぞれの実験で、異なった バージョンのAPLUS が用いられた。MC は「問題の 教え方」。C は「問題の解き方」MC&M は「その両 方」を表す。それぞれの群で、２つの棒グラフが示 されているが、左が事前、右が事後テストの点数を 示す。** は p < 0.01、* は p<0.05 のレベルで、事前 および事後テストの差が統計的に有為であることを 示す。 図３から明らかなように、「教えることにより学ぶ」 という学習を促進するためには、「問題の教え方」に 関して、適応的な支援を与えることが有効である。 さらに、驚くことに、「問題の解き方」に関する適応 的な支援は、「教えることにより学ぶ」ことの効果に は、ほぼ何も影響を与えないことが分かった。 図 3：適応的な支援のタイプの違いが学習効果に与 える影響

人工知能が教育科学に期待すること

「教えることで学ぶ」という学習を支援するより 効果的な学習環境を構築するためには、どうすれば 良いか？この問いに答えるために、学習科学に期待 するところは大きい。すなわち、実際の教育現場に おける実際の学習による学習実験を通して、実証的 な理論立てを行い、その知見を用いてシステム開発 を行うことが望まれる。 特定の研究仮説を厳密に検証するために、ランダ ム化比較試験の実施が望まれる。再現性のある結果 をもたらすために、信頼性および妥当性の高いテス トを用いることも大切である。システムの使いやす さや健全性を保つことも含めて、これらはすべて、 データに裏付けされた逐次的な改善・向上が必要不 可欠である。 本稿で示した学習実験の例にも示されているよう に、筆者らの研究室で開発されてきた APLUS およ びSimStudent は、いずれも、多くの学習者から得ら れた膨大な数のデータに裏付けされて、何度も繰り 返し逐次的な向上が試みられてきた。 人工知能技術は、教育を大きく変える可能性を秘 めている。しかしながら、技術が正しく使われて、 はじめて、その効果が得られるということを忘れて はならない。すなわち、人工知能の技術は、それを 使いこなすに値する理論的な裏付けを常に必要とし

ているのである。 教育科学は、膨大なデータに裏付けられて、 “現 場” に通用する健全な理論を確立することがその使 命である。膨大なデータを効率的に収集するために、 そしてまた、より効率的な学習環境を構築するため に、人工知能の技術が必要不可欠であることは、言 うまでもない。

まとめ

本稿では、実証的な学習科学の研究作法が、人 工知能技術を応用した効率的な学習支援システムを 設計・構築する上で果たす役割について議論した。 人工知能と学習科学。互いに共存しあって、今後も 大きく世界に貢献していくであろうことを願ってや まない。

謝辞

本研究の一部は、米国National Science Foundation の 助成による： Award No. 1643185/1252440

参考文献：

1. Cohen, P.A., J.A. Kulik, and C.l.C. Kulik, Education

outcomes of tutoring: A meta-analysis of findings.

American Educational Research Journal, 1982. 19(2): p. 237-248.

2. Cohen, E.G., Restructuring the classroom:

Conditions for productive small groups. Review of

Educational Research, 1994. 64(1): p. 1-35.

3. Roscoe, R.D. and M.T.H. Chi, Understanding tutor

learning: Knowledge-building and knowledge-telling in peer tutors' explanations and questions. Review of

Educational Research, 2007. 77(4): p. 534-574. 4. Gartner, A., M. Kohler, and F. Riessman, Children

teach children: Learning by teaching. 1971, New

York, NY: Harper & Row.

5. Devin-Sheehan, L., R.S. Feldman, and V.L. Allen,

Research on children tutoring children: A critical review. Review of Educational Research, 1976. 46(3):

p. 355-385.

6. Brophy, S., et al., Teachable agents: Combining

insights from learning theory and computer science,

in Proceedings of the International Conference on

Artificial intelligence in education, S.P. Lajoie and M.

Vivet, Editors. 1999, IOS Press: Amsterdam, The Netherlands. p. 21-28.

7. Biswas, G., et al., Learning by teaching: a new agent

paradigm for educational software. Journal Applied

Artificial Intelligence, 2005. 19(3&4): p. 363-392. 8. Pareto, L., A Teachable Agent Game Engaging

Primary School Children to Learn Arithmetic Concepts and Reasoning. International Journal of

Artificial Intelligence in Education, 2014. 24(3): p. 251-283.

9. Matsuda, N., et al., Cognitive anatomy of tutor

learning: Lessons learned with SimStudent. Journal

of Educational Psychology, 2013. 105(4): p. 1152-1163.

10. Levin, H.M., G.V. Glass, and G.R. Meister,

Cost-Effectiveness of Computer-Assisted Instruction.

Evaluation Review, 1987. 11(1): p. 50-72.

11. Rohrbeck, C.A., et al., Peer-assisted learning

interventions with elementary school students: A meta-analytic review. Journal of Educational

Psychology, 2003. 95(2): p. 240-257.

12. Britz, M., J. Dixon, and T. McLaughlin, The effects of

peer tutoring on mathe- matics performance: A recent review. B. C. Journal of Special Education, 1989.

13(1): p. 17-33.

13. Walker, E., N. Rummel, and K.R. Koedinger,

Integrating collaboration and intelligent tutoring data in the evaluation of a reciprocal peer tutoring environment. Research and Practice in Technology

Enhanced Learning, 2009. 4(3).

14. Cook, S.B., et al., Handicapped Students as Tutors. Journal of Special Education, 1986. 19(4): p. 483-492. 15. Matsuda, N., et al., A Computational Model of How

Learner Errors Arise from Weak Prior Knowledge, in Proceedings of the Annual Conference of the Cognitive Science Society, N. Taatgen and H. van Rijn,

Editors. 2009, Cognitive Science Society: Austin, TX. p. 1288-1293.

16. Matsuda, N., W.W. Cohen, and K.R. Koedinger,

Teaching the Teacher: Tutoring SimStudent leads to

more Effective Cognitive Tutor Authoring.

International Journal of Artificial Intelligence in Education, 2015. 25: p. 1-34.

17. Cypher, A., ed. Watch what I do: Programming by

Demonstration. 1993, MIT Press: Cambridge, MA.

18. Muggleton, S. and L. de Raedt, Inductive Logic

Programming: Theory and methods. Journal of Logic

Programming, 1994. 19-20(Supplement 1): p. 629-679.

19. Mitchell, T.M., Generalization as search. Artificial Intelligence, 1982. 18(2): p. 203-226.

20. Quinlan, J.R., Learning Logical Definitions from

21. Russell, S.J. and P. Norvig, Artificial Intelligence: A

Modern Approach. 2nd ed. 2003, Upper Saddle River,

NJ: Prentice Hall.

22. Li, N., et al., Integrating representation learning and

skill learning in a human-like intelligent agent.

Artificial Intelligence, 2015. 219: p. 67-91.

23. Matsuda, N., et al., Studying the Effect of Tutor

Learning using a Teachable Agent that asks the Student Tutor for Explanations, in Proceedings of the International Conference on Digital Game and Intelligent Toy Enhanced Learning (DIGITEL 2012),

M. Sugimoto, et al., Editors. 2012, IEEE Computer Society: Los Alamitos, CA. p. 25-32.

24. Matsuda, N., et al., Investigating the Effect of

Meta-Cognitive Scaffolding for Learning by Teaching, in Proceedings of the International Conference on Intelligent Tutoring Systems, S. Trausen-Matu, et al.,