視線行為とメタ認知的思考プロセスに関する
オントロジー構築の試み
Ontology for Gaze Behavior and Meta-level Thinking Processes
林佑樹
1瀬田和久
1池田満
2Yuki Hayashi
1, Kazuhisa Seta
1, and Mitsuru Ikeda
21
大阪府立大学大学院 人間社会システム科学研究科
1
Graduate School of Humanities and Sustainable System Sciences, Osaka Prefecture University
2
北陸先端科学技術大学院大学 知識科学研究科
2
School of Knowledge Science, Japan Advanced Institute of Science and Technology
Abstract: To capture one’s thinking processes is difficult from outer world because of the invisible,shapeless, complex structure of the thinking. In order to approach the implicit thinking processes, we propose a framework to capture a part of meta-level thinking processes from gaze behaviors. Here, we focus on the meta-level thinking processes in dissolution of belief conflict, and introduce the concept of “semi-metacognitive-level thinking” which intends the monitoring/control cycle among gaze behavior and externalization objects of base-level thinking. In this paper, we discuss a framework for capturing semi-meta-cognitive thinking processes and propose an ontology to embody the concept of the framework.
1.はじめに
社会生活の中では，様々な価値観が存在するが故， 明確な解を一意に定めることが難しい問題に直面す ることが少なくない．このような場合，「考えること を考える」メタ認知的な思考力を育むことが重要で あり，頭の中に内在する思考を論理的に道筋立てて 説明できることは，我々の社会生活において重要な スキルとして認識されている．一方で，メタ思考ス キルを鍛えることは思考の暗黙性が故に難しいこと も知られている[1]． 暗黙的な思考を分析する手段として，頭の中で考 えていることを逐次声に出しながら文章を書き進め てもらう発話思考法が挙げられる[2, 3]．この手法は 自然な文章産出過程に近いデータを収集しにくいと いう問題や，発言をしながら文章を書くという認知 的な負荷が生じ，認知活動そのものに影響するため 内省能力の低い学習者には馴染まない手法であるこ とが指摘されている[4, 5]．これらの問題に対して， 思考を対象とした視線分析に関する研究として，言 語化プロセスにおける視線[6]や，文章読解過程の視 線の相違[7]などが分析されているが，思考の論理的 構造を吟味する過程の視線を対象とした研究は我々 の知る限り存在しない． 本研究では，頭の中で生じる姿形のない思考過程 における論理構造の組み上げ方を，視線情報を手掛 かりに分析することを目的とする．自己内対話では， ベースレベルの思考を対象としてメタ認知モニタリ ング・コントロールがなされる．我々は，思考プロ セスとその成果物との間に対応が付けられているイ ンタフェースを持つ思考外化ツールを前提とするこ とで，この不定型かつ個人依存性の高いメタ思考プ ロセスの一端を視線から捉えることができるのでは ないかという研究仮説を立てる． 「思考」という言葉は文脈に応じて多様な意味で 解釈される．本研究が対象とする思考の説明性を高 めるための基礎として，メタ思考と視線行為の概念 的な結びつきを体系化したオントロジーの構築を試 みる．視線行為からどのようなメタレベルの思考プ ロセスを近似して捉えようとしているのか，観測事 象のどのような概念を切り出し，各概念の意味定義 や関係をオントロジーで規定することは，（i）対象世 界における研究者間での合意を得るための手段とな り，（ii）目的に応じたメタ認知的思考プロセスの解 釈可能範囲，その限界を明らかにすることに寄与す る．そして，（iii）想定対象の設計意図を明示化した アプリケーション開発へと繋げることを狙いとして いる． 本稿では，2 章でメタ認知的思考プロセスを視線 行為から捉えるためのアイディアの核を成すフレー 人工知能学会研究会資料 SIG-ALST-B504-05ムワークを示し，3 章では思考プロセス，思考表現オ ブジェクト，及び視線行為における概念を体系化し たオントロジーの構築を試みる．4 章では，本オント ロジーに基づく思考プロセスを分析するために構築 しているツール[8, 9]を概説する．
2.アプローチ
2.1 対象とする思考プロセス
本研究では，葛藤を内包した正解のない信念対立 構造の解明[10]に向けた自己内対話を思考の対象と する．質の良い信念対立解明思考において重要なこ とは，異なる価値観において信念が対立している根 本的な葛藤を掘り起こすことである． この「考えることを考える」思考態度をトレーニ ングする学習環境として，自己内対話促進環境「思 知」が提案されている[11]．同ツールでは，自身が下 した判断の論理的な道筋と別の判断の論理的な道筋 の各々をベースレベル思考の最小単位を表す「ステ ートメント」の集合として外在化する活動を要求す る．思考の論理構造を明確に表現することを狙いと して，ステートメントの「根拠」となるステートメ ントがある場合は対応付けを行い，論理構造上の役 割を表す「思知タグ」を各ステートメントに付与さ せる．そして，各々の思考の信念を形成する指針ス テートメントを明示した上で，その信念対立を成し ている根源的理由を表明し，その葛藤を乗り越える ための解決案を知識として構築するという思考の論 理構造を吟味する活動を通して，学習者及び添削者 のメタ思考スキルの涵養を意図した学習デザインを 採っている． 思知における学習者／添削者の思考外化プロセス を可視化するためのツールも提案されている[12]． 思知操作ログ情報に基づく思考外在化の過程を再生 表示する機能を持ち，どのステートメントに，どの ような操作を行ったかが時系列で表示される．しか し，思知上の思考外化操作に至るメタレベルの思考 プロセスは依然暗黙的であるため，その解釈は本ツ ールが対象とする思考を内省する学習者，または吟 味・修正を行う添削者に委ねられている．2.2 研究の着想
図1 に，メタレベルの思考プロセスを視線行為か ら捉えるためのフレームワークを示す．思考プロセ スは外界から観測不可能な領域であり，ベースレベ ルの思考（以後，ベース思考）と，ベース思考をメ タ認知モニタリング／コントロールする思考を表す メタレベルの思考（以後，メタ思考）の２層から構 成されている（図１左下）．信念対立問題について自 己内対話を行う場合，「事実」，「仮説」，「推定」，「指 針」，「結果」等がベース思考に該当し，“エリさんは， 男の前にいるのと，私達女子の前にいるのと，態度 が違うということでいじめられている（事実）”，“エ リと仲良くしていたので，私がいじめられるように なった（結果）”等が例となる．一方，ベース思考を 対象とするメタ思考では，“ある判断の根拠となって 図1：本研究のフレームワークいる事実を比較する”，“仮定が正しいかを吟味する”， “指針の内容を修正する”等の思考が該当する． 視線行為はアイトラッカ等のトラッキングデバイ スを利用することで外界から観測することができる． 眼球運動では，オブジェクトを見ようとして注視点 を変えるときに発生するサッケードと，オブジェク トを注視する停留が交互に繰り返し行われる[13]． 注視時間をどのように設定するかは十分に検討する 必要があるが，視線行為として，“あるオブジェクト を注視している”，“注視対象のオブジェクトが変化 する”等を，サッケードと停留の一連の情報から追 跡できる（図1 左上）．ここで本研究では，ベース思 考を外化するための思考表現オブジェクトの概念を 導入する（図1 右上）．思考表現オブジェクトは，「エ リア」，「テキストボックス」，「ボタン」，「選択ボッ クス」等のGUI アプリケーションで一般的に用いら れているコンポーネントと対応している．視線行為 と同様に外部観察可能な情報であるため，ベース思 考（思考表現オブジェクト）に対する視線行為を観 測することが可能となる． 本研究では，「ベース思考を対象としたメタ認知モ ニタリング⇔コントロールのサイクル」と，「思考表 現オブジェクトに対する視線行為⇔ベース思考外化 のサイクル」に見られる同型性に着目し，ベース思 考を適切な思考表現オブジェクトへと外在化できる 環境を前提とすることで，オブジェクトに対する視 線行為にメタ思考プロセスの一端が現れるのではな いかと考えている．思考表現オブジェクトには実際 のベース思考が全て表されるわけではなく，その一 部が自己内対話とともに追加・修正される点に留意 する必要がある．そこで本研究では，後者のサイク ルを“準”メタ認知的（semi-metacognitive）モニタリ ング／コントロールとして扱う．視線の停留対象は 思考内で何を見たいかを考える意識に影響されるた め，視線行為として表出される準メタ思考モニタリ ングは外部観測のできない認知活動により制御され る点も近似が入ることになる（図1 右下）． ベース思考をどのようにメタ思考モニタリング・ コントロールするかは状況に依存する．例えば，学 習者の信念対立思考の成果物を添削する状況では， 他者（学習者）の思考外化内容を把握・理解・修正 するといった思考活動が求められる．このような状 況に依存したなメタ思考解釈の側面を取り扱うため に，視線行為として解釈できる可能性を持つ思考戦 略に応じた知識ベース（解釈ルールの集合）を導入 する（図1 中部）．ある視線行為，また複数の視線行 為の組み合わせとして解釈を与えるメタ思考・ベー 1 法造：http://www.hozo.jp ス思考には，複数の意味で解釈できる可能性を持つ ことを考慮し，視線行為に対する一意な解釈ルール は与えず，複数の解釈を許すという立場を取る．こ のように，思考戦略の目的に応じた適切な解釈ルー ルを設定し，思考表現オブジェクトに適用すること で，準メタ認知レベルで様々な思考プロセスを解釈 することが可能となると考える．
3.視線-思考オントロジー
3.1 オントロジーの概要
本章では，オントロジー構築環境の法造1を用いて 構築を進めている視線-思考オントロジー（GT オン トロジー）について述べる．GT オントロジーは，2 章で議論した，信念対立思考の文脈の中で生じる思 考プロセス，思考表現オブジェクト，そして視線行 為が持つ概念が体系化されている．3.1.1 準メタ認知的思考プロセス
GT オントロジーにおける思考活動概念の一部を 図2 に示す2．思考活動の下位概念として，ベース思 考（BL-thinking），メタ思考（ML-thinking），そして メタ思考を近似した概念となる準メタ認知レベル思 考（semi-ML-thinking），を規定している． BL-thinking の下位概念としては，ベースレベルの 思考概念を規定している（図2 左赤枠内）．例えば， 2 つの思考の信念対立の根源となる葛藤（conflict） は ， そ れ ぞ れ の 判 断 の 異 な る （different ） 指 針 （policy/principle）から構成（part-of）される概念と して定義されている．このベース思考を対象とする ML-thinking の下位概念としては，メタ認知的モニタ リング（ML-monitoring），メタ認知的プランニング （ML-planning），メタ認知的コントロール（ML-control）を規定している（図 2 右紫枠内）．これら， BL-thinking 及び ML-thinking は外界からは観測する ことが不可能な活動である． 本研究では，2.2 節で述べた準メタ思考活動の概念 が定義された semi-ML-thinking を導入する．semi-ML-thinking の下位概念としては，を導入する．semi-ML-thinking の下 位概念と同型に，準メタ認知的モニタリング（semi- ML-monitoring），準メタ認知的プランニング（semi- ML-planning），準メタ認知的コントロール（semi-ML-control）の概念を規定している．これら ML-thinking と semi-ML-thinking の 同 型 性 ， 対 応 関 係 は “corresponding-ML-act”により規定している． 思考戦略の目的に合わせた準メタ思考を表現する 2 以後，初出の概念定義には下線を引くこととする．ために，自身の信念対立表明を観察する思考プロセ スの概念（semi-ML-monitoring | myself）と，添削に おいて他者の思考プロセスを観察する概念（semi-ML-monitoring | other）を ML-thinking の下位概念と して区別して定義している（図2 中央青枠内）．両概 念は，準メタ思考が捉えるBL-thinking の対象（target）， 準メタ思考をする主体（actor），そしてトリガとなる 視線行為（trigger event）から成り立っている．準メ タ思考は，頭の中のベース思考を直接観察するので はなく，それを外在化したベース思考の「記述」か ら捉える思考行為である．このことを規定するため に，記述を表す表現オブジェクト概念（thinking-rep-object（3.1.2 節参照））の表現内容（content）と，モ ニタリング，コントロールの対象である target を same-as 関係として近似し，その記述がメタ思考の補 助的役割（supplement）を担うことを定義している． 上述の思考戦略の違いは，supplement の内容を表現 した主体（creator）と actor との間の same-as/different 関係で表現される．
より具体的な semi-ML-thinking 活動は，“thinking for the dissolution of belief conflicts”，“correction for the dissolution of belief conflicts”として体系化されてい る（図2 下緑枠内）．例として，添削者の信念対立の 葛藤を吟味する活動（proving belief conflicts）は，semi-ML-monitoring | other の下位概念とされている一方， semi-ML-monitoring | myself の下位概念には存在しな い．
3.1.2 思考表現オブジェクト
思考表現オブジェクトの概念を体系化したオント ロジーを図 3 に示す．具体オブジェクト（concrete object）の下位概念として，表現内容（content）及び 表現メディア（media）をから構成される表現オブジ ェクトの概念（representation object）を，また，表現 メディア媒体の概念（medium）を定義している． representation object の下位概念には，表現内容がベー ス 思 考 に 特 殊 化 さ れ た 思 考 表 現 オ ブ ジ ェ ク ト （thinking-rep-object）が定義されている（図 3 左赤枠 内）．medium として，その下位概念に GUI アプリケ ー シ ョ ン の コ ン ポ ー ネ ン ト を 表 す “interface components”の下で，パネル，ボタン，ラベル，テキ ス ト ボ ッ ク ス 等 の 部 品 を 定 義 し て お り ， 機 能 （software function）に応じた特殊化がなされている （図3 右青枠内）． 3.1.3 視線行為 図 4 に，GT オントロジーにおける視線行為概念 の一部を掲載する．視線行為（gaze behavior）の下位 概念として，オブジェクトの注視（gazing at a single object），注視対象の変化（changing gaze target）とい った一般的な視線行為を表現している．これらの下 位概念として，前節で述べた思考表現オブジェクト を対象とした視線行為の概念を体系化している．例 として，比較の視線行為（action for comparison）は， 図2：思考活動概念の一部つの異なる表現オブジェクトを注視対象とすること を定義している．
3.2 議論
GT オ ン ト ロ ジ ー で は ， 視 線 行 為 が semi-ML-monitoring 活動のトリガの役割を担う．例として，比 較の視線行為（action for comparison（3.1.3 節））は， 添削者の信念対立の葛藤を吟味する活動（proving belief conflicts（3.1.1 節））の trigger event 属性として 定 義 さ れ て い る ． 視 線 行 為 の 対 象 と な る ２ つ の thinking-rep-objects と，葛藤を吟味するメタ思考の対 象となる２つの supplement との近似的な対応は， same-as/different を 用 い て 関 係 付 け ら れ て お り ， supplement の content 属性は，BL-thinking の下位概念 である policy/principle として特殊化されている（図 2 緑枠）． 本オントロジーを基礎とすることで，分析対象と する準メタ思考を，どのような思考表現オブジェク トに対する視線行為から捉えようとしているのか， その設計意図を明示化したアプリケーション実装が 可能となる．現在のオントロジーは作成段階であり， 思考戦略の目的に合わせた準メタ思考としてどのよ うな種類が規定できるのか，その解釈可能範囲につ いては十分に検討していく必要がある．また，オン トロジーとは別に定義する視線行為の解釈ルールの 記述方法も検討を進め，暗黙的で姿形のないメタ思 考プロセスにアプローチする研究者間の合意形成の 媒体[14]として，本オントロジーの拡充・精緻化をし ていく予定である．
4.思考分析ツール：アイ思知
GT オントロジーのコンセプトに基づき，信念対立 問題に対するメタレベル思考プロセスを分析するた めのツール「アイ思知」を構築している[8, 9]．図 5 にアイ思知のインタフェースを示す．本ツールは2.1 節で概説した思知のデザインを踏襲する形で実装さ れており，思考トレーニングのための教具として利 用することを想定している． 学習者は正解のない問題に対する自分の考えを振 り返る活動を行い，自身が下した判断の論理的な道 筋（思考A），別の判断の論理的な道筋（思考 B）の 各々を，思考の最小単位を表現する「ステートメン ト」として言語化する．そして，それぞれの思考の 道筋（信念）を形成する指針をステートメントとし て明示した上で，それらの間の信念対立を生じさせ る根源的理由を葛藤として表明し（葛藤），その葛藤 を乗り越えるための解決案を知識として構築（知識 構築）する学習活動に取組むことができる． アイ思知では，据置型のアイトラッカを利用する ことでユーザの視線対象オブジェクトを追跡する機 能を持つ．インタフェースに配置された思考表現オ ブジェクトには興味領域（Area of Interest: AOI）が付 与されており，スクリーン上の視線座標がオブジェ クトのAOI に入った／抜けた時点の情報をミリ秒単 位で記録する仕組みとなっている．現在AOI が設定 されている視線対象オブジェクトは，思考エリア（思 考A，思考 B，葛藤，知識構築），ステートメントオ ブジェクト（思知タグ，根拠，テキスト）葛藤テキ ストエリア，及び各種ボタン（ステートメント追加 ／削除／上下移動，葛藤選択／解除）である．自動 検知される視線対象情報に加え，思考表現オブジェ クトに対するキーボード操作，マウス操作が思考外 化情報として記録され，開始時から終了時までのロ グ情報が保存される仕様となっている． 準メタ思考を視線行為から捉える可能性を探るた めの初期分析として，医療看護従事者を対象とした 思考教育法プログラムに参加した看護従事者の成果 物に対する添削者のログデータを調査している．深 い葛藤を導き出す添削者の思考プロセスを，思考の 大局的な側面を捉える思考エリアに対する視線量及 び視線遷移の観点から分析した結果，視線情報を手 掛かりとしてメタ思考プロセスに解釈を与えられる 可能性を見出した（詳細は[8, 9]に記載）．5.おわりに
本研究では，メタレベルの思考プロセスを視線行 図3：表現オブジェクト概念の一部 図4：視線行為概念の一部為から捉えるためのフレームワークを提案し，メタ ／ベースレベルの思考概念，思考表現オブェクトの 概念，及び視線行為の概念が体系化されている GT オントロジーを提案した．また，本オントロジーの コンセプトに基づく，学習者／添削者の準メタレベ ルの思考プロセスを捉えるための実践的なアプリケ ーション例となるアイ思知について概説した． 今後の課題として，思考戦略毎に考えられる準メ タ思考概念を精査し，GT オントロジーの構築を進め るとともに，メタ認知レベルの思考と視線行為パタ ーンの対応付けを成す解釈ルールの統一的な記述方 法についても検討を進めていく予定である．
謝辞
本研究の一部はJSPS 科研費 26870588, 15K12422 の 助成による．参考文献
[1] Rana, D., & Upton, D.: Thinking, Reasoning and Problem Solving. Psychology for nurses. Routledge, pp.51-58 (2013).
[2] 海保博之，原田悦子：プロトコル分析入門−発話デー
タから何を読むか，新曜社 (1993)．
[3] Jaspers, M. W., Steen, T., van Den Bos, C., & Geenen, M.: The think aloud method: a guide to user interface design.
International Journal of Medical Informatics, 73(11),
pp.781-795 (2004).
[4] 宮崎里司，宮崎七湖：学習者の眼球運動の軌跡からみ た文章産出過程 −アイカメラと内省報告からの検証 −，早稲田大学日本語教育研究，Vol.5，pp.1-18 (2004)． [5] Jääskeläinen, R.: Think-aloud protocol. Handbook of
translation studies, 1, pp.371-373 (2010).
[6] Guan, Z., Lee, S., Cuddihy, E. & Ramey, J.: The validity of the stimulated retrospective think-aloud method as measured by eye tracking, In Proc. of the SIGCHI
conference on human factors in computing systems, ACM,
pp.1253-1262 (2006).
[7] Reichle, E. D., Reineberg, A. E., & Schooler, J. W.: Eye Movements During Mindless Reading, Psychological
Science, 21(9), pp.1300-1310 (2010).
[8] Hayashi, Y., Seta, K., & Ikeda, M.: Gaze-aware Thinking Training Environment to Analyze Internal Self-conversation Process, In Proc. of 18th International
Conference on Human-Computer Interaction, (2016, to
appear in July). [9] 林佑樹, 瀬田和久, 池田満：視線情報に着目した思考 プロセス分析ツールの開発, 第 30 回人工知能学会全 国大会，1C5-OS-13b-4 (2016)． [10] 京極真：医療関係者のための信念対立解明アプロー チ―コミュニケーション・スキル入門，誠信書房 (2011)．
[11] Chen, W., et al.: Sizhi: Self-dialogue Training through Reflective Case-Writing for Medical Service Education, In
Proc. of Workshop on Skill Analysis, Learning or Teaching of Skills, Learning Environments or Training Environments for Skills, pp.551-559 (2011).
[12] 陳巍，崔亮，田中孝治，松田憲幸，池田満：思知プレ イヤー：看護思考の吟味プロセス再生ツール，日本教 育工学会第30 回全国大会，1a-021-04 (2014)． [13] 大野健彦：視線から何がわかるか―視線測定に基づ く高次認知処理の解明，認知科学，9(4)，pp.565-579 (2002)． [14] 溝口理一郎：オントロジー研究の基礎と応用，人工知 能学会誌，14(6)，pp.977-988 (1999)． 図5：アイ思知のインタフェース
