簡易 HMD を活用した学習支援システムの検討
Learning Support System using Smartphone-based HMD
岡本勝
1石村司
1松原行宏
1Masaru Okamoto
1, Tsukasa Ishimura
1and Yukihiro Matsubara
11
広島市立大学大学院情報科学研究科
1
Graduate School of Information Sciences, Hiroshima City University
Abstract: Up to now, AR-based inorganic chemistry learning support environment using
Smartphone-based HMD is proposed. The virtual environment displayed from this system is constructed from recorded image and CGs. By putting some markers in recoded area by camera of smartphone, corresponding CGs (instruments, water solutions, flame and so on) are displayed in the virtual environment. User can perform virtual experiment to learning chemical reaction relationship between ions and chemical reagents. In this paper, it is confirmed that proposed approach has some advantages to learn the knowledge about chemical reactions.
1 はじめに
理科分野における実験を伴う学習の必要性が挙げ られており，特に化学においては実験を通じて物質 の性質や反応を調べ，その原理や法則性を見つけ出 すことが重要とされている[1]．一方で，授業時間の 制限や，化学薬品や火を扱うことによる薬傷や中毒 症状などの危険性も指摘されている[2]． これまでに，我々の研究グループでは仮想環境内 で実験を行える学習支援システムを構築しており， 化学学習においては拡張現実感（以下 AR と略記） を活用した仮想環境での無機化学学習支援システム を開発してきた[3]．このシステムでは，実験器具や 無機化学実験に用いるイオンや水溶液などの試薬お よび操作に必要な機能をマーカに対応させており， 学習者は机上でマーカの配置，移動を行うことで実 験を進めていく．仮想環境はカメラで撮影した机上 に実験器具などの CG を拡張表示することで構築さ れ，このマーカ操作に基づいて対応する実験操作が シミュレーションされ，仮想環境内での実験結果を 確認できる．また学習者へは設問が提示されており， この設問への解答を実験的に見つけ出すことを通じ て学習を進めていく．さらに，学習者の実験進行状 況から各設問に対する理解を推定し，学習者に対し て適切な設問提示を確率的に行う手法も提案してき た． このシステムでは，高等学校での無機化学学習範 囲である沈殿反応について，仮想環境内での実験を 通じて学習可能であることを確認できたが，システ ム構築のために PC と机上を撮影可能な USB カメラ が必要であり，学習可能な環境が制限される可能性 が高かった．石村らはこの問題を解決するために， 近年非常に高い普及率を有してきたスマートフォン を用いた AR 型無機化学学習用仮想実験環境を開発 した[4]．この環境では，スマートフォンに内蔵され たカメラを用いて机上のマーカを撮影し，スマート フォンディスプレイ上に仮想環境を表示することで， 単一環境での仮想環境構築が行える．さらにスマー トフォンを組み込んだヘッドマウントディスプレイ （以下 HMD と略記）を用いることで先行研究より も実在性の高い仮想環境の構築が期待される． 一方で，過去に HMD を用いた AR 型学習支援シ ステムの実験効果について明確な分析を行った結果 の報告は少ないため，利用可能性に関する明確な指 標が存在しない．そこで本稿では，HMD 型無機化学 学習支援環境を用いた無機化学実験を実施し，シス テムの特徴および学習への利用可能性を検証する． 以下，本稿で用いる AR 型無機化学学習支援環境に ついて概説し，実験結果および検証内容を示す．2 AR 型無機化学学習支援環境
図 1 に学習者に提示される仮想環境例を示す．仮 想環境は撮影された実環境の映像上に CG で作成さ れた実験器具などの映像が拡張表示することで構築 される．構築された仮想環境内での実験結果を確認 人工知能学会研究会資料 SIG-ALST-B502-02 − 5 −することで学習者は仮想環境内での実験を進めてい く．仮想環境を用いたシステムの外観を図 2 に示す． 学習者は図のように HMD を装着し，机上のマーカ の配置，移動を行うことで実験を進めていく．図中 の HMD はスマートフォンとビューアから構成され る．ビューアには二つのレンズが装着されており（図 3 参照），学習者は各レンズを通じて個別の映像を視 認しており，スマートフォンやタブレット端末によ るハンドヘルド型での仮想環境よりも実在性の高い 仮想環境提示が期待できる．このようなビューアを 用いた仮想環境提示を行うために，スマートフォン のディスプレイ上には図 4 のように，仮想環境映像 が二つ横向きに並べられて表示される． 図 1：仮想環境例 図 2：システム外観 表 1 に仮想環境内での実験に用いるマーカの一例 を示す．表中のようにマーカは矩形と内部の突起で 構成される．各マーカに実験器具や試薬が一対一で 対応し，スマートフォンのカメラの撮像範囲内に配 置することでシステムがマーカを認識する．システ ムは認識したマーカに対応する CG 映像の表示や， マーカ間の距離が閾値以下になった際は対応する機 器や試薬などのインタラクションを発生させる．こ のように，撮像範囲内でマーカの配置・移動を行う ことで学習者は仮想環境内での無機化学実験をリア ルタイムで実行でき，試行錯誤的に無機化学反応の 特性に関する学習を進めることが可能である． 図 3：システムで用いるビューア外観 表 1：マーカ例 マーカ例 用途 ビーカー1 実験器具の配置を行う． 対応する CG が表示され る． Ca2+ カルシウムイオン ビ ー カ へ の イ オ ン 投 入 イ ン タ ラ ク シ ョ ン 時 に 利用する． HCl 塩酸 ビ ー カ へ の 試 薬 水 溶 液 お よ び 気 体 投 入 イ ン タ ラ ク シ ョ ン 時 に 利 用 す る． 酸性マーカ ビ ー カ 内 の 液 性 変 更 イ ンタラクションや，試薬 投 入 量 の 調 整 に 利 用 す る． 確認マーカ ビ ー カ 内 の 状 態 確 認 や 初 期 化 な ど の イ ン タ ラ クションに利用する． − 6 −
図 5 にインタラクションの一例を示す．図 5(a)で は，ビーカーマーカに鉄イオンに対応するマーカを 近づけることで，バリウムイオンを含む水溶液をビ ーカ内に作成している．図 5(b)では，硫化水素に対 応するマーカーをビーカーマーカ周辺に配置するこ とで硫化水素を鉄イオン水溶液に加えるインタラク ションが発生し，ビーカ内に沈殿物が発生している． このように，カメラの撮像範囲内でマーカ配置移動 を繰り返すことで仮想環境での化学実験を進められ る． 図 4：スマートフォンディスプレイでの表示例 (a) 鉄イオンをビーカ内に投入 (b) 硫化水素をビーカ内に投入 図 5：仮想実験例（沈殿反応実験）
3 検証実験
3.1 実験条件
本実験では，2 節のシステムを用いた仮想環境で の実験を通じて課題に対応する解答を実験的に発見 する手順の検証を行う．被験者 4 名（A～D）に対し て 21 問の沈殿反応に関する設問を提示した．設問は それぞれ表 2 に示す特徴を有する．カテゴリ 3 の設 問は前日までの実験において解答に対応する試薬と 沈殿反応または事前に投入するイオンと沈殿反応の 間に関係性がある設問を指す．なお，以下の検証結 果では表 2 左列の番号と対応付けて述べる． 表 2：提示設問カテゴリと設問例 カテゴリ 設問例 1 基本的な設問 Pb2+に加えると黄色沈殿が 生じる試薬は何か答えよ 2 設問内にヒントと なる情報が含まれ る設問 Cu2+に加えると黒色沈殿 CuS が生じる試薬は何か答 えよ 3 類似した特性に関 する設問がある過 去に提示された設 問 Ag+に加えると白色沈殿が 生じる試薬は何か答えよ 4 投入量による比較 を行う設問 Ag+に加えると暗褐色沈殿 が生じ，過剰に加えると沈 殿が解ける試薬は何か答 えよ 5 液性による比較を 行う設問 Fe2+を含む塩基性の水溶液 に加えると黒色沈殿が生 じ，水溶液を酸性にして加 えると沈殿が生じない試 薬は何か答えよ 被験者へは 1 日に 7 問ずつ設問を提示し，提示さ れた設問の解答をシステムでの実験から探し出し， 解答を記載するように指示した．なお設問の提示順 は被験者ごとにランダムに設定した．また，解答と なる試薬を 3 分以内に発見できない場合は次の設問 に移行するよう指示した．3.2 実験結果
表 2 カテゴリの設問に対応する被験者の実験およ び解答傾向を表 3～表 7 に示す．各表ではカテゴリ ごとの解答および誤答の傾向を示している表 3 に示 すように，カテゴリ 1 の設問に対してはほぼ正確に 解答できたが，同日に提示された設問内に暗褐色沈 殿が発生する設問があった被験者 B は暗赤色沈殿を 暗褐色沈殿と誤認し正しい試薬を解答できなかった． カテゴリ 2 に含まれる設問の解答では，沈殿する物 質の化学式が設問中で表記されているため，カテゴ 表 3：カテゴリ 1 の解答傾向 被験者 傾向 A, C, D 全設問正解 B 暗褐色沈殿と暗赤色沈殿の区別がつかず 誤答した設問あり − 7 −リ 1 の設問と比較して実験の試行回数がどの被験者 でも少なかった．一方表 4 に示すように被験者 A は 表 3 の被験者 B と同様に仮想環境内での沈殿反応結 果を誤認しており，これらの傾向からフィードバッ ク映像の沈殿反応色と被験者が想定する色との齟齬 を改善していく必要性が確認できる．表 3 に示すカ テゴリ 3 に対応する設問の解答結果で被験者 2 名が 関連する設問の解答と同様の試薬を用いて実験を試 していた．これらの実験では最初に試した試薬が正 解であったため，1 回の実験で設問に解答していた． このような傾向は先行研究[3]の実験でも確認でき ていたが，その際には実験を何度も繰り返した後で 法則を発見したことで実現できていた．しかしなが ら，被験者 B と C にヒアリングを行ったところ，問 題を見た後で仮想環境内で実験環境を準備している 中でなんとなく正解がイメージできたという意見が 得られた．一方，カテゴリ 4 に対応する表 6 の実験 結果では，誤答した設問がカテゴリ 2 にも含まれる ため同様の結果となった．カテゴリ 5 に対応する設 問では，他カテゴリの問題と比較して実験手順が多 いため，自身がどのような実験手順を行っているか 誤認する傾向が確認でき，表 7 のように正確な実験 手順を時間内に実行できない傾向が確認できた．先 行研究を用いた実験ではディスプレイ上に仮想環境 と実験実行結果のログが並べて表示されていたため 自身の実行履歴が確認できたが，仮想環境が視野を 覆う本手法ではそのような確認ができず，マーカを 使って能動的に実験状況を確認する必要があったた め誤認したままの傾向が発生したものと考えられる． 表 4：カテゴリ 2 の解答傾向 被験者 傾向 A 青白色沈殿を白色沈殿と誤認し時間内に 解答できなかった設問あり． B，C，D 全設問正解 表 5：カテゴリ 3 の解答傾向 被験者 傾向 A, C 全設問正解したが，カテゴリ 1 の解答傾向 とほぼ一致 B, D 関連設問の解答と同じ試薬の実験を最初 に行って解答 以上のように，多くの設問については本手法でも 問題なく解答でき，反応の傾向をイメージする新た な可能性を確認できた反面，視覚フィードバックお よび常時提示情報量の低下に伴う弊害も確認できた． 表 6：カテゴリ 4 の解答傾向 被験者 傾向 A 青白色沈殿を白色沈殿と誤認し時間内に 解答できなかった設問あり． B, C, D 全設問正解 表 7：カテゴリ 5 の解答傾向 被験者 傾向 A, B 液性の変更を誤り時間内に解答できなか った設問あり． C 実験反応アニメーション開始前にビーカ 確認を終了したため時間内に回答できな かった設問あり． D 全設問正解
