ケーブルレス HMD を用いた AR 型無機化学学習支援環境
AR based Inorganic Chemistry Learning Support Environment for Cableless HMD
石村司
1岡本勝
2松原行宏
2Tsukasa Ishimura
1, Masaru Okamoto
2and Yukihiro Matsubara
21
広島市立大学情報科学部
1
Faculty of Information Sciences, Hiroshima City University
2
広島市立大学大学院情報科学研究科
2
Graduate School of Information Sciences, Hiroshima City University
Abstract: In this paper, AR-based inorganic chemistry learning support environment is proposed. For the
proposed environment, wireless HMD and some markers are used as interface. The virtual environment is constructed from recorded image and CGs. When some markers are recognized in the recorded image, corresponding CGs (instruments, water solutions, flame and so on) are displayed. User can perform virtual experiment by moving the markers. Constructed virtual environment if given to user through a HMD. By using a smartphone as a part for HMD, user is given freedom of movement. Additionally, attached smartphone can conduct all processes to construct a virtual environment (recording, recognition, calculation and displaying). It is confirmed that proposed approach has some advantages compared to previous AR based inorganic chemistry learning support system.
1 はじめに
高等学校における化学では，実験を通じて物質の 構造や性質，反応を調べることにより物質の特徴を 理解し，物質に関する原理や法則性を見いだすこと が重要とされている[1]．そのため，授業時間外にお いても実験を通じて学習を行うことは重要である． しかし，化学の教科書[2]に記載されている無機化学 の沈殿反応だけでも多くの反応パターンがあり，全 ての実験を授業時間内のみで確認することは困難で ある． 現在，計算機上で仮想的に実験を行うことで授業 時間外でも反応パターンを確認できるシステムが研 究されている[3], [4]．岡本らは拡張現実感(AR： augmented reality)技術を用いた無機化学学習支援シ ステムを開発した[4]．提示された設問に応じて，実 験器具や試薬に見立てたマーカを操作することで実 験を進める．マーカ操作を撮影した映像からマーカ の種類と位置情報を認識し，撮影した映像に実験状 況に対応する CG を拡張表示することで仮想実験環 境を構築する．マーカを入力インタフェースとして 扱うことで学習者が対象物を直接操作でき，試行錯 誤が容易な環境が構築できる．提示された設問に応 じて仮想実験を行うことで，学習者が目的を持って 実験を行うことが可能となり，設問の正誤判定結果 を学習者へフィードバックすることによって，誤っ た実験結果をもとに学習者が間違った知識を獲得す る危険性を低減できる．このシステムでは，炎色反 応，沈殿反応，定性分析の仮想実験を行うことがで きる．しかし，岡本らのシステムでは，仮想実験を 実現するために PC とカメラおよびマーカが必要と なり，学習可能な環境が制限される．また，固定カ メラを用いた環境で可能となる実験のみ実装されて いる． そこで本研究では，スマートフォンをケーブルレ ス HMD として用いた AR 型無機化学学習支援環境 を提案する．PC との接続を想定した HMD を用いた 学習支援システムでは，ケーブルが原因となる取り まわしの困難さが指摘されているため[5]，ケーブル レス HMD を用いることで，学習時の取り回しの困 難さを意識する必要のない環境を実現する．頭部に 固定可能な VR ビューワーにスマートフォンを取り 付けた HMD をハードウェアとして用いる．マーカ 操作の撮影を HMD 内のスマートフォンのカメラで 行い，構築した仮想環境もスマートフォンの画面に 表示することで，撮影，演算，表示の各機能を HMD デバイス単一で実現できる．カメラが固定されたケ ーブルレス HMD 用いることで，実験範囲が学習者 人工知能学会研究会資料 SIG-ALST-B403-07 − 36 −2眼VRビューワー マーカ スマートフォン 図 1 システムの外観
ガスバーナーマーカ
ビーカーマーカ
白金線マーカ
図 2 カメラで撮影した映像 白金線 ビーカー ガスバーナー 図 3 スマートフォンに表示された仮想環境 の向いた領域すべてに拡張されることにより，従来 システムより多くの仮想実験器具を用いた仮想実験 を実現できる．以下，ケーブルレス HMD を用いた 仮想無機化学学習支援手法の概略を述べ，検証実験 を通じて提案手法の利用可能性を示す．2 提案システム
2.1 システムの概要
図 1 に本システムの外観を示す．入出力インタフ ェースは 2 眼 VR ビューワー，マーカ，スマートフ ォンから構成される．図のようにスマートフォンを 挿入した 2 眼 VR ビューワーを頭に装着することで スマートフォンをケーブルレス HMD として用いる ことができ，カメラの向きが学習者の顔の向きに対 応するため実験範囲が固定されない．学習者は図中 のマーカを操作することで仮想環境内での実験を進 める．図 2 にマーカをカメラで撮影した映像を示す． 図のように学習者がマーカを配置することでシステ ムに入力を行え，マーカに対応する CG が提示され ることで仮想環境を構築できる．図 3 に図 2 の映像 をもとに構築された仮想環境をスマートフォンに提 示した画面を示す．構築された仮想環境は図のよう に左目用，右目用の映像に分けてスマートフォンの 画面に表示される．2 眼 VR ビューワーには 2 つの レンズがついており，図の左右に分かれた映像を 2 つのレンズを通じて見ることで，学習者は目の前に 表示されているように仮想環境を確認できる．図で は配置したマーカに対応するビーカー，ガスバーナ ー，白金線の CG が表示されており，学習者はマー カの上に実験器具の CG が重畳表示されている仮想 環境を確認することができる．2.2 システムの構成
本システムではスマートフォンのカメラでマーカ 操作の撮影を行い，構築した仮想環境をスマートフ ォンに表示する．仮想環境を構築するアルゴリズム を以下に示す． 1. マーカ操作をスマートフォンのカメラで撮影す る．仮想環境を構築するために撮影した映像を システムに入力を行う． 2. カメラで撮影した映像からマーカを探索し，マ ーカの種類とマーカの位置座標を取得する．取 得した座標を用いてマーカ間の距離を算出する． 3. 認識しているマーカの上にマーカに対応する CG を重畳表示する． 4. 2 つのマーカの中心同士の距離が 10cm より小さ い場合，インタラクションが発生したとみなし， 実験状態を変化させる． 5. 実験状態の変化に応じて実験器具の CG を更新 する．必要に応じてステップ 4 でインタラクシ ョンが発生したことを学習者に文字情報として フィードバックする．構築された仮想環境をス マートフォンの左右の画面に提示する． 6. ステップ 1 に戻る 以上のアルゴリズムで仮想実験環境内での実験器 具および試薬の操作を行っていく． 表 1 に 3 種類の陽イオンを含む水溶液の仮想定性 分析実験の仮想環境と実験状況の変化を示す．定性 分析実験は，複数の陽イオンが含まれる水溶液に試 薬を加えて沈殿を発生させ，ろ過することで沈殿し − 37 −た陽イオンと水溶液中の陽イオンを分類する実験で ある．表 1(a)のようにビーカーマーカに元素マーカ (Ba2+)を近付けることで，ビーカーに陽イオンを投入 できる．表 1(a)では「ビーカーに Ba2+が入りました．」 という文字情報が表示され，文字情報はインタラク ションが発生してから 3 秒間表示される．フィード バックを与えることで，学習者にインタラクション が発生したことを知らせることができる．このこと により，ビーカーに試料を投入したつもりが，実は 投入できていなかったなどの操作ミスを減らすこと ができると考えられる．同様の手順で Ca2+, Cu2+もビ ーカーに加え，3 種類の陽イオンを含む水溶液を準 備する．表 1(b)では沈殿を発生させるために，3 種 類の陽イオンを含むビーカーに H2S を加えている． ビーカー内の陽イオンと加えた試薬に沈殿が発生す る組み合わせがあったため，ビーカー内に沈殿物の CG が表示される．沈殿物は粒子状の CG で表現され ているため，複数の色の沈殿物が発生したときにも 学習者が認識できると考えられる．表 1(c)のように 確認マーカをビーカーマーカに近付けることで，ビ ーカー内の状態を文字情報として確認できる．表 1(c)ではビーカー内の沈殿物に CuS があり，水溶液 中に Ba2+, Ca2+があることを文字情報から確認でき る．表 1(d), (e)では漏斗マーカを使用して沈殿物を別 のビーカーに移す操作を行っている．表 1(d)で漏斗 を使って沈殿物をビーカーから取り出し，表 1(e)で 取り出した沈殿物を別のビーカーに移している．こ のように漏斗を使用することで，沈殿した陽イオン (Cu2+)と沈殿しなかった陽イオン(Ba2+, Ca2+)を分離 することができる．以上のようにして仮想定性分析 実験を行うことができる．なお，本システムではビ ーカーに残った Ba2+と Ca2+をさらに分離することも 可能である． 以上のように仮想実験を行うことによって，スマ ートフォンを用いた HMD 単体での無機化学仮想実 験が可能となり，従来の PC や USB カメラを必要と するシステム[5]と比較して，教室や自宅などシステ ムを用いた学習を行える場所が増加すると期待でき る．
3 検証実験
本検証では，陽イオンの分離を行う定性分析実験 が提案システム上での仮想実験環境において実行可 能か確認する．さらに，従来システム[4]を用いた仮 想実験との操作状況を比較し，提案システムの利点 を検証する． 図 4 に被験者に出題する定性分析の問題を示す． 従来システムと本システムの違いを明確にするため 表 1 仮想定性分析実験の仮想環境，実験状況 手順 仮想環境 実験状況 (a) 陽 イ オ ン を ビ ー カ ー に 投入する． (b) 試 薬 を ビ ー カーに加え， 沈 殿 反 応 を 確認する． (c) 確 認 マ ー カ で ビ ー カ ー 内 の 状 態 を 確認する． (d) 漏 斗 で ビ ー カ ー 内 の 沈 殿 物 を 取 り 出す． (e) 取 り 出 し た 沈 殿 物 を 別 の ビ ー カ ー に移す． に 36 種類のマーカを使う複雑な問題を出題する．被 験者 4 名(A～D)には本システムを用いて問題を解答 させ，被験者 E には従来システムを用いて問題を解 答させる．図中の問題は 5 つの設問(a)～(e)に分かれ ており，被験者は仮想実験を通じて各設問の陽イオ ンと沈殿物の分離に必要な試薬を解答する． 実験を行った結果，全ての被験者が各システムを 用いた全ての設問に正解することができた．このこ とから，本システムを用いて仮想実験が行えること を確認した．また，本システムを用いた被験者 A～ D は机の上に必要なマーカを広げ実験を行っていた． 図 5 に被験者 A が机の右でマーカを探している様子， 図 6 に被験者 A が机の中央でビーカーに試薬を加え ている様子を示す．図 5 のビーカーマーカと，図 6 の試薬マーカの距離を計測したところ約 80cm であ − 38 −り，被験者 A は机の上のさまざまな場所で実験を行 っていたことを確認した．本システムを用いた全て の被験者に同様の傾向が見られた．HMD を用いるこ とでカメラの撮像範囲を変えることが容易になった Ag+, Pb2+, Cu2+, Cd2+, Ba2+, Sr2+, Al3+, Zn2+, Mn2+, Ni2+ Cu2+, Cd2+, Ba2+, Sr2+, Al3+, Zn2+, Mn2+, Ni2+ Ag+, Pb2+ 沈殿2 Ba2+, Sr2+, Al3+, Zn2+, Mn2+, Ni2+ Cu2+, Cd2+ (a) (b) 水溶液1 Ba2+, Sr2+ Al3+, Zn2+, Mn2+, Ni2+ Al3+, Zn2+ Mn2+, Ni2+ Ni2+ Mn2+ (c) (e) (d) 水溶液2 水溶液3 水溶液4 水溶液5 水溶液6 沈殿3 沈殿4 沈殿5 沈殿6 図 4 被験者に出題する問題
