VR/AR
技術を用いた
HMD
型仮想化学実験学習支援環境
HMD-based Virtual Chemistry Experiment Environment
for Learning Support using VR/AR approach
岡本勝
1松原行宏
1Masaru Okamoto
1and Yukihiro Matsubara
1 1広島市立大学大学院情報科学研究科
1
Graduate School of Information Sciences, Hiroshima City University
Abstract: Up to now, AR-based inorganic chemistry learning support environment using Smartphone-based HMD is proposed. The virtual environment displayed from this system is constructed from recorded image and CGs. By putting some markers in recoded area by camera of smartphone, corresponding CGs (instruments, water solutions, flame and so on) are displayed in the virtual environment. User can perform virtual experiment to learning chemical reaction relationship between ions and chemical reagents. In this paper, effects of visualization of used solution’s state are shown. And we confirmed characteristics of other interfaces and virtual environments.
1
はじめに
理科分野における実験を伴う学習の必要性が挙げ られており，特に化学においては実験を通じて物質 の性質や反応を調べ，その原理や法則性を見つけ出 すことが重要とされている[1]．一方で，授業時間の 制限や，化学薬品や火を扱うことによる薬傷や中毒 症状などの危険性も指摘されている[2]． これまでに，我々の研究グループでは仮想環境内 で実験を行える学習支援システムを構築しており， 化学学習においては拡張現実感（以下ARと略記） を活用した仮想環境での無機化学学習支援システム を開発してきた[3]．このシステムでは，実験器具や 無機化学実験に用いるイオンや水溶液などの試薬お よび操作に必要な機能をマーカに対応させており， 学習者は机上でマーカの配置，移動を行うことで実 験を進めていく．仮想環境はカメラで撮影した机上 に実験器具などのCGを拡張表示することで構築さ れ，このマーカ操作に基づいて対応する実験操作が シミュレーションされ，仮想環境内での実験結果を 確認できる．このシステムでは，高等学校での無機 化学学習範囲である沈殿反応について，仮想環境内 での実験を通じて学習可能であることを確認できた が，システム構築のために PC と机上を撮影可能な USBカメラが必要であり，学習可能な環境が制限さ れる可能性が高かった．石村らはこの問題を解決す るために，近年非常に高い普及率を有してきたスマ ートフォンを用いたAR型無機化学学習用仮想実験 環境を開発した[4]．この環境では，スマートフォン に内蔵されたカメラを用いて机上のマーカを撮影し， スマートフォンディスプレイ上に仮想環境を表示す ることで，単一環境での仮想環境構築が行える．さ らにスマートフォンを組み込んだヘッドマウントデ ィスプレイ（以下HMD と略記）を用いることで先 行研究よりも実在性の高い仮想環境の構築が期待さ れる． 本稿では可視化機能の検証および，従来システム の多人数活用への拡張を実施する．さらに，従来シ ステムで用いていたマーカのみでのインタフェース を実際の実験器具を併用したものへ改良し実器を用 いた UI の実現可能性を検証する．同様に HMD 型 VR化学仮想実験環境との比較も行う．2
AR 型無機化学学習支援環境
図1に学習者に提示される仮想環境例を示す．仮 想環境は撮影された実環境の映像上にCGで作成さ れた実験器具などの映像が拡張表示することで構築 される．仮想環境内での仮想化学実験結果を確認す ることで学習者は仮想環境内での実験を進めていく． 各マーカに実験器具や試薬が一対一で対応し，スマ ートフォンのカメラの撮像範囲内に配置することで システムがマーカを認識する．システムは認識した 各マーカに対応する実験器具などのCG映像表示や， 人工知能学会研究会資料 SIG-ALST-B506-01 － 1 －マーカ間の距離による実験器具のインタラクション を発生させる．このように，撮像範囲内でマーカの 配置・移動を行うことで学習者は仮想環境内での無 機化学実験をリアルタイムで実行できる． 図1：仮想環境例 図2：システム外観 仮想環境を用いたシステムの外観を図2に示す． 学習者は図のように HMDを装着し，机上のマーカ の配置，移動を行うことで実験を進めていく．図中 の HMD はスマートフォンとビューアから構成され る．ビューアには二つのレンズが装着されており（図 3参照），学習者は各レンズを通じて個別の映像を視 認しており，スマートフォンやタブレット端末によ るハンドヘルド型での仮想環境よりも実在性の高い 仮想環境提示が期待できる．このようなビューアを 用いた仮想環境提示を行うために，スマートフォン のディスプレイ上には図4のように，仮想環境映像 が二つ横向きに並べられて表示される． 図5にインタラクションの一例を示す．図5(a)で は，ビーカーマーカに鉄イオンに対応するマーカを 近づけることで，バリウムイオンを含む水溶液をビ ーカ内に作成している．図 5(b)では，硫化水素に対 応するマーカをビーカーマーカ周辺に配置すること で硫化水素を鉄イオン水溶液に加えるインタラクシ ョンが発生し，ビーカ内に沈殿物が発生している． このように，カメラの撮像範囲内でマーカ配置移動 を繰り返すことで仮想環境での化学実験を進められ る． 図3：システムで用いるビューア外観 図4：スマートフォンディスプレイでの表示例 (a) 鉄イオンをビーカ内に投入 (b) 硫化水素をビーカ内に投入 図5：仮想実験例（沈殿反応実験） 図6に水溶液の可視化状態の例を示す．設問の中に は水溶液の液性質の調整が必要なものもあり，操作 手順が増えた場合には水溶液の状態の把握が困難に なる可能性がある．そこで本システムでは，水溶液 の状態を可視化することによって学習者が実行状況 を理解しやすくする支援を行う． 図7に2人の学習者が仮想実験を行っている学習 者の外観を示す．図中，右の学習者は試薬を探して おり複数人で仮想実験を行う場合はお互いが同じマ ーカ操作を見ているとは限らないため，学習者間で 仮想環境内のビーカの状態を同期する必要がある． － 2 －
提案システムではBluetoothによる通信を行い，お互 いのビーカの状態を同期させることで最大8人での 仮想実験を可能となる． 図6：水溶液状態の可視化 図7：2人で仮想実験を行っている外観 (a)マーカを付けた実験器具 (b) 拡張表示された映像 図8：実験器具を用いたインタフェースと 拡張表示例 図8に実験器具を用いたインタフェースと重畳表 示された仮想環境例を示す．図 8(a)のように実験器 具にマーカを貼り付け，認識したマーカに対して図 8(b)のように CG を重ね合わせることによって使用 している水溶液などの情報を仮想的に再現できる．
3
VR 型無機化学学習支援環境
図9にVR型仮想環境と操作インタフェースを装 着した概観を示す．図 9(a)の仮想環境内の実験器具 を学習者は図9(b)の HMDで観察し手に持ったデバ イスで操作する．デバイスは手の位置を計測でき， その位置情報とデバイス上のボタンを押したかどう かをもとに学習者の仮想実験器具把持操作を判定す る． (a)VR型仮想環境 (b)インタフェース概観 図9：2人で仮想実験を行っている外観 0 200 400 600 800 1000 1200 A B C D 実 験 時間（秒 ） 被験者 A C 提案システムを用いた被験者 可視化機能のないシステムを用いた被験者 図10：可視化検証実験結果4
検証実験
検証実験では，まず図6に示す仮想環境内情報の 可視化の有無による学習過程の確認を被験者4名に 対して実施した．7 つの設問を出題し，実験時間と 実験操作の比較を行う．図10に実験時間を示す．図 のように可視化機能のないシステムを用いた被験者 は比較的時間がかかる結果となった．特に被験者 C は最も時間がかかっているが，その影響として無色 透明であるがイオンが溶けている水溶液を純水であ ると誤った理解のもとで実験を進めていた過程が確 認できた．このような視覚情報だけでは判断できな い状況において可視化情報が与えられない場合は誤 った認識が学習の妨げになる可能性が確認できた． 一方で可視化情報を有するシステムを用いた実験で － 3 －はこのような状況は確認できなかったため可視化の 有効性を示せたと考えられる． 次に，図8で示した実際の実験器具にマーカを貼 り付けたインタフェースとマーカ単体を用いた仮想 実験の操作比較を行った．仮想実験ではイオンをビ ーカに入れる，白金線をビーカにつける，ガスバー ナーの火に白金線を近づけるという操作を行うよう 被験者2名に指示した．表1に仮想実験終了後に得 られた意見を示す．実験器具付きのインタフェース では実際の実験に近い動作で仮想実験が行えるとい うメリットがあるが，実験器具を用いているため器 具を壊さないように操作が慎重になったという意見 が得られており，実際に操作時間にも差があった． 実際の実験器具をインタフェースとして用いること で適度な緊張感をもって仮想実験を行ったため実際 の実験をしているような気分になったという意見が 得られた．一方，マーカのみの操作で仮想実験を行 うインタフェースでは操作が簡単で手軽に扱える部 分に対して好意的な意見が得られた． CGによる変 化の様子について聞き取りを行った結果，実験器具 にCGが重なっているためどこを見ればよいのかが 分かり やすいという意見が得られ た反面，CG の周 囲に実物がない方が見やすいという意見も得られた． 表1：実験器具有無による比較結果 マーカ単体 実験器具付き 操作性 簡単 実際の実験に近い 重畳 CGによる距離感が 分かりにくい CG わかりやすい わかりやすい 扱い 手軽に扱える 緊張感がある 感覚 作業感覚 実際に実験している感覚 操作が楽しい さらに，図9で示したVR型仮想化学実験環境と AR 型仮想化学実験環境の比較実験を被験者 2 名に 指示し た．AR 型仮 想環境ではイオンをビーカ に入 れてから炎色の確認ができるまでに数工程必要であ るため，何のイオンの炎色確認をしているのか途中 で忘れてしまうと答えた．また，炎色を確認するた めにこのシステムではどうやるのかを考える必要が あった が，VR 型仮 想環境では実際の実験器具を動 かす感覚で実験が行えるためスムーズに炎色確認を 行うことができたという意見が得られた．一方の被 験者はAR型仮想環境ではマーカを近づけていくだ けで作 業感があったが，VR 型仮 想環境では自分で 実験をしている感じがあったと，実際の実験器具を 用いたインタフェースの比較と同様の意見が得られ た．またAR型仮想環境では，炎色確認までの工程 が多く 疲れてしまったが，VR 型仮 想環境ではすぐ 確認できてよかったという意見が出た．この意見は AR 型仮 想環境では有限のマーカの組み合わせ で仮 想実験を実現する必要があるため作業工程が増加し てしま ったが，VR 型仮想環境で はこのような制約 が存在 しないためだと考えられる ．しかし，AR 型 仮想環境は現実の映像に重畳表示されているため距 離感を 把握するのが容易だったが ，VR 型仮想 環境 では距離感の把握が困難だったという意見も得られ た．特に被験者の一人は検証実験開始時に距離感を 把握できずに白金線など仮想空間内の器具を持ち損 ねるこ とが多かったが，AR 型仮 想環境ではそのよ うな状況は発生していなかった．比較の結果，本シ ステムの方が実験を行いやすく印象にも残りやすい という意見が多かった．一方でVR型仮想環境では 距離感の把握に時間がかかる可能性が確認できた．
