評価手順

評価の際には、評価者の時間の都合上、以下に述べる手順1もしくは手順2の2つの 手順を実施した。

図4.3に本評価の手順1を示す。手順1では、評価者は全ての手順を1人で行った。

手順1では、はじめに本評価の目的および流れを、付録図D.4に示した評価概要の事 前説明資料を用いて、約3分で実験者が口頭で評価者に説明した。次にARTMの使用

方法を評価者に理解してもらうために、図D.5に示した、ARTMのシステム構成およ び各サブシステムの使用フローを説明した約2分の説明ビデオを評価者に視聴しても らった。説明ビデオ内容の補足資料を図D.6に示す。その後、図D.7から図D.11およ び図A.1から図A.7に示した、プログラムブロックの概要およびプログラムブロック を用いて作成できるシナリオを記した説明資料を約15分で評価者に読んでもらった。

この際、質問がある場合は実験者が口頭で回答した。その後、ARTMの使用練習とし て、プログラムブロックの説明資料に示した単純な訓練環境を構築および体験しても らった。

練習後、約15分間シナリオ作成課題1に取り組んでもらった。プログラムブロック の組み立てから、AR訓練の体験まで終了した時点で課題終了とした。その後、約30 分間シナリオ作成課題2に取り組んでもらった。シナリオ作成課題1と同様に、プロ グラムブロックの組み立てから、AR訓練の体験まで終了した時点で課題終了とした。

シナリオ作成課題終了後約5分で、実験者がARTMの容易さに関するアンケートを評 価者に対して実施し、各アンケート項目の回答理由について実験者が評価者にインタ ビューした。

その後、約30分自由作成課題に取り組んでもらった。自由作成課題終了後約5分で、

実験者が訓練シナリオの自由度に関するアンケートを評価者に対して実施し、各アン ケート項目の回答理由について評価者にインタビューした。

評価の目的の説明 （約3分）

ARTMの説明、ビデオ （約17分）

ARTMの練習 （約15分）

シナリオ作成課題１ （約15分）

シナリオ作成課題２ （約30分）

ARTMの容易さに関する

アンケート及びインタビュー （約5分）

自由作成課題 （約30分）

訓練シナリオの自由度に関する

アンケート及びインタビュー （約5分）

図 4.3: 本評価の手順1

図4.4に本評価の手順2を示す。手順2は、複数の評価者で同時に実施した。手順2 では、手順1と同様に、本評価の目的および流れを、事前説明資料を用いて、約3分で 実験者が口頭で評価者に説明し、その後、ARTMの使用方法を評価者に理解してもら うために、ARTMのシステム構成および各サブシステムの使用フローを説明した約2 分の説明ビデオを実験者が評価者に見せた。次に、手順1と同様に、プログラムブロッ クの説明資料を約15分で評価者に読んでもらった。この際、質問がある場合は実験者 が口頭で回答した。その後、手順1と同様に、ARTMの使用練習として、プログラム ブロックの説明資料に示した単純な訓練環境を構築および体験してもらった。練習後、

約15分のシナリオ作成課題1もしくは約30分のシナリオ作成課題2のどちらかに取り 組んでもらった。シナリオ作成課題1に取り組む手順を手順2-1、シナリオ作成課題2 に取り組む手順を手順2-2と呼ぶ。各課題終了後約5分で、実験者がARTMの容易さ に関するアンケートを実施した。一部の評価者に対しては各アンケート項目の回答理 由についてインタビューした。

評価の⽬的の説明 （約3分）

ARTMの説明、ビデオ （約17分）

ARTMの練習 （約15分）

シナリオ作成課題１

（約15分）

シナリオ作成課題２

（約30分）

ARTMの容易さに関する

アンケート及びインタビュー （約5分）

⼿順2-1 ⼿順2-2

図 4.4: 本評価の手順2