要旨
本研究では，仮想現実，拡張現実，複合現実技術を基礎とし，
教育効果等の向上のための体感型ARマニュアルを提案し，シ ステム構築に必要な事項について実験により検討した。本シス テムを使うことで，実習生は実物を使った教育や訓練の活動を 体験することができるが，その際に，実習生の動作を非接触型 のモーションキャプチャであるKinectで認識し，装着してい
るHMD（ヘッドマウントディスプレイ）を介して支援情報を得
る。本研究では，実習生の動作を認識するために用いるKinect による３つの動作判定方式を提案した。これらを楽器演奏のた めの教育プログラムに適用し，各々の特性を実験的に確認した。
これら結果を受け，本システムを大型プリンタのロール紙取り 付け作業に適用する方法を検討し，支援情報に基づく実験から，
各工程での被験者の行動を観察し，使用性と課題を確認した。
Summary
This study proposes a live guiding manual system for education and training called “Intangible AR Manual”
based on VR (Virtual Reality), AR (Augmented Reality) and MR (Mixed Reality) technologies. In this study, we considered building of this system by an experiment.
Using this system, a trainee can perform activities using
“real objects” but with a guided information through HMD (Head Mounted Display). This system has a Kinect which is a non-contact motion capture to reduce the weight-like burden to a trainee. This system using Kinect must have a recognition method of trainee motion to show a guided information on a trainee’s HMD. So we suggested three methods to choose a motion judgment method to use to recognize trainee motion. And we applied their three methods to the educational program for musical instrument performances and confirmed each characteristic by an experiment. Based on these results, we applied to the installation work of the rolled paper of the large printer. And we confirmed the usefulness and problem about this system.
１． 緒言
近年，直感的なユーザインタフェースの使い易さが認められ，
スマートフォンやタブレット PC が急速に普及してきている。
これら携帯デバイスは，一般家庭に普及している簡単なグラフ ィック処理ができるパーソナルコンピュータに匹敵するまで機 能や性能の向上が図られた上に，GPS や加速度センサなどが搭 載され移動式という観点での高機能化が図られてきた。そして，
携帯デバイスに当然のように搭載されてきた小型カメラも画像 解像度などの性能が飛躍的に向上し，簡単に良質の画像や動画 の取得が可能となった。これらのことにより，各種アプリケー ションをインストールすることでビジネスから娯楽まで幅広く 利用できるまでになった。これに伴い AR（Augmented Reality：
拡張現実）を簡単に利用できるようになった[注１]。このこと で AR への関心も高まり，AR 関連の市場も拡大してきている。
AR は，カメラを介して見た現実世界に情報等を付加・削除でき る技術であり，現実世界を一部改変し拡張する技術である。最 近では，工業製品の修理や組立作業，複雑な装置の操作支援な どに適用するために様々な研究が行われている。
例えば，Steven らは，レーザープリンタの保守作業を容易に するために AR を用いてカセットの位置を重畳表示できるよう にしたことで，作業時間短縮やエラー率低減を図った[注３]。
米谷らは，基幹系システムの保全作業における組み立て作業の 中の記憶や照合といった認知作業に対し，AR を用いた場合と従 来の紙のマニュアルを用いた場合とで，時間的作業効率を評価 する方法を検討した[注４]。また，山﨑らは，原子力プラント でのバルブの探索作業に対して AR と装着型 RFID を用いた作業 支援システムを構築し，異なる表示デバイス間での優位差の把 握を試みた[注５]。元川らは，ギター演奏支援のためにギター の構造的な特徴点を利用したマーカレスの AR について提案し た [注７]。石井らは，原子力発電プラントの解体支援のため に、実際のプラント画像に各装置の CAD データを重畳表示する 方法を提案した[注８]。山崎らは，商品物流における仕分け作 業に AR を応用し，作業者の位置と姿勢の推定から仕分け箇所 を HMD 上に提示する方法を提案した[注 11]。表１に，これら先 行研究の特徴をまとめた。検討や実施の有無について，該当箇 所に「有り」には「○」，「無し」には「×」の記号で示した。
教育効果と作業効率の向上のための体感型 AR マニュアルの提案
─HMDとKinectを用いたシステムを大型プリンタの操作に適用する際の一考察
A Proposal of Intangible AR Manual for Improvement of Training Effect and Working Efficiency
─ A Consideration to apply this system using HMD and Kinect to the operation of the large printer
●内田康之 ●藤下理美 ●古市昌一
日本大学 日本大学大学院 日本大学大学院
Uchida Yasuyuki Fujishita Satomi Furuichi Masakazu
Nihon University Graduate School of Nihon University
Graduate School of Nihon University
● Key words : Augmented Reality, HMD, Kinect, Training Manual
研究報告：
Manuscript （論文原稿） Click here to download Manuscript （論文原稿）
YasuyukiUchida.doc
研究論文： 報告 RESEARCH REPORT
Received August 27, 2016; Accepted March 4, 2017
教育効果と作業効率の向上のための体感型 AR マニュアルの提案
―HMD と Kinect を用いたシステムを大型プリンタの操作に適用する際の一考察
A Proposal of Intangible AR Manual for Improvement of Training Effect and Working Efficiency
—A Consideration to Apply This System Using HMD and Kinect to the Operation of the Large Printer
● 内田康之 ● 藤下理美 ● 古市昌一
日本大学 日本大学大学院 日本大学大学院
Uchida Yasuyuki Fujishita Satomi Furuichi Masakazu
Nihon University Graduate School of
Nihon University Graduate School of Nihon University
●Key words : Augmented Reality, HMD, Kinect, Training Manual
Summary 要旨
表１ 先行研究の特徴
以上のように，様々な作業に対して AR を適用した研究事例 があるが，作業ごとに連続性や動作範囲などを把握する必要が あり，動作の正誤を判定する方法や誤りに対する支援の方法，
そして作業指示情報の表現方法など，ARを適用する際の多くの 課題が残されている。
図１ システム構成図
２． 研究目的
工業製品の修理や組立作業，複雑な装置の操作方法などの学 習は，紙媒体やDVDなどの手順書や指導者等からの教示による ものがほとんどである。特に紙媒体やDVDなどの手順書を見な がらの学習は，頁を捲る動作や何度も視線を動かさなければな らないなど煩雑であり，初学者にとっては大きな負担である。
また，練度を向上させるためには，その負担を繰り返し経験し なければならないが，指導者等にとっても繰り返し教示するこ とは負担である。実習生が，それら手順書を見ずに対象物に触 れながら繰り返し学習することができれば，実習生や指導者等 への負担を軽減できる。また，実習生の動作に迷いや誤りがあ った場合に，適時に正誤判定を示すことができれば，学習の手 戻りを最小限に抑えることができ，教育効果や作業効率の向上 につながる。
本研究では，教育効果や作業効率の向上に有用な「体感型AR マニュアル」を構築することを目的とし，本システムは次の特 徴を有するものとする。
図２ 使用したARデバイス
（1）実習生などの対象者への重量的負担を軽減し広範囲での 使用を可能とするために，非接触型のモーションキャプ チャにより動作判定を行う。
（2）教育中もしくは作業中に，先の動作判定結果に基づき連 続的に必要な作業指示を作業空間上に重畳表示する。
（3）将来的には，対象者が迷い誤った場合に，助言や修正指 示を可能とする。
本システムを構築するにあたり，対象者の動作を認識するた めに必要な動作判定方式を選定するため３つの方式を提案し，
それらについて楽器演奏の習得を題材とした比較実験により特 性を把握した。そして，適用先の一例として大型プリンタのロ ール紙取り付け作業を取り上げ，先の比較実験の結果を反映し た体感型ARマニュアルを構築し，その特性や課題について把 握した。本研究では，これらについて詳述する。
なお，対象者の「迷い」「誤り」の検出に関する事項は将来 の課題として今後に実施していく。
３． 体感型ARマニュアル
提案する体感型 ARマニュアルのシステム構成図を図１に示 す。対象者は，首振り姿勢を検出できる透過型HMD（Head Mounted Display：ヘッドマウントディスプレイ）を装着し，ARによっ て構築された各種支援情報をHMD上で確認しながら作業手順を
Kinect(Microsoft社) HMD Wrap1200AR(Vuzix社)
赤外線プロジェクタ 赤外線カメラ RGBカメラ
マイクロホン 作業の
連続性 AR表示部 動作認識 センサ
上肢の
動作認識 動作判定 Steven他[注3] × H M D 非接触型 × ×
米谷他［注4] × H M D × × ×
山﨑他[注5] × H M D
タブレットPC 接触型 ○ ○ 元川他[注7] ○ ディスプレイ × × × 石井他[注8] × タブレットPC × × × 山崎他[注11] ○ H M D 非接触型 × ×
図３ ミュージックベルのための２つの奏法
習得する。HMDは，図２に示すVuzix社のWrap1200AR（ビデオ 透過型）を使用した。LCDは，解像度がWVGA（640 x 480），プ ログレッシブスキャンアップデートレートが 60Hz，視野角が 35度である。定位置に置いたマーカをHMDのARカメラで認識 することで，LCDディスプレイ上の指定された座標に操作手順 等の支援情報を提示する。非接触型のモーションキャプチャは，
図２に示す安価で応用事例の多いMicrosoft社のKinectを使 用した。対象者の動作は，Kinectの深度センサによって実時間 で計測する。プログラミング言語はProcessingを用い，Kinect のライブラリはOpenNIを，ARのライブラリはARToolKitを使 用した。
４． 動作判定方式
対象者の動作を認識するために，Kinectにより計測したデー タを利用する次の３つの動作判定方式を提案し，それらの特徴 を比較実験により定量的に把握することとした。
（1）HotPoint方式：対象者の前方の実空間上に動作判定領域 を設定し，深度データから検出した対象者のボーンデータ
（骨格モデル）の手先がその領域内に入ったことで判定す る。
（2）深度データ方式：Kinectのカメラで取得した画像内の指 定領域において，最もKinectに近い深度データ（距離画像）
のピクセルを見つけ，そのピクセル位置の変化（手先の軌 道）を追跡し，そのピクセルの深度データが実空間上で設 定した閾値（カメラからの距離による境界線）を越えたこ とで判定する。
（3）ボーンデータ方式：深度データから検出した対象者のボ ーンデータ（骨格モデル）から肩と手首の座標値の差分を 算出し，その差分が動作に応じて変化することを利用し，
その差分が設定した閾値を超えたことで判定する。
4. 1. 楽器演奏への適用
腕や脚を使うなど大きな動作を伴って演奏する楽器であれば，
Vicon 社製のモーションキャプチャなどに比べ誤差の大きい Kinectでも十分に演奏者の動作を計測することができる。事前 に演奏に必要な動作を分析し体感型ARマニュアルとして構築 できれば，初めてその楽器を演奏する対象者でも，体感型 AR マニュアルを用いて繰り返し練習することで，楽譜を見ること なしに演奏法を習得することが可能となると考えた。そこでま ず，演奏時の動作が大きいことで計測が容易であり，単純な動 作の繰り返しで演奏が成立する楽器に対して検討することとし，
図４ 実験環境（位置関係）
ミュージックベルによる演奏法の習得に本システムを適用した。
ミュージックベルは，30年前に日本で造られた楽器である。現 在は幼稚園や小学校の教育用として，また，結婚式などでの余 興などで使われており，ハンドベルと同様に１人が２～４音を 担当し複数人で演奏する。ミュージックベルでは，図３に示し た様に音の長さを腕の動きで調節する。音を短く切りたい時は，
カナヅチを釘で打つように手首と肘を使ってベルを前に倒す「単 打音奏法」を行う。音を伸ばしたい時は，大きな縦の円を描く ように腕を回す「余韻奏法」を行う。ミュージックベルの演奏 に有用な体感型 ARマニュアルを構築するためには，これら２ つの奏法を判別し，必要な支援情報を提示できる必要がある。
そこで，先に示した３つの動作判定方式を用いて，これら２つ の奏法を判別する比較実験を行った。また，ミュージックベル の演奏に適用する際には，動作が単純かつ連続的であり実装す る機能も単純化できることから，動作判定結果に応じて支援情 報を提示するプログラムを実装する上での課題の把握に利用し た。このとき，大きな動作を対象としたことで，Kinectの性能 や設置環境などが複雑に干渉し原因の特定が困難な不具合の発 生を回避することができた。
4. 2. 動作判定方式の比較実験
実験は，１名に対して行った。対象者は，図４に示すように Kinectに正対するように距離1.8m（Kinectの使用条件で推奨
単打音奏法 余韻奏法
ひも
Kinect
紐
1.8[m ]
1.15[m]
ひも Kinect
1. 15[m]
1.80[m]
対象者 Z
Y
表１ 先行研究の特徴
以上のように，様々な作業に対して AR を適用した研究事例 があるが，作業ごとに連続性や動作範囲などを把握する必要が あり，動作の正誤を判定する方法や誤りに対する支援の方法，
そして作業指示情報の表現方法など，ARを適用する際の多くの 課題が残されている。
図１ システム構成図
２． 研究目的
工業製品の修理や組立作業，複雑な装置の操作方法などの学 習は，紙媒体やDVDなどの手順書や指導者等からの教示による ものがほとんどである。特に紙媒体やDVDなどの手順書を見な がらの学習は，頁を捲る動作や何度も視線を動かさなければな らないなど煩雑であり，初学者にとっては大きな負担である。
また，練度を向上させるためには，その負担を繰り返し経験し なければならないが，指導者等にとっても繰り返し教示するこ とは負担である。実習生が，それら手順書を見ずに対象物に触 れながら繰り返し学習することができれば，実習生や指導者等 への負担を軽減できる。また，実習生の動作に迷いや誤りがあ った場合に，適時に正誤判定を示すことができれば，学習の手 戻りを最小限に抑えることができ，教育効果や作業効率の向上 につながる。
本研究では，教育効果や作業効率の向上に有用な「体感型AR マニュアル」を構築することを目的とし，本システムは次の特 徴を有するものとする。
図２ 使用したARデバイス
（1）実習生などの対象者への重量的負担を軽減し広範囲での 使用を可能とするために，非接触型のモーションキャプ チャにより動作判定を行う。
（2）教育中もしくは作業中に，先の動作判定結果に基づき連 続的に必要な作業指示を作業空間上に重畳表示する。
（3）将来的には，対象者が迷い誤った場合に，助言や修正指 示を可能とする。
本システムを構築するにあたり，対象者の動作を認識するた めに必要な動作判定方式を選定するため３つの方式を提案し，
それらについて楽器演奏の習得を題材とした比較実験により特 性を把握した。そして，適用先の一例として大型プリンタのロ ール紙取り付け作業を取り上げ，先の比較実験の結果を反映し た体感型 ARマニュアルを構築し，その特性や課題について把 握した。本研究では，これらについて詳述する。
なお，対象者の「迷い」「誤り」の検出に関する事項は将来 の課題として今後に実施していく。
３． 体感型ARマニュアル
提案する体感型 ARマニュアルのシステム構成図を図１に示 す。対象者は，首振り姿勢を検出できる透過型HMD（Head Mounted Display：ヘッドマウントディスプレイ）を装着し，ARによっ て構築された各種支援情報をHMD上で確認しながら作業手順を
Kinect(Microsoft社) HMD Wrap1200AR(Vuzix社)
赤外線プロジェクタ 赤外線カメラ RGBカメラ
マイクロホン 作業の
連続性 AR表示部 動作認識 センサ
上肢の
動作認識 動作判定 Steven他[注3] × H M D 非接触型 × ×
米谷他［注4] × H M D × × ×
山﨑他[注5] × H M D
タブレットPC 接触型 ○ ○ 元川他[注7] ○ ディスプレイ × × × 石井他[注8] × タブレットPC × × × 山崎他[注11] ○ H M D 非接触型 × ×
図５ HotPointの設定方法の考え方
されている範囲内の距離）の位置に立ち，左手単打音奏法，右 手単打音奏法，左手余韻奏法，右手余韻奏法をそれぞれ20回 ずつ行い，３つの動作判定方式で正しく判定できるかを確認し た。
実験に際して，対象者の前方の基準高さに水平にひもを張る ことで目印とし，この位置にベルを揃えてから腕を動かすこと で，腕の軌道のばらつきを低減した。この基準高さは，どちら の奏法にも共通する「構え」の位置を決めるための目標高さで あり，およそ肩の高さとなる。これは奏法の推奨姿勢から決め ており，肘を鋭角に曲げた状態でミュージックベルが位置する 高さとなる。また，判定アルゴリズム内の閾値は，Kinectが有
図６ 深度データ例
する誤差を想定して設定した。
本実験では，設計した閾値と計測値の関係からプログラムが 正しく反応できたかについて，実験後に計測結果を解析し確認 することで，判定アルゴリズムの特性や安定性を把握すること を目的とした。また，本実験では，体格差を有する対象者に対 する確認は行っていないが，計測する腕振り動作は同一人物が 行ったとしても各回の動作が完全に一致することはなく計測値 にばらつきが生じることから，体格差に相当する影響について もある程度は考慮できると考えた。なお，体格差に関する事項 の具体的な検討は，製品開発の過程において使用する計測装置 に応じて行うことが良いと考えている。次に，各動作判定方式 のアルゴリズムの閾値について述べる。
HotPoint方式では二つの奏法を判別できるように，図５上の
Kinectで計測した対象者のボーンデータから両肩の座標を基準
に位置を設定し，手首から肘の長さを基準に図５下の３つの HotPoint（空間領域）を設定し，単打音奏法は領域(A)に，余 韻奏法は領域(A)，(B)，(C)に連続して入ったことで判別する。
ここで設定された領域は１つ当たり0.150m×0.250m ×0.150m であり，領域(A)の中心座標を(0.165, -0.100, 1.550)，領域 (B)の中心座標を(0.165, -0.100, 1.400)，領域(C)の中心座標 を(0.165, 0.150, 1.465)とした。領域(A)の中心は，Z軸方向 にLa+0.100[m]だけ前，Y軸方向にLa[m]だけ下に位置しており，
LaはKinectで構築した骨格モデルの初期データから導き出し
た値であり，体格に応じて導出可能である。また，肘が直角に なるように振り下ろした際にミュージックベルが領域(A)のほ ぼ中心に位置するようにするために，ミュージックベルを把持 した手の大きさを考慮してZ軸方向に0.100[m]を加えている。
また，領域の大きさはミュージックベルを把持した手が余裕を 持って入る大きさに設定した。
深度データ方式では，図６の画像に示すように縦方向に３つ の空間領域を設定し，最も Kinectに近いピクセルの深度デー タdが，領域(1)でd<1.520[m]，領域(2)でd<1.320[m]，領域 (3)で1.320[m]<d<1.520[m]となるかを判定し，単打音奏法は領 域(1)に，余韻奏法は領域(1)，(2)，(3)に連続して入ったこと で判別する。
領域(1) 領域(2) 領域(3)
領域(1)
領域(2)
領域(3)
表２ 各動作判定方式の成功率
ボーンデータ方式では，肩と手首の座標値の差分を算出し，
その差分が動作に応じて変化することを利用するが，この差分 は「Mi（i=x,y,z）=肩のi座標値-手首のi座標値」と定義し，
判定条件①を「-0.150< Mx< 0.150且つ0.200< My< 0.420且つ 0.250< Mz」，判定条件②を「-0.150< Mx< 0.150且つ0.200< My<
0.420且つ0.420< Mz」，判定条件③を「-0.150< Mx< 0.150且 つ0.000< My且つMz <0.420」とし, 単打音奏法は判定条件① を，余韻奏法は判定条件①，②，③を連続して満足することで 判別する。なお座標系は，Kinectの赤外線カメラを原点に右手 座標系である。
以上のように,判定に用いる領域数は，動作判定方式によら ず，左右の手のそれぞれに対して，単打音奏法は１つ，余韻奏 法は連続した３つである。
4. 3. 実験結果及び考察
各方式の判定実験結果を表２に示す。単純な動作である単打 音奏法においては，HotPoint方式の成功率が高く，深度データ 方式，ボーンデータ方式の成功率が低くなった。失敗した例は，
深度データ方式，ボーンデータ方式ともに全て動作開始前に誤 判定となっており，これは，単純な動作である単打音奏法では，
手先座標が対象者に最も近い動作判定領域の閾値を超えたかで 判定するため，３つの領域を連続して通過する余韻奏法とは異 なり判定条件が少なく誤判定が生じ易いと考える。
図７（a），（b），（c）に，HotPoint方式で右手余韻奏法を判 定した際の右手首の軌跡のx，y，z座標の計測値を示す。閾値
はHotPointの境界線の位置である。図７(a)の閾値①及び②は
HotPointのx軸方向の境界を，図７(b)の閾値①～③はHotPoint のy軸方向の境界を，図７(c)の閾値①～⑤はHotPointのz軸 方向の境界を示しており，図５の表示と対応している。フラグ は正しく動作判定したときの時間を示している。左から１番目 のフラグは領域(A)に，２番目のフラグは領域(B)に，３番目の フラグは領域(C)にx，y，z座標の計測値が同時に入ったとき の時間を示している。余韻奏法は判定に利用する条件が３つあ るため，フラグが切り替わったタイミングも３回である。
図８（a），（b），（c）及び図９（a），（b），（c）にボーンデー タ方式で左単打音奏法を判定した際の結果を示す。図中の計算 値は，左肩座標値から左手首座標値を差し引いた値の変化をプ ロットしたものである。ボーンデータ方式では，この値を動作 判定に利用している。図８の成功例は，x，y，z座標の計算値 が同時に判定条件①を満たしたときにフラグが発生しているこ とがわかる。図９の失敗例は動作開始前にx，y，z座標の計算 値が同時に判定条件①を満たした瞬間があったために誤判定と
図７ HotPoint方式での成功例
(a) ｘ軸方向の計測値とHotPoint方式の閾値 に基づく判定フラグの発生状況
(b) y軸方向の計測値とHotPoint方式の閾値 に基づく判定フラグの発生状況
(c) z軸方向の計測値とHotPoint方式の閾値 に基づく判定フラグの発生状況 図５ HotPointの設定方法の考え方
されている範囲内の距離）の位置に立ち，左手単打音奏法，右 手単打音奏法，左手余韻奏法，右手余韻奏法をそれぞれ20回 ずつ行い，３つの動作判定方式で正しく判定できるかを確認し た。
実験に際して，対象者の前方の基準高さに水平にひもを張る ことで目印とし，この位置にベルを揃えてから腕を動かすこと で，腕の軌道のばらつきを低減した。この基準高さは，どちら の奏法にも共通する「構え」の位置を決めるための目標高さで あり，およそ肩の高さとなる。これは奏法の推奨姿勢から決め ており，肘を鋭角に曲げた状態でミュージックベルが位置する 高さとなる。また，判定アルゴリズム内の閾値は，Kinectが有
図６ 深度データ例
する誤差を想定して設定した。
本実験では，設計した閾値と計測値の関係からプログラムが 正しく反応できたかについて，実験後に計測結果を解析し確認 することで，判定アルゴリズムの特性や安定性を把握すること を目的とした。また，本実験では，体格差を有する対象者に対 する確認は行っていないが，計測する腕振り動作は同一人物が 行ったとしても各回の動作が完全に一致することはなく計測値 にばらつきが生じることから，体格差に相当する影響について もある程度は考慮できると考えた。なお，体格差に関する事項 の具体的な検討は，製品開発の過程において使用する計測装置 に応じて行うことが良いと考えている。次に，各動作判定方式 のアルゴリズムの閾値について述べる。
HotPoint方式では二つの奏法を判別できるように，図５上の
Kinectで計測した対象者のボーンデータから両肩の座標を基準
に位置を設定し，手首から肘の長さを基準に図５下の３つの HotPoint（空間領域）を設定し，単打音奏法は領域(A)に，余 韻奏法は領域(A)，(B)，(C)に連続して入ったことで判別する。
ここで設定された領域は１つ当たり0.150m×0.250m ×0.150m であり，領域(A)の中心座標を(0.165, -0.100, 1.550)，領域 (B)の中心座標を(0.165, -0.100, 1.400)，領域(C)の中心座標 を(0.165, 0.150, 1.465)とした。領域(A)の中心は，Z軸方向 にLa+0.100[m]だけ前，Y軸方向にLa[m]だけ下に位置しており，
LaはKinectで構築した骨格モデルの初期データから導き出し
た値であり，体格に応じて導出可能である。また，肘が直角に なるように振り下ろした際にミュージックベルが領域(A)のほ ぼ中心に位置するようにするために，ミュージックベルを把持 した手の大きさを考慮してZ軸方向に0.100[m]を加えている。
また，領域の大きさはミュージックベルを把持した手が余裕を 持って入る大きさに設定した。
深度データ方式では，図６の画像に示すように縦方向に３つ の空間領域を設定し，最も Kinectに近いピクセルの深度デー タdが，領域(1)でd<1.520[m]，領域(2)でd<1.320[m]，領域 (3)で1.320[m]<d<1.520[m]となるかを判定し，単打音奏法は領 域(1)に，余韻奏法は領域(1)，(2)，(3)に連続して入ったこと で判別する。
領域(1) 領域(2) 領域(3)
領域(1)
領域(2)
領域(3)
図８ ボーンデータ方式での成功例 図９ ボーンデータ方式での失敗例
(a) ｘ軸方向の計測値とボーンデータ方式の閾値 に基づく判定フラグの発生状況（失敗）
(b) y軸方向の計測値とボーンデータ方式の閾値 に基づく判定フラグの発生状況（失敗）
(c) z軸方向の計測値とボーンデータ方式の閾値 に基づく判定フラグの発生状況（失敗）
(a) ｘ軸方向の計測値とボーンデータ方式の閾値 に基づく判定フラグの発生状況（成功）
(b) y軸方向の計測値とボーンデータ方式の閾値 に基づく判定フラグの発生状況（成功）
(c) z軸方向の計測値とボーンデータ方式の閾値 に基づく判定フラグの発生状況（成功）
デザイン学研究 BULLETIN OF JSSD Vol.xx No.x 20xx
7
図10 ミュージックベルのための支援情報例
なっている。これは，骨格モデルを構築する際に，肩と手首の 座標値を正しく追跡できていなかったことによるものであり，
単打音奏法の動作判定ではフラグの切り替わりは１回が正しい が，ここではフラグの切り替わりが２回となった。
以上の結果から，HotPoint方式は「単純な動作（単打音奏法）」
と「複雑な動作（余韻奏法）」のどちらも成功率が高いが，手 首から肘の長さを基準にHotPointを設定し手先の位置のみで 動作判定したことで誤差による誤判定が抑えられたと考える。
これより，立ち位置や対象者の身長の違いによって HotPoint の位置を変更する必要があることを確認できた。深度データ方 式はKinect により計測した各ピクセルの深度データから手先 に該当するピクセルを推定して判定に用いたため十分な精度を 得られるが，「単純な動作」の場合にはピクセルの僅かな計測 誤差により誤判定となる場合があることを確認できた。これに 対して，ボーンデータ方式は動作開始前に誤判定を多く生じた が，この時点では手首位置が胴体に近いことでボーンデータの 構築の際に手先と胴体を正しく認識できない状態が頻繁に生じ，
図８の１[s]付近及び図９の０[s]の振動的なデータからもわか るように，肩と手首の座標に振動的な誤差を生じ，動作判定に 用いたこれらの差分が想定以上に振動的な大きな値となったこ とが原因であると考える。ボーンデータ方式では対象者の体格 にあった判定条件を設定することができるが，カメラに対して 腕が重なって見える場合など，オクルージョンにより骨格座標 を正しく追跡できない場合に生じる誤差から誤判定となること があることを確認できた。この他，表２の結果において左手単 打音奏法の成功率が低く示された原因の１つに，Kinectの赤外 線カメラと赤外線プロジェクタの配置に構造上の偏りがあるこ とが考えられ，Kinectから見て右側の計測領域に誤差が生じや すいと思われる。
4. 4. ミュージックベルによる演奏例
演奏例では，HMD上に提示される支援情報に基づき，正しいタ イミングでミュージックベルを振り下ろし鳴らす。支援情報の 提示は，演奏者の前方に設置したマーカをARカメラが認識す ることで，マーカを基準として前方視野内の適当な位置に行っ
た。提示する支援情報は，図10左に示すように音階と奏法を 色と形で表現した矢印とし，どの音をどの奏法で鳴らせばよい かを示している。今回は，楽曲の中で「ド」と「レ」の音を担 当するものとし，「ド」を赤色，「レ」を黄色，単打音奏法を「下 向きの矢印」で，余韻奏法を「丸い矢印」で表現した。また，
正しく音を鳴らすことができた場合，矢印の色が濃くなり「OK」
と表示され，次の支援情報が提示される。正しい音を鳴らすこ とができない限り，次に進まない仕組みとしている。
図11 プリンタとKinectの位置関係
なお，正しく音を鳴らすことができたかどうかは，演奏者の 動作が正しい奏法として認識されたかどうかで行い，その動作 判定は前項の実験で安定性が高いと判断されたHotPoint方式 を採用した。これにより，連続した複数の HotPointを用いた 場合の動作判定や支援情報の提示と切り替えを行うプログラム のアルゴリズムの課題が把握でき，得られた知見を複雑なシス テムの構築に反映することとした。
図８ ボーンデータ方式での成功例 図９ ボーンデータ方式での失敗例
(a) ｘ軸方向の計測値とボーンデータ方式の閾値 に基づく判定フラグの発生状況（失敗）
(b) y軸方向の計測値とボーンデータ方式の閾値 に基づく判定フラグの発生状況（失敗）
(c) z軸方向の計測値とボーンデータ方式の閾値 に基づく判定フラグの発生状況（失敗）
(a) ｘ軸方向の計測値とボーンデータ方式の閾値 に基づく判定フラグの発生状況（成功）
(b) y軸方向の計測値とボーンデータ方式の閾値 に基づく判定フラグの発生状況（成功）
(c) z軸方向の計測値とボーンデータ方式の閾値 に基づく判定フラグの発生状況（成功）
図12 支援情報の提示例
図10右は童謡「チューリップ」を演奏している様子である。
この間に演奏者や外部の観測者は，HMDとディスプレイ上に提 示された支援情報を目視により確認するとともに，鳴った音を 聴くことで演奏が連続していることを確認し，視覚と聴覚を利 用して効率的にデバッグ作業を行った。デバッグ終了後，テン ポに合わせた支援情報に従い演奏することが可能であることを 確認した。なお，「ド」「レ」以外の音はコンピュータ側が分担 した。
５． 大型プリンタのロール紙取り付け作業への適用
5. 1. 体感型ARマニュアルの試作方針
体感型 AR マニュアルの有用性や課題を把握するため，身近 にある機器等の中で操作時の動作が比較的に大きいものに適用 することを検討した。ここでは，EPSON社の大判インクジェッ トプリンタSC-T3050のロール紙取り付け作業に適用すること とし，体感型ARマニュアルの支援情報を試作した。ロール紙 取り付け作業は，ミュージックベルの演奏とは異なり，指でボ タンを押すような細かい作業を伴うが，Kinectでは指の動きま では判別できない。そこで，支援情報を試作する上での方針と して，支援情報中にボタンの配列と押すボタンの箇所を示す情 報を加えるとともに，機器に備わっている液晶画面上に表示さ れる指示情報を利用することとした。また，指先の認識は困難 であることから対象者の手の動きのみを捉えることとし，作業 時に手が入るべき領域に支援情報に基づき手が入ったことで作 業工程が進捗したものと判断することとした。仮に，ボタンを 押す作業の正誤判定を正確に行わなければならない場合は，高 精度のモーションキャプチャなどの利用を考えなければならな い。特に，生命の危険や大事故につながるような作業の教育や 訓練等に用いる場合は，指先の認識の必要性について改めて検 討する必要があると考えている。
さらに，姿勢を変えての目視による確認箇所が多く，また姿 勢を変えての動作の範囲も広いために，対象者の首振りや腰曲 げなどの動作によりARカメラの視線方向が変化した場合でも 的確に必要な支援情報を提示できるように，大型プリンタ上の 複数個所にマーカを設置した。そして，ロール紙取り付け作業
は複雑多岐にわたっており，対象者の手によってプリンタの部
品がKinectで計測する領域に作業途中で加えられ，領域内を
移動する場合がある。これらの計測時の影響を排除し，対象者 の手の動きのみを判定するためには，計測する領域内に複数の 動作判定領域を連続的に設定でき，手の動きを追跡できる
HotPoint方式が有効であることが４章からわかり，ここでは，
動作判定にHotPoint方式を採用した。動作を計測するKinect は，カメラ視野内に大型プリンタの操作範囲が全て入るように，
図11に示すように大型プリンタの上面から１mの高さに，床面 に対して水平かつ下向きに設置した。動作開始前にKinectで キャリブレーション用のマーカを認識することで，事前に計測 していた大型プリンタの大きさやキャリブレーション用のマー カ位置に応じたHotPointを設定できるようにした。対象者は，
図12，図13に示す作業手順に従ってHMD上に表示される吹き 出しや矢印等の支援情報に基づき，ロール紙取り付け作業に必 要な動作を順次行うものとした。その際に，作業に対応した
HotPointに手が入った場合に，動作が正しかったことを示すた
めに，支援情報上に「〇」を重畳表示することとした。
5. 2. 体感型ARマニュアルと付属取扱説明書（紙媒体）との比較実験
大型プリンタを使用したことがない成人の実験協力者６人の うち，任意の３人に体感型 ARマニュアルを用いて，残りの３ 人に付属の取り扱い説明書を用いて，ロール紙取り付け作業を 行ってもらい作業の様子を観察し比較した。このとき，ビデオ カメラをプリンタの上方に，画角内にプリンタ上面と実験協力 者が収まるように方向と高さを調整して設置し，実験中の実験 協力者の様子を記録した。体感型 ARマニュアルを用いた実験 協力者に対しては，HMDを介して見ている映像をPCのディスプ レイ上に表示し，実験中の視野内の映像情報を記録した。この とき，２つの動画は実験終了後に突き合わせできるように計測 時刻も記録した。実験中は，実験協力者の動作を観察し，誤り や迷いなどをメモとして記録した。実験終了後に，被験者に対 してインタビューを行い，各工程において意見や感想，観察者 が気になった点について聞き取り調査を行った。各工程の作業 時間は，記録した動画を動画編集ソフトで解析し導出した。こ れらの情報より，各実験協力者の視線と肢体の動きや作業時間 などを解析し，体感型ARマニュアルの有用性や課題を把握し
：細かい指示内容を文字で表示
：対象物の位置 ：対象物を動かす方向 ：支援情報が出ている方向
：目視によって確認するものの位置
図13 工程１に関する支援情報
た。実験で解析した各工程は，ロール紙取り付け作業を次の５ 段階に分けたものである。
工程１：ふたをあげる，レバーを上げる，ロール紙をプリンタ の上に置く。
工程２：アダプターをロール紙に装着する，アダプターのロッ クレバーを倒す，ロール紙を奥に押し入れる。
工程３：用紙選択のボタンを押す，ロール紙が選らばれている ことを確認しOKボタンを押す。
工程４：ロール紙を給紙口に入れ，ロール紙の先端が本体の外 に出るまでまわす。
工程５：レバーを下げる，ふたを閉める，OKボタンを押す。
5. 3. 実験結果及び考察
図14は，体感型ARマニュアルを使用した実験協力者１～３ と付属の取り扱い説明書を使用した実験協力者４～６の各段階 に要した時間を示している。
撮影した動画を解析した結果，体感型 ARマニュアルでは，
作業工程を複数の作業を同時に提示することのないように細分 化したことで，作業手順を逐次提示することができ，これに従 って作業を進めることで作業中の迷いが少なかった。工程１で は，最初の作業であり距離感覚を掴むために，手の移動量の調 整に時間を要する傾向が見られた。工程２では，距離感覚を掴 み難いなどの理由に加え，ロール紙の側面にアダプターを装着 する際にHMDのケーブル等による動作の制限などで覗き込みが うまくいかないことや，ロール紙を奥に押し入れる際に途中で 止めてしまい気づくまでに時間を要し，全体の所要時間が長く なった。工程３では，プリンタ上面右にある液晶部での作業で あり，一度注視したら視線をほぼ動かす必要が無く作業時間も 短く大きな差は見られなかった。平均値でみると僅かであるが ARマニュアルの方が短い作業時間となった。工程４では，給紙 口が非常に狭い隙間であり，所見では誰しもが認識し難い上，
視界の制限と焦点距離が起因して視認に時間を要した。また，
ロール紙を入れる際には，紙を送り出す作業と同時に行わなけ ればならず，離れた箇所を２箇所同時に見なければならず，姿 勢を引くなど姿勢の調整に時間を要し，全体の所要時間が長く なった。工程５では，レバーを下げた後にプリンタ上部から右 下の液晶部に大きく視線を移動させる必要があり，HMDの狭い 視界で作業対象を探したことで所要時間が長くなった。この他，
現在の工程の動作が全て完了していないにも関わらず動作判定 の誤判定により，作業手順の提示が次の工程へと進んでしまっ た場合もあった。次に，システム上の課題を整理すると，本研
究で使用したHMDが作業中にずれ易く手で押さえる対象者がい たこと，有線により外部のコンピュータとデータ通信している ことで覗き込み動作など作業時に動き難い様子が観察された。
また，ARカメラの解像度の低さや焦点距離が影響し，大型プリ ンタの液晶部に表示された文字が見え難いなどの問題も生じた。
これらについては，システムを構成する機器の性能に起因して いるため，コストをかけて性能の高いHMDを利用する場合や無 線化やウェアラブル化を図るなどで解決する方法もあるが，製 品開発においては特にコストとのトレードオフは重要な課題で あり，コストをかけずに実現する方法の検討も必要となる。例 えば，解像度の低いHMDを利用する場合に，対象物側に要求さ れる形状や表記の細かさなどの仕様を明らかにすることや画像 解析により解像度を擬似的に向上させる方法などが考えられる。
これらのことに比較して，付属の取り扱い説明書では，１つ の絵に複数の作業が示されており，また，同時に複数の頁を読 むことができることから，正しい作業手順がわからない場合が あった。さらに混乱した状況では，何度も前後の説明を見直す などの迷いが顕著に見られた。さらに，作業の説明図にプリン タも図示されていることで，行うべき作業を頭の中で分離でき ず，作業完了時の状態に近づけることに意識が行き過ぎ，手順 を無視してしまうことで時間を要していた。特に，部品の取り 付けが主な作業である工程２では，アダプターの取り付け作業 で所要時間が長くなった。これに対して，ARマニュアルでは実 物を背景にしているため，そのような勘違いは観察されなかっ たが，支援情報を探すために時間を要していた。この他，工程 １では，ロール紙を置く位置を勘違いしたことにより所要時間 が長くなった対象者がいた。工程４では，視界が広い点や給紙 口に顔を近づけることが可能であることから，ロール紙を給紙 口に通す作業は容易に行われ，所要時間は短かった。
６． 結言
教育効果と作業効率の向上のための「体感型ARマニュアル」
を提案し，プロトタイプを製作した。製作にあたり，３つの動 作判定方式に関する検証実験を行った。実験結果から，HotPoint 方式は「単純な動作（単打音奏法）」と「複雑な動作（余韻奏 法）」の判定に有効であるが，対象者の体格に応じてHotPoint の位置を変更する必要があることを確認できた。深度データ方 式は十分な精度を得られるが，「単純な動作」の場合には僅か な誤差で誤判定となる場合があることを確認できた。ボーンデ ータ方式は対象者の体格にあった判定条件を設定することがで き，「複雑な動作（余韻奏法）」の判定に有効であるが，オクル
① ② ③
紙マニュアル AR マニュアル
図12 支援情報の提示例
図10右は童謡「チューリップ」を演奏している様子である。
この間に演奏者や外部の観測者は，HMDとディスプレイ上に提 示された支援情報を目視により確認するとともに，鳴った音を 聴くことで演奏が連続していることを確認し，視覚と聴覚を利 用して効率的にデバッグ作業を行った。デバッグ終了後，テン ポに合わせた支援情報に従い演奏することが可能であることを 確認した。なお，「ド」「レ」以外の音はコンピュータ側が分担 した。
５． 大型プリンタのロール紙取り付け作業への適用
5. 1. 体感型ARマニュアルの試作方針
体感型 AR マニュアルの有用性や課題を把握するため，身近 にある機器等の中で操作時の動作が比較的に大きいものに適用 することを検討した。ここでは，EPSON社の大判インクジェッ トプリンタSC-T3050のロール紙取り付け作業に適用すること とし，体感型ARマニュアルの支援情報を試作した。ロール紙 取り付け作業は，ミュージックベルの演奏とは異なり，指でボ タンを押すような細かい作業を伴うが，Kinectでは指の動きま では判別できない。そこで，支援情報を試作する上での方針と して，支援情報中にボタンの配列と押すボタンの箇所を示す情 報を加えるとともに，機器に備わっている液晶画面上に表示さ れる指示情報を利用することとした。また，指先の認識は困難 であることから対象者の手の動きのみを捉えることとし，作業 時に手が入るべき領域に支援情報に基づき手が入ったことで作 業工程が進捗したものと判断することとした。仮に，ボタンを 押す作業の正誤判定を正確に行わなければならない場合は，高 精度のモーションキャプチャなどの利用を考えなければならな い。特に，生命の危険や大事故につながるような作業の教育や 訓練等に用いる場合は，指先の認識の必要性について改めて検 討する必要があると考えている。
さらに，姿勢を変えての目視による確認箇所が多く，また姿 勢を変えての動作の範囲も広いために，対象者の首振りや腰曲 げなどの動作によりARカメラの視線方向が変化した場合でも 的確に必要な支援情報を提示できるように，大型プリンタ上の 複数個所にマーカを設置した。そして，ロール紙取り付け作業
は複雑多岐にわたっており，対象者の手によってプリンタの部
品がKinectで計測する領域に作業途中で加えられ，領域内を
移動する場合がある。これらの計測時の影響を排除し，対象者 の手の動きのみを判定するためには，計測する領域内に複数の 動作判定領域を連続的に設定でき，手の動きを追跡できる
HotPoint方式が有効であることが４章からわかり，ここでは，
動作判定にHotPoint方式を採用した。動作を計測するKinect は，カメラ視野内に大型プリンタの操作範囲が全て入るように，
図11に示すように大型プリンタの上面から１mの高さに，床面 に対して水平かつ下向きに設置した。動作開始前にKinectで キャリブレーション用のマーカを認識することで，事前に計測 していた大型プリンタの大きさやキャリブレーション用のマー カ位置に応じたHotPointを設定できるようにした。対象者は，
図12，図13に示す作業手順に従ってHMD上に表示される吹き 出しや矢印等の支援情報に基づき，ロール紙取り付け作業に必 要な動作を順次行うものとした。その際に，作業に対応した
HotPointに手が入った場合に，動作が正しかったことを示すた
めに，支援情報上に「〇」を重畳表示することとした。
5. 2. 体感型ARマニュアルと付属取扱説明書（紙媒体）との比較実験
大型プリンタを使用したことがない成人の実験協力者６人の うち，任意の３人に体感型 ARマニュアルを用いて，残りの３ 人に付属の取り扱い説明書を用いて，ロール紙取り付け作業を 行ってもらい作業の様子を観察し比較した。このとき，ビデオ カメラをプリンタの上方に，画角内にプリンタ上面と実験協力 者が収まるように方向と高さを調整して設置し，実験中の実験 協力者の様子を記録した。体感型 ARマニュアルを用いた実験 協力者に対しては，HMDを介して見ている映像をPCのディスプ レイ上に表示し，実験中の視野内の映像情報を記録した。この とき，２つの動画は実験終了後に突き合わせできるように計測 時刻も記録した。実験中は，実験協力者の動作を観察し，誤り や迷いなどをメモとして記録した。実験終了後に，被験者に対 してインタビューを行い，各工程において意見や感想，観察者 が気になった点について聞き取り調査を行った。各工程の作業 時間は，記録した動画を動画編集ソフトで解析し導出した。こ れらの情報より，各実験協力者の視線と肢体の動きや作業時間 などを解析し，体感型ARマニュアルの有用性や課題を把握し
：細かい指示内容を文字で表示
：対象物の位置 ：対象物を動かす方向 ：支援情報が出ている方向
：目視によって確認するものの位置
図14 各工程の所要時間
ージョンにより骨格座標を正しく追跡できない場合に生じる誤 差から誤判定となることがあることを確認できた。この他，
Kinectの赤外線カメラと赤外線プロジェクタの配置に構造上の 偏りがあることから，Kinectから見て右側の計測領域に誤差が 生じやすいことも確認できた。
また，大型プリンタのロール紙取り付け作業に体感型 AR マ ニュアルを適用し，従来の紙媒体のマニュアルとの比較実験を 行い，対象とした作業における各工程の操作性を確認した。体 感型ARマニュアルでは，ビデオ透過型のHMDを使用した場合 に，実空間との距離感に差異を生じ物体の把持等に難しさがあ る点，カメラの解像度が低い場合に視認不良を生じるため対象 物の大きさに対する解像度の検討が必要である点，また視野が 制限されることで工程の遷移が円滑に行われない場合がある点 などが明らかとなった。このことから，光学透過型のHMDの方 が有用であると思われる。この他，Kinectと判定アルゴリズム の性能上の問題により，作業が終わっていない場合でも誤判定 により次の作業へ移行してしまう場合があった。付属の取り扱 い説明書では，１つの絵に複数の作業が示されており，また，
複数の頁を見ることができるため，勘違いなども含め正しい作 業手順がわからない場合があった。
以上のことから，どちらの方式にも一長一短があり，システ ムを構築する際の機器の性能が起因する点もあることから，現 段階では明確な有用性を示すことは困難であった。しかしなが ら，体感型ARマニュアルを構築する際に，作業工程の分割方 法を十分に検討することで，対象者の迷いを低減することがで き，また，ミュージックベルの演奏などの簡単な作業では，容 易に教育可能であることがわかった。
今後は，作業手順における行動モデルを分析し，より正確な 位置に必要最小限の領域のHotPointを設定し，動作判定の性 能を向上するとともに，HMDによる視界の問題を改善していく 予定である。
注および参考文献
１) 川田十夢：AR三兄弟の企画書，日経BP社，2010 ２) 橋本直：ARプログラミング－Processingでつくる拡張現実
感のレシピ－，オーム社，2012
３) Steven, F., Blair, M. and Doree, S.: Knowledge-Based Augmented Reality, Communications of The ACM, 36, 7, 53-62，1993
４) 米谷健司：拡張現実感による組立作業支援効果の定量的評 価手法の提案，京都大学エネルギー科学研究科エネルギー 社会・環境科学専攻修士論文，2006
５) 山﨑雄一郎：拡張現実感とRFIDを用いた系統隔離作業支 援システムの試作と実験評価，京都大学エネルギー科学研 究科エネルギー社会・環境科学専攻修士論文，2004 ６) 木村朝子，片岡直哉，鶴田剛史,柴田史久，田村秀行：複
合現実技術を利用した投射型立体映像との 3Dインタラク ションの提示・記録システム，日本バーチャルリアリティ 学会誌，13，2，109-118，2008
７) 元川洋一，斎藤英雄：ギター演奏支援のための構造特徴追 跡を利用したマーカレス AR表示，日本バーチャルリアリ ティ学会誌，13，1，267-278，2008
８) 石井裕剛，中井俊憲，下田宏，泉正憲，森下善嗣：拡張現 実感を利用した原子力発電プラントの解体支援手法の提案 と評価，日本バーチャルリアリティ学会誌，13，2，289-
300，2008
９) 橋本宣慶，御簾納陽介，加藤秀雄：フライス盤操作シミュ レータによる加工順序学習とハンドル操作技能訓練の効果，
日本バーチャルリアリティ学会誌，16，4，559-565，2011 10) 米村朋子，橋本悠希，近藤大祐，丹羽真隆，飯塚博幸，安
藤英由樹，前田太郎：視野共有システムを用いた心肺蘇生 法の訓練効果，日本バーチャルリアリティ学会誌，16，4，
623-632，2011
11) 山崎賢人，柴田史久，木村朝子，田村秀行：複合現実感技 術を用いた商品物流における仕分け作業支援，日本バーチ ャルリアリティ学会誌，19，3，413-422，2014
B U L L E T I N O F JS S D Vol. 63 No. 6 2017 デザイン学研究
36
