トラッキングの処理の流れ

図4.8にトラッキングの処理の流れを示す。

図 4.8: トラッキングシステム全体の流れ

本システムのトラッキングは、ジャイロ・加速度センサによるトラッキングと、画 像処理による人工マーカと自然特徴点を用いたトラッキングが並列で処理される。両 者がトラッキングを行うタイミングは独立であり、トラッキングの結果だけが互いの 補完に用いられる。そのため、システム全体はマルチスレッドプログラムで構成され る。スレッドの優先順位は、センサのデータは決められた間隔で必ず取得されなけれ ばいけないので、センサによるトラッキングを行うスレッドを最も高い設定とした。

以降ではそれぞれの機能について説明する。

4.2.2 初期化処理

トラッキングシステムは、起動すると図4.9に示す初期化処理が行われる。

初期化処理は、センサの基準電圧測定と初期位置の設定の2つからなる。

基準電圧測定 本システムでは、ジャイロセンサ・加速度センサへは5vの電圧を供給 しているため、値の出力は0(V) から5（V)の間になる。センサは、静止している間

図 4.9: トラッキング初期化処理の流れ

も一定電圧の出力があり、動きを検知した際には、静止時の電圧を基準に、その動き に応じた電圧の変動が出力される。??節で述べたドリフト成分の補正手法を用いるに は、動きに応じて変動する電圧値は0vを基準に正負の値をとる必要がある。そこで、

センサから出力された値から、静止時に出力されている電圧値を差し引くことで、必 要な値を得る。静止時の電圧は、時間や環境に応じたドリフト成分によって変動する が、その変動分は??項のドリフト成分の補正の中に含まれるため、ある時刻で測定し た静止時電圧を使用し続けてもよい。

実際の手順は、センサユニットを水平に完全に静止させた状態でPCから基準電圧 測定コマンドを送信することで測定される。測定は、10秒間電圧を計測し続け、その 平均値を基準電圧とする。ただし、垂直方向の加速度成分には常に重力加速度の影響 を受けているが、本研究では1軸あたり同一のセンサが2個逆方向に取り付けられて いるので、2個のセンサが受ける重力加速度成分は同じ大きさで正負が逆である。よっ て2個のセンサの平均値を基準電圧とした。

初期位置の設定 ジャイロセンサ・加速度センサによるトラッキングは、推定した位 置・姿勢の値に微少時間内の変化分を掛け合わすことで行われる。そのためセンサを 利用したトラッキングを開始した時点での位置・姿勢の値を得る必要がある。本シス

テムでは、人工マーカを利用したトラッキングによって得た値を初期値に用いる。

実際の手順は、人工マーカを利用したトラッキングができている状態で、初期値を 設定するコマンドを入力する。すると、その時点での位置・姿勢の値がセンサを利用 したトラッキングを行うスレッドに渡され、センサを利用したトラッキングが開始さ れる。

4.2.3 ジャイロセンサ・加速度センサを用いたトラッキング処理

ジャイロセンサ・加速度センサを用いたトラッキング処理の流れを、図4.10に示す。

図 4.10: ジャイロセンサ・加速度センサを用いたトラッキング処理の流れ

ジャイロセンサ・加速度センサを用いたトラッキングでは、まず4.2.4項で述べるセ ンサデータの確認が行われ、正常な場合は3.5項で述べた手法を用いて位置・姿勢の推 定が行われる。

4.2.4 センサデータの確認

PCに入力されたセンサデータは、正常なデータかどうかが判別される。センサが検 知した動きのデータは、A/Dコンバータによってデジタル値に変換され、マイコンに 一時蓄積される。この変換と蓄積のタイミングが非常にシビアなため、マイコンがデー タを受け取れないエラーを生じることがある。このような事態には、マイコンが送信

するデータにエラーが含まれることを付加する仕様になっている。そのためPCは、受 け取ったデータにエラーが含まれるかどうかを判別できる。エラーが含まれると判断 された場合は、そのデータは破棄され、前回のデータ取得時からの時間を累計する。こ の累計時間がある一定基準を超えた場合は、システムは異常終了する。累計時間が一 定基準以内の場合、センサデータの取得に戻る。

4.2.5 視界画像を用いたトラッキング処理

視界画像を用いたトラッキングには、人工マーカを用いたトラッキングと自然特徴 点を用いたトラッキングがある。具体的な処理の流れを、図4.11に示す。図中の赤線 はデータの流れを表す。

図 4.11: 視界画像を用いたトラッキング処理の流れ

視界画像を用いたトラッキングは、人工マーカを用いたトラッキング、自然特徴点を 用いたトラッキング、自然特徴点の三次元位置推定、センサ補正関数の修正の4つの機 能からなる。また、視界画像を用いたトラッキングが行われる際には、その直前に算

出されたセンサによるトラッキング結果と、これまでに三次元位置が分かっている自 然特徴点のデータが入力される。

人工マーカを用いたトラッキング 視界画像を用いたトラッキングでは、まず3.3節で 述べた、人工マーカを用いたトラッキングが試みられる。ARToolKitを用いて視界画 像内を検索し、人工マーカが抽出できた場合は作業員の位置・姿勢を推定することが できる。

自然特徴点を用いたトラッキング 人工マーカを用いたトラッキングで位置・姿勢が推 定できなかった場合、3.4節で述べた自然特徴点を用いたトラッキングが試みられる。

ここでは、得られた視界画像から、3.4.1項で述べた自然特徴点の抽出が行われ、3.4.2 項で述べた手法により、三次元位置が既知の自然特徴点データとの照合を行い、対応 付けができた6点を、3.4.4節で述べた手法に適用することで、作業員の位置・姿勢を 推定する。

また、Harrisオペレータの評価値算出に用いられる定数kは、推奨値とされる0.04 に設定し、判別の閾値は最大値の1/100まで検出する可変閾値とした。直線検出の閾 値は最大値の1/50まで検出する可変閾値とし、ρ−θ平面上でθ方向5^◦、ρ方向で5ピ クセルの領域の極大値を求めることで、類似の線を除いた。

自然特徴点の三次元位置推定 人工マーカを用いたトラッキングか、自然特徴点を用 いたトラッキングのどちらかで作業員の位置・姿勢を得ることができた際は、3.4.3項 で述べた手法を用いて、視界画像中で三次元位置が未知の特徴点について、三次元位 置算出を行う。

センサ補正関数の修正 前節と同様に、作業員の位置・姿勢を得ることができた際は、

3.5.4項に述べた手法により、センサ補正関数の修正も行われる。

第 5 章 ハイブリッドトラッキングシステムの評