指示対象位置の位置推定機能

現場監督からの作業指示は、送信された情報画像を指示対象位置の上に表示するこ とで行う。このとき、現場監督からの指示対象位置の情報は、3.5で述べたように、視 界画像の2次元座標であり、別の角度から指示対象位置を見たときに、図3.21に示すよ うにズレが生じてしまう。そのため、指示対象位置の3次元位置を求める必要がある。

図 3.21: 2次元座標を用いた指示対象位置

指示対象位置の3次元位置を求める方法としては、3.4.3の「自然マーカの3次元位 置の取得」で述べたように、1枚の画像から計算によって3次元位置を求めることは不 可能であり、「自然マーカの3次元位置の取得」では2枚の画像を用いて3次元位置を 求める。

一般的に、2枚の画像を処理して3次元位置を求める際、例えば、図3.22に示すよう に画像A中の領域1に相当する部分が画像B中のどの部分にあたるかを検索し、2枚 の画像中における領域1の座標の関係を正確に求める必要がある。「自然マーカの3次 元位置の取得」では、領域の検索方法として、自然マーカを抽出して領域となる候補 を求め、その候補の中から検索を行って自然マーカの一対一関係を求める。そのため、

マーカの数だけ検索を行うだけで、一対一関係を求めることができる。

しかし、指示対象位置の3次元位置を求める際、指示対象位置は自然マーカ上にあ るとは限らないため、2枚の視界画像中で指示対象位置を検索する範囲は画像全体と なる。そのため、処理時間が大幅に必要になりリアルタイムで実現することが難しく なる。

そこで、本研究では、視界画像中の3次元位置が既知の自然マーカを用いて指示対 象位置の位置推定を行うことにする。視界画像中の自然マーカは物体の角を示してお り、自然マーカの中で3次元位置が既知のマーカから3次元空間中の物体の3次元形 状を大まかに求めることができる。一般的に、指示対象位置は物体の表面を指し示す

A B 1

A B

1

図 3.22: 2枚の画像の対応関係

ことから、この3次元形状によって得られる3次元平面上に指示対象位置が存在する。

また、作業員の位置、視線方向と視界画像中の指示対象位置の2次元座標から、3次元 空間中における作業員と指示対象位置を結ぶ直線を求めることができる。この直線上 に、指示対象位置が存在することになる。以上より、図3.23に示すように、自然マー カによって求めた平面と、作業員の位置と指示対象位置の2次元座標から求めた直線 の交点が指示対象位置と推定できる。

2

図 3.23: 指示対象位置を含んだ直線と平面から求める指示対象位置の位置推定

しかし、この方法では、全ての自然マーカから3次元形状を導き、平面を計算するた

め、膨大な量の計算を行う必要があり、処理時間がかかってしまう。そこで、本研究で は、この方法を簡単化し、直線に最も近い自然マーカを求め、その自然マーカの近辺 に指示対象位置があると仮定し、自然マーカの位置と作業員との位置との距離をもと に指示対象の3次元位置を求ることにする。これにより、視界画像中のマーカを検索 する処理と計算だけで実現できるため、処理時間が短く、リアルタイムで実現できる。

時刻tの視界画像Img_tをもとに、現場監督が情報画像Ifm_tを作成し、そのときの指 示対象位置の2次元座標St = (xt, yt)であるときの、指示対象位置の位置推定機能の概 要を図3.24に示し、処理の流れを図3.25に示す。まず、3次元直線の取得で、作業員 の3次元位置から、Img_tにある指示対象位置の点の3次元位置Sを求め、作業員の 位置とSとの関係から空間中における直線Lを求める。この直線Lは、指示対象 位置の3次元位置S を通る直線となる。そして、自然マーカの検索で、Img_t中で抽出 された自然マーカの集合M_tの中で3次元位置が既知であり、直線Lとの距離が最小の マーカm_tを求める。最後に、指示対象位置の3次元位置推定で、直線Lとマーカm_t から指示対象位置の3次元位置を推定する。

x_t y_t

x y

img

S

L m_t

S

図 3.24: 指示対象位置の位置推定機能の概要

以下で、各処理について説明する。

3次元直線の取得

視界画像Img_tにある指示対象位置の点St = (xt, yt)の、3次元空間における3次元 座標Sを、次のようにして求める。

図 3.25: 指示対象位置の位置推定機能の処理の流れ

作業員の3次元位置がO = (otx, oty, otz)、視線方向の3次元ベクトルをk とし、Img_t のx方向、y方向の3次元ベクトルをそれぞれi 、j とする。このとき、Sは、カ メラの焦点距離fを用いて、

S =O +xt·i +yt·j +f ·k (3.14) となる。

これより、作業員の位置O とSを結ぶ直線Lの式は、

x−otx

α = y−oty

β = z−otz

γ (3.15)

となる。ただし、

S −O =









α β γ







 (3.16)

とする。

自然マーカの検索

視界画像Img_t中の自然マーカM_tの中で、直線Lと距離dが短いマーカを検索して 求める。

式（3.15）のように求まった直線Lと3次元位置をM = (xm, ym, zy)とする自然 マーカM_tの距離dlは、次のように求める。

dl =

(Otx+kα−xm)²+ (Oty+kβ−ym)²+ (Otz +kγ−zm)² (3.17) ただし、

k = α(xm−Otx) +β(ym−Oty) +γ(zm−Otz)

α²+β²+γ² (3.18)

このようにして求めた距離dlがM_tの中での最小となるマーカを、指示対象位置に 最も近いマーカm_tとする。

指示対象位置の3次元位置の推定

前の過程で得られたマーカm_tと直線Lの関係から、指示対象位置の3次元位置を推 定する。

このとき、マーカm_tの近辺に指示対象位置がある仮定しているため、作業員と指示 対象位置との距離dは、作業員とマーカm_tとの距離dmtとほぼ等しいと仮定すること ができる。これより、直線L上で、作業員の位置からマーカm_tの方向に距離dmt離れた 3次元位置を指示対象位置の3次元位置S = (xS, yS, zS)とする。すなわち、式（3.19）

を用いて、3次元位置の推定を行う。

S =O +dmt

S −O

S −O (3.19)