専攻外秘
センサフュージョンを用いたマーカレスモーションキャプチャ
C-18Markerless motion capture using sensor fusion
ベンチャー研究室 榎本 皓太 ENOMOTO Kota Measuring the human motion is an active field of reseach. It has important direct applications in the the filed of human robot interaction and in medicine. However, systems are often complex, costly and limited by the infrastructure itself. Motion capture systems based on video information are simple to use however they cannot guaranty an accurate measurement when there is occlusion or partial observation. Here we propose to use stereo camera information and Inertial Measuring Units (IMU) to obtain a precise motion measurements at all time. The combination of the two systems thus overcomes the weaks point of each.
Key words: Sensor Fusion, Optical Flow, Stereo Camera, IMU
1. 緒言 現在，モーションキャプチャ技術の利用は多岐に渡っ ている．例えば，個人の力学特性をモーションキャプ チャで計測を行ない，一人一人に適した運動器の健康管 理の指針，リハビリテーションの効果を評価するような 医療分野への応用が進められている．また，伝統芸能の 踊りをモーションキャプチャよって繊細な動きを正確に 記録するなど文化的な貢献もなされている(1)．加えて， ヒューマノイドロボットの制御に利用できる(2)ことや， 動作におけるヒトの感情をデジタル情報として認識する ことも可能にする．そして，研究分野だけではなく，ビ デオゲームのコントローラや，映画やアニメーションの CGモーションなどエンターテイメントの分野にも幅広 くモーションキャプチャは使用されている(3)(4)．更に， 発展著しい拡張現実分野においても，拡張現実内での操 作方法としても注目されている(5)． 現在のモーションキャプチャシステムは，正確性とフ レームレートの高さを理由に，マーカを装着する光学式 モーションキャプチャが多く用いられている．しかし， 光学式モーションキャプチャは，専用のモーションキャ プチャ用のカメラを複数台使用しなければならなく，測 定環境を整備するために多額のコストがかかってしまう ために，実験環境が専用の研究施設などに限られてし まう．更に，実験を行なう際にマーカの装着と位置情報 のキャリブレーションを要するために測定を開始するま での準備が多く、測定に時間がかかるという問題点があ る．また，効果的に測定を行なうためにマーカーを張り 付ける部位の選定など専門的な知識が必要である．動作 測定時に際してもマーカを張り付けているために自然な 状態での測定が難しい． 本研究では，現在の光学式モーションキャプチャによ る動作測定の問題点を解決するために，ステレオカメラ と慣性計測装置（IMU: Inertial Measurement Unit）を 用いたモーションキャプチャシステムの構築を行なう． ステレオカメラと IMU を用いるモーションキャプチャ システムは，光学式モーションキャプチャと異なりマー カレスであり，実験環境を限定しない利点がある．マー カレスモーションキャプチャシステムには，ステレオカ メラのみを使用したシステム(6)(7)や，ジャイロセンサ を複数個使用したシステムなどがある．ステレオカメ ラのみを使用する場合，計測対象の消失，いわゆるオク リュージョンの発生や，ステレオカメラの構造上の誤差 などの問題がある，一方でジャイロセンサのみを使用し てモーションキャプチャを行なうと，冗長や特異点の発 生によって，装着するジャイロセンサの個数が多くなり， 光学式モーションキャプチャと同様に測定を開始するま でに時間的コストがかかってしまう問題がある．そこで， ステレオカメラと IMU の利点を組み合わせ，欠点を打 ち消し合うようすうな計測方法，すなわちセンサフュー ジョンを行なう．センサフュージョンの例としては，マ イクロソフト社から発売されたＫｉｎｅｃｔがある．Ｋ ｉｎｅｃｔは RGB カメラと深度センサを使用して動作 測定を行なっている．しかし，RGB カメラと深度センサ は双方とも光学的な測定方法であるのでオクリュージョ ンに弱く，レーザを反射するものは測れない．したがっ て，光学的測定だけではなく，慣性センサであるジャイ ロセンサを使用すれば，測定対象が消失した場合であっ ても，測定が可能である．また，コストの問題に関して も，光学式モーションキャプチャよりも安価であること から，実験施設を持たない病院や会社で使用できる．更 には，民生用のパーソナルコンピュータの性能の向上に より映像処理も個人レベルで可能になってきていること から，精度の高いモーションキャプチャを個人で使用す ることができる． 2. 使用器具 2· 1 ステレオカメラ ステレオカメラとは，複数個のレンズを持ち，各々の レンズで物体を異なる角度から同時に撮影することがで きるカメラである．撮影された画像から，物体の視差を 割り出し，奥行き方向も記録が可能になっている．レン ズ間の距離であるベースラインが既知であるために，複 数台のカメラを使用するモーションキャプチャシステム よりも計算コストが少なくなる利点がある．本研究では ステレオカメラは POINT GREY 社の Bumblebee 2 を 使用した．Bumblebee 2 を Fig.1 に示す． 2· 2 IMU IMU に使用されるジャイロセンサについて以下に述 べる．ジャイロセンサは軸回りの角速度を計測するセン サである．ジャイロセンサの原理は主に慣性とプリセッ ション，コリオリの力，サニャック効果の 3 つである(8)． C-18
使用した．PocketIMU2 を Fig. 2 に示す． Fig.1 Bumblebee 2 Fig.2 PocketIMU 2 3. フュージョン マーカレスモーションキャプチャシステムを構築す るために，ステレオカメラからのデータと IMU からの データを融合する．センサフュージョンの手順を Fig.3 に示す．
Fig.3 Fusion fiow
3· 1 OpenCV
OpenCVを使用して，オプティカルフローと関心領
域（ROI :Region of Interest）の切り出しを行なう．オプ ティカルフローとは，画像中の輝度情報から速度ベクト ルを解析し，物体の位置と動きを表示する手法である． 概要を Fig.4 に示す．今回の研究において，オプティカル フローは，Lucas-Kanade 法を使用する．Lucas-Kanade 法による速度ベクトルの算出は以下のように計算される (9) ． u = ∑ w∂x∂I(J (p)− I(p)) ∑ w(∂x) 2 (1) v = ∑
w∂I∂y(J (p)− I(p))
∑
w(∂I∂y)2
(2)
た だ し ，画 面 座 標 (x, y)，時 刻 t ，注 目 画 素 の 輝 度
I (x,y)，局所領域 w におけるオプティカルフロー (u,v )，
I (p)=I (x,y,t ), J (p)=I (x,y,t+Δ t ) である．
Fig.4 Explanation of optical flow
3· 2 ステレオ処理
Bumblebee 2専用の開発キットである Triclops Stereo
Vision SDKを使用し，複数個のレンズから取得された 画像情報をステレオ画像処理し，三次元測定を行なう． 具体的には，取得された画像データを，前処理とし て，ローパスフィルタリングレンズの歪み補正エッジ検 出を行なう．左右それぞれの画像情報から類似点を選び 出し，ピクセル単位での視差を算出するの際には残差逐 次検定法を用いる(10)．残差逐次検定法について以下に 示す． dmax min d=dmin m 2 ∑ i=−m 2 m 2 ∑ j=−m 2 |Iright(x + i)(y + j)− Ilef t(x + i + d)(y + j)| (3) ただし，最大視差 dmax，最小視差 dmin，右のイメー
ジ:Iright，左のイメージ Ilef t，マスクサイズ m である．
残差逐次検定法によって，左右の画像の同一点を検出す ることができる． 上式によって求められた最小視差から，三角測量を用 いて奥行きの情報を取得する． Fig.5から角度 α と角度 β を求める．ベースライン L， カメラの視野角 θ，カメラのピクセル数 iwidth，jheight は既知である．また，残差逐次検定法により左右の画像 から同一点が割り出されているので，角度 α が Fig.5 に より幾何学的に求められる．同様にして角度 β も求める ことができる．そして，正弦定理によって左レンズから 計測対象までの距離 r を求め，実際の距離である X ，Z が算出される．次に，Y 方向の距離を求める．このカメ ラのアスペクト比が 4:3 であることを考慮して先ほどと 同様に幾何学的にカメラ画像と計測対象との角度を求め る．そして，先ほど求めた r から Y 方向の距離を求め ることができる． 3· 3 画像データマッチング Bumblebee2の API には動画保存用ライブラリが実装 されていないため，Open CV のライブラリを仲介させ て動画保存を行なう．しかし，3 次元データは別途に保 存されるため，計測対象を追跡させたデータをピクセル 単位のユークリッド平面ではなく，物理的な 3 次元ユー クリッド空間として落とし込む必要がある．OpenCV に よって求められた 2 次元画像での速度ベクトルと，ステ レオ処理によって求められた 3 次元ユークリッド空間の 位置情報をマッチングする．この画像データのマッチン グの順序を Fig.6 に示す．
Fig.5 Triangulation
Fig.6 Image fiow
オプティカルフローの実行に必要であるコーナ検出 は，ある局所近傍で方向の異なる 2 つの際立ったエッジ が存在するような点を特徴点にしている．よって，エッ ジが際立つ物体と背景の境界が主に特徴点として抽出さ れる．したがって，特徴点として背景が指定され，物理 的な 3 次元ユークリッド空間の奥行き座標が背景の距離 として抽出される場合が頻出する．この問題を解決する ため，予め計測対象を外した背景の座標を取得しておく 必要がある．そして，検出した特徴点とその 8 近傍の奥 行きの距離を取得し，予め取得した背景の奥行き距離と の比較を行ないデータの取捨選択をする．そのマッチン グ順序を Fig.7 に示す．
Fig.7 Image matching fiow
3· 4 IMU の座標軸合わせ ステレオカメラと IMU のマッチングには相関係数を 使って座標軸合わせ行なう．オプティカルフローによっ て計測部位の位置がわかり，特定された位置から時間微 分を行ない計測対象の速度を算出する．そうして求めら れた速度はステレオカメラの映像による座標系である． 一方で IMU は一般的にユニットの加速度と角速度を測 定する装置である．重力を含めたユニットにかかる加速 度と角速度から静止状態をワールド座標と規定し，座標 変換によって IMU のワールド座標系の加速度を導出す る．求められた加速度をシンプソンの公式(?)で数値積 分し，IMU ワールド座標系での速度を算出する．当然， ステレオカメラ座標系と IMU ワールド座標系と異なっ ている．回転角度ごとに相関係数を求め，座標軸の相関 係数の絶対値が 1 に近い回転角度を選ぶ．そして，その 回転角度から，更に細分化して軸を回転させ相関係数の 絶対値が 1 に近い回転角度を探索する． 3· 5 オクリュージョン対策 オクリュージョン対策には相関係数を使う．相関係数 とは，2 組の数値からなるデータの間の類似性の度合い を示すものである．-1 から 1 の間の実数値をとり，1 に 近いとき正の相関があるといい，-1 に近ければ負の相関 があるという．0 に近いときは相関は弱い． ステレオカメラと IMU の計測データの相関係数があ る値を下回った時にオクリュージョンが発生していると 判断し，ステレオカメラの速度情報を IMU の速度情報 へと切り替える．このようにして，オクリュージョン対 策をとった． 4. 検証実験 ステレオカメラと IMU の計測結果を，光学式モーショ ンキャプチャを使用して検証する．光学式モーションキャ プチャカメラは，Eagle と Hawk を使用し，解析ソフト Cortexを用いて 3 次元空間上の各マーカ位置データを 出力した．検証実験は，ステレオカメラと IMU と検証 用の光学式モーションキャプチャの 3 つの計測機器で同 時に行なった．IMU を手先に装着させ，光学式モーショ ンキャプチャのマーカを IMU に装着し計測を行なった． その後，画像データにおいて，IMU を装着している手先 周辺を追跡対象と設定し位置データを求めた．ステレオ カメラの設定は，シャッタースピードが 10.02ms，ゲイン が 4.89dB，撮影フレームレートが 27.18fps，IMU の計 測周波数は 100Hz，モーションキャプチャの撮影フレー ムレートは 100fps である．実験状況を Fig.8 に，マーカ を装着した IMU を Fig.9 に示す． 検証実験中の動作を以下に記す．最初に，各関節の 0 度肢位の状態から，肩関節を約 90 度屈曲させ，0 度肢位 まで戻す動作を 2 回行う．次に，肩関節を約 90 度外転 させ 0 度肢位まで戻す動作を 2 回行う．Fig.??にその動 作と定めた座標系を示す． 4· 1 ステレオカメラ実験結果 ステレオカメラからの位置データと光学式モーション キャプチャを Fig.11 に示す． Fig.11から，光学式モーションキャプチャと比べて， インパルス性ノイズの多発により，一致していない．そ こで，トリムド平均フィルタ，またはメディアンフィル タをを施した． トリムド平均フィルタとは，任意に設定した狭い区間 内のデータを絶対値化し，絶対値化したデータの最小値
Fig.8 experiment environment
Fig.9 IMU with markers
と最大値を除し，除されたデータ群の平均をとる処理で ある． 一方で，メディアンフィルタとは，任意に設定した狭 い区間の中央値を出し，算出された中央値をフィルタリ ング結果として提示する．中央値とは，任意の区間の数 値を昇順あるいは降順に並べ，区間内の数値の個数が奇 数ならば並びの中央の値であり，偶数ならば中央に近い 二つの値の平均の値である． 結果より，双方のフィルタリングでインパルス性ノイ ズの軽減が認められた．また，Table 1 より，トリムド 平均フィルタよりもメディアンフィルタの方が相関係数 が 1 に近い．しかし，トリムド平均フィルタ及ぶメディ アンフィルタともに，奥行き方向（Z 軸方向）へは若干 の不安が残る結果となっている．
Fig.10 The sequnce of moving
20 22 24 26 28 30 32 34 −2 −1 0 1 Velocity [m/s] Time [s] Raw Data Trimmed Mean Filter Median Filter 20 22 24 26 28 30 32 34 −2 −1 0 1 2 Velocity [m/s] Time [s] Motion Capture Raw Data Trimmed Mean Filter Median Filter 20 22 24 26 28 30 32 34 −2 −1 0 1 2 Velocity [m/s] Time [s] Motion Capture Raw Data Trimmed Mean Filter Median Filter
Fig.11 Testing different filter for stereo camera recon-struction of the hand movement. X-axis (top) and Y-axis (middle) and Z-axis (bottom)
Table 1. Result of stereo camera Correlation Coefficient X Y Z Raw Data 0.295 0.751 0.042 Trimmed Mean 0.614 0.839 0.437 Median 0.808 0.897 0.632 4· 2 IMU 実験結果 ＩＭＵの実験結果を Fig.12 と Table2 に示す．重力 方向（Y 軸方向）に関しては一致が認められる．しかし， 他 2 方向に関しては，動作が大きいとき，動きの傾向は 判別できるが，動作が小さいまたは静止に近い状態や， 動軸方向に動いているとき，モーションキャプチャの値 と離れたものとなっている． このような誤差の原因はモーションキャプチャと IMU の処理の違いが考えられる．IMU は加速度を計測し、そ の計測結果を積分し、速度を算出している。一方、モー ションキャプチャはマーカ位置を計測し，計測結果を微 分し，速度を算出している．計測結果を積分することで， データノイズの蓄積があり，その蓄積が求められた速度 の値を本来の値よりも大きなものにする可能性がある． 静止に近い状態であっても，IMU がごく微小な加速度 が検出するので，積分後にあたかもより大きな速度があ るように計測結果を算出してしまう．また，光学式モー ションキャプチャの解析ソフト Cortex が独自にフィルタ リングを施し，ごく微小な動きをデータ内で切り捨てて いる可能性がある．
18 20 22 24 26 28 30 32 34 −2 −1 0 1 2 Time [s] Velocity [m/s] Motion Capture IMU 18 20 22 24 26 28 30 32 34 −2 −1 0 1 2 Time [s] Velocity [m/s] Motion Capture IMU 18 20 22 24 26 28 30 32 34 −2 −1 0 1 2 Time [s] Velocity [m/s] Motion Capture IMU
Fig.12 Result of IMU, X-axis (top) and Y-axis (middle) and Z-axis (bottom)
Table 2. Result of IMU Correlation Coefficient Time [s] X Y Z Full Time 0.580 0.916 0.515 18-24 0.661 0.906 -0.521 24-32 0.324 0.954 0.784 5. フュージョン結果 センサフュージョン性能を評価するために，計測対象 にオクリュージョンが発生した状態をつくり，2 次元画 像データからのオプティカルフローデータと IMU から のデータを用いて，オクリュージョンの発生の有無を検 査した．計測動作は，検証実験で行なった動作と同じ動 作を，ステレオカメラの座標軸に対して Y 軸回りに体 を-90 度回転させて行なった動作である．すなわち，肩関 節を約 90 度外転させ 0 度肢位まで戻す動作がオクリュー ジョン発生時に行なう動作である．オクリュージョンが 発生する計測動作を Fig.13 に示す． オプティカルフローによって求まった 2 次元画像上で の速度スカラと，IMU からの加速度データを積分した 速度スカラとを比較する．そして，ある一定の区間を 設定し，その区間を逐次更新して相関係数を求め，オク
Fig.13 A sequence of captured movement on occlusion experiment リュージョンの発生の有無を検査する．今回の実験では， 計測時間が 15 秒前後にオクリュージョンが発生したと目 視において確認した．ステレオカメラの設定は，シャッ タースピードが 10.02ms，ゲインが 4.89dB，撮影フレー ムレートが 27.18fps，IMU の計測周波数は 100Hz，光学 式モーションキャプチャの撮影フレームレートは 100fps である．求めた速度スカラの結果を Fig.14 に，相関 係数の基準範囲を 0.5 としたときの相関係数の推移を Fig.15に，計測結果を Fig.16，Table 3 に示す． 0 5 10 15 20 25 0 10 20 30 40
Image Speed [pixel/s]
Time [s] 0 5 10 15 20 25 0 0.5 1 1.5 2 IMU Speed [m/s] Image IMU sensor
Fig.14 Speed data of image and IMU
0 5 10 15 20 25 −2 −1 0 1 2 Time [s] Correlation Coefficient Correlation Coefficient Criteria Occurrence of Occlusion
Fig.15 Correlation coefficient of image and IMU
Table 3. Result of sensor fusion Correlation Coefficient X Y Z Stereo Camera 0.787 0.861 0.218 IMU -0.189 0.670 0.902 14.8秒に相関係数が 3 区間以上連続で 0.5 を下回って いる．したがって，14.8 秒にオクリュージョンが発生し
0 5 10 15 20 25 −2 −1 0 1 Time [s] Velocity [m/s] Stereo Camera IMU Sensor Occurrence of Occlusion 0 5 10 15 20 25 −2 −1 0 1 2 Time [s] Velocity [m/s] Motion Capture Stereo Camera IMU Sensor Occurrence of Occlusion 0 5 10 15 20 25 −2 −1 0 1 2 Time [s] Velocity [m/s] Motion Capture Stereo Camera IMU Sensor Occurrence of Occlusion
Fig.16 Result of IMU, X-axis (top) and Y-axis (middle) and Z-axis (bottom)
たと判断できる．14.8 秒を基準として，14.8 秒以前のス テレオカメラの結果を正式な計測値とし，14.8 秒以後 を IMU 計測結果を正式な計測値とした．Fig.16 から， オクリュージョン発生迄とその後であってもモーション キャプチャの動作とよく似た動作をしていることがわか る．しかし，Table 3 が示すように，座標軸によって相 関性に大きく違いが出ているので，精度の向上が必要で ある． 6. 結言 センサフュージョンに使うステレオカメラと IMU の 計測精度の検証実験と，オクリュージョンの発生判別を 含めたセンサフュージョンの計測を行なった． ステレオカメラでの計測は輝度情報による誤差が多 く，情報量が膨大であった．それゆえに，使用できる データへの処理手順が多くかかったが，ステレオカメラ を用いて計測対象の速度を算出できるようになった．ス テレオカメラの縦横方向は信頼できる結果となったが， 奥行き方向の計測は精度をより高める必要がある．奥行 き方向の計測の対策案は，レーザ計測器などの深度セン サを更にフュージョンさせ，精度の向上を図る案がある． IMUでの計測は，動作状態では正確な計測結果を得 ることができた．静止状態と同軸方向の動作では結果が 不安定であるが，静止状態と動作状態の違いは動画情報 で読み取ることができるため，この問題点は考慮しなく てもよいだろう． 総じて，ステレオカメラでの計測手順や計測結果の処 理手順及び，IMU のからの計測結果の処理によって，計 測が可能となる環境をつくることができた． センサフュージョンにいたって，2 次元画像からの速 度スカラと IMU からの速度スカラの相関性を比べるこ とでオクリュージョンの判別を行なった．センサフュー ジョンにおいて最も留意すべきオクリュージョン対して， その発生が判別できるまで進展した．今回の方法では， 相関性を判別する区間の長さによって判別精度が変化す るので，高性能なステレオカメラの使用や，録画のプロ グラムを高速化して，高いフレームレートでステレオカ メラの撮影が実行可能にする必要がある． 本研究で行なった内容がどこまで役に立つかがわから ないが，画像処理プログラムの更なる効率化を図りリア ルタイムでの計測を可能にしなければならない． 文献 (1) 中岡 慎一郎, 中澤 篤志, 横井 一仁, 池内 克史, ”シンボリックな動作記述を用いた舞踊動作模倣 ロボットの実現,” 電子情報通信学会 ニューロ コンピューティング研究会, 2003. (2) 稲邑哲也，”ジャイロ式モーションキャプチャシ ステムとロボット研究への応用，” バイオメカ ニズム学会誌, vol. 33(1), pp. 85-87, 2009. (3) L.Kovar, M. Gleicher, F. Pighin, ”Motion
Graphs,” SIGGRAPH, Vol. 21, Issue 3, pp. 473-482, 2002.
(4) J. Lee, J. Chai, P. S. A. Reitsma, J. K. Hodgins, N. S. Pollard, ”Interactive Control of Avatars Animated with Human Motion Data,” SIG-GRAPH, Vol. 21, Issue 3, pp. 491-500, 2002.
(5) 藤井博文，神原誠之，岩佐英彦，竹村治雄，横矢
直和：”拡張現実のためのジャイロセンサを併用 したステレオカメラによる位置合わせ”，電子情 報通信学会技術研究報告. PRMU, パターン認 識・メディア理解 vol. 99(574), pp. 1-8, 2000 (6) Z. Li, D. Kulic, ”A Stereo Camera Based Full
Body Human Motion Capture System Using a Partitioned Particle Filter”, Intelligent Robots and Systems (IROS), 2010 IEEE/RSJ Interna-tional Conference on, pp. 3428-3434, 2010 (7) S. Kagami, K. Okada, M. Inaba, H. Inoue, ”Real
- Time 3D Flow Generation System,” IEEE In-ternational Conterence on Multisensor Fusion and Integration for Intelligent System, pp. 237-242, 1999.
(8) 多摩川精機 (株), ジャイロ活用技術入門, 工業調
査会, 2002.
(9) B. D. Lucas, T. Kanade, ”An Iterative Image Registration Technique with an Application to Stereo Vision”, Proceedings of Imaging Under-standing Workshop, pp. 121-130, 1981. (10) 尾上守夫, 前田紀彦, 斎藤優, ”残差逐次検定法 による画像の重ね合わせ”, 情報処理, Vol. 17, No.7, pp. 634-640, 1976 (11) 伊藤雄二，新数学講座１ 微分積分学，2003， p. 145-147，朝倉書店．
![Table 2. Result of IMU Correlation Coefficient Time [s] X Y Z Full Time 0.580 0.916 0.515 18-24 0.661 0.906 -0.521 24-32 0.324 0.954 0.784 5](https://thumb-ap.123doks.com/thumbv2/123deta/6727158.710771/5.892.501.838.84.370/table-result-imu-correlation-coefficient-time-x-time.webp)
