距離画像から復元した様々な姿勢の手形状モデルにおける非剛体変形量の評価

全文

(1)Vol.2014-CG-154 No.14 2014/2/21. 情報処理学会研究報告 IPSJ SIG Technical Report. 距離画像から復元した様々な姿勢の手形状モデルにおける非剛体変形量の評価梅澤孝太郎1,a). 舩冨卓哉†1. 飯山将晃2. 美濃導彦†1. 概要：本報告では，手の姿勢変化による非剛体変形の再現を目的として，姿勢と非剛体変形量の関係について分析を行う．どんな姿勢の手形状も概ね剛体の組み合わせで近似できるとみなし，まず三次元形状計測技術を用いて様々な姿勢での手形状を計測し，手を剛体の集合体とみなして各剛体の形状を復元する．しかしこれだけでは，実際の手の形状変化を精度よく表現できていないと考えられるため，計測で得られた各姿勢での観測形状と構築したモデルとの比較を行い，この差異を非剛体変形量とした．ここでは，非剛体変形は姿勢によって決まると仮定し，手を構成する各剛体の位置関係を姿勢パラメータとして，姿勢と非剛体変形量の関係を分析した．. 1. はじめに. ず，姿勢変化に伴う関節の回転や表面形状の変化を詳細に推定できない．. 近年，Microsoft Kinect などの安価な距離センサの登場. その他，Chang ら [4] は観測した距離データから変形物. と普及により，人体の 3 次元形状計測，骨格推定の研究の. 体の形状復元を行っている．Chang らの手法では，様々な. 進歩が著しい．その応用範囲も医療分野や服飾分野，エン. 姿勢をとる観測対象に対して，距離センサを利用して時系. タテイメント分野など幅広い．一方で人間の手のように複. 列距離画像を獲得する．その中で，人体やロボットなどの. 雑な構造を持ち，姿勢変化によって複雑に形状を変化させ. 変形する物体の各部位を剛体と近似し，各対応点に導入し. る 3 次元物体の形状復元は，距離センサの精度やセルフオ. た誤差関数を最小とするように形状を剛体に割り当て，回. クルージョンなどの課題があり難しいのが現状である．. 転中心の推定を行っている．事前知識を仮定せず，時系列. 手の 3 次元形状復元の研究としては，Stoll ら [1] が，テ. 距離画像から物体モデルを獲得しているが，観測対象の非. ンプレートモデルをユーザが指定する観測データの対応点. 剛体変形を考慮しておらず，この手法をそのまま手のモデ. を元にフィッティングすることで形状復元を行っている．. リングに適用したとしても，姿勢変化による手の非剛体変. しかし，ユーザが設定する対応点の数やその精度，モデル. 形を適切に再現できているとは限らない．. となる対象の個体差などの課題があり，実物を精度よくロバストに復元できているとは言い難い．. そこで本研究では，手の三次元形状を様々な姿勢で計測し，各部位を剛体近似した際の非剛体変形を分析する．こ. また，Kurihara ら [2] は CT 画像から手の 3 次元形状. こでは，手形状は概ね剛体の組み合わせで近似できるとみ. 復元を行っており，複数の姿勢における手の表面形状と. なし，観測した距離画像から復元した複数の剛体の組み合. 骨格形状を獲得することで手モデルの生成を行っている．. わせによって大局的な形状を獲得する．復元した際の近似. Stillfried ら [3] は MRI 画像から手の骨格の形状復元を行っ. 誤差を局所的な非剛体変形量とする．この非剛体変形量は. ている．しかし，CT は被曝の，MRI は撮像時間の制約が. 姿勢によって決まると仮定し，そのモデル化を試みること. あるため，少数の姿勢でしかデータを収集することができ. で，より精密な手形状の再現を目指す．. 1. 2. †1. a). 京都大学大学院情報学研究科 Graduate School of Informatics, Kyoto University, Yoshida honmachi,Sakyo-ku, Kyoto, 606–8501, Japan 京都大学大学院経済学研究科 Graduate School of Economics, Kyoto University, Yoshida honmachi,Sakyo-ku, Kyoto, 606–8501, Japan 現在，京都大学学術情報メディアセンター Presently with ACCMS, Kyoto University, Yoshida honmachi, Sakyo-ku, Kyoto, 606–8501, Japan [email protected]. c 2014 Information Processing Society of Japan. 以下，2 章では手を多関節剛体としてみなした近似形状の復元手法について述べる．3 章では，非剛体変形量を求める手法，手の姿勢の表現方法について述べる．4 章では，実際の手を用いた非剛体変形量の評価結果について述べ．. 5 章では，本研究のまとめを行う．. 1.

(2) Vol.2014-CG-154 No.14 2014/2/21. 情報処理学会研究報告 IPSJ SIG Technical Report. t Point-cloud. MoCap. PPP Projector. Camera registration. 図 1. 手を構成する指節. PPP intersection. 2. 剛体の組み合わせによる手形状の近似. artifacts. 2.1 手を構成する指節形状の獲得 [5] 我々は手形状が概ね剛体の組み合わせで近似できるとみなし，複数の剛体の組み合わせによって大局的な形状を表. 図 2. アルゴリズムの概要. 現する手法 [5] を提案した．この手法では，様々な姿勢の手を観測した距離画像から，手を構成する指節の形状を獲得することができる．まず，この手法の概要について述べる．この手法では，図 1 に示すような 18 個の剛体とみなせる指節から手が構成されていると仮定する．手は姿勢変化によってその形状を複雑に変化させるが，各指節の形状モデルを姿勢に合わせて配置することで手全体の形状を表現する．このような指節それぞれの形状を，様々な姿勢. 図 3. 手形状の剛体近似. の手を観測した距離画像から獲得する．具体的には，ワンショットスキャン法を用いて様々な姿勢での手形状を距離. 2.2 観測環境. 画像として獲得し，またマーカを用いたモーションキャプ. 前節で述べたように多数の姿勢で手の形状を獲得するた. チャによって各指節の剛体運動を獲得している．距離画像. め，本研究ではワンショットスキャン法 [6], [7] を用いる．. によって得られた様々な姿勢における手形状を，各指節の. ワンショットスキャン法は，デブルーイン系列を利用した. 剛体運動に合わせて位置合わせを行う．この際，観測され. 構造化光をプロジェクタによって投影し，それを異なる方. た手形状には様々な指節の形状が混在しているが，この手. 向からカメラで観測することによって 1 枚の画像から距離. 法では距離画像を使って各指節の形状のみを抽出すること. 画像を取得できる手法である．構造化光を用いていること. ができ，その全周形状を得ることができる．. から，手のようにテクスチャが少ない物体に対しても精度. 具体的な処理の流れを図 2 に示す．各時刻で得られた. よく形状を獲得することができる．. 計測形状をある指節の剛体運動に用いて位置合わせする. また，各指節の剛体運動を獲得するため，マーカを用い. と，他の指節を表す形状が artifact となって出てくる．こ. たモーションキャプチャを行う．対象の骨格を仮定した. の artifact を除去するため，計測形状とカメラの間の空間. モーションキャプチャが一般的であるが，各指節の剛体運. (PPP: Pinhole-to-Projection Pyramid) には物体が存在し. 動を精度よく獲得するため，本研究では全指節に 4 点ずつ. ないことを利用し，計測形状と同様にこの空間も位置合わ. のマーカを貼付し，複数カメラを用いたステレオ法によっ. せする．PPP の中に含まれる形状を除去すると，着目して. てそれぞれの 3 次元位置を獲得する．こうして獲得した. いる指節の形状を抽出することができる．こうして復元した各指節の形状を，例えばモーション. マーカの 3 次元位置を基に，二乗誤差最小法によって各指節の剛体運動を推定する．. キャプチャで得られた各指節の剛体運動を用いて，空間的. 前節の手法を適用するためには，上述したワンショット. に再配置することで，図 3 に示すように，手のさまざまな. スキャン法とモーションキャプチャを同時に行わなければ. 姿勢における全周形状を表現することができる．. ならない．本手法では，それぞれの手法に異なる色を割り. c 2014 Information Processing Society of Japan. 2.

(3) Vol.2014-CG-154 No.14 2014/2/21. 情報処理学会研究報告 IPSJ SIG Technical Report. 図 4. 実験装置. 当て，RGB カメラを用いて独立に処理を行った．具体的には，ワンショットスキャン法に用いる構造化光の構成には赤と青，モーションキャプチャを行うマーカにはブラッ. 図 5. さまざまな姿勢から復元される指節形状. クライトによって緑色に発光するマーカを用いた．本研究のために構成した実験装置を図 4 に示す．手の様々な姿勢を計測し各指節の剛体運動を計測できるよう，. 250 立方の計測範囲を設定し，全周囲からモーションキャプチャできるように同期撮影が可能なカメラを 39 台設置し，全カメラに対してキャリブレーションを行った．また，プロジェクタ 1 台を配置し，39 台のカメラのうち 10 台のカメラによって投影した構造光を撮影し，ワンショットスキャン法を行うようにした．多数のカメラを用いること. 図 6. 非剛体変形量の算出. で，オクルージョンによる計測形状の欠損や計測誤り（アウトライア）の発生を軽減した．ワンショットスキャン法. そこで，この非剛体変形の大きさ（変位）を [5] の手法で. に用いたカメラの解像度は UXGA であり，0.5mm 程度の. 抽出された各指節の形状（復元形状）と観測形状を用いて. 精度で形状計測が可能になっている．. 評価する．本研究では復元形状，観測形状のいずれも三角. 3. 非剛体変形量と姿勢の定量化 3.1 非剛体変形量の評価. パッチによって表現し，これに基づいて以下のように変位を定義する．具体的には，復元形状を構成する三角パッチの各頂点において，観測形状までの距離を算出する．図 6. 2.1 で述べた [5] の手法は，PPP と呼ばれる空間を用い. に模式図を示す．ここで，上部の青点は観測形状，下部の. て，他の指節に属する形状の除去を行っている．このとき，. 黒点は復元形状を構成する点群であり，復元点群から観測. 着目している指節が剛体とみなせず，非剛体変形が起こっ. 形状までの変位を非剛体変形量として算出する．. た場合には，その変形を無視した形状が獲得されることに. ここで，復元形状のすべての点から観測形状までの距離. なる．具体的には，図 5 に示すような，変形した系列の積. を算出しても，変位として正しいとは限らない．一般的に，. 集合を取った形状が獲得されることになり，獲得形状は実. ワンショットスキャン法などによって形状を計測した場. 際に観測される形状と同じか，それよりも小さいものにな. 合，オクルージョンなどの影響によって，対象の全周形状. ると考えられる．. は得られておらず，観測形状は少なからず欠損を含んでい. 手の各指節で起こる非剛体変形は，手全体に比べれば大. る．本来表面があるはずのところに観測データが存在しな. きいものではないため，大局的には手の形状を表現でき. いため，このような部分に対応する復元形状の部分では，. ていると考えられる．しかし，局所的には非剛体変形が起. 観測形状の全く異なる部分との間との距離が算出されてし. こっていると考えられ，獲得された指節を用いるだけでは，. まい，正しく変位が計算できない．このような，観測形状. 手の形状を十分に表現できない．このような非剛体変形の. における欠損が変位の計算に悪影響を与えないよう，以下. 大きさは，観測された形状と各指節の組み合わせによって. に示すような流れで変位を計算した．. 復元された形状を比較することで評価できると考えられる．. c 2014 Information Processing Society of Japan. まず，観測形状を得られた時の各指節の剛体運動を用い. 3.

(4) Vol.2014-CG-154 No.14 2014/2/21. 情報処理学会研究報告 IPSJ SIG Technical Report. て，各指節の形状を配置し，復元形状を得る．次に，観測形状を構成する各点からある一定範囲内（今回は 15mm とした）に存在する復元形状の点群を抽出し，観測形状の近傍にある復元形状の点群を得る．なお，これに含まれない復元形状の点については，観測形状が近傍にないため，変位を算出しない．次に，この点群それぞれから，観測形状の全三角パッチへの距離を算出し，その最小値をその点における変位とする．ここで距離とは，頂点から三角パッチへ垂線をおろし，その足が三角パッチ内部にあった場合にはその垂線の長さとする．外部に足がある場合は，その点と三角パッチの最近傍点（これは三角形の辺上か頂点にな図 7 指節の連結構造. る）を求め，そこまでの Euclid 距離とする．以上により，1 つの観測形状に対し，その近傍にある復元形状の点群で変位を計算することができる．さまざまな姿勢で獲得した観測形状それぞれに対し，同様に変位を計算する．. ym を求める． ym = Mj xm , m ∈ Cj ∑ Mj = arg min ||bm − M xm || M. 3.2 姿勢の表現手の姿勢は骨格よって制約された各指節の配置とみなす. (1) (2). m∈Pj. ここで， Pj , Cj はそれぞれ関節 j の親指節，子指節に貼付されたマーカの集合とする．また，M は剛体変換とする．. ことができ，形状も大局的にはその配置によって定まると. 次に，子指節の位置合わせを行い，この時の変換を姿勢パ. いえる．しかし，手がある姿勢をとっているとき，各指節. ラメータとする．. では実際には関節の屈伸などにより局所的な変形が起こる．これは例えば，指を屈曲した場合には腹側の皮膚が盛り上. (qj , tj ) = arg min q,t. がったり，伸展した場合に指の背側で皮膚がたるんでシワ. ∑. ||bm − QT ym ||,. (3). m∈Cj. ができたりするように，連結した指節の相対的な配置に依. ここで，Q, T はそれぞれ回転変換，並進変換であるとし，. 存していると考えられる．それと同時に，隣接した指節の. 四元数表現したものを q ，ベクトル表現したものを t と表. 相対配置が同じであれば，指節の局所的な変形度合いも変. 記する．以上の変換の流れを図 8 に示す．. 化しないと考えられる．これに基づけば，前節で算出した変位は，連結した指節の相対的な配置に依存していると考. 4. 非剛体変形の分析. えられる．これらの関係性を分析するため，各指節の剛体. 前節で述べた方法により，姿勢 j における観測形状それ. 運動を基に連結した指節の相対的な配置を，指節の姿勢パ. ぞれに対し，復元形状の点からの変位，各指節の姿勢パラ. ラメータ（以下，姿勢パラメータ）として算出する [8]．. メータ (qj , tj ) が得られる．手を実際に観測して，18 個の. 本研究では，手を構成する指節に対し，図 7 に示すよう. 各指節の復元形状を得た．復元形状は合計 155,106 点から. な木構造を仮定する．ここで，指節を連結している各関節. 構成されている．復元に用いた 2,298 種類の姿勢に対して. について，手首に近い側を親指節，指先に近い側を子指節. 変位，姿勢パラメータを計算し，非剛体変形についての分. と呼ぶことにする．この構造に基づき，本研究で用いる. 析を行った．. モーションキャプチャで得られる各指節に貼付したマーカ. まず復元形状の各点において，観測した姿勢全てにおけ. の 3 次元位置を用いて，連結した指節の相対的な配置を姿. る非剛体変形量の分析を行う．ここでは，復元形状の各点. 勢パラメータとして算出する．本稿では，親体節を基準と. での変位の平均を算出することで，部位ごとの非剛体変形. したときの子体節の配置を，その 2 つの体節を接続して. 量の度合いを評価した．変位は非負の値を取るため，剛体. いる関節における相対的な姿勢パラメータとする．以降で. とみなせるところは全姿勢にわたって変形量が 0 に近く，. は，その計算方法について述べる．なお，姿勢変化を表現. また非剛体変形の大きいところは変形量の平均値も大きく. する際には，基準となる姿勢が必要となるが，ここでは初. なると考えられる．非剛体変形量の平均を図 9 の (a) に示. 期フレームにおける手を基準姿勢とする．. す．図の縦軸に全 2298 種類の姿勢での非剛体変形量の平. 基準姿勢で各指節に貼付されたマーカ m の 3 次元位置. 均を，横軸に復元した手モデルの全点（155106 点）を表示. を bm ，異なる姿勢での 3 次元位置を xm と表記する．隣. しており，図の左から右にかけて各指節（T1 から W まで）. 接指節間での相対的な姿勢変化を求めるため，まず親指節. の点群部分に対応している．各指の 3 番目の指節（T3・I3・. に対して位置合わせを行い，その時の子指節のマーカ位置. M3・R3・L3）や，手の甲（P1・P2）・手首（W）での非剛. c 2014 Information Processing Society of Japan. 4.

(5) Vol.2014-CG-154 No.14 2014/2/21. 情報処理学会研究報告 IPSJ SIG Technical Report. bm. ym. bm. xm. qj, tj ym. Mj (a) registration based on Pj 図 8. (b) registration based on Cj 姿勢パラメータの算出. 図 9 非剛体変形量の平均・分散・変位が計算できた姿勢数. 体変形量が大きくなっているのが分かる．このことから，. 散の値が大きい部分は，指節の非剛体変形の値のばらつき. それらの場所では剛体では近似できない変形が起こってい. が大きいということであり，この図では T3, P1, P2 で特に. ることが分かる．. 大きい値が見られる．一方それぞれの指節でも分散値が大. 次に非剛体変形量の分散を計算した結果を (b) に示す．分散により非剛体変形量の値のばらつきが評価できる．分. c 2014 Information Processing Society of Japan. きい部分と小さい部分があるのがわかる．これは非剛体変形が生じやすい部分と生じにくい部分があると考えられる．. 5.

(6) Vol.2014-CG-154 No.14 2014/2/21. 情報処理学会研究報告 IPSJ SIG Technical Report. ている．図中の各点は，ある指節の抽出した一つの点の非剛体変形量を全姿勢においてプロットしたものであり，(a) から (q) までが，それぞれ指節 T1 から指節 W に対応している．点の色は非剛体変形量に対応している．ここで，指節 T1・I1・I2・M1・M2・R1・R2・L1・L2 は図のような曲線上に分布しており，指節の姿勢パラメータがほぼ 1 自由度の屈折に依存していることが分かる．一方，T2・T3・. I3・M3・R3・L3・P1・P2・W は前記の指節のような曲線上に分布せず，複雑な形状をとっている．これから指節のとる姿勢が複数の自由度の屈折や変形に依存していることが分かる．指節 M2・L2・P1・P2 などでは，姿勢パラメータに対して非剛体変形量の値がばらつかず，ほぼ一意に定まっている．これらについては，非剛体変形量は姿勢によって定ま図 10. 非剛体変形量の色による表示. るという仮説が成り立つ．一方，指節 I1・I2・M1・R1 は曲線に分布しているものの，姿勢パラメータに対して非剛. 次に復元形状の点群の各点において非剛体変形量が算出. 体変形量のとる値のばらつきが大きい．そのため非剛体変. されている姿勢の数を算出する．つまりワンショットス. 形量が姿勢によって定まるという仮説が成立しない．この. キャン法により得られた観測形状との間で非剛体変形量を. ような結果が得られた原因として，非剛体変形量の算出に. 算出することができている復元形状の点群の姿勢数を評価. 用いる三角パッチの形状が挙げられる．指節の腹の部分で. した．その結果を (c) に示す．各指節の部位によって非剛. は三角形パッチが正しく求められているが，指節の端にお. 体変形量を算出できている姿勢数がわかる．全 2298 姿勢. いてはうまく三角パッチが生成されず，非剛体変形量が実. の各指節の各点において，ワンショットスキャン法の光が. 際よりも大きく算出されてしまう．この問題については，. 多い回数当たっている部位とそうでない部位が分かる．こ. 安定して非剛体変形量が計算できるような三角パッチの生. れにより，各部位の観測されやすさに基づいて計測する形. 成手法について今後改良の余地がある．. 状とその向きのプランニングをすることができる．次に，各指節の局所的な部分と非剛体変形量の関係を分. 5. おわりに. 析する．そのために，ある姿勢（ここでは 11 姿勢目）の. 本論文では，実際の手の形状変化を精度よく再現でき. 各点での非剛体変形量を，0 の場合を青，4.3mm 以上の場. るモデルを構築することを目的として，距離画像から復元. 合を赤として画像化した．その結果が図 10 である．この. した手形状モデルの非剛体変形量の評価を行った．手形状. 図によると，各指節の端部の他，手掌部分，親指の付け根. モデルの復元に，ワンショットスキャン法と計測形状とカ. と人差し指の付け根の間部分，手首の部分で非剛体変形量. メラの間の空間 (PPP) を用いた．観測対象である手を複. が大きくなっていることがわかる．最後に，姿勢と非剛体. 数の剛体要素に分割し，マーカを用いたモーションキャプ. 変形量の関係の分析を行う．姿勢パラメータは並進・回転. チャで運動を推定し，各指節の位置と向きを表す姿勢パラ. の７次元のパラメータであり，姿勢と非剛体変形量との関. メータを算出した．次に観測点群と復元点群間での非剛体. 係を可視化することは困難である．しかしここで人差し指. 変形量を算出し，様々な姿勢の手の観測形状でこの非剛体. の第一関節に着目すると，ほぼ 1 自由度の屈折をしてい. 変形量を評価した．実験では実観測データに提案手法を適. ると考えられ，その他も同様なことが言える指節が複数あ. 用して非剛体変形量を算出し，非剛体変形量の分析を行っ. る．このことから，姿勢パラメータに主成分分析（PCA）. た．また，算出した非剛体変形量を各指節の姿勢パラメー. をかけて次元圧縮をし，2 ないし 3 次元空間上でこの関係. タを用いて可視化し，各指節の姿勢と非剛体変形量との関. を可視化しても元の姿勢空間での関係を損なわないと考え. 係を分析した．今後は各指節での姿勢パラメータと非剛体. られる．. 変形量の関係を詳細にモデル化し，非剛体変形量を手モデ. そこで 7 次元の姿勢パラメータの次元圧縮を行い，2 次元に圧縮した．各指節から任意に 1 点を抽出し，その点での全姿勢の非剛体変形量と次元圧縮した姿勢パラメータでグラフ化すると，図 11 のようになった．この図のそれぞれにおいて，X 軸が姿勢パラメータの第一主成分，Y 軸が. ルに組み入れることで，より精密な手モデルの生成を目指す．. 謝辞本研究は科研費（23700231）の助成を受けたものである．. 姿勢パラメータの第二主成分，Z 軸が非剛体変形量となっ. c 2014 Information Processing Society of Japan. 6.

(7) Vol.2014-CG-154 No.14 2014/2/21. 情報処理学会研究報告 IPSJ SIG Technical Report. 図 11. 姿勢パラメータと非剛体変形量の関係. 参考文献 [1]. [2]. [3]. [4]. [5]. [6]. [7]. [8]. C. Stoll, Z. Karni, C. R ssl, H. Yamauchi and H.-P. Seidel: ”Template Deformation for Point Cloud Fitting”, Proceedings of the 3rd Eurographics / IEEE VGTC conference on Point-Based Graphics, (2006). T. Kurihara and N. Miyata: ”Modeling Deformable Human Hands from Medical Images”, Eurographics/ACM SIGGRAPH Symposium on Computer Animation, pp. 355363 (2004). G. Stillfried and P. van der Smagt: ”Movement model of a human hand based on magnetic resonance imaging (MRI)”, in International Conference on Advances in Biotechnology & Bioinformatics, ICABB, (2010). W. Chang and M. Zwicker.: ”Global registration of dynamic range scans for articulated model reconstruction”, ACM Trans. Graph., 30(3):26:1-26:15, (2011). T. Funatomi, H. Akuzawa, M. Iiyama and M. Minoh: ”Pinhole-to-projection pyramid subtraction for reconstructing non-rigid objects from range images”, 2012 Second Joint 3DIM/3DPVT Conference: 3D Imaging, Modeling, Processing, Visualization & Transmission, P.254-261 (2012). H. Kawasaki, R. Furukawa, R. Sagawa and Y. Yagi: ”Dynamic scene shape reconstruction using a single structured light pattern”. In IEEE Computer Vision and Pattern Recognition, p.1 7 (2008). A. Ulusoy, F. Calakli, and G. Taubin: ”One-shot scanning using de bruijn spaced grids”, 3DIM09, p.1786 1792 (2009). T. Funatomi, T. Yamane, H. Ouchida, M. Iiyama and M. Minoh: ”Deriving Motion Constraints in Finger Joints of Individualized Hand Model for Manipulation by Data Glove”, International Conference on 3D Vision (2013).. c 2014 Information Processing Society of Japan. 7.

(8)