モーションキャプチャデータ公開のためのFlashを利用した3Dビューアの開発

全文

(1)Vol.2009-DD-72 No.13 2009/7/31. 情報処理学会研究報告 IPSJ SIG Technical Report. 1. はじめに. モーションキャプチャデータ公開のための Flash を利用した 3D ビューアの開発海賀孝明†1 †2. 松橋翔†3. 柴田傑†2. モーションキャプチャ(MoCap)は人の動きを計測，記録するための重要な技術であり，3DCG で作られたキャラクタにリアルな動きを行わせる以外にも，伝統芸能の記録やスポーツ医学など動作の記録，解析手法としても利用されている[1][2]．これまで映像データとして記録されていた身体動作が，MoCap により 3 次元の位置や回転の数値データ(MoCap データ)として記録することができるようになる．数値データで記録するため，データの解析や管理が可能となり，動作の解析やデジタルアーカイブの有用な手段として利用されつつある[3]．伝統芸能の舞踊の分野では，新たな踊りの作成システムの提案などが行われている[4][5]．これらの MoCap データを多くの人が閲覧し，利用するためには，MoCap により取得された舞踊などのデータを解析し，利用しやすい形で蓄えるだけでなく，容易に閲覧できる環境が必要である． MoCap データの閲覧は，3DCG を作成する専用のソフトウェアで行うことができるが，専用のソフトウェアはライセンスが必要，ハードウェア要件が高い，操作が難しいなどの問題により容易に閲覧のために利用できるとは言いがたい．データへのアクセスの利便性や，ハードウェア要件の低さなどを考慮した場合，Web 上で閲覧できることが望ましい．しかし，Web 上では MoCap データの表示を直接行うことができない．そのため，MoCap データを 3DCG 作成ソフトにより画像や動画などに変換し，そのデータが Web 上で表示されている[6]．この方法では，画像や動画に変換する手間がかかるほか，画像では連続した動きを見ることができず，動画ファイルでは決まった視点からしか見ることができないといった問題がある．画像や動画以外の方法として， Web ブラウザのプラグインによって 3D 表示が実現可能な VRML，Java3D，Shockwave 3D などがある．Java アプレットや，Java アプレットと VRML ビューアの組み合わせによりインターネット公開している例もある[7][8]．これらのプラグインでは専用ソフトに比べ幅広い環境で再生表示が可能であるものの，プラグインを使用するための PC 環境を整えることが困難であるためか普及していない．そこで本研究では，MoCap で記録された身体動作のデータを，インターネット上で容易に 3 次元表示，再生可能な 3D ビューアの開発を試みる．3D ビューアの表示，再生環境として，Web ブラウザの標準的なプラグインである Adobe System 社の Flash Player を使用する．MoCap データのファイルフォーマットは，仕様が公開されている形式は少なく，本研究では Biovision 社が提唱した BVA 形式[9]，BVH 形式[10]を使用. 玉本英夫†3. モーションキャプチャ（MoCap）は人の動きを計測するための重要な技術であり，近年，伝統芸能などの無形文化財における身体動作の記録・保存や解析のために使われている．今まで，伝統芸能の記録はビデオなどの映像メディアにて行われてきたが，MoCap では 3 次元による記録ができることからデジタルアーカイブの有用な手段として利用されつつある．しかし，MoCap で記録されたデータをデジタルアーカイブとしてインターネット上へ公開，閲覧するとき，3 次元での再生表示が手軽にできないといった問題などがある．そこで本研究では，MoCap で記録された身体動作のデータを，インターネット上で容易に 3 次元表示再生可能な 3D ビューアの開発を試みる．. Development of a 3D Viewer Using Flash Technique for Opening Motion Capturing Data to the Public Takaaki Kaiga†1 †2 Sho Matsuhashi†3 Takeshi Shibata†2 and Hideo Tamamoto†3 The motion capture (MoCap) has become an essential technique for measuring the human movements. Recently, the MoCap has been used for measuring and analyzing a dance motion in intangible cultural properties such as the traditional performing arts. Until now, the traditional performing arts have been recorded by the visual media such as a video camera. But the MoCap is now becoming a useful digital archiving tool, because the MoCap data can be translated into three dimensional digital representation. However, when the MoCap data is opened to the public as a digital archive on the Internet, there are some problems such that the MoCap data cannot be easily displayed in three dimensions. In this study, we explain the development of a 3D viewer which can easily display the data of the human movements measured by the MoCap system in three dimensions, and can be used on the Internet.. †1. †2. †3. 1. わらび座デジタル・アート・ファクトリ Digital Art Factory, Warabi-za Co., Ltd. 秋田大学大学院工学資源学研究科 Graduate School of Engineering and Resource Science, Akita University 秋田大学工学資源学部 Faculty of Engineering and Resource Science, Akita University. ⓒ2009 Information Processing Society of Japan.

(2) Vol.2009-DD-72 No.13 2009/7/31. 情報処理学会研究報告 IPSJ SIG Technical Report HIERARCHY. Segment: Hip. (a). Frames: 2274. ROOT root_name {. Frame Time: 0.033333 XTRAN YTRAN ZTRAN XROT YROT ZROT XSCALE YSCALE ZSCALE. OFFSET 0 0 0. INCHES INCHES INCHES DEGREES DEGREES DEGREES PERCENT PERCENT PERCENT. CHANNELS 6 Xposition Yposition Zposition Xrotation Yrotation Zrotation. 0.617621 14.371656 1.429377 159.670102 2.513770 167.903763 100.000000 100.000000 100.000000. JOINT joint1. 0.596250 14.339758 1.390180 159.464782 2.598235 167.884958 100.000000 100.000000 100.000000. {. 0.569262 14.307372 1.357113 159.194274 2.748916 167.866268 100.000000 100.000000 100. 000000. OFFSET 0 10 0. 0.535942 14.259733 1.256107 159.211172 2.734622 167.870359 100.000000 100.000000 100.000000. CHANNELS 3 Xrotation Yrotation Zrotation. 0.498080 14.199757 1.139531 159.182159 2.742376 167.868972 100.000000 100.000000 100.000000. End Site. ：. (b). (c). {. (d). OFFSET 0 10 0. Segment: Body }. Frames: 2274 }. Frame Time: 0.033333 XTRAN YTRAN ZTRAN XROT YROT ZROT XSCALE YSCALE ZSCALE. }. INCHES INCHES INCHES DEGREES DEGREES DEGREES PERCENT PERCENT PERCENT. MOTION. 1.255497 17.930058 2.674189 -179.808572 4.586962 178.743489 100.000000 100.000000 100.000000. Frames:. 1.217297 17.869421 2.559495 -179.827609 4.576087 178.766621 100.000000 100.000000 100.000000. Frame Time:. 1.185569 17.822482 2.483007 -179.818551 4.585926 178.742691 100.000000 100.000000 100.000000. 000000000. 1.167133 17.807767 2.438977 -179.875827 4.651139 178.680823 100.000000 100.000000 100.000000. 200000000. 1.139513 17.775747 2.461292 -179.801358 4.614414 178.660115 100.000000 100.000000 100.000000. 400000000. 1.152974 17.801909 2.501854 -179.822237 4.621141 178.663783 100.000000 100.000000 100.000000. 600000000. ：. 5 0.033333. 800000000. 図 1 BVA 形式. 図 2 BVH 形式. することにした．これら 2 種類のファイルフォーマットを読み込むことができ， MoCap データの選択機能，正確に動作を閲覧するための，視点移動や，アニメーションの制御機能などを持った 3D ビューアを目指す．. タは，トランスミッタから磁気センサまでの距離(x, y, z)および，トランスミッタに対する磁気センサの相対角度(Azimuth, Elevation, Roll)の 6 自由度の時系列情報である． MoCap データの記録には，Alias 社の MotionBuilder を使用しており，FBX 形式にてファイル保存される．本 3D ビューアに使用する MoCap データは，MotionBuilder の Export 機能を用いて，FBX 形式から BVA 形式や BVH 形式にファイルフォーマットの変換を行う． 2.2 BVA 形式 BVA 形式は，アスキー形式となっており，例を図 1 に示す．センサ毎にセグメント名，総フレーム数，1 フレームあたりの時間(a)，および 3 次元の各フレームのセグメントの位置(b)，角度(c)，スケール(d)から構成される．角度はオイラー角形式で記述する．スケールは特別な設定を必要としないため，等倍である 100 となる．このファイ. 2. MoCap データ 2.1 MoCap システム. MoCap システムは代表的な方式として，光学式，機械式，磁気式などがある[11]．本研究では，弊社スタジオにて採用している磁気式の MoCap システムを使用する．磁気式 MoCap システムは，磁界を発生させるトランスミッタ，身体に装着する磁気センサ，磁気センサの情報を変換する MoCap サーバなどから構成される．記録されるデー. 2. ⓒ2009 Information Processing Society of Japan.

(3) Vol.2009-DD-72 No.13 2009/7/31. 情報処理学会研究報告 IPSJ SIG Technical Report. ルフォーマットでは，磁気センサそのものの情報を記述，再現するのに適している． 2.3 BVH 形式 BVH 形式は，BVA 形式同様アスキー形式となっている．図 2 に，BVH 形式の例を示す．骨格モデルの階層記述部である HIERARCHY 部と，動きの記述部である MOTION 部の 2 部構成となっている． HIERARCHY 部では，骨格モデルを ROOT，JOINT，End の各ノードを用いて階層構造で表現する．ROOT は階層構造の始点となるノードで JOINT は骨格モデルの関節を表すノード，End は骨格の終点を表すノードである．それぞれのノードの位置は OFFSET で記述されており，このときの OFFSET の値は上位ノードからの相対座標で記述されている． MOTION 部では総フレーム数と 1 フレームあたりの時間をそれぞれ記述した後，次の行より，ROOT の 3 次元位置と回転角，各 JOINT の回転角を HIERARCHY 部の CHANNELS に記述されている順序で記載する．回転角はオイラー角形式で，上位ノードからの相対的な角度で表している．また角度は HIERARCHY 部で定義した骨格モデルが基準となっている．このファイルフォーマットでは骨格モデルを使用しているため，3D ビューアで再生する際に，人の動きを直感的にイメージしやすい利点がある．. 3.3 MXML. MXML は，Flex アプリケーションのユーザインターフェイスを定義するための XML ベースの GUI 記述言語である．MXML 上で記述されるタグはある機能を持つ単位であるコンポーネントで，タグの属性は各コンポーネントのプロパティとして定義される． 3.4 Away3D Away3D は，ActionScript で提供される 3D 描画のためのライブラリである．Away3D により，Flash での 3DCG を実現させる．3DCG は，仮想的な 3 次元空間内に配置された物体を，同じく配置されたカメラから撮影することにより出力された 2 次元画像のことをいう．仮想 3 次元空間上に存在するものはすべて数値データで表され，被写体の回転，拡大・縮小なども，すべて計算により行われる．また，最終的なカメラから見える画像を出力することをレンダリングという． Away3D には，これら仮想 3 次元空間を構築するための Scene3D クラス，カメラを作成するための Camera3D クラス，レンダリングを行うための View3D クラスなど， 3DCG を作成するための様々な機能を持ったクラスが含まれている．以下，本研究で使用したライブラリ内のクラスについて説明する．・3DCG を作るための基本的な機能を提供するクラス 1. View3D クラスレンダリングなどの機能を提供するクラス．仮想 3 次元空間の作成も行う． 2. Scene3D クラス仮想 3 次元空間内に配置されている物体を管理するクラス．仮想 3 次元空間に物体を配置する場合はこのクラスに物体を登録する． 3. Camera3D クラスカメラの機能を持ったクラス． Away3D で 3DCG を作成するとき，これら 3 つのクラスは必ず使用される．. 3. 開発環境 3D ビューアの表示，再生環境として，Flash Player を使用するが，Flash の 3D 描画のための開発環境として，Adobe Flex[12]と Away3D[13]を使用した． 3.1 Adobe Flex Adobe Flex は，Adobe System 社が提供している RIA（Rich Internet Applications）を構築するための Web アプリケーション開発フレームワークの名称である．Adobe Flex によって開発された Web アプリケーションは同社の開発した Flash を再生させるための Web ブラウザのプラグインである Flash Player により動作する．画面レイアウトには XML に準拠した独自の言語である MXML が使用されており，内部での動作は Flash で使用されているオブジェクト指向プログラミング言語である ActionScript[14]が使用されている． 3.2 ActionScript ActionScript は，Flex による Web アプリケーション開発で用いられるスクリプト言語である．ActionScript は ECMAScript を拡張した言語であり，同様に ECMAScript を拡張した言語である JavaScript と互換性がある．また，Java などと同様，クラスベースのオブジェクト指向がサポートされており，それにより本格的なプログラミングも可能となっている．. ・仮想 3 次元空間に配置する物体を作成するためのクラス 4. Cube クラス仮想 3 次元空間に，立方体を配置することができるクラス． 5. LineSegment クラス仮想 3 次元空間に，直線を配置することができるクラス． 6. Trident クラス仮想 3 次元空間に，x, y, z それぞれの方向に伸びる直線を配置することができるクラス．. 3. ⓒ2009 Information Processing Society of Japan.

(4) Vol.2009-DD-72 No.13 2009/7/31. 情報処理学会研究報告 IPSJ SIG Technical Report. Away3D には基本的な図形を配置することができるクラスがいくつかあるが，本研究では BVA 形式の MoCap データの各セグメントを表すために，Cube クラスを使用し， BVH 形式の骨格構造を表すために LineSegment クラスを使用した．また，どの角度から見ているかを示すために Trident クラスを使用した．. 4.2 ビューア初期化. ビューア初期化では画面の作成と MoCap データリストの読み込み，ライブラリの初期化が行われる． 4.2.1 画面の作成 3D ビューアの画面は，図 4 に示すように，MoCap データ選択エリア，アニメーション表示エリア，アニメーション制御エリアから構成されている．MoCap データ選択エリアには，MoCap データリストの内容を表示し，MoCap データを選択するためのコンボボックスを作成する．アニメーション表示エリアには，可視化された MoCap データが表示される．アニメーション制御エリアには，アニメーションの再生，一時停止などの操作を行うボタンなどを配置する． 4.2.2 MoCap データリストの読み込み MoCap データリストのファイルは，1 行に 1 つの MoCap データファイルのファイルパスをアスキー形式で記述する．読み込まれた MoCap データリストは改行で分割され， MoCap データ選択エリアのコンボボックスに配置し，選択できるようにする．コンボボックスの表示を，図 4 に示す． 4.2.3 ライブラリの初期化ライブラリの初期化では Away3D の View3D クラス，Scene3D クラス，Camera3D クラスにより，3DCG を表示するための仮想 3 次元空間の作成，カメラの配置，などを行う．またこのとき，視点の移動機能の作成も行う．視点の移動は仮想 3 次元空間に配置したカメラの平行移動と仮想 3 次元空間に配置する物体の回転により行う．. 4. 3D ビューア 4.1 処理の流れ. 本 3D ビューアの処理の流れを，図 3 に示す．はじめに，本 3D ビューアが起動すると，ビューアの初期化が行われる．ここでは，画面の作成と，MoCap データリストの読み込み，ライブラリの初期化などが行われる．MoCap データリストには，保持している MoCap データのファイルパスが記載されており，そのリストファイルを読み込むことで MoCap データを選択できるようになる．次に，MoCap データが選択されると， MoCap データが解析される．MoCap データのファイルフォーマットに応じて，MoCap データの骨格の構造や，フレームデータの解析，可視化が行われ，3D ビューアでの再生準備が行われる．MoCap データの可視化が完了すると，MoCap データの内容を再生し，動作を閲覧することができるようになる．このとき，視点の変更や，早送りなどの再生制御を行うことができる． MoCap データリスト. 起動. ビューア初期化 MoCap データ MoCap データ選択エリア. MoCap データ選択. MoCap データ解析. アニメーション表示エリア. 再生視点変更再生制御. アニメーション制御エリア. 図 3 処理の流れ. 図 4 画面構成. 4. ⓒ2009 Information Processing Society of Japan.

(5) Vol.2009-DD-72 No.13 2009/7/31. 情報処理学会研究報告 IPSJ SIG Technical Report 4.3 MoCap データ解析. 表 1 実験環境. MoCap データ解析では，ビューアの初期化が終了したあと，MoCap データリストの読み込み，MoCap データの骨格の構造や，フレームデータの解析，アニメーション表示の準備を行う． 4.3.1 BVA 形式 4.2.2 項において選択された MoCap データが BVA 形式の場合，MoCap データ内に記載されたすべてのセグメントを立方体で表現する．1 フレーム目における各セグメントの x, y, z の位置と回転のデータを用いて仮想 3 次元空間に配置する．立方体の作成は，Away3D ライブラリの Cube クラスを使用する．立方体の色は，それぞれのセグメントを判別するために，別々の色を設定し，それぞれの色はランダムに決定する．すべての立方体の大きさは，もっとも距離の離れた立方体の間に，ほかのすべての立方体を表示することができる大きさに設定する． 4.3.2 BVH 形式 4.2.2 項において選択された MoCap データが BVH 形式の場合，HIERARCHY 部に記載されている階層構造の通り，仮想 3 次元空間に直線を引く．直線の作成は，Away3D ライブラリの LineSegment クラスを使用する．このときの直線の位置，長さ，向きは，その階層の OFFSET の位置と，ひとつ上の階層の OFFSET の位置により決定する．直線の色は，骨格を判別するためにランダムに決定する． 4.4 再生 MoCap データの読み込みが終了すると，MoCap データの動作を閲覧するためのアニメーション表示を行う．アニメーションの表示は，現在の時刻の更新をし，MoCap データのその時刻の位置や角度データを用いて，空間内に配置された立方体や直線を移動，回転させる．レンダリングにより，カメラから見た画像をアニメーション表示エリアに表示する．この処理を繰り返すことにより，アニメーション表示を行う．アニメーションの制御の再生，一時停止は上記の繰り返す処理を操作することにより行う．任意の時刻への移動は現在時刻の更新時にその時の時刻を変化させることにより行う．. Web サーバ. クライアント PC. 要件. 詳細. OS. Mac OS X バーション 10.5.6. プロセッサ. 2x2.66GHz Dual-Core Intel Xeon. メモリ. 3GB 667MHz DDR2. Web サーバソフトウェア. Apache 2.2.9. OS. Windows XP Professional ServicePack3. プロセッサ. Pentium 4 CPU 3.20GHz. メモリ. 0.99GB. Web ブラウザ. Mozilla Firefox. Flash Player. Flash Player10. はじめに，本 3D ビューアの機能である，MoCap データの読み込み，視点の移動，アニメーションの制御などの操作を行うことができるか確認するため，MoCap データを読み込み，機能の動作チェックを行った．次に，MoCap データの内容が本 3D ビューアで表現することができているか確認するために，磁気式 MoCap により収録されたデータを，BVA 形式，BVH 形式それぞれに変換し，その時撮影された映像と差異がないか目視により比較する．実験データとして，ラジオ体操を行っている MoCap データを BVA 形式，BVH 形式にそれぞれ変換したファイルを使用する． 5.3 実験結果および考察実験の結果，MoCap データの読み込み機能，視点の回転，平行移動，拡大・縮小などの視点の移動機能，アニメーションの再生，任意フレームへの移動などのアニメーション制御機能を実装されていることを確認することができた．図 5 に，Web ブラウザ上に MoCap データを表示したスクリーンショットを示す．これにより，視点の回転操作により，現在の視点では見えづらい動きでも，視点を変えて，より見やすい視点で見ることができるようになる．また視点の平行移動，拡大・縮小により，動きが大きく，表示が画面からはみ出てしまった場合でも，動作を見ることができる．また，特定の部位を注目して見るなどの操作も行うことができる．特定のフレームの動作を繰り返し閲覧したいときなどは，アニメーションの制御機能により行うことができる．これらの機能により，MoCap データの行っている動きを正確に確認することができる．また，図 6 のように，実際に MoCap データを収録したときの映像と並べて比較すると，BVA 形式の表示では，立方体の位置が体の各部位と同じ場所に配置されている磁気センサと合わせて同じように動いていることを確認できた．また，首を傾けたとき. 5. 動作実験および考察 5.1 実験環境. 開発した 3D ビューア，MoCap データリスト，MoCap データを Web サーバにアップロードし，LAN 上につながるクライアント PC の Web ブラウザより MoCap データの再生閲覧を行う．表 1 に，Web サーバとクライアント PC の環境を示す． 5.2 実験方法実験は，3D ビューアの機能動作実験と，MoCap データのアニメーション確認実験の 2 種類を行った． 5. ⓒ2009 Information Processing Society of Japan.

(6) Vol.2009-DD-72 No.13 2009/7/31. 情報処理学会研究報告 IPSJ SIG Technical Report. 収録時映像. BVA 形式. BVH 形式. 図 6 ラジオ体操. 図 5 Web ブラウザでの表示などにその部分に対応している立方体も傾いていることから，それぞれの部位の傾きも表現できている．同様に，BVH 形式の表示では，直線により同様のポーズをとっていることを確認することができ，アニメーションによってそれぞれの直線が映像と同様に動いていることを確認することができた．これにより，BVA 形式，BVH 形式それぞれの形式のデータがどのような動きをしているのか再生し，確認することができた．. 参考文献 1) 吉村ミツ, 酒井由美子, 甲斐民子, 吉村功: 日本舞踊の「振り」部分抽出とその特性の定量化の試み, 電子情報通信学会論文誌 D-II, Vol.J84-DII, No.12, pp.2644-2653 (2001). 2) 三浦武, 水戸部一孝, 湯川崇, 海賀孝明, 谷口敏幸, 吉村昇: 舞踊動作データの因子分析による基本動作の抽出, 情報処理学会論文誌, Vol.49, No.9, pp.3302-3315 (2008). 3) 八村広三郎: モーションキャプチャによる舞踊のデジタルアーカイブ, 情報処理学会研究報告コンピュータビジョンとイメージメディア, CVIM-157-1, pp.1-8 (2007). 4) 湯川崇, 海賀孝明, 長瀬一男, 玉本英夫: 舞踊符による身体動作記述システム, 情報処理学会論文, Vol.41, No.10, pp.2873-2880 (2000). 5) 玉本英夫, 湯川崇, 海賀孝明, 水戸部一孝, 三浦武, 吉村昇: 産学連携による民俗芸能伝承のためのディジタルコンテンツ制作技術の開発, 電子情報通信学会誌, Vol.91, No.4, pp.303-308 (2008). 6) CMU Graphics Lab Motion Capture Database, http://mocap.cs.cmu.edu/ 7) ToMoLoW: TOYOHASHI MOTION LIBRARY on Web, http://tomolow.val.ics.tut.ac.jp/ 8) Web3D Dance Research Project, http://wd.motionlab.jp/ 9) Biovision BVA, http://www.cs.wisc.edu/graphics/Courses/cs-838-1999/Jeff/BVA.html 10) Biovision BVH, http://www.cs.wisc.edu/graphics/Courses/cs-838-1999/Jeff/BVH.html 11) 小島一成: モーションキャプチャ技術, 月刊ディスプレイ, Vol.12, No.4, pp.37-42 (2006). 12) Adobe Flex, http://www.adobe.com/products/flex/ 13) Away3D, http://www.away3d.com/ 14) ActionScript Technology Center, http://www.adobe.com/devnet/actionscript/. 6. おわりに本研究では，Web ブラウザ上で容易に MoCap データを閲覧することができる Flash を利用した 3D ビューアの開発を試みた．3D ビューアの開発環境として Adobe Flex を，3D 描画のライブラリに Away3D を使用した．本 3D ビューアによって，インターネット上で容易に MoCap データを 3 次元表示，閲覧することができるようになった．今後の課題として，音楽や映像との同期再生が挙げられる．特に伝統芸能の舞踊などの MoCap データは音楽があることにより，より動作の内容を理解することができ，デジタルアーカイブに有用であると考えられるからである．謝辞本研究にあたり，秋田大学吉村昇学長，同大学水戸部一孝准教授，三浦武講師，ノースアジア大学の湯川崇教授にお世話になった．ここに記して感謝の意を表したい．なお，本研究の一部は，平成 21 年度科学研究費補助金奨励研究(21921018)，平成 20～21 年度科学研究費補助金基盤研究(C)(20500084)，および平成 21 年度総務省戦略的情報通信研究開発制度(SCOPE)の支援によって実施した．. 6. ⓒ2009 Information Processing Society of Japan.

(7)