A basic study on designing 3D Characters for laser-plasma scanning 3D display

(1)

大学院輪講資料 2010年4月30日

レーザープラズマ方式自由空間点群ディスプレイにおける

3

次元文字コンテンツの基礎検討

A basic study on designing 3D Characters for laser-plasma scanning 3D display

情報理工学系研究科電子情報学専攻苗村研究室修士課程2年 48-096401 秋月亮輔

Abstract

More and more attentions are paid to the three-dimensional (3D) display as our desires to view “real” 3D im-ages swell, and much research has been done on 3D display. Auto-stereoscopic displays allow us to view 3D images with-out requiring the viewer to wear special glasses or devices. Recently, a novel 3D display using laser-plasma scanning has been proposed, that can show any 3D contents in free space. In order to extend the potential applicability of the system, this paper presents a method to produce 3D characters as point-cloud contents with considering the hardware charac-teristics. Then, I estimate the damage of various built con-tents on the system and conﬁrm the validity of the proposed method.

1 はじめに

視覚は人間の最も重要な感覚の一つである．映像ディスプレイは視覚情報を提示するデバイスとして，幅広い用途に用いられている．映像ディスプレイの分野においては，人間に対してより豊かな映像を提示するために，これまで様々な研究が行なわれてきた．高解像度化が進み*1携帯端末で美麗な映像を楽しむことができるようになるなど，2次元情報の提示技術が目覚ましい発展を遂げてきているのは疑いのないところである．一方で最近では，ユーザに立体的な映像を提示することができる立体ディスプレイ(以下， 3Dディスプレイと表記)の研究も非常に盛んである．3次元映像の表現技術は医療から娯楽に至るあらゆる分野において活用されており，家庭で利用可能な3Dディスプレイが * 1解像度がフルハイビジョンの4 倍にあたる規格「4K」の普及に向けた取り組みが始まっているほか，16 倍にあたる「スーパーハイビジョン」の開発が進んでいるといった話題もある．安価で販売され始めた[1]のを皮切りに，3次元映像を楽しめる映画*2_{が世界の興行収入記録を塗り替えるなど，日常} 生活においてもその存在を意識する機会は増えてきている． 3Dディスプレイは非常に多くの方式が存在し，実装の方法や特徴も多岐にわたる．その中でも，近年開発されたレーザープラズマ方式自由空間点群ディスプレイ(以下，レーザープラズマ式3Dディスプレイと表記)が注目を集めている．本ディスプレイは，何もない空間に3次元映像を直接描画するという今までにない方式であり，視野制限がない・ユーザに疲労感を与えないなどの利点を有している．あらゆる空間がキャンバスとなり得る特長を活かし，将来的には空中広告などとしての利用が見込まれる一方，それに伴い必須となる文字コンテンツの制作環境は，必ずしも十分には整っておらず，文字コンテンツ制作環境の構築が急務となっている．本稿では，本ディスプレイ専用の立体文字コンテンツ制作アプリケーションを作成し，システムの特性を考慮したコンテンツを制作するとともに，完成したコンテンツの描画経路に関する検討を行なう．

2 立体像表示の様々な手法

人間の脳は，輻輳(両眼の視線のなす角)・両眼視差(視差，左右の眼に映る像の微小な差)・運動視差(頭を動かした際に生じる像の変化)・焦点調節などの情報と，網膜に写る像から得た物体同士の重なり合いや陰影などの情報を総合して立体を認識する．これらを全て満足するようにディスプレイを設計するのは難しいが，その一部を満たし十分な立体視を得られるディスプレイは様々なものが開発されている．また，3Dディスプレイは，ユーザが眼鏡や HMD(Head-Mounted Display)を装着して対象物を観察する方式[2]と，裸眼で鑑賞可能な裸眼3Dディスプレイに大きく分けるこ *2「アバター」(Avatar):http://movies.foxjapan.com/avatar/

(2)

Figure 1 Parallax barrier method Figure 2 Lenticular method とができる．裸眼3Dディスプレイは，より自然な形で3D 映像を体感できユーザの身体的負担を軽減できるという利点だけでなく，対話時に表情が隠蔽されないという利点がある*3_．裸眼_3D_{ディスプレイは多様な分類方法が考えら} れるが，例えば多眼式・光線再生方式・空間走査方式の三方式に大きく分けることができる．本節ではこれらの方式について触れた後，レーザープラズマ式3Dディスプレイについて詳しく述べる． 2.1 多眼式3Dディスプレイ多眼式3Dディスプレイは，2Dディスプレイとスリットやレンズを組み合わせて実現する[4]のが一般的である．実装が簡単であることなどから，この原理を用いた3Dディスプレイは昔から多く開発されてきた．この方式の中でも代表的なものとして，パララックスバリア方式・レンチキュラ方式が挙げられる．右眼用の画像と左眼用の画像を一定周期で縦長に分割したうえで交互に並べ，パララックスバリア方式ではその手前に画像分割と同じ周期のスリット(パララックスバリア) を置き(Figure1)，レンチキュラ方式ではレンチキュラ板と呼ばれる蒲鉾型のレンズを置く(Figure2)[5]．いずれの方式も，左右の眼に入る画像を調整することで視差を与えるというアプローチは共通である． 2.2 光線再生型ディスプレイ人間の眼は，物体の発する光線を捉えることで物体を認識している．光線再生方式は，そのような光線を再現することにより，あたかも実物体が存在するように知覚させる技術である．多眼式3Dディスプレイは，「本来目のピントが合うべき位置」と「スクリーンの位置」が異なることによる輻輳矛盾の問題を抱えているが，光線再生方式および *3_{3D 映像を用いた対話において，特殊な装置を身に着けることによ} り表情が隠蔽されると，コミュニケーションを妨げるおそれがあるという指摘がなされている[3]．

Figure 3 Principle of integral photography

後述の空間走査方式ではその問題が起こらないため，より自然で実体感を伴った立体表示が可能となる．代表的な光線再生方式としては，マイクロレンズアレイ(ハエの目レンズ)を用いて光線束を再現するインテグラルフォトグラフィ方式[6](Figure3)や，可干渉光の干渉を利用して立体像を提示するホログラフィ方式[7](Figure4)などが挙げられる．

(a) Record (b) Play Figure 4 Principle of holography

2.3 空間走査型ディスプレイ空間走査方式として代表的なものは体積走査を行なう方式である．これは，物理的な駆動系によって任意の位置を発光させ，立体視を得る方式である．運動する2Dスクリーンに立体の断面を投影し，残像によって立体を表示する方式は，体積走査型ディスプレイと呼ばれている．体積走査型ディスプレイとしては，膜状の反射鏡面(バリフォーカルミラー，可変焦点鏡などと呼ぶ) を用いた方式[8]やスクリーンを回転させる方式などが有名である．例えばバリフォーカルミラーを用いた方式では，金属蒸着した膜を可変焦点鏡として用い，それに同期して表現すべき立体の切断面を順に映していくことで立体表示を実現している．

(3)

Figure 5 Free space display of point cloud by laser-plasma 2.4 レーザープラズマ式3Dディスプレイレーザープラズマ式3Dディスプレイは，空気しか存在しない3次元空間に映像を直接描画する技術[9,10,11]である．レーザー光を強く集光させた時に起こるプラズマ発光現象を，任意の位置で高速に発生させることで映像を描画する．システムは，レーザー発振装置(パルス繰り返し周波数 1kHzの赤外パルスレーザー)と走査系(3次元スキャナ)から構成される(Figure5)．走査系はレンズとミラーからなり，これらを駆動することでレーザーの集光位置を制御しており，任意の位置でプラズマ発光を起こすことができる．発光位置の指定は，3次元座標が連続して書き込まれたデータファイルを転送することによって行なう．本ディスプレイはデータファイルに書き込まれている3次元座標を先頭から読み出し発光点を描画するため，同じ形状のコンテンツであっても順番を考慮して座標データを作成する必要がある．プラズマ発光によるコンテンツ描画の例をFigure6に示す．発光はレーザーのパルスと一対一に対応しているため，同時に複数の点を発光させることはできないが，個々の発光点を高速に生成することによって人の目に残像が残り，複数の点が一度に認識される．発光点の生成レートを f [Hz]，残像の持続時間をt[sec]とすると，一度に認識される点数は ftと表される．f は2010年4月時点で1,000 を達成しており，またt は0.05∼0.2程度であるとされる [12,13]．例えば残像の持続時間を100[msec]とすると，一度に見える点数は100となるが，この値には個人差があると考えられ，また，明るさなどの周囲の環境にも左右され

Figure 6 3D object “Pyramid” in the air projected by the display る．動画像の表現のためには，残像持続時間を十分に考慮する必要がある． 2.5 各方式の比較多眼式は製作が比較的容易であることに加え，既存の2D ディスプレイ技術が流用可能であることから汎用性に富み，現在の方式の主流となっている．しかしこの方式は視差情報のみを利用しているために輻輳が再生できず，長時間の使用に疲労感を伴うという問題があり，解像度と広視域の確保にも課題を残す．光線再生方式は，視域が広くユーザに与える疲労感も少ないが，記録再生すべき情報量が必然的に多くなるため，リアルタイム処理や高画質動画を取り扱うためには，高性能の計算機が必要となる．空間走査方式は光源が3次元的に配置されるため，輻輳矛盾の問題が起こらないうえ，視域も実用上問題ない範囲までをカバーできるが，映像表示領域を物理的に走査しなければならず，コンテンツに手を伸ばすことができない・映像表示域や装置の大型化が困難であるといった問題がある．レーザープラズマ式は，空間走査方式の特長に加えて，コンテンツ描画領域が物理的に隔離されない・視域制限が全くないという利点を有するが，コンテンツ描画時に大きな音を発するため，公共空間における使用のためには防音対策が必要となる．

3 レーザープラズマ式

_3D

ディスプレイにおけ

るコンテンツ

3.1 点群コンテンツの撮影レーザープラズマ式3Dディスプレイでは，1msという短い間隔で発光命令を送っているが，実際の正確な発光間

(4)

隔は不明であった．仮に発光間隔が安定していない場合，将来的に発光周波数が上昇した際にコンテンツ描画への影響が大きくなってくる．そこで，発光現象を詳しく調べるため，ハイスピードカメラを用いて点群コンテンツの撮影を行なった．ハイスピードカメラとは，通常のカメラでは追跡できない高速移動物体の撮影や，燃焼・破壊などの瞬時現象をスローモーションで記録することを目的としたカメラである．撮影には，株式会社ナックイメージテクノロジー製造の MEMRECAM GX-1を使用した．高速撮影映像は，一般的に撮影周波数と反比例して解像度が低下するが，本カメラは10,000fpsで撮影しても512x384と十分な解像度が確保できる．fps値は高ければ高いほど精度の良い調査が可能になる一方，データ量が増大する．本カメラは画像群を一度バッファに蓄積し，撮影を終了してからPCに転送する *4_{仕様であるため，初めは低}_fps_{で撮影し，描画周期の正確} 性が確認でき次第fps値を上げていく，という手順で撮影を行ない，撮影されたデータに対して，発光点が何フレームおきに映っているかを調べた．結果，10,000fpsまで撮影速度を上げても，映像は「発光体の映った1フレーム」と「何も映っていない9フレーム」の繰り返しであり，カメラのfpsとシステムの描画周波数から計算される理論値に忠実であった．したがって，レーザープラズマ式3Dディスプレイの発光点描画周期は1ms であると考えて差し支えないことが確認された．同時に，プラズマ発光体はFigure7のような美しい球体であることも確認された．今後のアプローチとして，複数台のハイスピードカメラによる同期撮影データを用いた，発光点の3 次元位置の推定などが考えられる． 3.2 点群コンテンツの制作環境本ディスプレイのコンテンツは他の3Dディスプレイのコンテンツとは性質が大きく異なるため，専用のコンテンツ制作環境を新たに用意する必要がある．本ディスプレイ用のデータを作成する場合，|x| ≤ 100,|y| ≤ 100,|z| ≤ 100 なる空間内の発光点座標を書き連ねたテキストデータをまず用意し，走査系駆動用の電圧データに変換した後，専用のバイナリデータに変換して用いる．電圧データおよびバ *4転送速度は環境によっても変わるが，2G モデルのカメラを用いた 10,000fpsの撮影実験においては，データの転送完了までに10 分弱の待ち時間が発生した．

Figure 7 Plasma luminous body

Figure 8 Improved “Square” in the air

Figure 9 Hand-drawn ﬁsh(Left) and “Fish” in the air(Right) イナリデータへの変換はコンバータが用意されており，それを用いることとする．以後特にコンテンツデータ・コンテンツの制作などと呼ぶ場合は，座標の書き込まれたテキストデータおよびその計算過程のことを指す．コンテンツの制作にあたってはハードの特性を考慮する必要があり，先行研究として，石川らによる曲率やハードウェアの性質を考慮した手法(Figure8)[14,15]などが挙げられる．また，入力支援のためのツールとして，ペン・マウスで描いた絵を点群に変換するツール(Figure9)[16]や，キーボードから入力された文字列をコンテンツ化するツール(Figure10)[17]などが開発されてきた．現在は予め作成しておいたコンテンツを再生する方法が主流となっているが，リアルタイムにコンテンツを変化させる機構[18]の開発も進められている．

(5)

Figure 10 An example of 3D objects, “Iroha” and “Nihon” 3.3 立体文字コンテンツ空中に情報を提示する際，方向などごく簡単な情報であれば矢印のような単純な図形も有効であるが，本ディスプレイは街中での広告利用や災害時のアナウンス等としての利用を想定して開発が行なわれているため，文字情報が提示できることはやはり重要である．時間当たりに使用できる点の数が限られていたことから，従来の文字コンテンツは線分で構成されていたが，システムの性能向上は現在も進められており，本ディスプレイの描画周波数は今後も上昇することが予想される．そこで，使用する点数を増やすことにより，より表情豊かなコンテンツの制作環境が必要となる．

4 立体文字コンテンツの制作

4.1 コンテンツの要件およびハードの性質立体文字コンテンツは，次のような特徴を持つことが望ましい． • 文字に厚みがあり，それ自体立体に見える． • 多様な言語に対応している． • 様々な書体を選択できる(日本語で言えばゴシック・明朝体・楷書体・ポップ体など)． • 回転などのアニメーションを付与できる．一方，描画システムの性質も考慮する必要がある． • システムは物理駆動系を持つため，同じ形のコンテンツを描画する場合でも総移動距離は短い方が良い． • 水平面上の移動に比べて，重力方向の移動はシステムへの負荷が大きくなる． • 時間当たりに描画可能な点数には限りがある．

Figure 11 A character “Higashi” and sliced “Higashi” 4.2 フォントデータからのコンテンツデータ生成文字列のコンテンツデータを作成する際には，各文字に対してデータを予め用意しておき，それらを結合させることで文字列とする方法も考えられるが，コンテンツに可変な特徴を付与することを考慮すると，その都度データを計算した方が良い．コンテンツを描画するにあたり，点から点へと次々に描画位置が移動していくことになるが，水平面上の移動に比べて，重力方向の同距離の移動はシステムへの負荷が10倍程度に増大すると言われている．また，重力方向の成分を含む急激な移動はコンテンツの歪みを生じやすいことが指摘されている．したがって，コンテンツデータの構成においてはz軸方向の移動量を最小限に抑える必要がある．これらを考慮し，フォントデータから次のようにコンテンツデータを計算する． 4.2.1 フォントデータの切片化フォントデータそれ自身は2次元の画像データである．まずこれを横に細かく切断し，各スライスに含まれるすべての切片の長さ・位置を記録しておく(Figure11)．切断面数は大きくすればするほど高解像度のコンテンツとなるが，使用できる点数の関係から，ここでは40∼50程度*5としている． 4.2.2 切片データの矩形化得られた切片データをもとに3次元座標データを作成する．この際，切片に奥行きを与えて面とする方法が最も単純である(Figure12中図)が，オブジェクトの内側まで点を敷き詰めると総使用点数が増大し効率的でないため，Figure 12右図のように線分を矩形の輪郭に変換し，点群全体として立体の表面を表現するようにした．ここで，切片長をl， *5切断間隔は一定であるため，「・」や「、」などは数面となる．

(6)

Figure 12 A method for converting a line to a square

Figure 13 A method for combining squares 奥行き(厚み)をdとしている． 4.2.3 矩形の連結前節で得られた矩形座標データを連結し，最終的なコンテンツデータとする．連結の手順は次の通りである． • スライス内のすべての矩形を描画する． • 次のスライスに移る際，移動距離が短くなるように次の矩形を選択する． • 矩形がなくなるまで以上の操作を繰り返す．出力すべきデータは描画順に座標が書き込まれている必要があるため，回収すべき矩形が複数ある場合，経路長がなるべく短くなるように経路を調整する．例えば，文字全体が一つのブロックのみから構成される場合は単純に正方形を上から辿るだけで良いが，複数のブロックに分かれている場合は次のスライスに移る際に近い矩形を適宜選択する(Figure13)． 4.2.4 補助点の設置本ディスプレイは2009年に描画と同期したシャッターが開発され，レーザーを物理的に遮断することにより，任意の点の消去が可能になった．消去点をここでは補助点と呼ぶ．次に描画したい点が遠く長距離の移動が必要な場合や，発光点密度を増やさずに走査速度を低く抑えたい場合は，間に補助点を設けることで対処する．ただし，補助点を増

Figure 14 An example of paths of various characters やすことは描画レートを自ら低下させることに繋がるため，過度の使用は控えることが望ましい．現在は，閾値Dthを超えた距離Lの移動が要請された場合は，L/ (a+ 1) < Dth となるようにa個の点を間に挟む仕様としている．以上のようにして作成されたコンテンツデータのうち，「あア亜」「文京区」「メトロ」の経路例をFigure14に示す．ただし，赤く表示された部分が通常の描画区間に相当し，青く表示された部分が補助点区間に相当する(描画しない)． 4.3 経路の評価生成されたコンテンツデータに関して，経路の評価基準を設けることを考える．経路を評価するうえで考慮すべき点は様々であるが，特にシステムの寿命に直結する負荷量が重要であると考えられるため，ここでは，次のような評価関数Eを導入して評価を行なう．点Pkの位置をccck，使用補助点数をas，描画効率A= n − a_n s とするとき，n個の点群{P1,P2,…,Pn} に対して E = _A1

∑

n k= 2|ccck− ccck− 1| 2 ただし，重力方向の移動はシステムへの負荷が大きいことから，距離計算においてはz軸方向には10倍の重み付けをしている．ここで，ひらがな(「あ」から「ん」まで)に対して，Eと EMAXの値を示したものがFigure15である．Eの値が大き

(7)

Figure 15 Comparison of damages to the system いほど，コンテンツの描画によりシステムに与える負荷が大きいことを示す．EMAXとは，前述の矩形の選択処理や補助点の設置を行なわない場合のEの値(順序を特に考えず，矩形を常に左からまたは右から選択・連結していった場合のEのうち小さい方の値)である．また，ひらがな・カタカナ(「ア」から「ン」まで)・アルファベット(「A」から「Z」までと「a」から「z」まで)に関してEとEMAXの比を示したものがFigure16,17,18である．最大値は1であり，この値が小さい程，経路に対して何も考慮しない場合に比べて，システムへの負荷が軽減できたと言える．評価値比の平均は，ひらがなが0.41・カタカナが0.48・英字が0.50となり，ひらがな(Figure16)に対して矩形の選択処理・補助点設置効果が最も大きく表れており，他の文字に関しても比を半分以下に抑えることができている．今回用いた矩形選択処理や補助点の設置は，「か」「ふ」「む」のように複数のパーツに分かれていたり，「あ」「め」「る」のように形状が複雑な文字ほど効果が高い．逆に，「ノ」「f」「l」のような単純な形状の文字は，直感的な(特に工夫をしない)経路が既に最適かそれに近い経路であるため，比がほぼ1となっている．今回の実験では考慮していないが，実際にコンテンツを制作する際には可読性・可視性を重視することもある．本ディスプレイにおいては発光点の描画間隔を途中で変更す

Figure 16 Proportion of E to EMAXin cases of Hiragana

Figure 17 Proportion of E to EMAXin cases of Katakana

Figure 18 Proportion of E to EMAXin cases of alphabets

ることができないため，単純にスライス毎に描画していくだけでは，面によって描画にかかる時間が変わってしまい，見え方に影響を及ぼすことがある(例えば，「＋」を描画する場合は，1画目のラインを含む段の描画速度とそれ以外の段の描画速度が大きく異なってくる)．これを防ぐために，使用可能な点数に余裕がある場合は，点数の少ないスライスに対して補助点を組み入れる場合がある．今後はこのよ

(8)

うなケースに関する検討も行なっていきたい．

5 まとめ

本稿では，3Dディスプレイの中でも近年注目を浴びているレーザープラズマ式3Dディスプレイについて，コンテンツの充実を図り，専用の立体文字コンテンツ制作アプリケーションを提案した．また，実際に立体文字コンテンツを制作し，様々な文字コンテンツに対して，描画経路がシステムへ与える負荷量について検討を行なった．今後の課題としては，経路からの負荷計算モデルの妥当性を検討するとともに，負荷をより小さくする経路を検討することが挙げられる．また，コンテンツの素材となる文字列の取得のために，現在はキーボード入力のほかtwitter からのログ取得を利用しているが，他のインタフェースとの融合によるインタラクションの実装を考えている．

参考文献

[1] 石川大: “箱庭的臨場感の提案と，めがね無し小型立体表示装置の開発”, PIONEER R&D, Vol.12, No.3, pp.47-58, 2003.

[2] Ivan E. Sutherland: “A head-mounted three dimen-sional display”, In Proc. fall Joint Computer Confer-ence, Vol.33, pp.757-764, 1968.

[3] 若月大輔,加藤伸子,河野純大,村上裕,皆川洋喜,西岡知之,内藤一郎: “手話映像の臨場感向上のための立体映像撮影とその表示”, 筑波技術大学テクノレポート Vol.15, pp.7-10, 2008.

[4] H. E. Ives: “The chromolinoscope revived”, J. Optical Society America, 20, pp.343-353, 1930.

[5] S. Ichinose, N. Tetsutani, M. Ishibashi: “Technique of stereoscopic image display”, EP Pat. No. 0 354 851, 1990.

[6] M.G.Lippmann: “Epreuves reversibles donnant la sen-sation du relief”, J. de Phys, Vol.7, pp.821-825, 1908. [7] Gabor: “A New Microscopic Principle”, Nature 161,

pp.777-778, 1948.

[8] A. C. Traub: “Stereoscopic Display Using Rapid Vari-focal Mirror Oscillations”, Applied optics, 6, pp.1085-1087, 1967.

[9] “空中に浮かび上がる3次元(3D)映像”, 産業技術総合

研究所プレスリリース, 2006.

http://www.aist.go.jp/aist j/press release/pr2006/ pr20060207/pr20060207.html

[10] H. Kimura, T. Uchiyama, S. Shimada: “True 3D Dis-play Using Laser Plasma in the Air”, ACM SIG-GRAPH2006 Emerging Technologies, 2006. [11] H. Saito, H. Kimura, S. Shimada, T. Naemura,

J.Kayahara, et al.: “Laser-Plasma Scanning 3D Dis-play for Putting Digital Con-tents in Free Space”, SPIE Stereoscopic Displays and Applications XIX, pp.6803-07, 2008.

[12] M. Coltheart: “Iconic memory and visible persistence”, Perception and Psychophysics, 27, pp.183-228, 1980. [13] V. Di Lollo: “Temporal characteristics of iconic

mem-ory”, Nature, 267, pp.241-243, 1977. [14] 石川尋代,斎藤英雄: “視覚特性を考慮した2次元形状の効率的な点群表現手法”,電子情報通信学会技術研究報告, PRMU2007-206, pp.305-310, 2008. [15] 石川尋代,斎藤英雄: “レーザープラズマ3Dディスプレイにおけるハードウェア特性を考慮した点群を用いた3次元形状表現”, MIRU2008画像の認識・理解シンポジウム, pp.587-592, 2008. [16] 伊野浩太,苗村健: “レーザープラズマ方式自由空間点群ディスプレイにおける3次元コンテンツ制作の基礎検討”, 電子情報通信学会技術研究報告, MVE2007-84, vol.107, no.544, pp.19-23, 2008. [17] 伊野浩太, 苗村健: “レーザープラズマ方式自由空間点群ディスプレイにおける日本語文字コンテンツの基礎検討”, 電子情報通信学会技術研究報告, IEICE technical report, 108(490) pp.19-24, 2009. [18] ジャルシリサワッドソンクラン,斎藤英雄,村上俊之, 青木淳,木村秀尉: “レーザープラズマ方式自由空間点群ディスプレイにおけるインタラクティブな3次元コンテンツ表示のための実時間制御系の開発”, 映像情報メディア学会技術報告, 3DIT2007-43, Vol.31, No.48, pp.31-34, 2007.