• 検索結果がありません。

直視型インテグラル立体表示の色モアレ低減技術

N/A
N/A
Protected

Academic year: 2021

シェア "直視型インテグラル立体表示の色モアレ低減技術"

Copied!
4
0
0

読み込み中.... (全文を見る)

全文

(1)情報処理学会研究報告 IPSJ SIG Technical Report. Vol.2017-AVM-97 No.1 2017/8/3. 直視型インテグラル立体表示の色モアレ低減技術 -3 台合成の検討- 佐々木 久幸†. 岡市 直人†. 渡邉 隼人†. 加納 正規†. 河北 真宏†. 三科 智之†. †NHK 放送技術研究所 〒157-8510 東京都世田谷区砧 1-10-11 E-mail:. †sasaki.h-ey@nhk.or.jp. あらまし 直視型表示パネルを用いたインテグラル立体ディスプレイでは,パネルのカラー表示のためのサブ画 素構造により立体像に色モアレが生じる課題がある.これまで,複数台の直視型立体表示装置による再生立体像を 合成することで色モアレを低減する手法を提案し,2 台合成による結果を報告してきた.今回は,表示装置 3 台を 合成することで,より効果的に色モアレを抑圧できることを示した.また,3 台合成時の立体像の解像度特性の向 上効果についても検証を行った. キーワード インテグラル立体,立体映像,色モアレ,レンズアレー,直視型表示パネル. Color moiré reduction technique for direct-view type integral three-dimensional display -A study of three-unit synthesis- Hisayuki SASAKI,†. Naoto OKAICHI,†. Masahiro KAWAKITA,†. Hayato WATANABE,† and. †Science & Technology Research Laboratories, NHK E-mail:. Masanori KANO,†. Tomoyuki MISHINA†. 1-10-11 Kinuta, Setagaya-ku, Tokyo, 157-8510 Japan. †sasaki.h-ey@nhk.or.jp. Abstract There is a problem in the integral three-dimensional (3D) display using the direct-view type display panel that color moiré occurs in the 3D image by the sub pixel structure for color display of the panel. We have proposed a method of reducing color moiré by combining reconstructed 3D images with multiple direct-view type display devices and reported the results of two-unit synthesis. In this paper, we show that color moiré can be suppressed more effectively by combining three display devices. In addition, the effect of improving the resolution characteristics of the 3D image in three-unit synthesis was also verified. Keyword Integral photography, 3D, Color moiré, Lens array, Direct-view type display 1. ま え が き イ ン テ グ ラ ル フ ォ ト グ ラ フ ィ [1]を 基 本 原 理 と し て ,. カ ラ ー フ ィ ル タ 構 造 を 利 用 [5]し た り ,レ ン ズ ア レ ー を 斜めに傾けることでモアレ成分を高周波領域にシフト. 動画立体映像を再生するインテグラル立体表示技術の. さ せ た り す る [6]な ど の 方 法 も 提 案 さ れ て い る .し か し ,. 研 究 を 進 め て い る [2].高 精 細 な 直 視 型 表 示 パ ネ ル を 用. これらの方法では,要素画像の解像度特性の低下や,. いて要素画像群を表示することで,薄型のインテグラ. 立体像の奥行き再現性の低下などの課題があった.筆. ル立体表示系を実現できる.しかし,直視型表示パネ. 者らは,複数(2 台)の直視型インテグラル立体表示. ル で は 一 般 的 に ,赤 色 (R),緑 色 (G),青 色 (B)の サ ブ 画. 系を組み合わせて立体像を合成することにより,この. 素構造を有するため,インテグラル立体表示に使用し. 色モアレを改善し,再生立体像の総合的な再生品質を. た場合,レンズアレーによる空間標本化により,再生. 向 上 さ せ る 方 式 を 提 案 し て い る [7,8]. 本 稿 で は 複 数 台. 立体像に低い周波数の色モアレが生じる.従来,色モ. の合成によるモアレ低減効果を詳細に解析するととも. アレの低減策として,表示パネル面に拡散フィルムを. に,3 台合成の場合の色モアレの低減と解像度の向上. 使用したり,表示パネル面を要素レンズの焦点距離の. 効果について報告する.. 奥行き位置からずらして要素レンズのデフォーカスを. 2. 色 モ ア レ の 低 減 方 法 と そ の 効 果. 利 用 し た り す る 方 法 [3,4]な ど が あ る . さ ら に , 特 殊 な. ⓒ 2017 Information Processing Society of Japan. 直 視 型 表 示 パ ネ ル は ,一 般 的 に RGB 各 色 の サ ブ 画 素. 1.

(2) 情報処理学会研究報告 IPSJ SIG Technical Report. Vol.2017-AVM-97 No.1 2017/8/3. サブ画素開口 R. あると仮定する.レンズアレーの各要素レンズによる. a px. G B 3 R G サブ画素間隔 B p px R G 3 B R G 画素開口 B a px R G B R 画素間隔 G p px B R G 錯乱円半径 B R  G B R. R. 読み出し時のデフォーカスの影響を考慮した表示パネ. G. ル 上 で の 輝 度 ( ) は ,基 本 波 ,高 調 波 の 重 ね 合 わ せ と. B. し て 次 式 の よ う な フ ー リ エ 級 数 で 表 現 で き る [3,4].. R. ( )=. G. sin(π /3) cos(2π π /3. ) (2π ). (2). 観察者. B. (2π ) =. R. レンズアレー 焦点距離. 2 (2π 2π. は 任 意 係 数 , (2π ) は. ここで. ). (3). 次高調波の振幅係. 数 , (∙) は 1 次 の 第 1 種 ベ ッ セ ル 関 数 ,. 表示パネル. 図 1. (0) + 2. は要素レン. ズをデフォーカスさせた場合の錯乱円の半径であり,. 色モアレの発生. 構造をもつ.例えば,縦長のストライプ状のサブ画素. 距離は画素間隔を 1 として正規化した.この場合のモ. の 場 合 ,そ の RGB の サ ブ 画 素 は 画 面 の 水 平 方 向 に 繰 り. アレの変調度 ( ) は,. 返し配置される.そのため,レンズアレーによる標本. max{ ( )} − min{ ( )} ( )=. 化 で , 低 い 周 波 数 に 折 り 返 し が 生 じ る [7,8]. 一 例 と し て 緑 色 (G)サ ブ 画 素 に 着 目 す る と ,画 素 間 隔 空間周波数. は. = 1⁄. とその. の関係にある.画素と要. 素レンズによって生じる折り返しうなり(モアレ)の 空間周波数. は ,要 素 レ ン ズ 間 隔 を = min −. = 1⁄. (4). max{ ( )} + min{ ( )}. とすれば, (1). である.2 台合成および 3 台合成した場合の表示パネ ( ) および. ル上での輝度をそれぞれ. ( ) とすると,. レンズアレー上でのモアレを最も低減させるような表 示装置の位置関係は,表示パネル上で考えればそれぞ. と な る . こ の 式 か ら わ か る よ う に , 標 本 化 周 波 数 1/. れ 画 素 を 1/2 お よ び 1/3 ず つ ず ら し て 重 ね 合 わ せ た 場. 以下の周波数領域のモアレが立体映像に顕著に現れる.. 合と等価であり,. そ の 様 子 を 図 1 に 示 す .こ れ は G 以 外 の R と B に つ い ても同様であり,各色に対応したモアレが,位相が互 い に 1⁄(3. )異 な っ た 状 態 で 重 な り 合 う こ と で 観 察 者. ( ) = ( ) + ( + 1/2). (5). ( ) = ( ) + ( + 1/3) + ( + 2/3). (6). と表すことができる.それぞれの場合のモアレの変調 ( ), お よ び. ( ) を計算した結果を図 2. には顕著な色モアレとして知覚される.このように,. 度. 色モアレの発生は単色のモアレの発生と同じ原理であ. に 示 す .な お ,錯 乱 円 半 径. る た め ,本 稿 で は 以 降 G 単 色 の モ ア レ に つ い て 議 論 す. ネルの距離が焦点距離より短い時は負値で,焦点距離. る .1 台 の 表 示 パ ネ ル 全 面 に 100%輝 度 の G 単 色( す な. より長い時は正値で表すものとする.1 台の場合に比. わ ち G の 直 流 信 号 )を 表 示 す る 場 合 を 考 え る .サ ブ 画. べて,2 台合成ではデフォーカス時の錯乱円半径が. 素が縦ストライプ構造である場合,水平方向にのみ周. 0.03 画 素 以 下 の ご く 小 さ い 場 合 を 除 い て 顕 著 な モ ア レ. 期 成 分 を 持 ち ,垂 直 方 向 に は 直 流 成 分 の み を 持 つ た め ,. 低 減 効 果 が あ り , 例 え ば モ ア レ の 変 調 度 が 1/2 に 低 減. 水平. 軸方向の 1 次元のみを考慮すればよい.簡単の. す る 錯 乱 円 半 径 も 0.45 画 素 か ら 0.13 画 素 に 改 善 し て. た め 図 1 に 示 す よ う に 画 素 の 開 口 率 は そ れ ぞ れ 100%. いる.また,3 台合成の場合には理論上モアレを完全. で あ る と し , ブ ラ ッ ク マ ト リ ッ ク ス は 考 慮 せ ず , RGB. に抑圧できることがわかる.. それぞれのサブ画素開口も画素開口. =. ( ),. はレンズアレーと表示パ. の 1/3 で. fy. y. 3. d 3. 1 3. d 1. 2. d 3 x. 図 3 図 2. 色モアレの変調度. ⓒ 2017 Information Processing Society of Japan. (a) (b) 要 素 レ ン ズ の 構 成 (a)と レ ン ズ ず ら し に よ る. 表 示 帯 域 の 拡 大 (b) 2. fx.

(3) 情報処理学会研究報告 IPSJ SIG Technical Report. Vol.2017-AVM-97 No.1 2017/8/3. 台の場合の要素レンズの標本化による周波数応答を. 3. レ ン ズ ず ら し に よ る 解 像 度 向 上 色モアレの低減とともに解像度特性も向上させる [9]場 合 に は ,レ ン ズ 位 置 を ず ら し て 合 成 表 示 す る 方 式 (レ ン ズ ず ら し 方 式 )が 有 効 で あ る . 筆 者 ら は こ れ ま で. ( )お よ び 応答を. ,要素レンズの開口による周波数. ( ), そ れ ら に よ る 総 合 周 波 数 特 性 を. ( ),. とすれば,レンズ面上に表示される立体像の空. 正方格子状のレンズアレーを使用し,2 台の表示系を. 間周波数を (特に水平方向を. レ ン ズ ず ら し 方 式 で 合 成 表 示 し て い る [7,8]. こ れ は 正. ン ズ 同 士 が 互 い に 接 し あ う 斜 め 60°方 向 の レ ン ズ ピ. 方格子状の画素構造をもつ 2 次元映像の画素ずらし表. ッチを ,要素レンズの開口が円形でその直径を. 示 [10]と 同 様 の 効 果 を 持 つ . 合 成 す る 表 示 系 の 台 数 に. した場合,. 応じて,立体映像の標本化点が増えるため,再生像の. ( )=. 解像度を向上できる.前節での議論から,モアレの低 減のためには 3 台合成がより望ましい.また,レンズ. =. アレーがデルタ配列の場合は,2 台合成では幾何学的 に等間隔のレンズずらしを行うことができない.しか. sin(π π. ( )=. で き る . 3 台 合 成 の 場 合 の 要 素 レ ン ズ の 構 成 を 図 3(a). /2) /2. sin √3π. ( )=. し,3 台合成の場合は,等間隔にレンズずらしを実現. ,垂直方向を. /2. 2 (π π. ). ( ). (8) (9). ( ). (10). =. に,またその標本化によって表現可能な立体像の空間. と. (7). /2. √3π. ), レ. (11). 周 波 数 を 図 3(b)に 示 す . 1 台 の 場 合 と 3 台 合 成 の 場 合. と 表 す こ と が で き る . 3 台 合 成 の 場 合 , 図 3(a)の よ う. をそれぞれ,キャリア周波数を白丸と黒丸で,ナイキ. に基準となる 1 台目の表示系に対して 2 台目と 3 台目. スト周波数を実線と破線で示している.ナイキスト周. をそれぞれ垂直. 波数内側の表示可能範囲が. て 合 成 す る こ と で , レ ン ズ ピ ッ チ は 1/2√3 レ ン ズ と な. 軸方向に 3 倍に広がり,. 軸 方 向 に ±1/√3 レ ン ズ ず つ ず ら し. 一見して帯域が 3 倍に広がったように見えるが,これ. る.これらの寄与を考慮した 3 台合成後の標本化によ. は標本化のみを考えた場合を示したものであり,要素. る周波数応答. レンズの開口の影響は考慮されていない.現実に即し. れぞれ,. た画質の評価を行うには開口による空間周波数応答へ. =. の影響を考慮する必要がある. 水平方向を. 軸,垂直方向を. と総合周波数特性 sin √3π √3π. はそ. /6. (12). /6. =. 軸として,表示系1 となる.. が直径. (13). に等しいものとして. =. = 1と し ,. これらの式を計算した結果を図 4 に示す.1 台のみの 場合の標本化周波数は ≡ 1/ ≡ 3/. ≡ 1/. = 2/√3, 3 台 合 成 時 の = 6/√3. = 2/. =2 および. 軸方向については. = 6/√3 で あ り ,こ れ ら の そ れ ぞ れ. 1/2 が ナ イ キ ス ト 周 波 数 で あ る . 1 台 の 場 合 と 3 台 合 成の場合についてナイキスト周波数以下の領域の総合 周波数特性をそれぞれ濃い灰色と薄い灰色の領域で表 (a). 現 し た .図 3(b)か ら も わ か る よ う に. 軸方向に関して. は 1 台のみの場合と 3 台合成の場合で変化はない. 軸方向に関しては,1 台のみの場合に. 軸方向に比べ. て帯域が大幅に制限されているのに対して,3 台合成 では表示可能な周波数帯域が 2 倍以上に広がっている. 加えて 1 台の場合のナイキスト周波数. = 1/√3 に お. け る 応 答 が 約 1.5 倍 に 向 上 し 低 い 周 波 数 領 域 で も 応 答 が改善することで,全体として水平・垂直方向の帯域 バランスが良くなっていることがわかる.. 4. 表 示 実 験 (b) 図 4. レンズアレー上に表示された立体像の空 間 周 波 数 特 性( (a)水 平 方 向 ,(b)垂 直 方 向 ). ⓒ 2017 Information Processing Society of Japan. 図 5 に示す構成の表示系を試作し,実写インテグラ ル立体映像の表示実験を行った.直視型表示パネルと し て ,13.3 型 8K 有 機 EL パ ネ ル( 株 式 会 社 半 導 体 エ ネ ル ギ ー 研 究 所 製 [11]) を 3 台 使 用 し た . 実 験 装 置 の 仕. 3.

(4) 情報処理学会研究報告 IPSJ SIG Technical Report. Vol.2017-AVM-97 No.1 2017/8/3. も解析を行う.また今回の手法は複数の表示装置を光 学的に合成するものであるが,今後,単一の表示系に おいても色モアレ低減する手法を検討していく. 表 1. 立体映像表示系の緒元. 表示パネル. 図 5. 実験装置の構成. 様 を 表 1 に 示 す . 図 6(a) (a)は は 1 台 の み , 図 6(b) 6 (b)は は 3 台合 成の結果の一部をそれぞれ切りだしたものである.3 台合成でモアレが少なくなっており,低減効果が確認 できる.解像度に関しては人形の目や頭の模様,輪郭 部分などにおいて改善効果を確認できる.なお,第 2 節で述べたように 3 台合成の場合,理論上は完全な色 モアレの解消が期待できるが,実験結果では低減効果 にとどまっている.その原因の一つとしては,今回の 理 論 検 討 の 条 件 で は 画 素 開 口 率 を 100%と 100% と 仮 定 し , パ ネルのブラックマトリックスを考慮しなかったが,実 際のパネルではその構造に起因する折り返し成分がモ アレとして残留することが考えられる.. 5. む す び 本稿では直視型表示パネルを用いたインテグラル立体 表示の色モアレを低減するため,複数の表示系によっ て立体像を合成表示する手法を解析した.その結果, 例えば 1 台の場合にモアレの変調度が半分に低減する 錯 乱 円 の 半 径 が 0.45 画 素 で あ る の に 対 し て , 2 台 合 成 で は 半 径 0.13 画 素 で も 同 等 の 低 減 効 果 が 見 込 ま れ , 3 台合成では理論上モアレを完全に抑圧できることを明 らかにした.さらに 3 台合成時のレンズずらしによる 解像度向上効果についても周波数応答を理論的に解析 し,垂直方向の帯域を 2 倍以上に拡大でき,1 台の場 合 の ナ イ キ ス ト 周 波 数 に お け る 応 答 を 1.5 倍 近 く 改 善 できることを示した.実験では実写のインテグラル立 体映像を表示し,色モアレが抑圧され,解像度の向上 効果が得られていることを示した.今後,ブラックマ トリックスの影響や各種カラーフィルタ構造について. 画素数 画素間隔 画素密度 画面サイズ レンズアレー 要素レンズ間隔 焦点距離 要素レンズ配列. 7680(H) × 4320(V) 38.25 38.25μm 664ppi 293.8mm 293.8mm(H) (H) × 165.2mm (V) 165.2mm(V) 1.0 mm 1.74 mm デルタ. 文. 献. [1] M. G. Lippmann, “Épreuves réversibles donnant la sensation du relief,” J. Phys. (Paris), 4e série, VII, pp. 821–825 821 825,, Nov. 1908. [2] F. Okano, J. Arai, H. Hoshino, and I. Yuyama, “Three “Three-dimensional dimensional video system based on integral 1072–1077, photography”, Opt. Eng., 38, 6, pp. 1072 1077, Jun. 1999. [3] 小 林 , ,奥 奥井, ,洗 洗 井 ,岡 , 岡 野 ,“ イ ン テ グ ラ ル 立 体 テ レ ビ の 色 モ ア レ 低 減 手 法 ,” 映 情 学 誌 , 59, 59 3, 3 pp.439- pp.439 - 447, 447, March 2005. [4] M. Okui, M. Kobayashi, J. Arai, and F. Okano, “Moire fringe reduction by optical filters in integral color threethree -dimensional dimensional imaging on a col or flat-panel flat panel display,” 4475 4483, Jul. 2005. Appl. Opt. 44 44,, pp. 4475–4483, “Moiré-reduction [5] T. Koike, K. Utsugi, and M. Oikawa, “Moiré reduction methods for integral videography autostereoscopic display color--filter with color filter LCD”, Journal of the Society for Information Display, 18, pp. 678– 685, 2010. 678–685, J.-H. [6] Y. Kim, G. Park, J. H. Jung, J. Kim, and B. Lee, “Color three-dimensional moiré pattern simulation and analysis in three dimensional moiré-reduced integral imaging for finding the moiré reduced tilted angle of a lens array,” Appl. Opt. 48, –2187, 2187, 2009. 2178– 48 , pp. 217 [7] 佐 々 木 , 岡 市 ,渡 , 渡 邉 ,河 , 河 北 ,三 , 三 科 ,“ 直 視 型 イ ン テ グ ラ ル 立 体 表 示 の 色 モ ア レ 低 減 技 術 ,” 信 学 技 報 , IE2016 IE2016-105, 105, , pp. 223 223–226, 226, Feb. 2017. [8] H. Sasaki, N. Okaichi, H. Watanabe, M. Kano, M. Kawakita, T. Mishina, “Color Color moiré reduction and enhancement technique for integral resolution threethree -dimensional dimensional display, display,” 2017 3DTV Conference (3DTV (3DTV-CON), CON), Copenhagen, pp. 1––4,, Jun Jun.. 2017. 2017 J.-H. J.--M. [9] Y. Kim, J. H. Jung, J. M. Kang, Y. Kim, B. Lee, and B. Javidi Javidi, “Resolution-enhanced “Resolution enhanced three three--dimensional dimensional integral devices,”” IEEE Lasers and imaging im aging using double d ouble display devices Electro Electro-Optics Optics Society Annual M eeting (LEOS 2007) Meeting 2007),, paper TuW3, pp. 356 357, Oct. 2007 356–357, 2007.. [10] M. Kanazawa, K. Hamada, I. Kondoh, F. Okano, Y. Haino, M. Sato, and K. Doi: “An ult rahigh definition display rahigh-definition ultrahigh using the pixel-offset pixel offset method”, J. Int. SID, 12, 1, pp. 93–103, 93 103, Mar. 2004. [11] S. Kawashima, S. Inoue, M. Shiokawa, A. Suzuki, S. Eguchi, Y. Hirakata, J. Koyama, S. Yamazaki, T. Sato, T. Shigenobu, Y. Ohta, S. Mitsui, N. Ueda, and T. Matsuo, “44.1: Distinguished Paper: 13.3 in. 8K x 4K 664 -ppi ppi 13.3-in. OLED Display Using CAAC OS FETs,” SID Symposium CAAC--OS 627–630, Digest of Technical Papers, 45, pp. 627 630, 2014.. 図 6. 実写インテグラル立体像の表示実験. ⓒ 2017 Information Processing Society of Japan. 4.

(5)

表 示 系

参照

関連したドキュメント

[18] , On nontrivial solutions of some homogeneous boundary value problems for the multidi- mensional hyperbolic Euler-Poisson-Darboux equation in an unbounded domain,

Kilbas; Conditions of the existence of a classical solution of a Cauchy type problem for the diffusion equation with the Riemann-Liouville partial derivative, Differential Equations,

Since the boundary integral equation is Fredholm, the solvability theorem follows from the uniqueness theorem, which is ensured for the Neumann problem in the case of the

p-Laplacian operator, Neumann condition, principal eigen- value, indefinite weight, topological degree, bifurcation point, variational method.... [4] studied the existence

We present sufficient conditions for the existence of solutions to Neu- mann and periodic boundary-value problems for some class of quasilinear ordinary differential equations.. We

The author, with the aid of an equivalent integral equation, proved the existence and uniqueness of the classical solution for a mixed problem with an integral condition for

We shall see below how such Lyapunov functions are related to certain convex cones and how to exploit this relationship to derive results on common diagonal Lyapunov function (CDLF)

Analogs of this theorem were proved by Roitberg for nonregular elliptic boundary- value problems and for general elliptic systems of differential equations, the mod- ified scale of