sumi.indd

Loading....

Loading....

Loading....

Loading....

Loading....

全文

(1)

解   説   論   文

1.はじめに

半導体素子の微細化が進展した結果,メモリの大容量化と高 速演算が可能となり,画像や音声を扱うディジタル電子機器は 新しい機能を充実し,ますます進展している.これらの電子機 器の中で,画像をキャプチャするイメージセンサは,ユーザの 感動を得る「美しい画像」の実現のためには,重要なキーデバ イスである.中でも多画素化と良好なS/N状態の確保は,民生 用機器として重要な性能となっている. 更にカメラの小形化を実現するためには,レンズ径の縮小化 とイメージセンサの小形化,つまり微細画素化が必要となる. そのためには,最先端の半導体製造プロセス技術を用い,微細 画素化技術も開発されているが,これらとともに多画素化と高 S/N化を実現する技術は飛躍的に進展している.更に,より高 速に高画質画像を撮像できる技術も開発され,その結果,大容 量信号処理と画像圧縮技術との組合せで,ディジタルスチルカ メラやハイビジョンビデオカメラ等の,従来からより進化した カメラで,一つの市場を形成している. CCDとCMOSイメージセンサは機能的,性能的に以下のよ うな違いがある.CCDは二次元状に配置されたすべての画素 の信号出力である電子を等価的にはキャパシタで構成される転 送路により信号を出力する.これに対してCMOSイメージセ ンサは電子を画素の中で増幅し,各画素の電子をトランジスタ のスイッチングにより読み出す.そのためCCDは画面全体を 同時に駆動するのに対して,CMOSイメージセンサは主に行単 位の駆動を繰り返して信号を出力するので消費電力の点で有利 である.また,CMOSイメージセンサは行単位で並列に信号を 読み出すことにより高速に撮像することが容易である. 昨今の高画質ディジタルスチルカメラのキーデバイスとし ても,従来のCCDに代わりつつあるCMOSイメージセンサの 高画質化のための基本技術を解説する. 特に,CMOSイメージセンサから発生するノイズの基礎とそ の評価技術,及び,従来のCCDでは開発するのが困難な領域 であり,民生用カメラ機器で用いられている,高速撮像を可能 とするCMOSイメージセンサについて解説する.

2.高画質CMOSイメージセンサ基礎

CMOSイメージセンサは,基本的には,CCDと同じような 光電変換部分の構造を有するフォトダイオード(PD)で得られ た信号電荷(電子)の転送を行い,フローティングディフュー ジョン(FD)と呼ばれる容量に電荷を蓄積し,その電荷を信号 値として読み出す.CCDの場合は,出力される信号のノイズ を除去させるための回路(一般的には,CDS:Correlated Double Sampling が用いられる)と,利得を調整する回路,及びディ ジタル信号に変換するA-D変換器(ADC)のLSIが必要になる. CMOSイメージセンサの場合,レジスタ駆動のドライバや,制 御回路等の機能を同一センサ内に内蔵することが可能である. 当初開発されたCMOSイメージセンサは,通常のCMOS LSI と同一プロセスで作製されたため,高画質CCDで用いたよう な,低ノイズ化のための特殊なプロセス技術を用いなかったの で,比較的大量のノイズが発生していた.そこで,CMOSイメー

CMOS イメージセンサの高画質化

For the Better Image Quality of CMOS Image Sensor

角 博文

Hirofumi SUMI

奈良部忠邦

Tadakuni NARABU

齊藤新一郎

Shinichiro SAITO 角 博文 ソニー株式会社 コンスーマープロダクツ&デバイスグループ 半導体 事業本部  E-mail hirofumi.sumi@jp.sony.com 奈良部忠邦 正員 ソニー株式会社 コンスーマープロダクツ&デバイスグループ 半導体事業本部  E-mail Tadakuni.Narabu@jp.sony.com 齊藤新一郎 ソニー株式会社 コンスーマープロダクツ&デバイスグループ 半導体 事業本部  E-mail Shinichiro.Saito@jp.sony.com

Hirofumi SUMI, Non - Member and Tadakuni NARABU, Member and Shinichiro SAITO Non - Member (Sony Corporation Consumer Products & Devices Group, Atsugi-shi, 243-014 Japan).

Fundamentals Review Vol.3 No.3 pp.44-51 2010年1月

アブストラクト CMOS イメージセンサ(Complementary Metal Oxide Semiconductor Image Sensor)は近年, ディジタル一眼レフカメラや,携帯電話,そしてビデオカメラにも搭載されるようになってきた.CMOS イメージセ ンサは,CCD(Charge Coupled Device)と比較し,その高速性と低消費電力を特徴として今後ますますの普及が 期待されている.昨今のカメラの高画質化,高機能化等の性能向上は,キーデバイスである CMOS イメージセンサに 依存するところが大きい.本稿では高画質の中でも特に重要な特性であるノイズの発生原理と評価技術について解説 し,高機能及び高画質化としての高速撮像技術について概観する.

(2)

ジセンサの製造プロセスにおいて,デバイスから発生する信号 電子以外のノイズ電子をできるだけ影響させない構造として, PDの領域を埋込フォトダイオード型(pin フォトダイオード) の構造を用いたセンサ構造が開発された.半導体はエネルギー 準位と呼ばれる特異なエネルギーの性質を持つ.電子は粒子性 と波動性の両面性を有しており,粒子性が理由でエネルギーは 離散的な値となる.この離散的なエネルギーの値をエネルギー 準位という.また半導体の表面におけるエネルギー準位を表面 準位という.従来の構造の場合では,Siの表面準位の影響で, ノイズ要因となる電子が発生するが,フォトダイオードの埋込 フォトダイオード化によりホールの蓄積で,この悪影響が排除 され,結果として,当初の場合と比較して,ノイズ値は1けた 程度改善された(1) このほかにも,各種ノイズが発生するが,CMOSイメージセ ンサから発生するノイズは,デバイスに起因するもの,回路に 起因するもの,また見え方の違いで,ランダムノイズ系,及び 固定パターンノイズ系に分類できる.これらノイズの種類に関 しては4.で詳しく解説する. さて,デバイス起因として発生するノイズとして,最近RTS (Random Telegraph Signal)ノイズが問題になっている(2),(3).こ

れは,各画素にソースホロアとしてドライビングする素子を有 しているが,このゲート直下であるSi内のチャネル部に何ら かのエネルギー準位が存在し,ソースからドレーンへ電子が流 れるときに,このエネルギー準位の影響で信号値にノイズとし て現れる現象である.このエネルギー準位が,複数存在してい る場合には1/f ノイズとして検知されるが,RTSノイズはたっ た一つのエネルギー準位の影響で比較的大きなノイズが発生す る. 例えば,動画撮影画像において,多数の白い粒ノイズが,ラ ンダムに発生する現象として現れる.発生するノイズの影響で, 画像内にノイズが目立ち,また,官能的には大変不快なノイズ となる.図1に示すように横軸時間に対して,RTSノイズの大 きさを縦軸に取ると,信号値に対して,RTSノイズの大きさは, プラス,マイナス両方に振れることが報告されている.この振 れに応じてノイズが画像として現れる.このノイズを解決させ るには,チャネル部にエネルギー準位を一つでも発生させない ようなプロセス技術の開発が必要であるが,現在でもいまだ完 全に抑制できていない. 次に,回路ノイズの例と,発生するノイズを抑制させる方法 の例に関して示す.CCDの場合,出力信号は外部LSIとして構 成される利得調整回路に入力される.例えば,暗い状態での利 得調整は利得を大きくして,画像信号の輝度値が最適になるよ うに撮影する. ただし,この場合には,元々有していたノイズとともに,利 得調整を行うのでアンプノイズも付加された画像となる.通 常,利得調整を行うアナログ回路を有しているが,このアナロ グ回路を駆動させる周波数が比較的高い場合には,周波数に応 じた大きさのランダムノイズも付加され,雑音の多い画像とな る.CMOSイメージセンサの場合は,これら利得調整回路をオ ンチップで搭載させて調整をしているが,CCD同様に,CMOS イメージセンサからの最終段の出力信号に対して利得調整を行 う場合,比較的高い周波数(多画素で,かつフレームレートが 早い場合)での駆動となり,回路ノイズが付加される結果とな る. これに対して,図2に示すようにCMOSイメージセンサはカ ラム部に,この利得調整回路を並列に搭載させることも可能で, 並列化により利得増幅器の駆動周波数を,並列数の逆数に相当 する周波数まで低下させることが可能となる.その結果,多画 素でかつ高フレームレートでも,発生する回路ノイズを小さく 保つことが可能となった.ただし,カラム部の利得調整回路は 数千個配置されているため,そのばらつきにより固定パターン ノイズが発生する懸念もあるが,ノイズが最も小さくなるよう に最適設計された利得調整回路を搭載させたCMOSイメージ センサが実用化されている.

3. CMOS イメージセンサの高速撮像技術

3.1 イメージセンサの画質における高速化の役割 カメラの機能及び画質に大きな影響を与えるイメージセン サの特性として,光学サイズ,画素数,感度,ノイズ,分光特性, ダイナミックレンジ,フレームレート,電子シャッター,消費 電力がある.これらのイメージセンサの特性向上により,カメ ラのレンズの焦点距離,レンズのF値,レンズのズーム倍率, 解像度,最低被写体照度,色特性,ダイナミックレンジ,フレー ムレート,手振れ,動被写体解像度,シャッタースピード,消 費電力などのカメラとしての主な機能と画質が近年大きく進展 してきた(4),(5) ここでは,このカメラの機能と画質に大きな影響を与えるイ メージセンサの特性の中の高速化技術について解説する(6) イメージセンサの高速化技術は,先に述べたイメージセンサ 図 2  カラム利得増幅器を搭載させた CMOS イメージ センサ 図 1 発生する RTS ノイズの状態 � (Arbitrary Unit) �(��) I:��������� Tu,s : �������������, Td,p���������������

(3)

超高フレームレートで出力する場合,その画素レートは, 360Mpixel/s もの値になる.このデータをアナログ信号のまま, 1本の出力端子で出力しようとすると,その出力端子の繰返し 周波数は,360MHzとなってしまう.この周波数は,通常のイ メージセンサのアナログ出力端子の繰返し周波数の1けた以上 も高い周波数に相当する.したがって,現在のイメージセンサ に使用されているアナログ回路の技術を使用して,アナログ信 号のまま1本の出力端子で出力するのは現実的ではない.そこ で,高フレームレートイメージセンサを実現するには,次の2 種類の手法が現実的な手段として考えられる.一つは,アナロ グ出力端子の数を10本以上に増やし,1本当りの出力信号端子 の繰返し周波数を,実現できる値とする方法である.もう一つ は,イメージセンサの出力信号をディジタル化して,ディジタ ルの出力ビットレートを高くする方法である. アナログ信号の出力端子数を増加させた場合,各端子間の特 性差による補正が必要となり,後段の信号処理への負荷が増大 するとともに,イメージセンサにオンチップされているアナロ グ回路の消費電力も増大する. したがって,高フレームレートイメージセンサを実現する には,イメージセンサにA-Dコンバータを搭載し,信号をディ ジタル化して,ディジタル信号の出力ビットレートを高くする 手法の方が,後段の信号処理の負荷が少ない上に,ディジタル 信号の振幅を小さくすることによる消費電力の抑制が可能なた め,適している. このような理由から,コンスーマ用途として商品化された 高フレームレートCMOSイメージセンサには,後段の信号処 理LSIとの信号インタフェースにLVDS(Low Voltage Differential Signaling)が採用された.前述した640万画素で60f/sの撮像出 力が可能なCMOSイメージセンサのLVDSでは,データレート は,最大432Mbit/sで,内部生成した216MHzのクロックを用い, ダブルデータレートで転送する. 一方,イメージセンサにオンチップするA-Dコンバータの種 類や方式は,様々な選択肢がある. 前述の640万画素で60f/sの撮像出力が可能なCMOSイメージ センサは,A-Dコンバータとして,カラム並列の積分型A-Dコ ンバータを採用し,オンチップしている. の種々の特性において,画素数,フレームレート,消費電力の 3項目に直接関係するものである.また,イメージセンサの高 速化技術により,カメラとしては,フレームレート,手振れ, 動被写体解像度,シャッタースピードに関する機能と性能の向 上が実現できる. このイメージセンサの高速化技術によるカメラの機能と性 能の向上は,一部の特殊なカメラ,例えば,制作用,放送局用, 工業用,学術用などにおいて実用化されているものが以前より あったが,コンスーマ市場において高速撮像ができるカメラが 実用化されたのは最近になってからである. コンスーマ市場において高速撮像ができるカメラが実用化 された背景には,消費電力を大幅に増加させることなく,更に, ノイズを増加させることなく,撮像情報を連続して出力させる ことのできるCMOSイメージセンサを用いた高速イメージセ ンサ技術の確立(7),(8)と,後段の信号処理LSIや記録メディアの 情報処理速度をイメージセンサからの出力信号速度に対応させ る技術の導入がある. 現在,市販されている,通常の動画像のフレームレートは, ハイビジョンで60f/s(frame per second)である.一方,放送局 用や研究用としての特殊なカメラとしては,画素数約81,000画 素(312(水平)×260(垂直))で,100万f/sの高フレームレート CCDカメラが2005年に市販された.その後,コンスーマ用途 としては,2008年に画素数約32,000画素(336(水平)×96(垂 直))で,1,200f/sのものがCMOSイメージセンサを用いた高フ レームレートカメラとして市販されている. このコンスーマ用途のカメラは,640万画素の高精細静止画 では,60f/sの高フレームレートで撮影が可能である. 前述の100万f/sを実現しているCCDカメラは,CCDイメー ジセンサチップの中に,各画素に100フレーム相当のアナログ メモリを搭載することにより,100フレームまでの高速化を実 現している.一方,CMOSイメージセンサを用いたコンスーマ 用途の高フレームレートカメラは,CMOSイメージセンサの特 長を生かし,フレーム数に制限なく連続して高フレームレート の撮像情報を出力し続けることができる. このように,高フレームレートCMOSイメージセンサは, コンスーマ市場におけるカメラの特性に動解像度の向上という 新しい付加価値を作り上げることにより,更なる画質向上を実 現させた. 3.2 高速化を実現する上での課題と実現手段 コンスーマ市場において,高フレームレートのイメージセ ンサを普及させるためには,ほかの電気光学的特性も従来のイ メージセンサの特性と同等レベル以上にする必要がある.それ らの特性の中で,高フレームレートイメージセンサの大きな課 題は,消費電力とノイズの増大への抑制である. この中で,高速化に伴うイメージセンサの消費電力増大を抑 制するには,イメージセンサチップ内の信号出力回路の消費電 力抑制が鍵となる. 600 万画素クラスのイメージセンサの画像情報を 60f/s の 図 3 列並列 A-D コンバータの構成

(4)

この構成により,低ノイズ化と高速化の両方を実現させるこ とができた(9),(10)列A-Dコンバータ方式は,並列処理を行わな い方式と比べ,低い周波数でのA-D変換が可能となり,高周波 数帯域のノイズ成分の影響を受けないため低ノイズ化できる. 更に,アナログCDSに加えてディジタル化してCDS回路を各 列に配置したデュアルノイズキャンセル方式の採用により画素 のノイズを低減するだけでなく,同時にアナログCDS回路や A-Dコンバータのばらつきも低減している.この列並列積分型 A-Dコンバータの構成と動作を図3と図4に示す. 以上のように,高フレームレートの実現に伴う消費電力とノ イズの増大に対して,極めて効果のある構成を採用している. この高フレームレートCMOSイメージセンサの全体構成を示 すブロックダイヤグラムを図5に示す. コンスーマ市場における高フレームレートCMOSイメージ センサの一つの例として,ソニーのIMX017CQEの主な仕様を 表1に示す. 3.3 実際の効果 前述の640万画素で60f/sの撮像出力が可能なコンスーマ用途 の高フレームレートCMOSイメージセンサによる300f/sの撮像 例を図6に示す.この高フレームレートCMOSイメージセンサ は,このような動解像度の向上に加えて,高フレームレートに よる機能の向上を実現させることができる. その一つの機能が,「動画・静止画シームレス記録」である. これは,瞬間の静止画と途切れない動画を自由に記録したり, 静止画の前後のシーンを動画で途切れなく撮影することが可能 になる機能である.この機能により,高画質動画モードから高 精細静止画モードへの切換や,その逆のモード遷移において無 効フレーム(こま落ち)が発生せず,その結果,動画録画中に 途切れることなく,640万画素の高精細な静止画を撮像するこ とが可能になる. 次に,マルチプレーン加算による高感度化(高S/N化)や手振 れ補正の機能である.時間方向の情報量を増やすことで画質を 大きく上げることができる.全画素を60f/sで連続撮影し,時 間方向に増えた情報を使って一枚のハイクォリティな画を作る という方法である.これは,カメラDSPを含むカメラシステ ムトータルで実現することができる. 例えば,全画素60f/sで連写した数枚の画像をマルチプレー ン加算処理すると,一枚の画像よりも数倍SN比が良い画像が 図 5 高フレームレートイメージセンサの構成 図 6 高速撮像の例 (300f/s) (a) 通常撮像 (b)  高速撮像の複数画処理に よる手振れ補正 図 7 高速撮像の複数画像からの手振れ補正 表 1 超高フレームレートイメージセンサの主な仕様 製品名 IMX017CQE 対角 9.10mm(1/1.8 型) 有効画素数 640 万画素(2,921H × 2,184V) 画素サイズ 2.5 μ m □ ADC 12 ビットカラム ADC オンチップ フレームレート 全画素 60f/s 動画撮影対応 信号出力 I/F 12 ビット パラレル LVDS 搭載 432Mbit/s の高速データレート 使用電源 アナログ 3.0V,ディジタル 1.8V 動画・静止画対応 動画・静止画モードのシームレス遷移 図 4 列並列 A-D コンバータの動作タイミングチャート 切換信号 換 ディジタルCDS

(5)

得られる.また,各画像に手振れ補正処理をしながら画を重ね ていくことで,高速の手振れ補正も可能になる.少し暗めで手 振れしやすい環境下でも,手振れのない明るい画像がレンズ手 振れ補正機能無しで撮影できる.この撮像例を図7に示す. 更に,CMOSイメージセンサの読出しの自由度の高さを活用 して,超高フレームレートCMOSイメージセンサは,多彩な読 出しモードを可能にしている.例えば,10ビットデータをピ クセルレート432Mbit/sで出力する640万画素60f/sモード,高 画質動画に対応した2×2加算モード,従来のSD動画に対応し た3×3加算モード,最大300f/sが可能な垂直1/5間引きモード, 12ビット出力モードでの640万画素15f/sモードが一つのCMOS イメージセンサで可能となる. このような高フレームレートCMOSイメージセンサをカメ ラに搭載することにより,カメラとして更に次のような機能も 実現できる.一つは,レリーズボタンを完全に押し込んだ時刻 よりも前の画像情報もカメラに記録しておくことによって,レ リーズボタンを押すタイミングが遅れた場合でも,本当に撮り たかった瞬間の画像を再現させる機能である.他の機能として は,高速連写した複数の画像情報を基に,中央部の被写体を位 置合わせしながら合成することによる流し撮りの機能である. このように,高フレームレートCMOSイメージセンサは, 微細画素にも対応できることに加え,信号処理アルゴリズムに 対する高い自由度を有しており,CMOSイメージセンサとして の動解像度の向上による高画質化(11),(12),及び,カメラとして の高画質化だけでなく,高機能化にも大いに効果がある. 3.4 まとめ CMOSイメージセンサの高画質化を実現する上で必要な特性 の中の高速化技術について述べた.CMOSイメージセンサの高 フレームレート化により,動解像度という画質特性の向上だけ でなく,以下の三つの性能向上が実現できた.一つはカメラと しては,高フレームレート撮像によるスローモーション撮影, 手振れ補正,動被写体解像度の向上である.次に,動画撮影時 に,動画に影響を与えることなく,レリーズボタンを押すと静 止画が撮れるという,動画と静止画の融合である.そして,複 数枚の画像から1枚の静止画を作成するという新しい機能と性 能の向上の実現である.

4.CMOS イメージセンサの

ランダムノイズ評価技術

カメラの高画質化の要求に伴い,カメラの製品開発時に CMOSイメージセンサの特性を単品の状態で性能評価しておく ことが極めて重要なこととなっている. 本章では近年イメージセンサの画素サイズの微細化に伴い イメージセンサの画質の中でも最も重要なランダムノイズの評 価方法について解説する.画質評価には定量的な評価と定性的 な評価,もしくは客観的な評価と主観的な評価の2とおりがあ る.本論ではランダムノイズの定量的な客観評価手段について 説明する. 4.1  CMOS イメージセンサのノイズの発生原理につ いて 2009年には画素サイズ1.4μmのCMOSイメージセンサが量 産開始されており,携帯電話やハイビジョンのビデオカメラを はじめとして小形化をけん引するキーデバイスとなっている. 画素サイズの縮小は物理的に画素に入射する光の量を減少 させるためにカメラとしての感度低下を引き起こす.しかしな がら低下した感度の分だけノイズを改善することで相対的な SN比をほぼ同等に維持することは可能である.このようにイ メージセンサの最も重要な感度特性を測る性能指標としてSN 比の評価方法に関して解説する. 図8は画素サイズ1.75μmの5M pixelのCMOSイメージセン サの撮像例である.ディジタルスチルカメラ等で一般的に行わ れている信号処理回路におけるノイズリダクションはかけない 状態での画像であり画像平たん部においてノイズが発生してい るのが分かる. 表2はCMOSイメージセンサが発生するさまざまなノイズに ついて分類したものである.これらのノイズが重畳されて図8 のようなノイズとして見えてくる.中でも最も支配的なのが光 ショットノイズと呼ばれるノイズである.光ショットノイズと は,光は量子力学的にはフォトン(光子)の集まりであり,こ のフォトンの揺らぎにより光電変換後の電子もノイズとなって 現れる現象である.一方,光電変換された電荷を読み出すトラ ンジスタで発生するのが読出し回路ノイズで,こちらは信号量 に依存しないのが特徴である. 図9はCMOSイメージセンサの構造を示しており,主なノイ ズの発生箇所を示す(13) SN比は一般的には信号対ノイズの比率として以下の式で定 義される. 図 8 CMOS イメージセンサ撮像事例(画素サイズ 1.75 μ m サ ンプル) 表 2 ノイズの種類 ラ ン ダ ム ノ イ ズ 信号量に依存 光ショットノイズ 信 号 量 に 依 存 しない 暗電流ショットノイズ リセットノイズ 分配ノイズ 熱ノイズ 1/f ノイズ 固 定 パ タ ー ン ノイズ 信号量に依存 感度むら 飽和むら 画素欠陥(黒欠陥) 信 号 量 に 依 存 しない 暗電流むら 画素欠陥(白欠陥,縦筋)

(6)

SNR=20Log(S/N) (1) ここでSは信号の電圧(mV)を表し,Nはノイズの電圧(mV) を表す.しかしながら実際カメラは被写体の明るさに応じて露 光条件を制御しており,本章では実際のSN比の評価方法につ いて解説する. 表2の代表的なランダムノイズに関して,光量に対する依 存性を示したのが図10のノイズ特性である.光に依存する光 ショットノイズと依存しない読出し回路ノイズの遷移を示して ある. 撮像条件としてはレンズのF値は5.6で,露光時間は1/30秒 とし,既に量産になっている画素サイズ1.75μmのCMOSイ メージセンサのランダムノイズ特性をグラフ化した.光ショッ トノイズはセンサ1画素に蓄えるフォトンの数の平方根に比 例するのが特徴で,図10のようにグラフを対数軸にとると光 ショットノイズは信号に対して傾きが1/2の直線となるのが特 徴である.図10のグラフの縦軸をSN比(Signal Noise Ratio)に 置き換えたグラフが図11のSN比照度依存性である. 光ショットノイズが信号電子数の√に比例するため,SN比 も対数軸上では傾きが1/2の直線となる.1,000lxにおけるSN比 の比較では光ショットノイズが読出し回路のノイズに比較して 約20dB低下しており,一般的に明るいところでは光ショット ノイズが支配的であることが分かる.実際の照度条件は屋内で 数百lx,屋外で数千lxの照度が普通であるので,高画質な撮影 は光ショットノイズをいかに抑制するかが,課題となっている. 4.2 CMOS イメージセンサのノイズの測定評価方法 カメラのノイズ評価に関する標準化としてISO12232,及び ISO15739の実績がある(14),(15).本章では実際のCMOSイメージ センサのノイズに即した評価方法に関して解説する. 4.3 ランダムノイズの測定方法(1) ランダムノイズの実際の測定評価方法について解説する.一 般的に一枚の画像は信号成分と固定パターンノイズ,そして ランダムノイズが重畳されたものである.したがって一枚の画 像からランダムノイズを抽出するには,前もって信号と固定パ ターンノイズを演算し原画像から減算することで求めることが できる. 図12にその原理を示す.ここで信号成分をSとし,固定パ ターンノイズをFPN,そしてランダムノイズをRNとする.ま たFはノイズが重畳された画像を表し,F(n)はnフレーム目の 画像を表す.

RN

FPN

S

F

(2)

k 1 n

)

n

(

F

K

1

FPN

S

(3)

k 1 n

)

n

(

F

K

1

F

RN

(4) 式(2),(3)より式(4)を得る.つまりランダムノイズは原画 像から,固定パターンノイズ成分を差し引くことで求めること が可能である. ここで光ショットノイズと読出し回路ノイズの具体的な測 定方法を述べる.光ショットノイズを算出するための原画像F �������� ����� ���� ����� � � �� �������� �� ��� � � � � � � � �������� ����� ��� � �� � � � � � � � � � �� ��� ���� ����� ������ � � 図 10 CMOS イメージセンサノイズ特性 �������� �� �� �� ����� ��� �� �� �� �� � � � �� � � �������� ��� ��� � �� �������� +� ������� �� � �� ��� ���� ����� ������ 図 11 CMOS イメージセンサ SN 比特性 図 9 CMOS イメージセンサ構造図 �������� �������� �������� DAC Photo Diode ������������ -S ca nn er D ou t Pixel Array -S ca nn er D ou t Pixel Array V � � � � D A C FD C l ADC CK Comp V � � � � D A C FD C l ADC CK Comp SCU S en s� P LL Counter 10 Column ADC CK CK4X 192MHz data Bus 10 SCU S en s� P LL Counter 10 Column ADC CK CK4X 192MHz data Bus 10 ������������������ H-Shift Register H-Shift Register

(7)

は照度を何とおりか変化させて撮像する.また固定パターンノ イズを測定するために,各照度に応じて図13に示すように連 続するフレーム画像を複数枚撮像し,すべての画像の平均画像 を演算する.この平均画像の標準偏差を測定することで固定パ ターンノイズのレベルを算出することができる. なお固定パターンノイズの演算精度は平均化する枚数をkと すると,1/√kに比例するので,画像の枚数は多ければ多いほ どよい.以上で式(4)の原画像Fと固定パターンノイズRNの 画像がそろうのでランダムノイズの画像が演算できる. 最後に式(4)のRNの画像の標準偏差を測定することでラン ダムノイズのレベルを算出することができる.なお,ここで求 められるランダムノイズは光ショットノイズと読出し回路ノイ ズが重畳されたノイズである. また読出し回路ノイズは光量には依存しないので,前述の測 定手順をカメラのレンズを遮光し全黒状態で同様な測定を行う ことで,光ショットノイズを含まない読出し回路ノイズを求め ることができる. 4.4 ランダムノイズの測定方法(2) 前述のランダムノイズ測定方法は固体パターンノイズの演 算誤差を1/10以下に抑えようとした場合100枚の画像が必要に なる.そこで2枚の画像でランダムノイズを測定できる簡易法 を解説する.連続する原画像をF(1),F(2)とし差分演算を行 うことで固定パターンノイズが相殺され,ランダムノイズ成分 のみが残る.図14にその原理を示す.ここでランダムノイズ RNは以下の関係式になる.

)

2

(

F

)

1

(

F

RN

2

(5) 式(5)より式(6)を得る.

))

2

(

F

)

1

(

F

(

2

1

RN

(6) したがって,ランダムノイズは連続する2枚の画像の差分画 像の標準偏差を測定し1/√2倍することで算出することができ る.

5.まとめ

コンスーマ向けのCMOSイメージセンサでは,多画素化に よる解像度の向上と同時に,カメラの小形化ができるような 1.75μm×1.75μmや2.5μm×2.5μmのような微細画素の開 発,更にカメラとしての従来からの特性は同等レベル以上を実 現する必要があり,これらの項目を実現したCMOSイメージ センサが現在市場に投入されている. この高フレームレートイメージセンサを開発するに当たり, 消費電力とノイズの増大を抑圧することが大きな技術課題で あったが,カラム並列の積分型A-Dコンバータの開発,信号の インタフェースへのLVDSの搭載により,コンスーマ市場にお ける高フレームレートCMOSイメージセンサの商品化が可能 となった.この商品化実現には,高度な画素技術による画素の 高感度化も大きな役割を果たしている. 今後,カメラに求められる,一層の多画素化,高速化,高画 質化を満足させるためには,消費電力とノイズの抑圧に加えて, 更なる高感度化,及び,回路領域のチップ面積から来るコスト をも考慮した上での新しい方式の高速化技術を開発していくこ とが必要である(16) そして,更なる高速化により,より自由度の大きな信号処理 が可能となり,CMOSイメージセンサの高画質化と多機能化が 進展していくと思われる. また,高速撮像におけるノイズ測定も今後標準化が必要な領 域である.今後,CMOSイメージセンサの画質改善,機能向上 に伴い,ますます画質評価技術の発展も求められている. (平成21年10月9日受付 平成21年11月1日最終受付) 文  献 (1) 角  博 文,他, 低 ノ イ ズ化 を 実 現し 新 画 素 構 造の HAD 型 CMOS イメージセンサの開発 映情学技報, vol.24, no27, pp.1-4, March 2000.

(2) S. Sugawa, et. al., Statistical analyses of random telegraph signals in the transistors equivalent to pixel source followers using a large-scale array TEG, ITE Technical Report, vol.32, no.19, IST 2008-10, CE 2008-23 pp.9-12, Oct. 2008.

(3) D. Zhang, et. al., A Modeling and Evaluation of the Random Telegraph Signal Noise on a CMOS Image Sensor in Motion Pictures IISW 2009, 05-P13, June 2009.

(4) 奈良部忠邦 , 撮像素子の特性向上と画像入力機器の高画質 化 , 第 42 回光学五学会関西支部連合講演会 , no.4, pp.35-43, Jan. 2009.

(5) T. Narabu, How the innovation of Image Sensor technology changed the performance and function of Cameras, 17th Annual AIA Business Conference, Feb. 2009.

(6) 奈良部忠邦, 超高フレームレートCMOSセンサ, 映情学誌, = + + ��(F) ��(S) �� ���� ���(FPN) �������(RN) 図 12 画像の信号とノイズの分類 n =k ��������� ������� n=1n=2 n=3 図 13 固定パターンノイズの抽出原理 ���� ���� n=1n=2 n=3 ���� � ���� ���� ���� 図 14 ランダムノイズの抽出原理 ���� ���� n=1n=2 n=3 ���� � ���� ���� ����

(8)

vol.63, no.3, pp.261-265, March 2009.

(7) S. Yoshihara, et. al, A 1/1.8-inch 6.4MPixel 60 frames/s CMOS image sensor with seamless mode change, ISSCC Dig.Tech.Papers, pp.492-493, San Francisco, USA, Feb. 2006.

(8) S. Yoshihara, et.al., Inch 6.4 MPixel 60 frames/s CMOS image sensor with seamless mode change, IEEE J. Solid-State Circuits, vol.41, no.12, pp.2998-3006, Dec. 2006.

(9) Y. Nitta, et. al., ed Digital double sampling with analog CDS on column ADC architecture for low-noise active pixel sensor, ISSCC Dig. Tech. Papers, pp.500-501, San Francisco, USA, Feb. 2006. (10) 遠山隆之,他, デジタル2重サンプリングを用いた列並列AD

変換器を搭載した高速・低ノイズCMOSイメージセンサ, 映 情学技報, vol.30, no.25, pp.17-20, March 2006.

(11) 小室 孝 , 他 高フレームレートカメラを用いた運動物体の 高S/Nイメージング, 第11回画像の認識・理解シンポジウム (MIRU2008), pp.973-978, July 2008.

(12) T. Komuro, et. al., High S/N imaging of a moving object using a high frame rate camera, IEEE International Conference on Image Processing, pp.517-520, San Diego, USA, Oct. 2008.

(13) 野村秀雄 他 1/1.8型640万画素60frame/s CMOSイメージセン サ 第 1 回イメージメディアクウォリティとその応用ワーク ショップ, no.B1-1, pp.10, Sept. 2006.

(14) ISO12232 TC42 WG18 Photography Digital still Cameras Determination of Exposure Index, ISO Speed Ratings, Standard Output Sensitivity, and Recommended Exposure Index,

(15) ISO15739 TC42 WG18 Photography Electronic Still-picture Imaging Noise Measurements,

(16) S. Matsuo, et. al., A very low column FPN and row temporal noise 8.9 M-Pixel, 60fps CMOS image sensor with 14bit column parallel SA-ADC, 2008 Symposium on VLSI Circuits Digest of Technical Papers, pp.138-139, Honolulu, USA, June 2008.

角 博文

1985-04ソニー株式会社へ入社.最先端プロセス及び CMOSデバイスの研究開発に従事.1998からCMOSイ メージセンサの開発,及び商品化に従事.

2004∼2009ISSCC(IEEE International Solid-State Circuits Conference ) テクニカルプログラム委員,2006 から IEEE コンピュータソサイエティ主催Computer Element Workshop で プ ロ グ ラ ム 委 員,2009 か ら IEEE Asian Solid-State Circuits Conference プログラム委員,IEEE主 催 International Symposium on Information and Computer Elements ISICEではプログラム委員,更に2006∼2009 早大生産システム研究センター客員教授.工博,IEEE 会員,映像情報メディア学会会員,2008から情報セン シング研究会幹事. 奈良部忠邦(正員) 1978 東北大・工・電子卒.同年,ソニー株式会社入 社.中央研究所情報処理研究室(当時)にて CCD の 研究開発に従事.以降,主に,半導体事業本部にて, CCD エリアセンサ,CCD トランスバーサルフィル タ,CCDメモリ,CCD 遅延素子,CCD リニアセンサ CMOSイメージセンサ,CMOSカメラモジュールの研 究開発・商品化を担当.現在,同社コンスーマープロ ダクツ & デバイスグループ半導体事業本部セミコン ダクタテクノロジー開発部門に所属.主幹技師.共著 「Charge-Coupled Device Technology」.

齊藤新一郎 1985 鹿児島大・工・電子卒.同年ソニー株式会社に 入社.以来イメージセンサの測定評価技術の開発に 従事.その後 ,カメラ信号処理 LSIの設計開発を経て CMOSイメージセンサの画質評価の標準化に従事.現 在,同社コンスーマープロダクツ & デバイスグルー プ半導体事業本部 イメージングLSI事業部応用技術部 主任技師

Updating...

参照

Updating...

関連した話題 :