ｽﾗｲﾄﾞ ﾀｲﾄﾙなし

画質評価

講義内容

画質評価

鮮鋭性，ノイズ，病変検出能を取り上げる．

（医用）デジタル画像の画質評価

画質要因 客観評価 主観評価の方法 鮮鋭性 解像度（画素数） ＰＳＦ ⇒ＦＷＨＭ，ＦＷTＭ ＭＴＦ ⇒ＳＱＲＩ，ＩV 一対比較法 系列範疇法 ノイズ ＲＭＳ粒状度，ＮＳＤ ウィナースペクトル⇒Dooleyらの尺度 階調 量子化ビット数 特性曲線（ガンマ特性） コントラスト その他 空間的特性 （輝度（濃度）むら，歪曲） 色再現性 病変検出目的の 画質評価 Computer observer Receiver operating characteristics (ROC)

PSF: point spread function

再構成画像において，微小点物体の広がりを評価する．

w

半値幅 FWHM:

full width at half maximum

x _x

) (x

h h(x)

1/10価幅 FWTM:

full width at tenth maximum w A 2 A 10 A A 注： 幅を持った物体の場合は，その幅の分を デコンボリューションするなどの補正が必要． ＰＳＦからのスカラー量の算出 FWHMが小さくても広い範囲にテールを引く ようなＰＳＦの場合は，FWTMも評価しておく 必要がある．

レンズ

物体面 _像面

f x y

( , )





( , )

x y

g x y

( , )



h x y

( , )

h(x,y):Point Spread Function(PSF) インパルス応答＝点光源に対する像 =点像分布関数または点広がり関数

G u v

( , )



H u v F u v

( , ) ( , )

実空間 フーリエ空間 コンボリューション 掛け算

H(u,v): Optical Transfer Function (OTF) |H(u,v)|:Modulation Transfer Function(MTF)















    









d

d

f

y

x

h

y

x

f

y

x

h

y

x

g

)

,

(

)

,

(

)

,

(

*

)

,

(

)

,

(

MTFを測定する

MTFの測定方法

③エッジを用いる方法 ④正弦波を用いる方法 ①点を用いる方法 ②線を用いる方法 点像分布関数 Point Spread Function 線像分布関数 Line Spread Function Imaging Imaging Imaging Imaging

MTFの測定方法

①点を用いる方法 点像分布関数 Point Spread Function 点物体（点光源）の像（点像分布関数）を得て， フーリエ変換をして，その絶対値をとる．

)

,

(

)

,

(

*

)

,

(

)

,

(

x

y

h

x

y

x

y

h

x

y

g







)

,

(

:

)

,

(

)

,

(

v

u

G

MTF

v

u

H

v

u

G



x

y

_y

Fourier Transform

x

v

u

)

,

(

:

)

,

(

)

,

(

v

u

G

MTF

v

u

H

v

u

G



Imaging

MTFの測定方法

②線を用いる方法 線像分布関数 Line Spread Function

x

y

Fourier Transform

y

x

v

u

)

(

)

0

,

(

)

0

,

(

)

0

,

(



G

u

G

MTF

u

H

u

G





：

回転対称の場合，

線物体の像（線像分布関数）を得て， フーリエ変換をして，その絶対値をとる．

)

(

*

)

,

(

)

,

(

x

y

h

x

y

x

g





)

,

(

:

)

(

)

,

(

)

,

(

v

u

G

MTF

v

v

u

H

v

u

G





)

,

(

x

y

g

Imaging

MTFの測定方法

③エッジを用いる方法

Line Spread Function

x

y

F.T.

y

x

v

u

)

,

(

x

y

g

Imaging

)

(

*

)

,

(

)

,

(

x

y

h

x

y

step

x

g















0

0

0

1

)

(

x

x

x

step





)

(

*

)

,

(

)

(

)

,

(

)

(

)

,

(

)

(

)

,

(

)

,

(

)

(

'

x

y

x

h

d

d

x

h

d

d

x

step

dx

d

h

d

d

x

step

h

dx

d

y

x

g

dx

d

x

g

























































)

(

)

(

x

x

step

dx

d

_

_

_'

₍

_,

₀

₎

_'

₍

₎

)

0

,

(

)

0

,

(

'



G

u

G

MTF

u

H

u

G





：

回転対称の場合，

)

,

(

'

:

)

(

)

,

(

)

,

(

'

v

u

G

MTF

v

v

u

H

v

u

G





y

x

x方向に 微分

)

,

(

'

x

y

g

MTFの測定方法

④正弦波を用いる方法 Imaging

)

2

sin(

)

(

x

b

a

u

₁

x

f







_f

_'

₍

_x

₎



_b

_'



_a

_'

_sin(

₂



_u

₁

_x

₎

min max min max min max min max

'

'

'

'

/

'

/

'

|

)

(

:|

f

f

f

f

f

f

f

f

b

a

b

a

u

H

MTF













x

x

1

u

u



x

)

(x

f

x

)

(

' x

f

b

a

a

'

b

1

u

u



u

1

u

|

)

(

|

H

u

max

f

max

'

f

min

'

f

min

f

デジタル画像システムのＭＴＦ

) , ( ) , ( )} , ( )] , ( ) , ( {[ ) , (u v M u v M u v comb du dv M u v M u v M  _{A S}  _{F D} MTF v u M MTF v u M d MTF v u M MTF v u M D F S A ディスプレイの 処理）の ：フィルタ（デジタル サンプリング間隔 サンプリング開口の アナログ入力部分の : ) , ( ) , ( : : ) , ( : ) , ( デジタルラジオグラフィのMTFの定式化 イメージング プレート(IP) デジタル画像 X線源 被写体 フィルタ リング ) , ( vu M_F MD( vu, ) IPのデジタイズ （アナログ入力， サンプリング） ) , ( )] , ( ) , ( [M_A u v M_S u v comb du dv ) / , / ( )] , ( ) , ( [h_A x y h_S x y comb x d y d アナログ入力のインパルス応答とサンプリング開口のコンボ リューションでぼけた画像をサンプリング間隔dでサンプリン グしていると解釈できる．

デジタル画像システムのＭＴＦ測定の問題

X線源 イメージングプレート スリット（鉛） デジタル画像 1 5 9 13 17 2 6 10 14 18 3 7 11 15 19 4 8 12 16 20 A B C D A 真のＬＳＦ ＬＳＦの変化に対してサンプリング 間隔が粗く，正確なＬＳＦの特性が 得られない（エリアジング） デジタル化後の１画素

傾斜スリットによるＭＴＦ測定法（Fujita,1992）

1 5 9 13 17 2 6 10 14 18 3 7 11 15 19 4 8 12 16 20 A B C D A 真のＬＳＦ B C D 1 5 9 13 17 2 6 10 14 18 3 7 11 15 19 4 8 12 16 20 8 12 6 7 9 11 10 13 14 スリットをわずかに傾けて撮影すると， 水平ラインごとに少しずつずれたサン プリングが行われ，それらを合成する ことで，結果的に細かくサンプリング したＬＳＦが得られる．

ＭＴＦから主観評価と相関するスカラー量を求める

１．ディスプレイ評価のためのSQRI

ディスプレイ評価のためのSQRI

Bartenは表示系におけるシャープネスの評価尺度として，解像度，コントラスト，輝度， 画像サイズおよび観察距離を条件に含んだ評価式SQRIを提案した[Barten,1990] du u u M u M J u t 1 ) ( ) ( 2 ln 1 1/2 0 m ax



       度関数 視覚のコントラスト感 ディスプレイの : ) ( / 1 : ) ( u M u M t MTF 06 . 0 ) / 100 1 ( 3 . 0 ) 3 / 1 ( 12 1 ) / 7 . 0 1 ( 540 )] exp( 1 )[ exp( ) ( / 1 15 . 0 15 . 0 2 . 0 2 / 1           c L b u w L a bu c bu au u M_t ただし ) / ( : ) ( : ) ( : 2 m cd L w u 有効ディスプレイ輝度 角表示サイズ 空間周波数 degree cpd ) (u M ) ( / 1 M_t u u / 1 u u u × × u J

視覚のコントラスト感度関数

10-1 100 101 102 100 101 102 103 空間周波数 (cycle/degree) コ ント ラ ス ト 感度 [cd/m2] 10 1 0.1 0.01 0.001 ディスプレイ輝度

佐柳の情報量と利用例





    0 0 ) ( )] ( ) ( [ . . du u M du u M u M V I V V P Information volume （佐柳，1956) MTF 視覚系の : ) (u M_V MTF 写真系の : ) (u M_P 各色素画像のボケの程度を変えた複数枚の 画像に対して， ・主観評価実験を行い，鮮鋭性を数値化する． ・I.V.を算出する． ) (u M_P



M u du u M_V( )/ _V( ) u u × u . .V I 正規化された 視覚系のMTF 利用例 カラーポートレイト写真における鮮鋭性に対する シアン，マゼンタ，イエロー色素画像の寄与（大 澤，1981)： 傾きの比率はY:M:C=1:6:3であり，それぞれの 補色(B,G,R)の明度に対する比とほぼ一致する． このことから鮮鋭性に影響するのは色相や彩度 でなく明度であると結論づけている．

（医用）デジタル画像の画質評価

画質要因 客観評価 主観評価の方法 鮮鋭性 解像度（画素数） ＭＴＦ ⇒ＳＱＲＩ，IV ＰＳＦ ⇒ＦＷＨＭ，ＦＷTＭ 一対比較法 系列範疇法 ノイズ ＲＭＳ粒状度，ＮＳＤ ウィナースペクトル⇒Dooleyらの尺度 階調 量子化ビット数 特性曲線 ガンマ特性 コントラスト その他 空間的特性 （輝度（濃度）むら，歪曲） 色再現性 病変検出目的の 画質評価 Computer observer Receiver operating characteristics (ROC)

RMS粒状度，NSD

i

g



   n i i g g n g NSD 1 2 ) ( 1 1 : i

D



    1 0 2 ) ( 1 n i i D D n  フィルムの場合：RMS粒状度

一般的な場合：normalized standard deviation または変動係数 coefficient of variation:CV

D

ノイズウイナースペクトルの算出手順

フーリエ 変換 平均 i i i D D D _{F D{ }}2 F D{ }2 F D{ }2 u u u NWS u( ) u 理想的には一様 な濃度の領域に 対してノイズが加 わった画像 フィルムの場合 ・・・ 同じ平均濃度をもつフィルム上で複数回スキャニングを行って濃度データを多数取得 し，それぞれのフーリエ変換の２乗を周波数uごとに平均する． 2 1 0 ] 2 exp[ ) ( 1 ) (



     n i i D j ui D n u NWS 

Dooleyらの尺度

u 2 1 0 ] 2 exp[ ) ( 1 ) (



     n i i M j ui M n u MVWS 

Dooley and Show 1979

濃度よりもマンセルバリューの変動量の絶対値が，知覚するノイズの粒状性に比例すると予測． ) (u MVWS マンセルバリューと反射率と の関係は 636 . 1 ) 100 ( 468 . 2 1/3   R M 0 2 4 6 8 10 0 0.2 0.4 0.6 0.8 1 反射率，R マ ンセ ルバ リ ュ ー ， M



 MVWS u MTF u du G [ ( )]1/2 _V( ) ) (u MTF_V × G u 2 / 1 )] ( [MVWS u u u 平方根をとる 視覚の周波数特性を掛ける 積分する 濃度データをマンセルバリューデータに換算．さらに フーリエ変換してウイナースペクトルを得る．

Dooleyらの尺度

（医用）デジタル画像の画質評価

画質要因 客観評価 主観評価の方法 鮮鋭性 解像度（画素数） ＰＳＦ ⇒ＦＷＨＭ，ＦＷTＭ ＭＴＦ ⇒ＳＱＲＩ，ＶＩ 一対比較法 系列範疇法 ノイズ ＲＭＳ粒状度，ＮＳＤ ウィナースペクトル⇒Dooleyらの尺度 階調 量子化ビット数 特性曲線（ガンマ特性） コントラスト その他 空間的特性 （輝度（濃度）むら，歪曲） 色再現性 病変検出目的の 画質評価 Computer observer Receiver operating characteristics (ROC)

ROC: receiver operating characteristics

観察者の確信度の頻度分布（イメージ図） 病変あり 病変なし 確率密度 観察者の確信度 病変ありの分布 病変なしの分布 病変あり と確信 病変なし と確信 A B C D E 病変は A：絶対にない・・・ B：ないと思う・・・ C：わからない・・・ D：あると思う・・・ E：絶対にある・・・ ・・・ 主観評価実験用画像セット ノイズの中に信号（病変パターン）を入れたもの，入れな いものを多数用意し，ランダムに観察者に提示する． 各提示画像に対して，観測者に信号が存在するかどうか の確からしさをＭ段階で答えてもらう． 判定された画像枚数 E le D le C le B le A le N N N N N , , , , , all le E le E le all le E le D le D le all le E le D le C le C le all le E le D le C le B le B le all le E le D le C le B le A le A le N N P N N N P N N N N P N N N N N P N N N N N N P , , , , , , , , , , , , , , , , , , , , , , , , , / / ) ( / ) ( / ) ( / ) (               E nl D nl C nl B nl A nl N N N N N , , , , , 病変あり 病変なし たとえば病変ありに_{ついて以下を計算} ・・・

ROC: receiver operating characteristics 2

観察者の確信度の頻度分布（イメージ図） 確率密度 観察者の確信度 病変ありの分布 病変なしの分布 病変あり と確信 病変なし と確信 A B C D E

False positive fraction (FPF)

0 ₁ 1 T rue pos iti v e fracti on (T PF) ) ( P_le,C TPF  ) ( P_nl,C FPF  A B C D E True Positive (TP) False Positive (FP) False Negative (FN) True Negative (TN) 実際に信号が存在するか？ YES NO YES NO 観測者は 信号が存在 すると 答えたか？

False positive fraction = FPF

(Number of false positive decisions) Number of actually negative cases

   ( ) N N N FP TN FP

True positive fraction = TPF

(Number of true positive decisions) Number of actually positive cases

   ( ) N N N TP TP FN ROC curve 感度 特異度 感度:sensitivity、特異度：specificity

ROC: receiver operating characteristics 3

false positiveが 増えることなく， true positiveの み増えていく． →良いシステム true positive は増える が， false positiveも同時に 増加する． →悪いシステム

False positive fraction

0 1 1 True positive fra cti on

False positive fraction

0 1 1 True positive fra cti on B 観察者の確信度の頻度分布（イメージ図） 確率密度 観察者の確信度 病変ありの分布 病変なしの分布 病変あり と確信 病変なし と確信 A B C D E 確率密度 観察者の確信度 病変ありの分布 病変なしの分布 病変あり と確信 病変なし と確信 A B C D E

（医用）デジタル画像の画質評価

画質要因 客観評価 主観評価の方法 鮮鋭性 解像度（画素数） ＰＳＦ ⇒ＦＷＨＭ，ＦＷTＭ ＭＴＦ ⇒ＳＱＲＩ，ＶＩ 一対比較法 系列範疇法 ノイズ ＲＭＳ粒状度，ＮＳＤ ウィナースペクトル⇒Dooleyらの尺度 階調 量子化ビット数 特性曲線（ガンマ特性） コントラスト その他 空間的特性 （輝度（濃度）むら，歪曲） 色再現性 病変検出目的の 画質評価 Computer observer Receiver operating characteristics (ROC)

Computer observerを用いたシステム評価・設計

病変の検出能

(lesion detectability)

を評価基準として，Computer

observerを用いてシステムを評価，設計する．

病変あり

病変なし

良いシステム

病変あり

病変なし

悪いシステム

病変あり 病変なし

病変あり

病変なし

特徴量空間 特徴量空間

Non-prewhitening filter

Non-prewhitening filter (NPW)



_NPW



(

f

_le



f

_no

)

t

f

病変あり

病変なし

le

f

no

f

NPW



f

lesion no lesion lesion



























n

f

f

f



2 1

f

1 f f₂ n f 画像を列ベクト ルで表現したも の no lesion 各クラスのばらつきの模式図 no no f f f  |nolesion  le le f f f  |lesion  ばらつきはノイズのよるものと仮定 f f f_{le no} t NPW (  ) 

Prewhitening filter

Prewhitening filter (PW)



_PW



(

f

_le



f

_no

)

t

S

₂1

f

S

2

:

共分散行列が共通

le

f

no

f

1

u

2

u

1

u

2

u

1

u

2

u

Normalization Diagonalization _PW t no le t ) ( 2 / 1 f f U  

f

U

t t

U



1/2

f

NPWに比べて識別能が高い

f Ut 2 / 1   lesion no lesion lesion lesion                       2 2 2 2 2 2 1 1 2 2 1 1 2 1 1 2 ) ( ) ( ) )( ( ) )( ( ) ( n n f f f f f f f f f f f f f f    S 1

u

2

u

Intra-class scatter matrix

f S f f f U U f f f U U f f f U U f f f U f f U 1 2 1 1 2 / 1 2 / 1 2 / 1 2 / 1 ) ( ) ( ) ( ) ( ) ( ) ) ( (                        t no le t t no le t t no le t t no le t t t no le t PW  λ_PWの導出

Hotelling observer

f

S

f

f

)

₂1

(







t no le Hot



le

f

no

f

1

u

2

u

1

u

2

u

1

u

2

u

Normalization Diagonalization



_Hot t no le t ) ( 2 / 1 f f U   t

U



1/2

共分散行列が異なる

:

2

S

no le 2, , 2 2

2

1

2

1

S

S

S





Hotelling observer:

no no le le

P

P

_{2, 2,} 2

S

S

S





ただし _{より一般的には共分散行列(Intra-class} scatter matrix)の期待値 lesion lesion lesion no lesion no lesion no lesion

Hotelling observerの識別能力-Hotelling trace-

f S f f ) ₂1 (    t no le Hot  1

u

2

u

)

(

₂1 ₁ 2

S

S







J

tr

SNR

_Hot





) ( ) ( ) ( ) ( 1 1 2 2 1 2 2 , , 2 S S f f S f f          tr J SNR no le t no le no Hot le Hot Hot   le t no le le t no le le Hot f S f f f S f f 1 2 1 2 , ) ( ) (        no t no le no t no le no Hot f S f f f S f f 1 2 1 2 , ) ( ) (        t mean np mean no no t mean le mean le le P P ) )( ( ) )( ( 1 f f f f f f f f S      

Inter-class scatter matrix

Hotelling traceの意味合い lesionの場合の λ_Hotの平均値 ここで no lesionの場合の λ_Hotの平均値 lesion no lesion λ_Hotの軸上での，各クラスの平均 値間の距離の２乗．

Hotelling traceを用いたシステム評価の流れと問題点

１．対象とする病変（サイズ，コントラスト等）を仮定する．

２．評価したいシステム(hardware and/or software)を用いて

画像を再構成．（多数のサンプルが必要）

３．Hotelling trace(SNR)でシステムの能力を評価．

S

₂

の逆行列が存在するためには，画素数nより

多いサンプルが必要．⇒非現実的．

)

(

₂1 ₁ 2

S

S







J

tr

SNR

_Hot

fから特徴量を抽出して次元を減らす．

問題点

評価の流れ

Channel modelの導入

lesion lesionの中心に応答関数を重ねて内積をとる． lesionがない画像の対しても同様の処理．   空間周波数面 フーリエ逆変換 Channel 1  フーリエ面での フィルタ形状 (例) 1

u

f

f

u

t

v

₁



₁ 他のchannelも同様に計算 して以下の低次元特徴ベク トルを得る．

Uf

v



_ただし                       t m t m v v u u U v   1 1 , 1 2 3 4 低次元化以降は，Hotelling observerと同様の手順．

論文例

Optimum compensation method and filter cutoff frequency in myocardial SPECT: A human observer study

Sharlini Sankaran, Eric C Frey, Karen L Gilland, Benjamin M W Tsui. The Journal of Nuclear Medicine. New York

Mar 2002.Vol.43, Iss. 3; pg. 432, 7 pgs

心筋ＳＰＥＣＴにおける主要な劣化要因 ・吸収 ・散乱 ・距離に依存したコリメータ-検出器応答 論文内容： ・これらの要因に対する補正が心筋血流欠損の検出能を改善できるか調べること． ・主観評価実験結果（既報論文）とコンピュータオブザーバと比較すること．

用意した画像データ

①男性（息をはいた状態） ②男性（息を吸った状態） ③女性 ３パターン ８種類の異なる構造の心臓 ６種類の異なる血流欠損位置 × × ＝１４４画像

比較する処理方法

１．吸収補正(AD) ２．吸収補正と検出器応答補正 ３．吸収補正と散乱補正 ４．吸収補正と検出器応答補正と散乱補正(ADSC) 3次元再構成後Butterworthフィルタリングにおけるカットオフ周波数 0.12 /pixel 0.14 /pixel 0.16 /pixel 0.22 /pixel

ＲＯＣ実験結果

４通りの補正処理間の比較 バターワースフィルタの４つの カットオフ周波数間の比較

CHOとhuman observerとの比較

CHOとhuman observerで，傾向が一致し，大きさの順位も一致した．

CHOの値はhuman observerの値の＋１σの範囲内だった．

撮影中のカメラのぶれによって，１方向に画像がぼける場合

流れ劣化

レンズ 物体面 _像面 x y PSF:h(x,y) フーリエ変換 撮影中の 一方向への動き 点がライン状にぼける

x

y

)

(

)

(

)

,

(

L

y

rect

l

x

rect

y

x

h



OTF:H(u,v) u v

)

(

sinc

)

(

sinc

)

,

(

u

v

lu

Lv

H



l

L



ただし

流れ劣化のOTF

lu

lu

lu

v

u

H





sin

)

(

sinc

)

,

(





0

)

(u

H

u

l

1

l

2

l

3

r r 位相の反転に注意！ に対して，出力パターンは

x

u

₀

2

cos



のパターン

空間周波数

u



u

₀

x

u

lu

x

u

lu

x

u

v

u

H

y

x

g

0 0 0 0 0 0

2

cos

|

)

(

sinc

|

2

cos

)

(

sinc

2

cos

)

,

(

)

,

(















流れ劣化の観測画像

オリジナルパターン 劣化画像

)

,

(

x

y

f

流れ劣化

)

,

(

x

y

g

_x

y

160



y

180

200

220

240

260

0 20 40 60 60 80 100 120 row number 160 0 20 40 60 60 80 100 120 row number 180 0 20 40 60 60 80 100 120 row number 200 0 20 40 60 60 80 100 120 row number 220 0 20 40 60 60 80 100 120 row number 240 0 20 40 60 60 80 100 120 row number 260

１次元信号の切り出し

0

)

(u

H

u

l

1

l

2

|

)

(

|

H

u

)

160

,

(x

g

g

(x

,

180

)

)

200

,

(x

g

g

(x

,

220

)

)

240

,

(x

g

g

(x

,

260

)

0 20 40 60 0 200 400 600 row number 160 0 20 40 60 0 200 400 600 row number 180 0 20 40 60 0 200 400 600 row number 200 0 20 40 60 0 200 400 600 row number 220 0 20 40 60 0 200 400 600 row number 240 0 20 40 60 0 200 400 600 row number 260

１次元信号のスペクトル

1次元フーリエスペクトルの絶対値 0

)

(u

H

u

l

1

l

2

|

)

(

|

H

u

各ラインの1d-FT

dx

e

y

x

g

y

u

G

ux j







2 0 0

)

,

(

)

,

(

1 1.5 2 2.5 3 3.5 4 4.5 5 5.5 6 0 50 100 150 200 250 300 350 400 450 Frequency MTF 0

)

(u

H

u

l

1

l

2

|

)

(

|

H

u

MTF

視覚のコントラスト感度関数

10-1 100 101 102 100 101 102 103 空間周波数 (cycle/degree) コ ント ラ ス ト 感度 [degree] 60 6.5 2.3 1 0.5 表示サイズ