心動態画像の標識付けがオプテイカルフローによぼ す影響のモデル解析
著者 牧野 珠美, 木村 晃造, 小高 知宏, 小倉 久和
雑誌名 福井大学工学部研究報告
巻 43
号 2
ページ 331‑338
発行年 1995‑09
URL http://hdl.handle.net/10098/3629
第43巻 第2号 1995年9月
心動態画像の標識付けがオプテイカルフローに およぼす影響のモデル解析
牧野珠美ホ 木 村 晃 造H 小 高 知 宏 + 小 倉 久 和 +
An An a l y s i s o f t h e E f f e c t o f T a g g i n g on O p t i c a l Flow i n C a r d i a c M o t i o n An a l y s i s
Tam釘凶MAKINO，Kozo KIMURA， Tomohiro OD
A K A ，
and Hisakazu OGURA (Received Aug. 31， 1995)We have investigated methods of recognizing and of representing the cardiac mo‑
tion on Cine M RI. We analyze moving picture to make use of the optical flow analysis. In the previous report
，
we extracted optical日owby the use of the spatial global opti‑ mization rnethod. However，
the optical flow field extracted by this methods contained global in日uenceof the partial change. Specifically， we could look divergence and ro‑ tation in the optical flow日eld，because it had been affecting shade slant vector.To improve the drawback
，
we extract optical flow by the use of the filters method.We analyze characteristics of optical flow in this method， by the use of the motion mode model simulations
，
and simulations of the model put tag.1 はじめに
331
近年医用動画像分野において、イメージング装置の目覚しい発展により、動画による診断が可能に なった。これらの画像を用いて客観性の高い画像診断を行うには、画像の構成上の原理や特性を理解 し、客観的な画像の特性抽出や判断を伴う画像処理ができるようになる必要がある [1]。一方、計算 機による動画理解では、静止画像に対する特性抽出法的な理解方法ではなく、「動き j としての検出 が重要とみなされるようになってきた[2]"‑[3]。
そこで本研究では、近年脚光を浴びてきたシネMRIの画像に注目し、この医用動画像を理解・認識 するために必要な解析法および動態の表現方法を検討することを目的とする。ここで、シネ(Cine)MRI
とは、 MRI(MagneticResonance Imaging :核磁気共鳴を利用した断層写真撮影装置)技術の進歩に より撮影に要する時間が短縮され、これをモニター上で短時間に繰り返し表示させると動画として観 察されるものを指す。
動画の解析法は、動きの検出法として代表的なオプテイカルフローに基づく方法を用いる。これま での報告では HornおよびShunckにより提案された空間的大域最適化法を用いてオプテイカルフ ローの検出を行った
[ 4 ]
"‑例。しかし、このアルゴリズムにより検出されるオプテイカルフローは、大 域的にオプテイカルフローを求めるため、画像パターンの大域的な影響がオプテイカルフロー場に現 れてしまう。特に、濃淡勾配ベクトルの影響を強く受け、オプテイカルフロー場には見掛け上の発散 や回転が現れた。これらの問題点を解決するため本研究では、フィルタを適用して画像パターンを滑らかにし、局所 的に最小自乗法でオプテイカルフローを検出するフィルタ法によりオプテイカルフロー検出を行う。
・大学院情報工学専攻 日大学院システム設計工学専攻
f工学部情報工学科
332
まず、このフィルタ法により得られるオプテイカルフローの特性を、並進運動のモデルを用いて解析 した。また、波状(横波)運動や伸縮(縦波)運動モデルのシミュレーション画像に対するオプテイカ ルフローの特性解析も行った。
今回解析対象としているシネ MRI心横断像には、高速断層撮影法の一種である GRASS法に、
SPAMM(Spatial Modulation of Magnetization :空間磁化変調)法を組み合わせることにより、磁気 的に標識 (tag) が格子状に付けられている [8]~[9] 。タグは、複雑な動きをする心筋の収縮・拡張の 様子をより詳細に把握できるようにするためつけられたものであるが、このタグ付けにより、どの程 度動態の動きが分かりやすくなるのか確認するため、タグ付けを行った動態モデル(並進運動、波状 運動、伸縮運動)のシミュレーションを用いてオプテイカルフローの解析も併せて行った
[ 1 0 ] 0
本論文では、まず2章で今回動態解析として用いているオプテイカルフローのアルゴリズムであ る、フィルタ法の原理ついて簡単に説明する。 3章では動態モデルのシミュレーション、ならびに格 子パターンを重ね合わせたモデルのシミュレーションについてオプテイカルフローの検出結果をまと める。 4章では、今回用いた手法について考察し、それにより生じた問題点ならびに課題についてま とめる。
2 フィルタ法によるオプテイカルフロー
対象がある速度でなめらかに f動く j ということは、その対象の各点が、時空間的に連続な速度 場を生成することだと考えられる。このような速度場のことを、一般にオプテイカルフロー(optical fiow)という。
動画像中の各点において、動きが滑らかで、かつ剛体的であるという条件の下で、オプテイカルフ ロー
( u
，v )
に対する基本拘束式f xu+ ん v+
ん =0 (2.1) が得られる。これはu‑v平面上のIつの直線を与える。この直線を拘束直線という。ただし、 z、U を平面座標、 tを時刻として、f ( x
，y，t )
は対象としている動きのある濃淡画像で、f x
、ん、! t
はその偏 導関数である。実際にオプテイカルフローの2成分を動画像から求めるには、さらにlつ以上の拘束 条件が必要である。本研究では、対象画像にフィルタをかけた出力画像を用いることにより、複数の 拘束直線群を導き、この直線群に最小自乗法を適用することにより、オプテイカルフローを検出するフィルタ法[11]を利用した。
フィルタ法では、異方性をもっm個の平滑化フィルタ (gaussianfilter)を用意し、原画像に対する これらのフィルタの出力画像を /i(x，y，t)、(i= 1，2γ・.，m)とする。これらの複数の出力画像対に対
して、オプテイカルフローの拘束式
/ixu
+
/iyv+ ん
=0 i=
1，"'，m (2.2) をそれぞれ導く。ここで、んがf
旬、んは、フィルタ出力画像ん(x，y， t)のx，y、tに関する偏導関数 である。2つの異なる拘束直線が得られると、その交点で唯一にフローベクトルを決定できる。 m個の平滑 フィルタから得られる m個の拘束直線の場合には、その共通の交点として定義できる。ここではそ れを、最小自乗法で推定する。
3 オプテイカルフローの特性解析
動態の変動がオプテイカルフロ}にどのような影響を与えるのか解析する。本研究では、動態モデ ルとして、並進運動、波状運動(横波運動)、伸縮運動(縦波運動)の3種類の運動を用いる。またシ
ミュレーショ ンでは、テストパターンとして図1(a)に示すような2次元ガウス分布を、図1(b)に 示すような濃淡像(60X60画素)に変換して用いる。
(a)
2
次元ガウス分布 (b)濃淡像図1:濃淡像と濃淡勾配ベク トル
︐ ︐ ︐ 〆
〆
J ' F F
d
〆 〆 〆 〆 〆
F
〆 〆 〆 〆 〆 〆
r
J
〆 J
〆〆 〆
r
J J
〆J
〆〆
MJJJJJ
〆/
I・︐
︐ ︐
t '・7
︐
︐ ︐
︐
J ' ' '
' ''
i a
t ‑‑ L ' hL .
︑L F
L .︑ . 司
︑
LL
︑ ︑ ︑ ︑ ︑
︑︑︑ ︑
︑︑ ︑ ︑ ︑
︑ ︑ ︑ ︑ ︑
︑︑︑︑ ︑ ︑
︑ ︑
︑ ︑
︑ ︑ 可
︑ ︑
︑ ︑
︑ ︑
﹃
︑ ︑
︑ ︑
︑ ︑
﹃
﹄
h k k
︑ ︑ ︑
﹄
k k k︑︑︑ ︑
九
K K︑ ︑
︑︑︑︑
kヘ ¥ ¥ ︑ ︑
︑ ︑町
民 ︑ ¥
¥ ヘ ヘ ヘ . ︑
K¥K
︑ヘ ヘ Rt
︑︑
・
1・1・1
.2
・1
i
→→ ︐ r' 'e fa l‑‑‑
1
・
1ノノ
y
ノy f
f
ノノノ
/y yy
Jノノノ
/ F F
J
ノ ノ ノ ノ F P
J S F
ノノ
/ a r ' 4 J S F F
︐r
a F
︐
(c)濃淡勾配ベクトル
図
2
(a)、( b )
は心臓のシネM R I
画像である。図2
(a)はGRASS
法によるもの、( b )
はGRASS
法と
S PAMM
法を組み合わせて磁気的に標識付け (tagging)を行ったものである(詳細は参考文献[ 9 ]
参照)。タグは図2(b)で格子状の網模様に見える。このタグ付けにより心臓の動きがどの程度分かり やすくなるのかを確認するため、図2(c)のようなテストパターンを作成した。このテストパターン は、図1(b)の濃淡像に、
k(x
，
y)=
A(αsin x+ s
sin y+
1) (3.1)で表される格子状パターンを重ね合わせた濃淡像である。ここで、 Aは格子間隔、 α、
p
は格子の濃 度である。本報告では、このようなテストパターンを用いて動態モデルシミュレーションを行い、その結果を 用いてオプテイカルフロー解析を行った結果も併せて報告する。
(a) ︑J︑BE︐ 30
〆' a ︑
図
2 :
心臓のMRI
画像と格子状パターンを重ね合わせた濃淡像 (c)3.1 並進運動の影響
並進運動のシミュレーション結果を図3(a)、(b)に示す。図3(a)は、時刻
t=O
における濃淡像 である。画像パターンは、 (a)から (b)へと水平に移動しており、移動量は画素数にして 2ピクセル である。図3(c)は、図3(a)、(b)の2時点から、オプテイカルフローを検出した結果である。また、334
図3(d)は、図3の(a)から (b)のょっな並進運動(左から右に2ピクセル平行移動)における実際 の変位像である。
(a)原画 ︑J︑ ︐ ︐
ED
〆︐a
︐ ︑
図3:並進運動のシミュレーションとオプテイカルフロー検出結果
(c) (d)実際の変位像
警 護 一一一一一一一一一 一一一一一一一一一 一一一一一一一一一 一一一一一一 一一一一一一 一一一一一一 一一一一一一一一 一一一一一一一一一 一一一一一一一一一 一 一 一 一 一 一 一 一 一 一 一 一 一 一一一一一一一一一 一 一 一 一 一一一一一一一一一 一 一 一 一 一 一一一一一一一一一 一 一 一 一 一 一 一 一 一 一 一一一一一一一一一 一一一一一一一 一 一 一 一 一 一 一一一一一一一一一 一 一 一
重 一 養 護 一 恐 喝 S
図4(a)、(b)は、濃淡勾配パターン(図3(a))と格子状パターン(格子間隔は画素にして6ピクセ lレ)を重ね合わせ並進運動させたシミュレーション結果である。図4(a)は、時刻 t=Oにおける濃 淡像である。画像パターンは、 (a)から (b)へと水平に移動しており、移動量は画素数にして2ピク セルである。図4(c)は、図4(a)、(b)の2時点から、オプテイカルフローを検出した結果である。 また、図4(d)は、並進運動(左から右に2ピクセル平行移動)における実際の変位像である。
( a)原画 ︑︑JB︐ 可b︐︐EE
︑
図4:格子状パターンを重ね合わせた濃淡像の並進運動とオプテイカルフロー検出結果 (c) (d)実際の変位像
←叢雲這器~
一 一
ー図 3(c)の格子なしの濃淡像のオプテイカルフローの検出結果と、図 4(c)の格子状パターンを重 ね合わせた濃淡像のオプテイカルフローの検出結果を比較すると、図3(c)の結果のほうが、より実 際の変位像に近い結果である。これより、並進運動のような単純な動きをする動態のオプテイカルフ ロー検出には、格子パターンのような標識付けを行わないほうが動態の変位をうまく表現できること がわかる。
3 . 2
波状運動(横波運動)の影響波状運動のシミュレーションを行った結果を図5(a)、(b)に示す。図5(a)は時刻t=Oにおける 濃淡像である。波は、図の左から右の方向に水平に進行している。波長は50画素、振幅は3/2画素、
図5の (a)と(b)との間には2画素の位相差がある。図5(c)は、図5(a)、(b)の2時点から、オ
図5の(a)から (b)のような波状運動 プテイカルフローを検出した結果である。また、図5(d)は、
の時間経過における実際の変位像である。
ss
・a
‑a ss a‑
‑‑
﹄o
a‑
‑a ba
‑‑
‑
﹄
﹄
aa
‑‑
﹄a﹄
aa aa
‑‑
﹄aa
a‑
‑a ss a‑
‑a aa
‑‑ aa as a‑
‑ .. .. .. ..
aa‑‑‑‑‑
︐.
︐
... ︐
︐︐
︐︐
︐ .. ︐ ︐
''''''''''??''''
f' ff f・
‑f
??
?? 'o ff
・︐
f'f'?????T'TTT'' tf︐TOOT
‑E'
'' vy
‑‑ 'o
︐︐.︐︐︐︐︐︐︐︐︐︐︐︐︐
••••••••••••••••
•••••••
88888'aaaaa‑‑a'o
一 一 審 一 一 一 一 一 一 川 一 一 一 一 一 一 一 一 一
(d)実際の変位像 (c)
︑︑ ︐ ︐ ︐
FLu
r︐
︐ .
︐
町 ︑
( a)原画
図5:波状運動のシミュレーションとオプテイカルフロ
‑t
食出結果濃淡勾配パターン(図5(a))と格子状パターン(格子間隔は画素にして6ピクセル)を重ね合わせ た波状運動のシミュレーション結果を図6(a)、(b)に示す。図6(a)は時刻 t=Oにおける濃淡像で ある。波は、図の左から右の方向に水平に進行している。波長は 50画素、振幅は3/2画素、図6の ( a)と(b)との間には2画素の位相差がある。図6(c)は、図6(a)、(b)の2時点から、オプテイカ ルフローを検出した結果である。また、図6(d)は、波状運動における実際の変位像である。
as sa s‑
‑a
﹄
aa
‑‑ ab a‑
﹄b
aa
‑‑ aa
‑‑ al
‑‑
‑A bb a‑
‑A 6
0・
・S aa
‑‑ aι
・h ab a‑
‑a al
・
‑‑‑‑‑a‑‑aaa‑‑‑‑‑‑
︐ ....
︐︐
︐︐
︐ .. ︐
︐︐
. '''''???'?'?'''' fff・‑???????'?????''???'o'????'TT ''tf'fft'YT‑‑f︐︐v ︐︐︐.︐︐︐︐︐︐︐︐︐︐︐︐
••••••••.••.••••
. ︐︐a‑‑
‑‑
‑‑
‑‑
‑
‑a
・・
・
8・8Saa‑‑assessa‑‑
一 一 一 ↑ 一 弘 一
n
⁝ お さ か
⁝ ⁝ ⁝ ⁝ 一 片 山 手
⁝ ⁝
⁝ 一 一 一 ⁝
⁝ 一 一 一 限 定 ⁝ 以 一 一
⁝ ⁝ ⁝ ⁝
ι ⁝ ⁝ ⁝ 十 一 一 ⁝ 一 一
一
(d)実際の変位像 (c)
︑︑ ︐ ︐
FLU 〆
︐ s
・ ︑
(a)原画
図6:格子状パターンを重ね合わせた濃淡像の波状運動とオプテイカルフロー検出結果
図5(c)の格子なしのオプテイカルフローの検出結果と図6(c)の格子状パターンを重ね合わせた濃 淡像のオプテイカルフロー検出結果を比較すると、図6(c)のほうが実際の変位像に近い結果である。
しかし、変位量が大きい画素の部分では、実際の変位像とはかなり異なる結果が検出されている。こ れらの結果より、波状運動のような少し複雑な動きをする動態のオプテイカルフロー検出には、格子 パターンのような標識付けを行ったほうが、動態の変動をより実際の変位に近いオプテイカルフロー
として検出できることがわかる。
伸縮運動(縦波運動)の影響
縦波運動のシミュレーションを行った結果を図7(a)、(b)に示す。図7(a)は時刻 t=Oにおける 濃淡像である。波数ベクトル k(詳細は参考文献[10J参照)は図の真横に左から右の方向を向いてい る。波長は50画素、振幅は3/2画素、図7の (a)と(b)との聞には2画素の位相差がある。図7(c)
3 . 3
336
は、図7(a)、(b)の2時点から、オプテイカルフローを検出した結果である。また、図7(d)は 、 図 7の(a)から (b)のような縦波運動の時間経過における実際の変位像である。
( a)原画 ︐ ︐ 〆︑︑b ノ11 (c) (d)実際の変位像 図7:伸縮運動のシミュレーションとオプテイカルフロー検出結果
この結果では、画像の中心付近(濃度が高い場所)において、期待するオプテイカルフローを獲得 できていない。これは、シミュレーションとして用いている伸縮運動では、密度の変化により濃淡変 動がおこり、オプテイカルフロー検出の前提である「濃淡値一定での変動
J
という条件に反している ために現れた結果であると考えられる。濃淡勾配パターン(図7(a))と格子状パターン(t各子間隔は画素にして6ピクセル)を重ね合わせた 伸縮運動のシミュレーション結果を図8(a)、(b)に示す。図8(a)は時刻 t=Oにおける濃淡像であ る。波数ベクトル kは図の真横に左から右の方向を向いている。波長は50画素、振幅は3/2画素、
図8の(a)と(b)との聞には2画素の位相差がある。図8(c)は、図8(a)、(b)の2時点から、オプ テイカルフローを検出した結果である。また、図8(d)は、伸縮運動の時間経過における実際の変位 像である。
‑‑タ
(a)原画 ︐ .. ︑ ︐ LU J︑︐ ︐ (c) (d)実際の変位像
図8:格子状パターンを重ね合わせた濃淡像の伸縮運動とオプテイカルフロー検出結果
図7(c)の格子なしのオプテイカルフローの検出結果と、図8(c)の格子状パターンを重ね合わせ た濃淡像のオプテイカルフローの検出結果を比較すると、図8(c)のほうがオプテイカルフローの形 状が分かりやすくなっている。しかし、図8(c)、図7(c)のどちらの結果も、濃度が明るい画素にお いて期待するオプテイカルフローを獲得できていない。これは、変位ベクトルと濃淡勾配ベクトルの 内積が影響をおよぼしているとともに、伸縮運動の性質である密度の変化による濃淡の変動が影響を およぼしていると考えられる。
4 考察と今後の課題
本研究では、医用動画像を理解・認識するために必要な解析法および動態の表現方法を検討するこ とを目的とした。医用動画像としてシネ MRI心横断面像を用い、オプテイカルフローにより心動態 の解析を試みた。しかし、検出されたオプテイカルフローが動態のどのような特徴をあらわしている のか理解するのがとても困難であった。そこでまず、フィルタ法のアルゴリズムによるオプテイカル フローの特性を解析するため、動態のシミュレーション画像を用いて、得られたオプテイカルフロー について検討を行った。
フィルタ法のアルゴリズムを並進運動モデルに適用すると、ほほ実際の変位像に近いオプテイカル フローを得ることができた。しかし、波状運動や伸縮運動モデルに適用すると、実際の変位像とは異 なるオプテイカルフローとなった。特に、変位ベクトルと濃淡勾配ベクトルが打ちけしあう画素や、
濃度が高い画素において、オプテイカルフローが水平に現れたり、変位ベクトルと濃淡勾配ベクトル を合成したものとして現れたりした。これは、シミュレーションとして用いている伸縮運動の特徴で ある密度の変化による濃淡の変動により、オプテイカルフローの検出の前提である濃淡値一定での変 動という条件を満たしていないためにおこった現象であると考えられるD
また、動態モデルに格子状のタグパターンを重ねたシミュレーションを作成し、オプテイカルフ ローを検出した。並進運動では、格子状のタグの変動がオプテイカルフローに影響をおよぼした結果 となった。しかし、波状運動や伸縮運動では、格子状のタグパターンを重ねたことにより、オプテイ カルフローの検出結果は、実際の変位像に近いものとなった。これらのことを総合すると、タグ付け を行うことにより、視覚的のみではなく、動態の動きを変位ベクトル場として現す場合にも変位の様 子が分かりやすくなると考察できる。
これまで、モデルによる動態のシミュレーション画像を用いて、空間的大域最適化法、空間的局所 最適化法、フィルタ法の3種類のアルゴリズムについてオプテイカルフローを検出し、それぞれの方 法について特性を解析してきた [4]~[6ト [10]0 空間的大域最適化法は、画像全体でのオプテイカルフ ローの滑らかさを lつの評価としているため、部分的な変動が画像全体に影響をおよぼすことがあっ た。また、空間的局所最適化法は、画像平面上で、オプテイカルフロー一定の領域を大きなプロック で分割可能であれば、比較的よい精度でオプテイカルフローを決定できるが、それ以外の時には、空 間的大域最適化法に比べやや粗いオプテイカルフローとなった。これらの解析により、フィルタ法に よるオプテイカルフロー検出が、より実際の変位像に近い結果を検出できるO これは、フィルタを用 いることにより、オプテイカルフローの滑らかさや局所性が損なわれることなく検出できたからでは ないかと考えられる。
実際、心動態に対してオプテイカルフローによる動きの検出を行うには、今回解析したモデルの他 に心筋の動きとして考えられる回転しながら収縮するような運動や、並進、波状、伸縮などの様々な 運動が複雑に合成しているような運動についてもモデルによる解析が必要であると考えるoまた、心 筋のシネMRI画像では主に心筋中のプロトンを画像化しており、心筋の収縮や拡張にともなった密 度の変化が、その濃淡に影響をおよほすため、伸縮運動などの濃淡パターンが変化するような運動に ついてその変化がオプテイカルフローにどのような効果をおよぼすかを解析することも重要である。
一方、今回検出法として用いたフィルタ法には解がどの方向にどの程度不確実性を持っているかを推 定できる方法がある。これにより、検出されたオプテイカルフローが、実際の変位像との間にどの程 度の誤差を持っているかわかるため、この方法をオプテイカルフローの解析に適用することも検討し ている。これらのオプテイカルフローによる解析を加えることにより、心筋の動きがより詳細に把握 できるようになると考える。
338
参考文献
[1]竹中栄一，長谷川伸.
r
医用電子診断の基礎ー装置と応用‑J
(オーム社，1984) [2]三池秀敏，古賀和利他.r
パ、ノコンによる動画像処理J
(森北出版，1993) [3]高木幹雄，下回陽久監修.r
画像解析ハンドブックJ
(東京大学出版，1991)[4]木村晃造，小倉久和，小高知宏，玉川洋一，石井靖.
r
動画像シミュレーションによるオプテイカ ルフローの特性の解析J
(平成5年度電気関係学会北陸支部連合大会講演論文集，p306，1993) [5]木村晃造，小倉久和，玉川洋一，石井靖.r
シネ MRI画像による心動態解析ーシミュレーシヨン画像によるオプテイカルフロー解析‑
J
(第13医療情報連合大会，pp.579‑580，1993)[6]木村晃造.
r
医用シネMRIによる生体の動画像理解J
(福井大学大学院工学研究科平成5年度修 士論文，1994)[7]木村晃造，小高知宏，玉川洋一，小倉久和，石井靖.
r
心動態の解析におけるシネMRI動画像に対 するオプテイカルフロー解析の課題J
(福井大学工学部研究報告第42巻 第2号，pp.173・184，1994) [8]木村晃造，小倉久和，玉川洋一，石井靖.r
連続MRI心横断像による心動態の解析J
(第 11回医療情報連合大会，pp.245‑246，1991)
[9]木村晃造.
r
連 続MRI心横断像による心動態の解析J
(福井大学工学部情報工学科平成2年度卒 業研究，1992)[10]牧野珠実.
r
医用動画像の解析による特徴抽出と動画理解J
(福井大学工学部情報工学科平成6 年度卒業研究，1995)[11]浅田稔.
