コンテキスト・アウェアネスを活用した眼底画像からの血管解析法と病変検出法の開発

滋賀県立大学・工学部・准教授

科学研究費助成事業  研究成果報告書

Development of blood vessels analysis and abnormalities detection based on context awareness on retinal images

００３５３２７７ 研究者番号： 畑中 裕司（Hatanaka, Yuji） 研究期間： １６Ｋ０１４１５ 年 月 日現在 元 ６ ２１ 円 3,600,000 研究成果の概要（和文）：眼底検査は循環器疾患を対象にした検診や人間ドックで用いられている。しかし、検 診では医師が目視に頼って主観的評価を行っており、診断の再現性が低く、かつ時間的・人資源的に効率が悪 い。過去画像を参照した被験者の経時変化も非効率であるために行われていない。本研究では、眼底を経時的な 観点で診断するためのツール開発と、収集した眼底画像データベースから抽出したコンテキストを利用して循環 器疾患の病変を自動検出するツールを開発した。

研究成果の概要（英文）：Funduscopy is introduced in human health checkup and screening for cardiovascular disease. However, physicians subjectively diagnose blood vessels by visual observation, so that such a diagnosis is low reproducibility and inefficiency in viewpoints of a time and a human cost. A temporal change analysis by using a previous retinal image is also inefficiency for physicians, so that that analysis is not introduced in cardiovascular screening. The aim of this study is to develop two tools, which is a diagnostic tool for a temporal change of blood vessel and a cardiovascular disease detection tool using the blood vessel context on retinal images. 研究分野： 医用画像処理 キーワード： 高血圧性眼底 循環器疾患 細動脈狭細化 血管解析 病変検出 経時変化 レジストレーション 深 層畳み込みニューラルネットワーク １版 令和 研究成果の学術的意義や社会的意義 少子高齢化社会を迎えるにあたり、低コストで再現性のある定量的な検診が求められる。眼底検査を診断する医 師の負担増を招かずに被験者の血管状態の経時変化を解析するためのツールが実在しない。本研究では基礎的な ツールを開発し、経時変化解析の有用性に関する臨床研究に役立つことを期待する。また、本研究では画像と教 師データを与えることで眼底血管のコンテキストの集約化が可能となり、先行研究よりも容易にツールの導入と 運用が可能である。

１．研究開始当初の背景 循環器検診の目的で撮影される眼底画像は、ビッグデータとして蓄積されると重要な非侵襲 生体データとなり得る。しかし、眼底検査の精度管理、読影のための時間的・人資源的な効率 の確保が困難であることから、ビックデータを十分に生かせる環境にない。また、人的作業の 自動化を図るにしても、既存の眼底画像の解析手法がフィルタ処理で眼底画像を強調した後に 解析する手法であるため、自動化手法の精度が人間の判別水準に達していない。 ２．研究の目的 本研究では、過去の症例解析から得られる病変の特徴や眼底の経時変化などの情報から眼底 画像解析に有用な情報をコンテキストとして抽出し、それらを利用した血管解析法や病変検出 法を開発する。 ３．研究の方法 生体検査で唯一、血管を直視できる眼底画像は、循環器疾患を対象にした検診や人間ドック で用いられている。眼底検査は医師が目視に頼って主観的評価を行っていることが現状であり、 診断の再現性が低いことや時間的・人資源的に効率が悪い。また、過去画像の参照による微小 な疾病変化を観察する手法は、時間的・人資源的に効率が悪いために有効利用されていない。 本研究では、眼底を経時的な観点で診断するためのツール開発と、眼底画像データベースから 血管や病変のコンテキストを集約し、細動脈の状態を解析するツールと病変を自動検出する処 理を開発した。 (1) 時系列の眼底画像のレジストレーション 本研究では、細動脈の狭細化や口径不同などの経時変化の臨床研究を進めるためのツール開 発を目指した。過去と現在の血管の経時変化を解析するために、図 1 に示す処理で過去と現在 の眼底画像のレジストレーションを行う。眼底は球の内面であるため、画像には歪曲歪みがあ る。そこで、まずは引用文献①（以下、引①とする）を用いて視神経乳頭部を自動抽出し、そ の重心位置で大まかに位置合わせを行った。そして，血管の芯線を ICP（Iterative Closest Point）アルゴリズムで詳細に位置合わせした。 つぎに、過去画像と現在画像で対応する血管を認識し、それぞれの血管径を計測することで 経時変化を解析できる図 2 のような処理を開発した．まずは引②を用いて血管の分岐点と交叉 点を自動検出して血管を枝セグメント化し、過去と現在画像で対応する枝セグメントの認識を 行った．つぎに、血管抽出した過去画像と現在画像を重ね合わせて、領域が重なる枝セグメン トを同一のセグメントとした。最後に、視神経乳頭側から枝セグメントを A*アルゴリズムで探 索しながら、引②を用いて過去画像と現在画像の血管径をそれぞれ計測する。 (2)血管解析：動脈の狭細化検出 眼底画像上の血管領域は溝のような画素値分布になるので、従来の血管抽出法では主にコン トラスト強調フィルタが適用されてきた。申請者らも(1)の研究においては、ブラックトップハ ット変換を用いて血管を強調し、抽出していた。フィルタの設計は経験的かつ実験的に行うこ とが一般的であるが、眼底血管には血柱反射や蛇行などの様々なパターンがあるため、汎用的 なフィルタ設計が困難であった。そこで、本研究では、深層畳み込みニューラルネットワーク （DCNN: Deep Convolutional Neural Network）を用いた血管抽出処理を開発した。様々な血管 の局所領域を DCNN に学習させ、眼底画像の局所領域の血管の有無判定を DCNN で行う手法とし た。学習データには血管の反射や蛇行などの様々なコンテキストが含まれるため、DCNN の学習 過程においてプーリング層にコンテキストが集約されたフィルタが構築される点が従来のフィ ルタベースの手法と異なる。

眼底の健診において、視神経乳頭周りの動脈と静脈の口径比（AVR: Arteriovenous Ratio）

過去画像 血管径の経時変化解析（計測） 細線化 ICPアルゴリズムによる位置合わせ 乳頭の重心で位置合わせ 血管抽出 視神経 血管抽出 乳頭 領域の 抽出 細線化 視神経 乳頭 領域の 抽出 現在画像 図1 眼底画像のレジストレーション 血管の対応関係の認識 過去画像での計 測点の決定 血管径の計測 現在画像での計 測点の決定 分岐交叉の検出 分岐交叉で血管を分割 図2 血管の経時変化解析のフロー

を用いて動脈の狭細化を判定している。したがって、動静脈の分類処理が必要であり、従来は 血管の芯線を求めて、芯線の RGB 画素値を用いた線形判別関数で動静脈を分類していた。しか し、血柱反射のある血管の分類ができない問題があり、本研究では DCNN を用いて、自動抽出し た血管から動静脈判別する識別器を開発した。最後に引②を用いて動静脈の口径をそれぞれ計 測し、動静脈口径比を求めた。 (3)病変検出 図 3 に示すような、糖尿病網膜症の判定所見である毛細血管瘤を自動検出する処理を開発し た。(2)と同様に、DCNN の学習処理によって、プーリング層に毛細血管瘤のコンテキストが集 約されることを期待した。しかし、毛細血管瘤は直径数画素の小さな点状領域であるため、一 般的な DCNN のアプローチでは不十分であった。そこで、非 DCNN の手法として開発した雑誌論 文③の中で用いた二重リングフィルタ、Shape Index、Gabor フィルタを用いて点状領域を強調 し、DCNN に入力した。同時に、眼底画像の緑色成分画像を入力とした DCNN も構築し、2 つの DCNN が共に検出した領域を毛細血管瘤の初期検出候補とした。最後に、テクスチャ特徴と形状 特徴を用いた 3 層ニューラルネットワークを用いて、偽陽性（誤検出）を削除する処理を行っ た。 ４．研究成果 (1) 時系列の眼底画像のレジストレーション 本研究では、2009 年と 2013 年に検診で撮影された 10 名の同一被験者の眼底画像を用い、2009 年と 2013 年の眼底画像を重ね合わせたときの Jaccard Similarity Index（JSC）で評価した。 レジストレーションを行わなかったとき、10 枚の平均 JSC標準偏差は 0.2330.090 であった。 視神経乳頭の重心でレジストレーションを行うと、0.6010.093 に向上した。さらに、ICP ア ルゴリズムで詳細にレジストレーションを行うと、0.6910.079 に向上した。図 4 に血管の枝 セグメントを対応付けした結果の例と、そのラベル 1 の 2009 年と 2013 年の血管径計測の結果 を示す。血管のセグメンテーションに課題を残しており、2013 年の測定点 60∼70 で計測ミス が生じている。しかしながら、人間が手作業で計測した結果と本手法の血管径の平均誤差は約 1 画素であり、人為的な誤差の範囲であった。本研究で用いた眼底画像において、2009 年と 2013 年の 4 年間で大きく血管の状態が悪化した被験者が存在しなかったため、臨床研究への適用可 能性までは追求できなかった。血管のセグメンテーション精度が向上すれば、提案手法が臨床 研究に寄与できると考える。 (2)血管解析

研究用に公開されている DRIVE（Digital Retinal Images for Vessel Extraction）データ ベースを用いて、血管抽出精度を評価した。DRIVE は Web で公開されており、エキスパートが 手動抽出した血管画像が付属している。アルゴリズムの学習用画像 20 枚と評価用画像 20 枚で 構成されている。開発した処理の DCNN の出力値を対象として、受信者動作特性（ROC: Receiver Operating Characteristic：ROC）解析に基づく ROC 曲線下面積（AUC: Area Under the Curve） を求めたところ、0.964 であった。主要な先行研究のようにフィルタ設計の問題の解消を図る ために別途、高次局所自己相関特徴を用いた血管抽出処理も開発した（5 の雑誌論文⑤）。この 方法を DRIVE データベースに適用したとき、その AUC は 0.960 であった。したがって、DCNN に よる血管抽出処理は、十分な性能を有することを示せた。

前述の DRIVE データベースは画像の解像度が 低いため、INSPIRE-AVR(Iowa Normative Set for

2009 年 2013 年 図4 血管径の計測結果例 偽陽性削除 二重リング フィルタ Shape Index Gabor フィルタ DCNN DCNN 緑成分 眼底画像 眼底画像 図3 血管径の計測結果例

Processing Images of Retina)を用いて動静脈分類と AVR 計測の精度を評価した。本データベ ースには眼底画像 40 枚が含まれ、2 名のエキスパートが手動計測した AVR が添付されている。 動静脈をアノテーションしたデータが含まれていないため、Dashtbozorg らが作成した動静脈 のラベルを用いて、無作為抽出した眼底画像 10 枚に適用したとき、視神経乳頭周りにおける動 静脈の 93％を正しく分類した。さらに、INSPIRE-AVR の画像 40 枚を用いて、AVR 計測を行った。 2 名のエキスパート間の絶対誤差の平均は 0.05 であったが、エキスパート名と開発した手法に よる AVR 計測の絶対誤差の平均は 0.06 であった。以上の結果より、開発した手法はエキスパー ト 2 名の個人差に近い精度で AVR を計測できるといえる。 (3)病変検出

研究用に公開されている DIARETDB1（Standard Diabetic Retinopathy Database Calibration level 1）データベースを用いて、毛細血管瘤の自動検出精度を評価した。本データベースは学 習用画像 28 枚と評価用画像 61 枚から構成されている。その結果、画像当たりの偽陽性数が 8 箇所となるようにシステムのパラメタを設定したとき、毛細血管瘤の検出率が 87%となった。 同じく DCNN を用いた海外の競合手法による同一データベースでの検出率 64％を大きく上回っ ていることから、開発した手法の検出精度が良好であることが示された。 (4)結果のまとめ 本研究では、血管状態の経時変化を容易に観察できるツールを開発し、細動脈の狭細化など の血管異常の定量的判定の改善法の検討を計画した。国内施設で収集した検診目的の眼底画像 は、4 年間で血管状態が目立って変化した症例を見つけることができなかった。したがって、 血管の経時変化を定量的に観察するツール開発(1)と、現在の検診で目視観察している AVR の定 量的な計測処理の開発(2)を別々に実施した。評価実験によって、それぞれが高い精度で処理で きることを示した。本研究では(1)と(2)の融合を眼底画像データベースの収集課題で実施でき なかったが、両者の融合によって細動脈の狭細化が進行する現象を定量的かつ容易に観察する ことが可能になる。また、(1)と(2)の融合により、過去画像における解析結果を現在画像に適 用できるようになり、動静脈の認識処理などを現在画像で行う必要がなくなる。例えば、ツー ルが動静脈を誤認したとき、ユーザが分類結果を修正しておけば、未来に撮影される眼底画像 では過去の分類結果を適用するため、誤認することがなくなる。(2)においても、解析結果をユ ーザが修正し、修正した結果、即ち正解データを用いて DCNN をファインチューニングすること によって DCNN の精度向上が期待できるため、将来の医療情報のビッグデータ化に対応できる基 礎技術を開発できたと考える。 ＜引用文献＞

① C.Muramatsu, T.Nakagawa, A.Sawada, Y.Hatanaka, T.Hara, T.Yamamoto and H.Fujita: Automated segmentation of optic disc region on retinal fundus photographs: Comparison of contour modeling and pixelclassification methods, Computer Methods and Programs in Biomedicine, Vol.101, No.1, 2011, 23-32

② 立木宏和, 畑中裕司, 奥村 進, 小郷原一智, 村松左子, 藤田広志：網膜動脈硬化症判定 のための血管径の計測法の開発，第 34 回日本医用画像工学会大会 予稿集，2015, PP-10 ５．主な発表論文等 〔雑誌論文〕（計8 件） ① 宮下充浩，畑中裕司，小郷原一智，村松千左子，砂山 渡，藤田広志：畳み込みニューラル ネ ッ ト ワ ー ク を 用 い た 眼 底 画 像 に お け る 毛 細 血 管 瘤 の 自 動 検 出 ， Medical Imaging Technology, Vol.36, No.4, 2018, 189-195

DOI: 10.11409/mit.36.189

② 畑中裕司：眼底画像診断における最新動向, 画像電子学会誌, Vol.47, No.3, 2018, 268-273 https://www.iieej.org/journal/画像電子学会誌-vol-47-no-3/

③ Yuji Hatanaka, Tsuyoshi Inoue, Kazunori Ogohara, Susumu Okumura, Chisako Muramatsu and Hiroshi Fujita: Automated microaneurysm detection in retinal fundus images based on the combination of three detectors, Journal of Medical Imaging and Health Informatics, Vol.8, No.5, 2018, 1103-1112

DOI: 10.1166/jmihi.2018.2419

④ 畑中裕司：濃度勾配ベクトル集中度を用いた眼底画像における毛細血管瘤の自動検出，画 像ラボ, vol.29, no.1, 2018, 17-23

https://www.nikko-pb.co.jp/products/detail.php?product_id=4234

⑤ Yuji Hatanaka, Kazuki Samo, Kazunori Ogohara, Wataru Sunayama, Chisako Muramatsu, Susumu Okumura and Hiroshi Fujita: Automated blood vessel extraction based on high-order local autocorrelation features on retinal images, VipIMAGE 2017, Lecture Notes in Computational Vision and Biomechanics, Vol. 27, 2017, 803-808

DOI: 10.1007/978-3-319-68195-5_87

Muramatsu, Wataru Sunayama and Hiroshi Fujita: Retinal biometrics based on iterative closest point algorithm, Proc. 39th Annual International Conference of the IEEE Engineering in Medicine and Biology Society, 2017, pp.373-376

DOI: 10.1109/EMBC.2017.8036840

⑦ 畑中裕司，立木宏和，奥村 進，小郷原一智，村松千左子，藤田広志：眼底画像における 主幹動静脈の独立抽出法，医用画像情報学会雑誌，Vol.34, No.3, 2017, 136-140 DOI: 10.11318/mii.34.136

⑧ Yuji Hatanaka, Hirokazu Tachiki, Kazunori Ogohara, Chisako Muramatsu, Susumu Okumura and Hiroshi Fujita: Artery and vein diameter ratio measurement based on improvement of arteries and veins segmentation on retinal images, Proc. 38th Annual International Conference of the IEEE Engineering in Medicine and Biology Society, 2016, 1336-1339 DOI: 10.1109/EMBC.2016.7590954 〔学会発表〕（計18 件） ① 田島幹也，畑中裕司，川崎 良，斎藤公子，小郷原一智，村松千左子，奥村 進，藤田広 志：眼底画像における経時変化解のための位置合わせアルゴリズム，第 35 回日本医用画像 工学会大会，PP-45, 千葉，2016 ② 畑中裕司，佐茂和輝，小郷原一智，村松千左子，砂山 渡，藤田広志：ブラックハット変 換と高次局所自己相関特徴に基づく眼底血管の自動抽出，画像電子学会第 278 回研究会， 函館，2016 ③ 渡邊颯友，村松千左子，周 向栄，畑中裕司，原 武史，藤田広志：眼底画像における全 畳み込みニューラルネットワークを用いた網膜神経線維層欠損検出，平成 28 年度日本生体 医工学会東海支部大会, 2016

④ Yuji Hatanaka, Kazunori Ogohara, Susumu Okumura, Chisako Muramatsu and Hiroshi Fujita: Automatic detection of microaneurysms on non-contrast retinal images, 2017 International Workshop on Advanced Image Technology, Penang, Malaysia, 2017 ⑤ Kazuki Samo, Yuji Hatanaka, Kazunori Ogohara, Wataru Sunayama, Chisako Muramatsu,

and Hiroshi Fujita: Automated classification of arteries and veins in retinal images for measurement of arteriolar-to-venular diameter ratio, 2017 International Forum on Medical Imaging in Asia, Naha, 2017

⑥ Mikiya Tajima, Yuji Hatanaka, Kazunori Ogohara, Wataru Sunayama, Ryo Kawasaki, Koko Saito, Chisako Muramatsu and Hiroshi Fujita: Preliminary study: A person identification method using blood vessel in retinal fundus images, 2017 International Forum on Medical Imaging in Asia, Naha, 2017

⑦ 畑中裕司，宮下充浩，小郷原一智，村松千左子，砂山渡，奥村 進，藤田広志:非造影眼底 画像における毛細血管瘤の自動検出，医用画像情報学会 平成 28 年度春季（第 177 回）大 会，福岡，2017

⑧ Ryusuke Watanabe, Chisako Muramatsu, Kyoko Ishida, Akira Sawada, Yuji Hatanaka, Tetsuya Yamamoto, Hiroshi Fujita: Automated detection of nerve fiber layer defects on retinal fundus images using fully convolutional network for early diagnosis of glaucoma, SPIE Medical Imaging 2017: Computer-Aided Diagnosis, Orlando, FL, USA, 2017 ⑨ 渡邊颯友，村松千左子，周 向栄，畑中裕司，原 武史，藤田広志：眼底画像における全 畳み込みニューラルネットワークを用いた網膜神経線維層欠損検出法の改良，医用画像情 報学会 平成 29 年度年次（第 178 回）大会，大阪，2017 ⑩ 宮下充浩，畑中裕司，砂山 渡，小郷原一智，村松千左子，藤田広志：畳み込みニューラ ルネットワークを用いた眼底画像における毛細血管瘤の自動検出，第 36 回日本医用画像工 学会大会，岐阜，2017 ⑪ 井川 響，畑中裕司，砂山 渡，小郷原一智，村松千左子，藤田広志：深層畳み込みニュ ーラルネットワークを用いた眼底の血管抽出，第 36 回日本医用画像工学会大会，岐阜，2017 ⑫ 後藤拓真，村松千左子，石田恭子，澤田 明，畑中裕司，山本哲也，藤田広志：眼底画像 における視神経乳頭周辺を用いた Deep Learning による緑内障診断，第 36 回日本医用画像 工学会大会，岐阜，2017

⑬ Yuji Hatanaka, Mitsuhiro Miyashita, Kazunori Ogohara, Wataru Sunayama, Chisako Muramatsu and Hiroshi Fujita: Automatic microaneurysms detection on retinal images using deep convolution neural network, 2018 International Workshop on Advanced Image Technology, Chiang Mai, Thailand, 2018

⑭ Yuji Hatanaka, Hibiki Ikawa, Mitsuhiro Miyashita, Wataru Sunayama, Kazunori Ogohara, Chisako Muramatsu and Hiroshi Fujita: Retinal image analysis using convolutional neural network, 40th Annual International Conference of the IEEE Engineering in Medicine and Biology Society, Honolulu, Hawai, USA, 2018

⑮ 宮下充浩，畑中裕司，砂山 渡，小郷原一智，村松千左子，藤田広志：畳み込みニューラ ルネットワークを用いた眼底画像における毛細血管瘤の自動検出 ∼偽陽性候補の削減∼， 第 37 回日本医用画像工学会大会，筑波，2018

⑯ Hibiki Ikawa, Yuji Hatanaka, Wataru Sunayama, Kazunori Ogohara, Chisako Muramatsu and Hiroshi Fujita: Arteriovenous classification method using convolutional neural network for early detection of retinal vascular lesion, 2019 International Forum on Medical Imaging in Asia, Singapore, 2019

⑰ 宮下充浩，畑中裕司，小郷原一智，村松千左子，砂山 渡，藤田広志：深層学習を用いた 眼底画像における毛細血管瘤の自動検出の汎化性能の検討，医用画像連合フォーラム 2019， 沖縄, 2019 ⑱ 畑中裕司：眼底画像診断のための AI 開発，平成 30 年度 第 52 回光学五学会関西支部連合 講演会，大阪, 2019 〔図書〕（計3 件）

① Yuji Hatanaka and Hiroshi Fujita, Taylor and Francis, Computer-aided Diagnosis with Retinal Fundus Images in Medical Image Analysis and Informatics: Computer-aided Diagnosis and Therapy (Eds. Paulo Mazzoncini de Azevedo Marques, Arianna Mencattini, Marcello Salmeri and Rangaraj M. Rangayyan), 2017, 29-55

② 畑中裕司，オーム社，動かす，医用画像ディープラーニング入門（藤田広志監修），2019， 41-52 ③ 畑中裕司，オーム社，眼底画像，医用画像ディープラーニング入門（藤田広志監修），2019， 46-150 〔産業財産権〕 ○出願状況（計 0 件） ○取得状況（計 0 件） 〔その他〕 なし ６．研究組織 (1)研究分担者 研究分担者氏名：川崎 良 ローマ字氏名：Ryo Kawasaki 所属研究機関名：大阪大学 部局名：医学系研究科 職名：教授 研究者番号（8 桁）：70301067