生成モデルを利用したX線写真に対する異常検知の試行と考察

生成モデルを利用した

X

線写真に対する異常検知の試行と考察

A study of chest X-ray image anomaly detection with deep

generative models

上原雅俊

1

_{味曽野雅史}

2

_{中山浩太郎}

3 ∗

_山口亮平

4

河添悦昌

5

_大江和彦

4

_松尾豊

3

Masatoshi Uehara

1

_{Masanori Misono}

2

_{Kotaro Nakayama}

3

_{Ryohei Yamaguchi}

4

Yoshimasa Kawazoe

5

_{Kazuhiko Ohe}

4

_{Yutaka Matsuo}

3

1

_{東京大学計数工学科}

1

_{Department of Mathematical Engineering and Information Physics, The University of Tokyo}

2

_{東京大学大学院情報理工学系研究科}

2

_{Graduate School of Information Science and Technology, The University of Tokyo}

3

_{東京大学大学院工学系研究科}

3

_{Graduate School of Engineering, The University of Tokyo}

4

_{東京大学大学院医学系研究科}

4

_{Graduate School of Medicine, The University of Tokyo}

5

_{東京大学医学部附属病院}

5

_{The University of Tokyo Hospital, The University of Tokyo}

Abstract: Deep neural networks have been successful in many computer vision area (e.g., general

image recognition). On the other hand, few reports are available on applying deep learning to medical image diagnosis systems. We are studying chest X-ray image anomaly detection methods using variational autoencoder (VAE). VAE is a one of the deep generative models which use deep neural networks. In this paper, as a first step, we use VAE to classify whether a chest X-ray image is captured in a frontal or lateral view. We further use VAE to detect abnormal chest X-ray images. The experiments show promising result about image direction clustering. However, they suggest further consideration will be needed to more accurate abnormal chest X-ray image detection.

1

はじめに

近年, Deep Learning 技術の発展に伴い, 従来では 困難だった難しい画像処理タスクが可能になってきた. 例えば，一般物体認識のコンテストである ImageNet Large Scale Visual Recognition Challenge (ILSVRC) では，深層ニューラルネットワークを利用したモデル が人間に匹敵する精度を出している [12]. 一方で医療 画像に対する Deep Learning の応用を適応した報告は 現在, 限られている. 胸部 X 線画像診断に Deep Learning を応用する上で 主に 3 つのタスクが考えられる. 1. 異常画像を外れ値として検知すること  ∗連絡先：〒 113-8656 東京都文京区本郷 7-3-1       東京大学 工学部 2 号館 9 階 92C1 号室        E-mail: nakayama@weblab.t.u-tokyo.ac.jp 2. 異常画像が「何の」異常であるかのラベル付け 3. 異常箇所の同定 一般に問題は 1,2,3 の順に難しくなる. 今回は 1 のタ スクに焦点を当てた. 診療補助の観点から言えば１が 正確にできるだけでも十分な貢献である. 本研究では異常検知のために深層ニューラルネット ワークを利用した variational autoencoder(VAE)[7] を 用いた. 従来から VAE に似た autoencoder や主成分分 析を用いた異常検知は存在した. 一方, VAE を異常検知 に用いるということは新しい取り組みであり, まだ十分 検証されてはいない. ただ VAE は従来の autoencoder と確率的にモデリングされているという点で違い, 汎 化性能も保証されるため, 異常検知での応用が期待さ れる. 今回の実験ではまず VAE を用いて, 胸部 X 線画像の

医療情報学会・人工知能学会 AIM 合同研究会資料 SIG-AIMED-002-10 撮影の向きのクラスタリングの実験を行い VAE の特 徴量抽出の有効性を確認した. さらに正常データをト レーニングデータとする inlier based [3] の異常検知を 行い, 精度を評価した．

2

関連研究

Deep Learning を胸部 X 線画像に応用した研究を以 下に簡単にまとめる. [11] では胸部 x 線画像からキャプションを自動付与す る研究が行なわれている. キャプション生成の際によく 利用される reccurent neural network(RNN) を応用し て胸部 X 線画像から診断所見を自動生成する手法が提 案されている. [5, 6] では, 異常箇所か否かのラベルのみ を使って異常箇所についてのアノテーションのない画像 から, どこが異常かを検知する研究が行なわれている. これは実際の問題として現実的な状況であり, 画像研究 の文脈では weakly supervised と呼ばれている [9]. 手 法としてはオーソドックスな CNN に localization layer という層を付け加えるという工夫が用いられいてる. 医 療画像ではデータ数が少ないため学習が難しく，両者 の研究において自己教示的に学習する, 様々な層の特徴 量を使用するなど少ないデータでいかに学習を成功さ せるかにフォーカスを置いている

3

提案手法

深層生成モデルの一つに Variational Auto Encoder(VAE) がある [7]. VAE は変分推論に基づいた学習アルゴリズ ムである. X がデータ, Z が潜在変数としたとき Jensen の不等式により log p(X) ≥ Eq(Z_|X) [ logp(X, Z) q(Z|X) ] (1) が導かれる. 本来の目的はモデルエビデンス log P (X) を上げることだが, 変分推論に基づく手法では下限 (式 1 の右辺) を上げることで学習を行う. 不等式は q(Z|X) = p(Z|X) の時にタイトになることに注意する. 潜在変数を用いた深層生成モデルとして最初に提案 されたモデルが wake-sleep algorithm である [4]. し かし wake-sleep algortihm では推論モデルと生成モデ ルの最適化を行う時に, それぞれで目的関数が変わっ てしまうという問題点があった. 目的関数を変えず, そのままの変分推論の式を用いて学習する手法として REINFORCE に基づく手法が提案された [10, 8]. し かしこれらの手法は分散が大きいことが問題であった. VAE は reparametarization trick を使うことで積分す るべき変数と微分する変数を分離して, 積分と微分の 交換をすることによって安定的に学習を行うことがで きる. 式 1 を分解することで autoencoder との対応が分か る. 式 1 を分解すると Eq(Z|X) [ log p(X|Z) ] + Eq(Z|X) [ log p(Z) q(Z|X) ] (2) のようになる. 第一項が従来の autoencoder の recon-struction error に対応し、第二項が正則化項的な役割 を果たしている. 第一項のみだと, ただ与えられたデー タに対する恒等的な写像を学習する可能性があるが, 第 二項の存在によってそのようなことは防がれている. 以下では VAE を用いたクラスタリング及び異常検知 の手法を説明する.

3.1

VAE を応用した胸部 X 線画像の撮影方

向の分類

実際の胸部 x 線画像データセットにおいて撮影方向 (正面と横) のアノテーションがついていないことがあ る. 胸部 x 線のオープンデータセットである OpenI で も正面か横かのアノテーションはついていない. また amed のデータセットでは本来, 正面からの画像だけで あるはずだが横から撮影した画像が少量, 混入してい た. このように正面か横かの (クラス数が固定された) クラスリング問題は現実的な設定である. 今回はクラスタリングを行う前に特徴量抽出 (次元 削減) の手法として VAE を使用する. 他にも次元削減 手法としては autoencoder やノイズを加えた denoising autoencoder が知られているが, これらの手法は汎化性 能を上げるために正則化のパラメータを的確に調整す る必要がある. 一方, VAE では正則化項が既に含まれ ているためそのような必要がない. また VAE を次元削 減に用いる理由として, VAE が相互情報量の最大化を 正則化項付きで行うようになっていることがある. その後, 次元削減されたデータを用いてクラスタリン グ手法の中で最も一般的な手法の k-means を使用して クラスタリングを行った.

3.2

VAE を使った異常検知

まず正常データをトレーニングデータとして VAE を 学習する. すると正常データに対する対数尤度が変分 下限により近似できることになる. 従ってテストデー タを用意してきた場合, 仮に正常データ内における対 数尤度が高かったらそのデータは正常とされ, 異常だっ たらそのデータの対数尤度は低くなるはずである. こ のようにして log p(X) の近似値を異常スコアとして異 常検知を行う.

VAE を使った異常検知では如何に下限を上げるかが 重要になってくる. VAE の学習においてはバッチごと の学習を行うので式 1 を importance weighted で学習 するように目的関数を設定する [2]. Uniform weighted の場合に対してサンプリングを増やすごとに下限が上 がり, 漸近的に与えられたデータに対する対数尤度に近 づいていくことが保証される.

4

実験結果

今回はデータセットとして東大病院から提供を受け たデータ及び OpenI [1] のデータを使用した. 東大病 院のデータは 13600 枚の異常画像と正常画像からなり, アノテーションがまだついていない. 一方, OpenI の データは 3838 枚が正面からの画像で, 3632 枚が横から の画像である. 以下で前節の提案手法に沿って実験結 果を説明する.

4.1

VAE を応用た正面か横かの分類

表 1 に VAE を応用した胸部 X 線画像の撮影方向の OpenI におけるクラスタリング結果を示す. Accuracy は 98%であった. 表 1: クラスタリング結果 正面の画像 横からの画像 総計 正面と予測された画像 3838 181 4019 横と予測された画像 0 3451 3451 3838 3632 7470

4.2

VAE を応用した異常検知

図 1 に，東大病院のデータセットに対して異常検知 を適用したもののうち，異常スコアが高かった画像上 位 100 件を示す. 提案手法では正常画像のみを VAE の 学習に使うと書いてあるが今回は全てのデータを学習 に使った. ラベルが非常に偏っているので, 全部のデー タで学習しても上手くいくと予想されたことが理由と してあげられる. また全てのデータのアノテーション がついていないのでまだ定量的な評価はできてないが, 図 1 を見ると明らかに異常な画像が多く現れており異 常検知が上手くいっていることが考えられる. 次に OpenI のデータにおける結果を記す. ROC 曲 線は図 2 のようになった. ROC 曲線とは横に False positive, 縦に True positive をとったグラフである. そ して異常検知でよく使われる評価である AUC は 57%で あった. AUC とは ROC 曲線における全体の面積に対 する曲線の下の面積の割合のことを指す.

図 1: 東大病院データ異常スコア上位 100 の画像

医療情報学会・人工知能学会 AIM 合同研究会資料 SIG-AIMED-002-10 また Test 画像と Reconstruction 画像の関係は図 3 のようになった. この対応を見ることによって VAE に より reconstruction が上手くできている, つまり学習は 成功していることが分かる. 図 3: OpenI のテスト画像 (左) リコンストラクション 画像 (右)

5

考察とこれからの方向性

本研究ではまず撮影方向が正面か横からかをクラス タリングするために VAE を使い, VAE の胸部 X 線画 像における次元削減 (特徴量抽出) 能力の有効性を実験 的に確かめた. また VAE を医療画像の異常検知に用 いる手法を提案し,  実際の胸部 X 線画像に適用した. OpenI のデータの結果においては, 撮影方向判別のク ラスタリングの精度は高かったものの, 異常検知の精度 は高くはなかった. 異常検知の精度が低い理由として まずタスク自身の難しさが上げられる. Deep Learning は一般物体認識の研究で非常に精度の高い精度を上げ てきた. このような研究で扱っているタスクは基本的に は専門的な訓練を受けたことない人間でも行うことが できるものである. しかし医療画像の診断は専門家し かできないものであり難しいタスクである. またデー タセットの少なさも問題の難しさの要因の一つである. 今回使った Open I の正面のデータは 3838 枚だが一般 的な Deep Learning のデータセットとしては少ない部 類に入る. 一方, 東大病院のデータセットは OpenI のデータセッ トに比べて数が多いのでアノテーションがしっかりと つき次第, 高い精度で異常検知が行えることが期待され る. 実際に異常と思われる画像が検知されている. 今後, 限られたデータ数の中で精度を高くするために は次の２つの点 • 前処理を工夫すること • 更に大きいサイズの画像を扱うこと が考えられる. 今回は特に前処理をせずに胸部 X 線画 像をニューラルネットワークに入れたが, 時に画像認識 のタスクにおいては前処理により飛躍的に精度が上が る場合がある. また今回用いた画像サイズは 256×256 であったが, ピクセル数を増やすことで画像の情報量が 増えるので, 精度の向上が期待される. ただそのような 大きな画像を扱う場合, 学習が難しくなるので更なる工 夫が必要となる. 本研究での東大病院データセット使用は東京大学医 学系研究科医学部倫理委員会の承認（No.11103) を受 けている.

謝辞

また本研究は国立研究開発法人日本医療研究開発機 構（AMED）の平成 27 年度「臨床研究等 ICT 基盤構 築研究事業」の助成を受けたものです．

参考文献

[1] Opi: An open access biomedical search en-gine. https://openi.nlm.nih.gov.

[2] Y. Burda, R. Grosse, and R. Salakhutdinov. Im-portance Weighted Autoencoders. ICLR’ 16,

September 2015.

[3] S. Hido, Y. Tsuboi, H. Kashima, M. Sugiyama, and T Kanamori. Inlier-based outlier detection

via direct density ratio estimation. In

Proceed-ings of IEEE international conference on data mining. ICDM, page 223232, 2008.

[4] G. E. Hinton, P. Dayan, B. J. Frey, and R. Neal. The wake-sleep algorithm for unsupervised neu-ral networks. Science, 268:11581161, 1995. [5] S. Hwang and H. E. Kim. Self-Transfer Learning

for Fully Weakly Supervised Object Localization.

ArXiv e-prints, February 2016.

[6] H. E. Kim and S. Hwang. Deconvolutional Fea-ture Stacking for Weakly-Supervised Semantic Segmentation. ArXiv e-prints, February 2016. [7] D. P Kingma and M. Welling. Auto-Encoding

Variational Bayes. ICLR’ 14, December 2013. [8] A. Mnih and K. Gregor. Neural Variational

Infer-ence and Learning in Belief Networks. ICML’14, January 2014.

[9] P. O. Pinheiro and R. Collobert. Weakly super-vised semantic segmentation with convolutional networks. CVPR, 2015.

[10] R. Ranganath, S. Gerrish, and D. M. Blei. Black Box Variational Inference. AISTATS’ 14,

De-cember 2014.

[11] H. C. Shin, K. Roberts, L. Lu, D. Demner-Fushman, J. Yao, and R. M Summers. Learning to Read Chest X-Rays: Recurrent Neural Cas-cade Model for Automated Image Annotation.

CVPR’ 16, March 2016.

[12] C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, D. Erhan, V. Vanhoucke, and A. Rabinovich. Going Deeper with Convolutions. In CVPR, 2015.