グラム染色画像からの菌分類推定システムの開発

全文

(1)人工知能学会研究会資料 SIG-FPAI-B803-18. グラム染色画像からの菌分類推定システムの開発.

(2) 橋本和貴. Ý.

(3) 九州工業大学情報工学部. . 飯田亮介 . 平田耕一 . .

(4) . 九州工業大学大学院情報工学研究院.

(5)

(6)

(7)

(8)

(9)

(10)

(11) . 九州工業大学大学院情報工学府.

(12)

(13)

(14) !

(15)

(16)

(17) . . .

(18) .

(19) . . ! . " # . ! $ # # %&' # (!! #

(20) ) * #.

(21) # # # #. . . ! !. はじめに. グラム染色 +, - ./0 とは .11 年にデンマークのハンス・クリスチャン・グラム 2 .1345.-41 が考案した微生物検査法であるグラム染色では尿血液便喀痰髄液などの検体材料に存在する菌を染色液によって紫色と赤色に染め分けることで菌の染色性紫色赤色や形状球菌桿菌連鎖菌から菌種を推定するここで紫色に染まる菌をグラム陽性菌赤色に染まる菌をグラム陰性菌というこのグラム染色は安価にかつ迅速検体採取後 4/ 分以内に実施可能であることから感染症の初期診療に欠かせない手法である +, - ./0 このように便利で扱いやすいグラム染色であるが染色においては菌だけでに限らずオイルなどのごみ白血球グラム検査薬の結晶といった菌以外の物質も同時に染色されてしまうまた感染症の起因菌は多種多様でありその形状は球状である球菌双球菌連鎖球菌などの球菌桿状である球桿菌長桿菌短桿菌などの桿菌に大別することができる +10 £ 本研究の一部は科学研究費補助金およびケーディーアイコンズ株式会社からの受託研究費の補助を受けている Ý 連絡先：九州工業大学情報工学部知能情報工学科〒

(22) 福岡県飯塚市川津

(23).

(24) . . 表 . はグラム染色と主要起炎菌の関係である +,0 このうち院内感染の起炎菌として頻度が高い菌はグラム陽性球菌とグラム陰性桿菌に集中しているこれらの菌を推定することでその後の培養・同定検査を方向付けることができる +, ./0 表. .6. グラム染色と主要起炎菌の関係. グラム陽性球菌. 腸球菌ブドウ球菌溶連菌肺炎球菌. グラム陽性桿菌. クロストリジウムウェルシュ菌破傷風菌ジフテリアリステリア. グラム陰性球菌. 髄膜炎菌淋菌. グラム陰性桿菌. バクテロイデスクレブシエラ緑膿菌大腸菌セラチア菌. 染色性が悪い菌. レジオネラ属菌抗酸菌群. このようなグラム染色画像からの菌種の推定は通常は目視で行われており自動化はされていないその最大の理由は検体の採取後に培養・同定検査を行うことにより培養できる菌に関してはその検体に出現していた菌種を推定することができるからである一方で菌の中には培養時に死滅する嫌気性菌も存在するため同定検査後の菌種はグラム染色画像中の菌. － 99 －.

(25) 種の一部分に過ぎないまた培養・同定検査には . 日かかるため感染症の初期診断に利用することはできないさらにグラム染色画像からの目視による菌種推定には目視による推定では球菌・桿菌の区別を含めて熟練技術が必要であるがそのようなその技術継承が不十分であるため感染症の治療遅れに影響を及ぼしかねない状況であるこの問題に対して山内 +..0 は機械学習を用いたグラム染色画像からの菌種推定システムを開発したこのシステムは一部の菌種は高精度で推定ができたが満足のいく精度が得られない菌種が存在したそこで本論文では菌種推定の前段階でありグラム染色により分類されるグラム陽性球菌 7 グラム陽性桿菌グラム陰性球菌 ! グラム陰性桿菌 ! のつの菌分類に着目するそして画像処理技術を利用しグラム染色画像から菌分類を推定し併せて菌分類の出現割合を算出するシステムを開発する本システムではまず画像処理によりグラム染色画像から菌以外の領域を除外し残りの領域を菌候補領域として抽出するそして菌候補領域に対して色や面積縦横比などの特徴量を算出するこうして得られた菌候補領域と特徴量を用いてグラム染色性陽性陰性の 8 種類に分類した後 %&'# と (!! #

(26) ) を利用して作成した分類器を用いて菌分類を推定するなお本論文は +80 をまとめ直したものであり +40 においても概要を発表している. . 菌分類推定システム. 本論文の菌分類システムは大別して機械学習段階と推定・検索段階から成るこのうち機械学習段階では教師データとしてのグラム染色画像から画像処理技術によって菌候補領域を推定し機械学習によって分類器を構築する推定・検索段階では入力されたグラム染色画像に対して分類器を用いて ! ! の領域を推定してそれを入力画像に表示すると共にそれらの出現割合が類似した画像を検索する機械学習段階の菌候補領域の推定ではまずグラム染色画像にグレースケール化を適用する本システムでは自然なグレースケール化が可能であり 9 & が標準でサポートしている !"% 加重平均法½ を用いて輝度を求める次にグレースケール画像の各画素の輝度が閾値を超えるものを . それ以外の画素を / とする二値画像に変 ½

(27) .

(28)

(29) . 換する二値化を適用する二値化後に残る値が . の画素の集まりを領域とよび画素の集まりに対応するグラム染色画像の該当部分も領域とよぶ本システムの二値化では注目画素の近傍領域の画素を考慮して閾値を決定する適応的閾値処理を用いる +30 これにより各画素の近傍領域を考慮し輝度が大きな画素のみを残すことで物体のように周辺よりも境界が明確な領域を抽出しているまた適応的閾値処理の計算にはガウス分布による行列と近傍領域の加重平均から定数を引いたもの¾ を用いるこの定数は近傍領域の揺らぎを考慮するもので定数が大きいとノイズを無視しやすくなり小さいと輝度変化の小さな画素も残しやすくなるそしてモルフォロジー演算 +30 により連結している物体を分離しノイズを除去する本システムでは基本的なモルフォロジー演算である膨張処理と縮小処理を組み合わせ最初に縮小処理を回行った後膨張処理を回行うオープニングを利用するさらに輝度変化が大きな画素であるエッジを検出するエッジは物体とそれ以外の領域の境界である . つの物体に対して得られたエッジの集合を物体に対する輪郭とよぶ本システムではノイズに強いエッジ検出フィルタとしてフィルタ +.0 を利用するこれによりグラム染色画像から得られた領域に対してエッジ検出を行い輝度変化の乏しいノイズと思われる領域を取り除くこの一連の処理により画像中に存在する物体から領域を決定した後面積縦横比円形度が設定した範囲の値を満たさない領域を菌でない領域とみなし推定対象から除外するそして設定した範囲の値を満たす領域を菌候補領域として抽出する本システムの機械学習段階では %&'# 7 と (!! #

(30) ) を用いて分類器を構築するこのうち %&' は 9 & が提供している %&' ライブラリを利用する一方 (!! は :&; : ) & ; が中心となって開発を進めている < # 7 # # +0 を利用する %&' では菌候補領域の特徴を数値化した特徴量から菌分類を推定する本システムでは菌候補領域内の面積菌候補領域の縦と横の長さである縦横サイズ菌候補領域の短辺を基準とした長辺の比率である縦横比 : 値である色真円を . として / から . の範囲で定義した円形度菌候補領域が複数の菌の連結によって構成されている場合いくつの菌で構成されているかを推定した値である領域内菌数を特徴量として利用する一方 (!! ではグラム染色画像内の菌候補領域画像 ¾

(31)

(32)

(33)

(34) . － 100 －.

(35) を教師データとする表 8 は %&'上と (!!下の教師データに用いた単一種の菌が写っている教師画像数である表. 86 %&'上. と (!!下教師画像数. 枚数. 血液. . 喀痰大便. . . 膿汁.

(36) . 尿. . 染色性陽性陰性陽性陰性陽性陰性陽性陰性陽性陰性. 球菌. 桿菌. 不明. . . .

(37) . . . . .

(38). .

(39). .

(40)

(41). . . . . . . . . . .

(42) . . . 血液喀痰大便膿汁尿. 枚数 . . . . . 染色性陽性陰性陽性陰性陽性陰性陽性陰性陽性陰性. 球菌. 桿菌. 不明.

(43).

(44).

(45). . . . .

(46) .

(47) .

(48).

(49).

(50). . .

(51) .

(52) .

(53) .

(54). .

(55).

(56). . . . .

(57) . .

(58). . 実験に用いた材料は血液喀痰大便膿汁尿の 3 種類である表 4 は菌以外の領域の除外とノイズの低減のための画像処理のパラメータであるここで適応的閾値処理に用いるパラメータである近傍サイズを減算定数をとしノイズの除去の際に行うオープニングの回数を菌候補領域として抽出する際のフィルタリングに使用する面積の下限を上限を縦横比の下限を上限を円形度の下限を上限をとする. . . . . 表材料名血液喀痰大便膿汁尿. . 材料. 実験. . . 材料. . 46. . . . 実験用パラメータ. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . グラム染色画像から菌を切り出し算出した特徴量と画像から学習して %&' および (!! の分類器を作成するここで %&' ではカーネルに 2 8 +A0 を用いて分類器を作成する一方 (!! では :&; および :. 推定・検索段階は本システムの = 上で入力画像の検体撮影倍率ファイルパスを入力し > ? を押下すると推定を開始するなおファイルパスは > ? を押下することで参照が可能である推定の結果として ! ! のつの菌分類の出現割合と菌候補領域ごとの推定結果を色のついた矩形で示した画像矩形の枠線の色と対応する菌分類の一覧菌分類の出現割合と類似したグラム染色画像のうち類似度が最も高い 4 つの類似画像が得られる結果は %&' と (!! ごとに得られ = の > %&'@(!!? を押下することで切り替えが可能であるまた類似画像に関しても類似画像ごとに配置された >(? を押下することで対応した画像を表示することができる図 . は検体が血液のグラム染色画像に対して菌分類推定を行い抽出した菌候補領域を推定した後 (!! の結果に切り替えたものである画像ではと推定した領域が青い枠線と推定した領域が水色の枠線 ! と推定した領域がピンク色の枠線陽性菌と判別したが分類器によって菌でないと推定した領域 = は黄緑色の枠線陰性菌と判別したが分類器によって菌でないと推定した領域 != が黒の枠線で囲まれているそして種の菌分類に加え = != を加えた計 A 種類の出現割合が表示される. : ) . . ;. が提供している < ! ' の作成に用いられた !! ¿ を用いて分類器を作成するなお %&' および (!! による学習の動作環境は = B C37.A/4 4 D81/2E. ' 48/: 9% F

(59) . であるまた実験に用いたグラム染色画像の枚数は血液 8 喀痰 / 大便 ./ 膿汁 / 尿 A- であるこのとき図 8 図 4 図はそれぞれ喀痰血液大便のグラム染色画像に対する %&' と (!! の分類器での推定結果および元画像と類似する画像の検索結果の例であるまた表は喀痰図 8 血液図 4 大便図においてシステムが出力した菌分類の出現割合である表より元画像の出現割合の傾向は学習結果の傾向と類似しているがいずれの場合も = と != が多くなっており精度の面ではまだ不十分であることが分かるなお != が高い割合を占める要因としてはグラム染色液に染まったゴミを誤検出してしまったことが考えられる次に個別の画像ではなくすべての入力画像についての出現割合を評価するそこでまず推定結果としての菌分類の出現割合を ! ! の和を母数としそれぞれの菌分類を分子とした割合と ./ F ). ¿ !"#$

(60)

(61) . － 101 －.

(62) 図. .6. 血液中に含まれる菌分類の出現割合を推定する本システム. 元画像. %&'. 元画像. (!!. %&'. (!!. 類似画像. 類似画像. 図 86 喀痰のグラム染色画像上に対する推定結果画像中と類似画像下. 図 46 血液のグラム染色画像上に対する推定結果画像中と類似画像下. するそして相違とは入力画像の出現割合が ./G ! /G ! ,/Gの場合グラム陽性 4/G グラム陰性 ! ,/Gと捉え推定割合が 88G または 4AG かつ ! A8G または ! ,AG となる場合は「相違 8/G超過となる画像」そうでない場合は「相違 8/G以下となる画像」として数えるこのとき表 3 はすべての入力画像に対して画. 像ごとに付与された菌分類の出現割合と推定した菌分類の出現割合の相違が 8/G以下となる画像数と 8/G超過となる画像数であるここで入力画像枚数に対して相違 8/G以下であった画像枚数の割合は %&' が A8.-G (!! が A4.1Gであった表 3 より %&' と (!! の結果を比較すると %&' では喀痰で相違 8/G以下の画像数が多く (!! では血液大便膿汁尿で相違 8/G以下の画像数が多くな. 8/G . . . － 102 －.

(63) 元画像表 6 喀痰図 8 血液図 4 大便図のグラム染色画像における菌分類の出現割合喀痰図画像 . 分類. %&'. (!!. .

(64) . . . . . . . . . . . . . . . . . .

(65) . . . .

(66). . . . . . . . . . . . .

(67) . . . .

(68). 表. . 血液図画像 . . 類似画像. るこれは細長い形状を持つ桿菌が重なりあった領域や菌が密集して出現する領域が多い喀痰に対しては物体の輪郭や特徴量を活かした %&' が適しており明瞭かつ単独で出現する菌が多い血液大便膿汁尿に対しては菌候補領域画像を活かした (!! が適しているためと考えられる相違 8/G超過の画像が生じてしまう原因について入力画像に対して菌候補領域を抽出する際白血球や上皮細胞ホコリなどのゴミといった菌でない物体を十分に除外できていない状態で特徴量算出や菌分類推定を行っていることが問題だと考えられる菌でない物体が画像中に含まれる菌数に比べて多数存在する場合誤った推定結果が増加してしまうため菌分類の出現割合を正しく算出できなくなってしまう特に染色液に染まった白血球は菌を白血球内に取り込む貪食という現象が発生するとさらに濃く染まってしまい図 3左のように誤検出してしまうまた図 3右のような一見グラム陰性菌に見えるグラム染色液に染まったゴミなどを誤検出してしまうこれらのことが表 3 において 8/G超過の画像枚数が多くなってしまった原因だと考えられる最後に表 A はグラム染色画像から抽出した菌候補領域一つの推定に各分類機が要した実行時間であるなお実行時間の誤差は %&' では ///. 以下 (!! では //. 程度であった表 A より (!! と比較した %&' の実行時間はおよそ 83/ 倍高速である. 分類. . 分類. 図 6 大便のグラム染色画像上に対する推定結果画像中と類似画像下. . 36. 大便図画像 . . . . . .

(69) .

(70) . . . . . . .

(71) . . . . . . . . . 材料ごとの相違 8/Gに対する画像数単位6枚 . 材料枚血液喀痰. 大便膿汁. 尿

(72) . . . 以下. . . . 超過. 以下. . 超過. . . . . . . . . .

(73).

(74). . . . .

(75). . . . まとめと今後の課題. 本論文では画像処理技術を利用してグラム染色画像から菌分類を推定するシステムを開発した実際のグラム染色画像 8/. 枚に対して菌分類の推定を行った結果から明瞭で独立したグラム陰性桿菌やグラム陽性球菌など特徴がある菌分類に対しては高い識別率であったが白血球や上皮細胞を菌としてとらえ誤った識別を行ってしまうことで全体の菌分類の出現割合が崩れ相違が大きくなったまた細長く交差して出現するグラム陽性桿菌や菌同士の分離が上手く行えな. . － 103 －. 図. 36. 白血球内の貪食左とゴミの誤検出右.

(76) . , 5!0-( 8(!.9* 松田晃一$ 詳解 ;<" / コンピュータビジョンライブラリを使った画像処理・認識オーム社 .

(77) . = 7*. 表 A6 菌候補領域 . つに対する菌種推定までの実行時間比較モデル. 時間 . . . . .

(78)

(79)

(80)

(81) (+ :. かったこともまた相違が大きくなる原因であった今後の課題として本論文で使用した機械学習以外にもランダムフォレストや近傍法などを用いて有効性を検証することが挙げられるまた機械学習の教師データとなる菌のラベル付けの精度向上のため実際の医療関係者による教師データ作成ツールの作成図 A も並行して進行している. . A6. 光岡知足$ 腸内細菌学朝倉書店. . 田里大輔藤田次郎$ できる> 見える> 活かす> グラム染色からの感染症診断検体採取・染色・観察の基本とケースで身につく診断力レジデントノート別冊羊土社山本剛$ グラム染色を用いた感染症診療支援について日本臨床微生物学会雑誌

(82)

(83) . . 山内廉$ グラム染色画像からの菌種推定システムの開発九州工業大学情報工学部知能情報工学科卒業論文. 参考文献

(84) . %&&& '(!"!)*+" +" !))(" ,"!-#* !". !". !/

(85) .

(86) . . 橋本和貴$ グラム染色画像からの菌分類推定システムの開発九州工業大学情報工学部知能情報工学科卒業論文 . . 平田耕一横山茂樹松岡喜美子舘田一博賀来満夫$ 感染症微生物グラム染色画像の ,% 解析システムの開発第回日本臨床微生物学会総会・学術集会ポスター発表. . 2. *!. 7+"1. & 0-0!3( 8 *(0*9. +"!04. 5!(!#6. 4!.!((!3!. . ' !((--$.

(87)

(88)

(89)

(90) (+ :. . . 教師データ作成ツール. 0*" %")--*1". . . 本研究の重要な指針や貴重なコメントを頂いたケーディーアイコンズの横山茂樹氏大阪府立急性期・総合医療センターの松岡喜美子先生東邦大学の舘田一博先生東北大学の賀来満夫先生に深く感謝いたします. !""#$. . 満田年宏$ 感染症診断・感染対策に役立つ臨床微生物検査の基礎知識国際医学出版 . 謝辞. . 3*"0*4$. . . 図. !((*(!. . － 104 －.

(91)