尿沈渣画像の自動分類

全文

(1)IT ヘルスケア. 第 15 巻 1 号,2020：003-015. 原著論文. 尿沈渣画像の自動分類光山訓*, 松尾仁司** *(株)日立製作所社会イノベーション事業推進本部，**高崎健康福祉大学健康福祉学部医療情報学科. 尿沈渣検査は尿中の固形成分を分類し、各成分の濃度を計測する検査であり、腎尿路系疾患の診断に利用されている。この検査は検査技師の顕微鏡観察により実施されており、画像処理技術による自動化が期待されている。尿沈査成分は種類により大きさ、形状が多様であり、無色、有色含め様々な色調を呈する。更に同じ種類の成分でも、個人差や検体の状態等に起因する多様性がある。このような多様性が画像処理による自動分類を困難にしている。本研究では、尿沈渣検査の自動化に向け、フロー方式で撮影された尿沈渣画像の自動分類の実現を目的とし、新たな領域分割方法と階層モジュール型ニューラルネットワーク（NN: Neural Network）を提案した。提案した領域分割方法は、濃度値に加え濃度差分値を用いることを特徴とし、無色透明も含めた多様な色調、形状の尿中粒子の正確な領域分割を可能とする。また、階層モジュール型 NN は、複数の小規模な NN を階層的に組み合わせることにより、効率的に分類精度を向上する。評価実験を行い、提案した領域分割手法により無染色細胞の領域分割精度が向上すること、階層モジュール型 NN により、相互に似た形状を示す尿中粒子の分類精度が向上することを確認した。提案手法を適用した自動測定結果と、検査技師による用手法の検査結果との相関を評価した結果、93%以上の高い一致率となり、定性検査との併用によりスクリーニング目的の尿沈渣検査の自動化が可能である見通しを得た。. 1. はじめに. 現を目的とした。フロー方式はフローセルと呼ば. 尿沈渣検査は尿中の固形成分を分類し、各成分. れる特殊形状のノズルを用いる。フローセルは、. の濃度を計測する検査であり、腎尿路系疾患の診. 中央にサンプル、その前後にシース液と呼ばれる. 断に利用されている。従来、この検査は検査技師. 透明な液体を流すことにより、原尿サンプルをシー. の手技により実施されてきた。尿検体を遠心分離. ス液でサンドイッチ状に挟み込み、非常に薄い扁. し、一定量の沈査成分を採取した後、プレパラー. 平な流れを形成する。この流れにフラッシュラン. ト標本を作製する。次に顕微鏡観察により固形成. プを瞬間的に照射することにより、対物レンズ前. 分（赤血球、白血球、上皮細胞など）を分類、計. 面の流れの中に含まれる粒子を拡大静止画像とし. 数し、各成分の濃度を臨床に報告する。このよう. て撮影する。フロー方式は遠心分離やプレパラー. に非常に手間のかかる検査のため、効率化が求め. ト標本作成といった作業が不要であるため、検査. られており、画像処理技術による自動化が期待さ. の大幅な効率化を可能とする。また、流路の厚み. れている。尿沈査成分は種類により大きさ、形状. が一定となるように流速、流量を制御するため、. が多様であり、無色、有色含め様々な色調を呈す. 画像の背景濃度が均一となる。更に、プレパラー. る。更に、同じ種類の成分でも個人差や検体の状. ト標本に比べ粒子の密度が低いため、粒子同士の. 態等に起因する多様性がある。このような多様性. 重なりが生じにくく、画像処理、画像認識の点で. が画像処理による自動分類を難しくしている。. も有利な方式である。しかし、粒子密度が低い分、. 本研究では、尿沈渣検査の自動化に向け、フロー. 検出感度を高くするためには十分な量の尿を測定. 方式 1)で撮影された尿沈渣画像の自動分類の実. する必要があり、高速な画像処理が必要となる。尿沈渣画像を自動分類するためには、まず画像上で尿沈渣成分が存在する対象領域を正確に抽出. 2019 年 12 月 9 日受付；2020 年 5 月 8 日再受付； 2020 年 5 月 21 日受理. する必要がある。有色の成分は色濃度に閾値を設. － 3 －.

(2) IT ヘルスケア. 第 15 巻 1 号,2020：003-015. けることにより抽出することができるが、無色の. の概要を図 1 に示す。尿検体には自動的に染色液. 粒子は背景と同じ色調、色濃度の画素を多く含む. が添加され、一定時間経過した後、フローセル（Flow. ため、濃度の閾値処理では領域を正確に抽出する. cell）に供給される。CCD カメラ（CCD Camera）. ことができない。画像上で閉領域を抽出する方法. によりフローセル（Flow cell）を通過する尿中粒. としては、Snakes、Level Set などの動的輪郭法、. 子の拡大静止画像（512×512 画素）が撮影される。. Watershed アルゴリズムなどの領域拡大法、グラフ. この方式により撮影された画像の例を図 2 に示す。. カット法などが知られている。しかし、いずれの. 画像は A/D 変換器（A/D Converter）により RGB. 方法も適切な初期状態を設定する必要がある、繰. 各色 8 ビットのデジタルデータに変換された後、. り返し演算に計算時間を要する等、大量検体の高. 領域分割処理（Segmentation）を施し、尿沈渣成分. 速な自動処理を必要とする尿沈渣には適さない。. が存在する対象領域と背景に分割する。抽出され. 2). 領域分割に特化した深層学習である U-net を尿. た対象領域の形状や色調に関する 18 種類の特徴量. 沈渣画像の領域分割に適用した研究も報告されて. を算出（Feature Extraction）した後、特徴量に基づ. 3). いる。しかし、この方法は多層の大規模なニュー. き対象成分を自動分類(Classification)する。自動分. ラルネットワーク（NN: Neural Network）を使用す. 類には、様々なパターン認識において有効性が示. るため、計算時間の点で不利である。. されているニューラルネットワークを用いた。. 対象領域の抽出に加え、正確な分類も課題となる。検体の状態により、同一種類の成分でも様々な大きさ、形状、色調を呈する。また、異なる種. Urine. 類の成分が、非常に似た形状、色調を呈する場合. Sheath liquid. Flow cell. もある。このような尿沈渣成の特性が、尿沈渣成分の自動分類を困難にしている。. CCD Camera. 非常に複雑なパターンの分類に対し、ニューラ. Flash lamp. ルネットワークモジュールを階層的に配置した、階層型 NN の有効性が示されている. 4) 5). 。階層型. 析. 5). 4). Segmentation. Feature Extraction. Flow-cytometry Classification. NN を構成する際には、分類対象のパターンに関する事前知識. Magnifying lens. A/D Converter. 図 1 撮像系と画像処理系の概要 Schematic structure of the imaging and image processing system. や、パターンの類似性に関する分. が必要となる。しかし、分類対象の形状、色. 調が多様な尿沈渣においては、分類パターンの事前知識により階層構造を決定する、あるいはパターンの類似性を事前に分析することは困難である。本論文では、高速かつ正確な尿沈渣画像の自動分類方法について報告する。最初に無色の対象と有色の対象の両方を正確に抽出可能な新たな領域分割方法を提案する。次に多様な形状、色調の対象を高精度に分類可能な階層モジュール型 NN を提案し、提案手法の有効性を評価する。 (a) Stained cell (b) Unstained cell 図 2 フロー方式で撮影した画像例 Examples of images obtained by a flow cytometry. 2. システム構成本研究ではフロー方式の撮像系 (Flow-cytometry)1) 6)を用いた。撮像系と画像処理系. － 4 －.

(3) IT ヘルスケア. 第 15 巻 1 号,2020：003-015. 3. 領域分割方法の提案 (1). 正処理（Binary image correction）によりノイズ除. 処理の概要. 去、穴埋めを行い、最終結果（Segmentation result）. 背景が均一、粒子の重なりが生じにくいという. とする。. フロー方式の画像の特性を前提とし、撮像間隔. (2). （1/30 秒）と同期した高速処理が可能な領域分割. 濃度値に基づく領域分割. 濃度による領域分割は、有色の粒子の領域抽出. 方法の開発に取り組んだ。尿沈査中には様々な色調を呈する粒子が出現す. を目的とした処理で、濃度の閾値処理により粒子. る。1 枚の画像上には、これら様々な色調の複数. 領域を抽出する。画像上で異なる色調の 2 種類の. の粒子が現れ、全ての粒子の領域を正確に抽出す. 領域が存在する場合、濃度ヒストグラムは双峰性. る必要がある。前節で述べたように、本研究では、. となる。この場合、2 つのピークの間に存在する. 染色液を添加した尿検体を対象とした。しかし、. 谷（ディップ）の部分に閾値を設定することによ. 生きている細胞は染色液を吸収しにくいという性. り、2 種類の領域を分割することができる。双峰. 質があり、細胞の中には図 2(b)に示すような染色. 性のヒストグラムに対し閾値を設定する方法とし. されない細胞（Unstained cell）が多数存在する。. ては、クラス間分散とクラス内分散の差が最大になるように閾値を定める大津の方法. 有色の粒子に関しては、背景と粒子領域の濃度. 8). を用いるこ. 差に着目し、濃度に閾値を設けることにより、粒. とができる。しかし、本研究で対象とする尿中粒. 子領域を抽出することができる。一方、無色の粒. 子画像では、対象物の面積が背景に比べて非常に. 子は、対象領域中に背景と同程度の濃度の画素を. 小さく、かつ対象領域の濃度分布の広がりが大き. 多く含むため、濃度の閾値処理による正確な領域. い画像が多い。このような画像では対象物の濃度. 分割は困難である。濃度プロファイルを詳細に調. 分布のピークを正確に検出できない。また、様々. べたところ、無染色細胞領域は、細胞内部での光. な色調の複数の粒子が 1 枚の画像上に存在する場. の反射、屈折等の影響により、背景に比べ濃度の. 合には、複数のピークが現れる。. 変動が大きいことが分かった。この特徴に着目し、. 血球画像の領域分割においては、分類対象物の. 局所領域内での濃度変動を定量化し、濃度変動の. 大きさ、色調に関する事前知識を用いることによ. 大きい領域を対象領域とする領域分割方法を新た. り、検体ごとに適応的に閾値を設定する方法が提. に開発した 7)。提案方式の概要を図 3 に示す。. 案されている 9). 10). 。しかし、大きさ、色調のバリ. エーションが少ない血球に比べ、尿沈渣は同一種 Segmentation using gray level Urinary sediment image. Logical OR. 類の成分でも大きさや色調が多様であり、かつ同 Binary image correction. 一画像中に様々な種類の成分が含まれる。また検. Segmentation result. 体ごとに出現する成分や、その濃度も異なるため、. Segmentation using differential values of gray level. 尿沈渣成分の形状、色調に関する事前知識を用いて閾値を設定することは困難である。. 図 3 領域分割処理の概要 Block diagram of segmentation. フロー方式で撮像される画像の背景はムラの少ない均一な濃度を呈する。また、粒子密度が低いため、背景領域の面積が最も大きい。これらの画. 色濃度を用いた領域分割処理（ Segmentation. 像の特徴より、ヒストグラム上で背景領域を表す. using gray level）と、局所領域内での差分値を用い. 濃度のピークが最も高く、容易かつ安定的に検出. た領域分割処理（Segmentation using differential. することができる。そこで、本研究ではヒストグ. values of gray level）を行い、両方の領域分割結果. ラム上で背景領域を表すピークと、その両側でピー. を論理和（Logical OR）により合成する。更に修. クの半値となる濃度値とを基準とし、領域を分割. － 5 －.

(4) IT ヘルスケア. 第 15 巻 1 号,2020：003-015. する方式を開発した 11)。具体的には、以下の処理. また、R 濃度のヒストグラム（R histogram）は、. フローにより領域分割を行う。. 背景の濃度分布の裾と細胞領域の濃度分布の裾が. ① ② ③. ④. R、G 画像の、濃度値ヒストグラムを作成す. 重なっており、双峰性にはなっていない。いずれ. る。. も背景と対象領域の 2 つのピークを正確に検出す. R、G 濃度ヒストグラムのピーク値となる濃. ることは困難であるが、背景領域のピークは急峻. 度値𝑟 、𝑔 を特定する。. で容易に検出可能である。本手法により𝑟. R、G 濃度ヒストグラム上で、ピーク値から. 𝑔. 濃度が低い方向で、ピーク値の半値となる濃. 画素が背景、それ以外の画素が対象領域として領. 度値𝑟 、𝑔 を特定する。. 域分割される。R-G 空間で広範な範囲に広がる対. R、G の濃度ヒストグラム上で、ピーク値か. 象領域の画素を、背景と分離して抽出できる。. 、𝑔. 、𝑟. 、. の 4 個の閾値に囲まれた矩形領域内の. ら濃度が高い方向で、ピーク値の半値となる濃度値𝑟 、𝑔 を特定する。 ⑤. 次式に従い、濃度閾値を決定する。𝑘 、𝑘 の値は、安定して領域分割のできる値を実験により定める。 𝑟 𝑟 𝑔 𝑔. ⑥. 𝑟 𝑟 𝑔 𝑔. 𝑘 𝑘 𝑘 𝑘. 𝑟 𝑟 𝑔 𝑔. 𝑟 𝑟 𝑔 𝑔. 1. 画像上(i,j)における R 濃度値𝑟 , 、G 濃度値𝑔 , が以下の条件を満たす画素を背景、それ以外図 4 ヒストグラムに基づく閾値決定方法 Thresholds set in histogram. の画素を対象領域として抽出する。ただし i は画像上の水平（x）方向の位置、j は垂直（y）方向の位置を表す座標値とする。 𝑟 𝑔. 𝑟, 𝑔,. 𝑟 𝑔. 𝑟 R histogram. 2. Cell area. カメラのフィルタ特性、及び各種尿沈渣成分の. G histogram. RGB 成分を調べた結果、R、G の 2 色のみで有色. 250. の尿沈渣成分の領域分割が可能であることが分. 200. G gray level. かったため、処理の高速化のため、R、G の 2 色のみを用いた。ヒストグラム上での𝑔. 、𝑔. 𝑟. 、𝑔 、𝑔 、𝑔 の. Background. 𝑔. 150 Cell area. 100. 関係を図 4 に示す。また、染色細胞画像の R 画像、. 50. G 画像の濃度ヒストグラムと、R-G 濃度分布との. 0. Pixels of a cell area 0. 関係を図 5 に示す。図 5 より明らかなように、G 濃度のヒストグラム（ G histogram ）は、背景. 𝑔. 100 200 R gray level. 図 5 染色細胞画像の濃度ヒストグラムと濃度分布 Scatter diagram and gray-level histograms of a stained-cell image. （Background）の濃度分布と細胞領域（Pixels of a cell area）の濃度分布は分離しているものの、細胞領域の濃度ヒストグラムは平坦で広がっている。. － 6 －.

(5) IT ヘルスケア. (3). 第 15 巻 1 号,2020：003-015. 濃度変動に基づく領域分割. 無染色細胞の水平方向 1 ラインの G 濃度プロ. 有色の対象物は、前節で述べた通り濃度の閾値. ファイルを図 8 に示す。細胞領域（Cell area）中. 処理により領域を抽出することができるが、無染. に背景と同程度の濃度のピクセルを多数含んでい. 色細胞のような無色透明の対象物は、濃度のみで. るため、濃度閾値処理により細胞領域を背景領域. は正確に領域を抽出することは困難である。図 2. から正確に分離することは困難であることがわか. (b)に示す無染色細胞（Unstained cell）に、濃度閾. る。しかし、無染色細胞領域は、背景に比べ濃度. 値による領域分割処理を行った結果を図 6(a)に示. の変動が大きい。透明な細胞の領域分割を可能と. す。細胞内部の領域がほとんど抽出できていない。. するため、この特徴に着目し、局所領域内での濃. この無染色細胞画像の R 画像、G 画像の濃度ヒス. 度変動を定量化し濃度変動の大きい領域を対象領. トグラムと、R-G 濃度分布を図 7 に示す。無染色. 域とする領域分割方法を新たに開発した。. 細胞は透明で、背景と同じ色調を呈するため、濃. 領域分割のために局所的な濃度変動を定量化す. 度分布は単峰性となる。R-G 空間中でも、濃度分. る方法としては、局所領域内での濃度の分散を用. 布は 1 つのクラスタとなっており、濃度のみで背. いる方法が提案されている 12)。本研究においては、. 景と対象を分離するのは困難であることがわかる。. 前述のように画像 1 枚の処理を 1/30 秒内で行うことを目標とし、次式により局所的な濃度変動を定量化した。 𝑔. 𝑑,. 𝑔. ,. 3. ,. 無染色細胞の R、G、B 三色の濃度変動を調べた結果、G 画像の細胞領域の濃度変動が背景に比べ (a)Result using gray. 最も大きかったため G 濃度を用いることとした。. (b)Result using differen-. 式 3 は注目画素(i,j)に対し、x 方向の前後 n 画素. level tial 図 6 濃度値と差分値による領域分割結果の比較 Comparison of segmentation results (unstained squamous epithelial cell) 𝑟. の差分を計算することに相当する。𝑑 , は加算と減算のみで計算できるため、分散よりも計算量が少ない。また、x 方向のみの隣接画素の値を用いて. 𝑟. いるため、画像 1 ラインごとにデータを転送しな. R histogram. がら計算を行うことが可能であり、ハードウェア実装も容易に行うことができる。 G histogram Background. G gray level. 200. 300. 𝑔. 250 G gray level. 250. 𝑔. 150. 200 150 100. Cell area. 50. 100. 0 0. 50. 100. 150. 200. 250. 300. 350. 400. 450. 500. x-coordinate (horizontal position). 50. 図 8 無染色細胞の濃度プロファイル Gray level profile of an unstained cell image. 0 0. 100 200 R gray level. 無染色細胞に多く含まれる周波数成分が効率的. 図 7 無染色細胞画像の濃度ヒストグラムと濃度分布 Scatter diagram and gray-level histograms of an unstained-cell image. に強調されるよう式 3 の n の値を定めた。背景の x 方向 1 ライン、無染色細胞の x 方向 1 ラインの. － 7 －.

(6) IT ヘルスケア. 第 15 巻 1 号,2020：003-015. (4). それぞれの濃度プロファイルの周波数成分を図 9. 領域分割結果の合成と修正. （下図）に示す。また、同図の上部に、n の値を 1. 図 3 に示したように、3(2)節で述べた濃度値に. ～3 とした場合の、式 3 の周波数特性を示す。背. 基づく領域分割の結果と、3(3)節で述べた濃度変. 景（Background）は低周波から高周波までほぼ一. 動に基づく領域分割結果を論理和で 1 枚の 2 値画. 定の強度であることがわかる。細胞領域（Cell area）. 像に合成した後、領域修正処理を行う。. は中～低周波成分を多く含んでいる。一方、式 3. 領域修正処理として背景のノイズ除去と、対象. の周波数特性は、n の値を大きくすると、より低. 領域の穴埋め処理を行う。高速に処理を行うため、. 周波の成分が強調される特性となっている。無染. 領域修正処理としてはモルフォロジー変換を使用. 色細胞に特徴的に含まれる周波数成分を強調する. し、領域中の穴埋めのためのクロージング処理を. ため、n =2 と設定した。. 行い、次にノイズ除去のためのオープニング処理. 式 3 により計算された濃度差分値𝑑 , を用い、. を行う。図 2(b)の画像に提案手法を適用し、最終的に得られた領域分割結果を図 10(a)に示す。. 次式を満たす画素(i,j)を背景、それ以外の画素を対象領域として領域分割を行う。𝑑 の値は、安定して無染色細胞の領域を抽出できる値を実験により定める。 𝑑,. 4. 𝑑. Amplitude. 0.6. n=1. 0.4. n=3. 0.2 0. (a)Results of proposed. n=2. 0. 128. method 図 10 提案法と濃度値のみによる領域分割の比較 Comparison of segmentation result using proposed method and using only gray-level thresholding. 256. Frequency. Power. 100. (b)Result using gray level. Cell area. 10 1. 4.. 0.1 0.01. 0.001 0.0001. 0. (1) Background 128. 階層モジュール型 NN の提案. 階層モジュール型 NN の特長. 本研究では前述のようにフロー方式で撮像した. 256. 画像を対象とし、撮像間隔の時間内（1/30 秒）で. Frequency. 1 画像中の全対象物の分類を行うことを目指した。. 図 9 画像の周波数成分と、差分値の周波数特性 Spectrum of gray-level profile and frequency response of differential values. そのため、3 層フィードフォワード型という最も小規模のニューラルネットワークを採用し、学習方法はパックプロパゲーション法. 13). を用いた。3. 層フィードフォワード型 NN は、数学的には任意. 本節で述べた濃度差分値を用いた領域分割方法. 14). 。. による、無染色細胞の領域分割結果の例を、図 6(b). の関数を近似可能であることが知られている. に示す。濃度値による領域分割結果に比べ、無染. しかし、多クラスの複雑なパターン認識を、1 つ. 色細胞内部の画素をより多く対象領域として抽出. の大規模なフィードフォワード型ニューラルネッ. できていることがわかる。. トワークで行う場合、ローカルミニマム等の要因によりバックプロパゲーション法では学習がうまく進まないことがある。この問題に対し、複数の. － 8 －.

(7) IT ヘルスケア. 第 15 巻 1 号,2020：003-015. 小規模なニューラルネットワークを階層的に組み. 対応する 2 段目の NN が選択され、再度分類が行. 合わせた構成のニューラルネットワークが提案さ. われる。. れ、その有効性が示されている. 4) 5) 15) 16) 17) 18). 。. ニューラルネットワークにより、特徴パラメー. Select Feature Parameters. タ空間中での識別境界が学習されるが、識別境界がより単純な形状をしている方が、学習が進行し Feature parameters. やすいと考えられる。特徴量空間全体では複雑な形状をしている識別境界も、複数の部分空間に分. Class A Class B. Select. Class C. Feature Parameters. Classify. 割することにより、各部分空間内での識別境界は. Class C. 図 11 階層モジュール型 NN による分類方法 Classification using hierarchical modular neural networks. 単純な形となる。そのため、特徴量空間全体でニューラルネットワークを学習するより、部分空間ごとに学習する方がより精度の高いパターン認識を実現できると考えられる。. 本手法による特徴量空間分割の考え方を図 12 に示す。1 段目の NN の出力層の各ノードは、そ. (2). 階層モジュール型 NN の構築. れぞれ分類クラスに対応づけられている。クラス. 前節で述べた通り、階層モジュール型 NN は尿. A に関連付けられた出力ノードが出力層の中で最. 沈渣画像の自動分類に有効であると考えられるが、. 大値を出力するような入力特徴量（Feature pa-. どのようにモジュールの数や階層構造を決定すべ. rameter）の部分空間（Subspace）には、クラス A. きか、という課題がある。本研究では、パターン. の特徴量が分布する。クラス C のように、分類精. に関する事前知識や、事前の類似性解析を必要と. 度の良い分類クラスは、クラス C の特徴量のみが. しない、新たな階層モジュール型 NN 構築法を開. 分布する範囲を正確に切り出せている。これに対. 発した。開発した手法は、以下に示す手順により. し、クラス A やクラス B のように分類精度の悪い. 階層モジュール型 NN を構築する. 19) 20). 。. 分類クラスは、対応づけられた出力ノードにより. ①. 1 段目の NN を、全データを使い学習する. 切り出される部分空間中に、他のクラスの画像特. ②. 1 段目の NN の分類精度を評価する. 徴量も含まれる。. ③. 分類精度の悪いそれぞれの項目に関して、そ. 1 段目の NN において、分類精度の悪いそれぞ. の項目に分類された粒子のみを再分類する 2. れのクラスに分類された粒子のみを用い、2 段目. 段目の NN を学習し、後段に追加する. のニューラルネットワークを学習する。これによ. 対象画像を分類する際には、以下に示す手順で分. り、学習すべき識別境界は、1 段目のニューラル. 類を行う。. ネットワークで切り出された部分空間に限局され、. ①. 1 段目の NN で分類する. より単純な形状となる。そのため、特徴量空間全. ②. 1 段目の分類結果に対応する 2 段目のニュー. 体の複雑な識別境界に比べ学習が容易になり、識. ラルネットワークがある場合には、2 段目で. 別精度も向上すると考えられる。このように、提. 再分類し、無い場合には 1 段目の分類結果を. 案手法では、分類パターンに関する事前知識や、. 出力する. 類似性解析を必要とせず、階層構造とモジュール. 図 11 に提案手法による分類方法の模式例を示. の数を決定することが可能となる。. す。この図では、まず 1 段目の NN に特徴量（Feature parameters）を入力し、分類を行う。クラス C に分類された対象はクラス C が分類結果となる。クラス A、クラス B に分類された対象は、それぞれ. － 9 －.

(8) IT ヘルスケア. 第 15 巻 1 号,2020：003-015. Subspace. 1 枚の画像上に複数の粒子が存在する画像の領域分割結果の例を図 13 に示す。色調、大きさの異なる複数の対象が同時に存在する画像に対して. class B. Feature parameter 2. も、対象領域を抽出可能であることを確認した。 Subspace. 表 1 無染色細胞の領域分割精度評価結果 Segmentation accuracy for an unstained cell image. class A class C Feature parameter 1. Using only gray level Proposed method. Directly classified. Extraction rate 21% 91%. Number of regions 26 1. 図 12 提案手法による特徴量空間の分割 Division of a feature space by proposed method. 5. 評価 (1). 領域分割精度評価. 3 章で提案した領域分割法の、無染色細胞画像 (b) Segmentation result (a) Original image 図 13 複数粒子が存在する画像の領域分割 Segmentation of an image containing multiple particles. への有効性を検証するため、濃度値のみを使用して領域分割を行った場合と、提案手法により領域分割を行った結果を比較した。図 2 (b)に示した無染色細胞（Unstained cell）画像に対し領域分割を行い、領域抽出率（Extraction rate）と連結領域数. (2). 分類精度評価. （Number of regions）を調べた。領域抽出率は、細. 4 章で提案した階層モジュール型 NN による分. 胞領域全体のピクセル数に対し、対象領域として. 類精度向上の効果を検証するため、単一のニュー. 抽出できたピクセル数の割合を表す。また、連結. ラルネットワーク（SNN: Single Neural Network）. 領域数は、細胞領域がいくつの独立した領域に分. と階層モジュール型 NN （ HMNN: Hierarchical. 断されて抽出されたかを表す。結果を表 1 に示す。. Modular Neural Network）のそれぞれを同じ学習. また、領域分割結果を図 10 に示す。. データを用いて学習し、赤血球、白血球、扁平上. 濃度値のみを使用した場合（Using only gray. 皮細胞、移行上皮細胞、その他の細胞、硝子円柱、. level）、細胞全体のうち対象領域として抽出できた. その他の円柱、の 7 項目の分類精度を比較した。. 画素は 21％であったが、提案手法（Proposed method）. 学習データには予め人間が分類した結果を付与し. により抽出率（Extraction rate）は 70%向上し、細. た約 70,000 枚の画像データを使用した。評価デー. 胞領域全体の 91％を対象領域として抽出すること. タは、学習データとは異なる 23,393 枚の画像デー. ができた。また、濃度値のみを使用した手法では、. タを用いた。また、領域分割は 3 章で提案した手. 1 個の細胞が 26 個の小さな領域として分割された. 法を適用した。. が、提案手法により 1 個の連結した領域として抽. まず SNN を学習し分類精度を評価した結果、下. 出することができるようになった。同様に無染色. 記の①、②のグループ内での誤分類が多かったた. 細胞 61 枚について抽出される連結領域数を比較し. め、HMNN では 2 段目にこれらを再度分類する. た。濃度のみを用いた方法では連結領域数の平均. NN を構成し学習を行った。. は 3.61 個であったが、提案手法では 1.98 個となり、. ①. 白血球、移行上皮細胞、その他の細胞. 有効性が確認できた。. ②. 硝子円柱、その他の円柱. － 10 －.

(9) IT ヘルスケア. 第 15 巻 1 号,2020：003-015. 分類精度評価結果を表 2 に示す。分類精度は、. cell）、扁平上皮細胞（Squamous epithelial cell）の. 人間が各分類項目に分類した画像のうち、NN が. 3 項目について、装置の測定結果と検査技師の用. その項目に分類した（正解した）画像の割合（再. 手法による検査結果との相関の詳細な評価結果を. 現率）とした。赤血球（Red blood cell）、白血球. 表 4 に示す。. （White blood cell）、扁平上皮細胞（Squamous epi-. 表 3 技師鏡検結果との一致率 Comparison between the results of the automatic system and those of the technicians. thelial cell）、その他の円柱（Other cast）の 4 項目に関してはほぼ分類精度は変わらず、移行上皮細. Class Red blood cell White blood cell Squamous epithelial cell Transitional epithelial cell Other epithelial cell Hyaline cast Other cast. 胞（Transitional epithelial cell）、その他の細胞（Other epithelial cell）、硝子円柱（Hyaline cast）の 3 項目に関して、それぞれ 26.6%、43.2%、25.5%と大幅に分類精度が向上した。表 2 SNN と HMNN の分類精度比較 Comparison of classification accuracy between SNN and HMNN. (3). SNN 94.0% 88.5% 91.3% 50.0% 34.3% 74.5% 83.3%. 表 4 自動測定結果と用手法検査結果との相関 Correlation between the results of the automatic system and those of the technicians. HMNN 94.0% 88.3% 91.3% 76.6% 77.5% 100.0% 82.1%. Technicians' Results. Class Red blood cell White blood cell Squamous epithelial cell Transitional epithelial cell Other epithelial cell Hyaline cast Other cast. Match rate 93% 93% 99% 100% 94% 95% 97%. 測定精度評価. 0 1 2 3 4 5 6. Total. 臨床現場での有用性を検証するため、提案手法. 0 47 5 2 0 0 0 0 57. (a) Red blood cell Automated system’s results 1 2 3 4 5 64 3 2 0 0 66 12 3 0 0 5 7 2 0 1 1 5 7 1 1 0 0 0 2 2 1 0 3 1 5 0 0 0 0 0 137 27 17 4 9. 6 0 0 0 0 1 15 0 16. 0 39 7 1 0 0 0 0 47. (b) White blood cell Automated system’s results 1 2 3 4 5 65 2 2 0 0 81 7 1 3 0 6 7 7 2 0 3 6 6 1 0 0 1 0 2 0 0 0 2 2 4 1 0 0 0 0 156 23 18 10 4. 6 0 0 0 1 0 5 0 6. を適用して検体ごとに尿沈渣成分の個数を計測した結果と、検査技師による用手法（遠心分離、標 Technicians' Results. 本作成、鏡検による方法）の検査結果との相関を評価した。図 1 に示す構成の装置で一定量の検体の尿中粒子画像を撮影し、提案手法を適用し粒子を分類、. 0 1 2 3 4 5 6. Total. 計数した。尿沈渣検査の結果は、顕微鏡一視野あたりの個数に基づいたランクで報告される。そのため、計数した粒子数を臨床現場で用いられてい. Technicians' Results. るランクに換算し、技師による検査結果との一致率を評価した。用手法で実施される尿沈渣検査は、装置による測定結果が、ばらつきが大きい 21)ため、. Total. 0 1 2 3. (c) Squamous epithelial cell Automated system’s results 0 1 2 3 167 17 0 0 22 35 5 1 1 4 1 7 0 0 1 3 190 56 7 11. Total 116 86 17 15 5 25 0 264. Total 108 99 23 17 3 13 1 264. Total 184 63 13 4 264. 検査技師による検査結果の±1 ランク以内に入る. 6. 考察. 場合を正答とした。264 検体を用い、表 2 に示した 7 項目に対し、装置測定結果と用手法測定結果. 領域分割の評価において、濃度値のみを用いた. の一致率を評価した結果を表 3 に示す。7 項目と. 領域分割では、1 個の細胞が 26 個もの独立した領. もに 93％以上の高い一致率となることを確認した。. 域に分割された。NN にこれら個別の領域 1 個 1. また、赤血球（Red blood cell）、白血球（White blood. 個を扁平上皮細胞として学習させ自動分類するこ. － 11 －.

(10) IT ヘルスケア. 第 15 巻 1 号,2020：003-015. とも可能であるが、出現した細胞の個数を正しく. いる 22)。この手法は画像の注目領域の画素値その. カウントすることができないため、尿沈渣の検査. ものを CNN に直接入力し、注目領域に存在する. 結果として正しい結果を得ることは難しい。提案. 対象物を認識する。領域分割、特徴量算出に相当. 手法は、1 個の細胞が分断される数（連結領域数）. する処理も自動で学習できるという利点がある一. の大幅な削減を可能とするため、尿沈渣の自動測. 方、各層の素子数が多くなる。また、多層構成と. 定精度向上に大きく寄与すると考えられる。. なるため層数も多くなり、ネットワークを構成す. 分類精度の評価では、HMNN を使用することに. る素子の数が非常に多くなる。尿沈渣の自動分類. より、移行上皮細胞、その他の細胞、硝子円柱の. に CNN を適用した場合には、HMNN に比較し、. 3 項目の分類精度が大幅に向上した。特に移行上. ネットワークを構成するニューロン数は数百～数. 皮細胞、その他の上皮細胞は形状が多彩で、相互. 千倍になると考えられる。臨床現場で尿沈渣検査. に似た形状のものが多い。また、小型のものは白. の自動化を実現する場合には、分類精度に加え、. 血球と非常に似ている。硝子円柱とその他の円柱. 処理速度と装置コストを考慮する必要がある。CNN. の違いは、内容物の有無であるが、内容物の非常. で高速処理を実現するためには、GPU や高速な. に少ない円柱は硝子円柱と特徴量に差異が生じに. CPU が必要となり、装置のコストが増大する。提. くい。HMNN により、これらの相互に類似した形. 案手法は、適切な領域分割処理、特徴量算出処理. 状の対象をより正確に分類できるようになった。. を実施する必要があるが、より小さな計算機リソー. 全ての分類を単一の NN で行う場合、ある項目. スで高速処理が可能であるため、速度とコストの. の分類精度が悪い場合には、その項目のデータを. バランスの点で優れていると考えられる。. 追加収集し、学習データに加え NN を再学習する. 7. 結論. 必要がある。この場合には、全ての項目の再学習が必要となるため、分類精度の良い項目が影響を. 尿沈渣検査の自動化に向け、フロー方式により. 受け、精度が低下する可能性もある。本手法は初. 撮影された尿沈渣画像の自動分類の実現を目的と. 段で分類精度の良い項目は影響を受けないため、. し、新たな領域分割方法と階層モジュール型 NN. 追加学習による精度向上や、分類項目の追加・変. を提案した。提案した領域分割方法は、濃度値に. 更を容易に行うことが可能である。提案手法を適. 加え濃度差分値を用いることを特徴とし、無色透. 用した自動測定結果と、検査技師による用手法と. 明も含めた多様な色調、形状の尿中粒子の正確な. の相関性評価では、7 項目全てにおいて 93%以上. 領域分割を可能とする。また、階層モジュール型. の高い一致率となった。表 4 に示した詳細な評価. NN は、複数の小規模な NN を階層的に組み合わ. 結果を見ると、赤血球（Red blood cell）、白血球. せることにより、効率的に分類精度を向上する。. （White blood cell）では技師の検査結果よりも自動. 評価実験を行い、提案した領域分割手法により. 測定結果が 4 ランク以上低く、偽陰性となってい. 無染色細胞の領域分割精度が向上すること、階層. る検体も存在する。しかし、これらの検体につい. モジュール型 NN により、相互に似た形状を示す. ては、定性検査とのクロスチェックのルールを定. 尿中粒子の分類精度が向上することを確認した。. めることにより見落としを防ぐことが可能である。. また、提案手法を適用した自動測定結果と、検査. 提案手法の適用により、スクリーニングを目的と. 技師による用手法の検査結果との相関を評価した. した尿沈渣検査の自動化は可能であると考えられ. 結果、93%以上の高い一致率となった。定性検査. る。. との併用によりスクリーニング目的の尿沈渣検査. 近年、畳み込み演算層を設け多層化した畳み込. の自動化が可能となる見通しを得た。. みニューラルネットワーク（CNN: Convolutional Neural Network）の画像認識への有効性が示されて. － 12 －.

(11) IT ヘルスケア. 第 15 巻 1 号,2020：003-015. 文献. 10) G. Haussmann, C.-E. Liedtke: A Region Extrac-. 1) 滝美樹, 大和田伯男, 小島康明: 6800 形日立尿. tion Approach to Blood Smear Segmentation.. 自動分析装置の開発. 臨床病理レビュー.. (125):. Com-. puter Vision, Graphics and Image Processing. 25: pp.. pp. 235-242, 2003.. 133-150, 1984.. 2) O. Ronneberger, P. Fischer, T. Brox: U-Net: Con-. 11) 本池順, 光山訓, 橋詰明英他: 色彩情報を用. volutional Networks for Biomedical Image Segmenta-. いた尿沈渣画像領域分割法. 電子情報通信学会総. tion. In: Medical Image Computing and Comput-. 合大会講演論文集 1996 年情報・システム. (2): pp.. er-Assisted Intervention -- MICCAI 2015: 18th Inter-. 130, 1996.. national Conference Proceedings Part III (N. Navab, J.. 12) K. Wu, D. Gauthier, M. D. Levine: Live Cell Im-. Hornegger, W. Wells, A. Frangi, eds). Springer Inter-. age Segmentation. IEEE Transactions on Biomedical. national Publishing, Cham, pp. 234-241, 2015.. Engineering. 42 (1): pp. 1-12, 1995.. 3) A. Aziz, H. Pande, B. Cheluvaraju et al.: Improved. 13) D.E. Rumelhart, G. E. Hinton, R. J. Williams:. Extraction of Objects from Urine Microscopy Images. Learning Representations by Back-propagation Errors.. with Unsupervised Thresholding and Supervised. Nature. 323: pp. 533-536, 1986.. U-net Techniques. 2018 IEEE/CVF Conference on. 14) K. Hornik: Multilayer Feedforward Networks are. Computer Vision and Pattern Recognition Workshops. Universal Approximators. Neural Networks. 2: pp.. (CVPRW): pp. 2311-23118, 2018.. 359-366, 1989.. 4) T. Paulpandian, V. Ganapathy: Translation and scale. 15) R. Anand, K. Mehrotra, C. K. Mohan et al.:. invariant recognition of handwritten Tamil characters. ficient Classification for Multiclass Problems Using. using a hierarchical neural network. 1993 IEEE Inter-. Modular Neural Networks. IEEE Trans. on Neural. national Symposium on Circuits and Systems (ISCAS).. Networks. 6 (1): pp. 117-124, 1995.. 4: pp. 2439-2441, 1993.. 16) Steven J. Nowlan and Geoffrey E. Hinton: Evalua-. 5) S. Abe, M. Lan, J. Motoike: Optimizing Composite. tion of Adaptive Mixtures of Competing Experts. Ad-. Neural Networks for Very Hard Classification Prob-. vances in Neural Information Processing Systems 3,. lems. 情報処理学会論文誌. 35 (9): pp. 1807-1814,. Richard P. Lippmann, John E. Moody and David S.. 1994.. Touretzky, Eds. San Mateo, CA, Morgan Kaufmann,. 6) 小島康明, 山崎功夫, 松尾仁司他: 尿検査の. pp. 774-780, 1991.. システム化に適した尿沈渣の分析装置. 日立評論.. 17) R. A. Jacobs, M. I. Jordan: Learning Piecewise. 79 (10): pp. 15-18, 1997.. Control Strategies in a Modular Neural Network Ar-. 7) 光山訓, 本池順, 橋詰明英, 他: 尿沈渣画像に. chitecture. IEEE Trans. on Systems, Man, and Cyber-. おける無染色細胞の領域分割法. 電子情報通信学. netics. 23 (2): pp. 337-345, 1993.. 会総合大会講演論文集 1996 年情報・システム. (2):. 18) Y. Bennani: A Modular and Hybrid Connectionist. pp. 131, 1996.. System for Speaker Identification. Neural Computa-. 8) N. Otsu: A Threshold Selection Method from. tion. 7: pp. 791-798, 1995.. Gray-Level Histograms. IEEE Transactions on Sys-. 19) 光山訓, 本池順, 橋詰明英他: 階層型ニュー. tems, Man, and Cybernetics. 9 (1): pp. 62-66, 1979.. ラルネットワークを用いた尿沈渣画像の自動分類.. 9) D. Wermser, G. Haussmann, C. E. Liedtke: Seg-. 1997 年電子情報通信学会システムソサエティ大会.. mentation of Blood Smears by Hierarchical Thresh-. （情報）: pp. 63, 1997.. olding. Computer Vision, Graphics and Image Pro-. 20) S. Mitsuyama, J. Motoike, H. Matsuo: Automatic. cessing. 25: pp. 151-168, 1984.. classification of Urinary sediment images by using a. － 13 －. Ef-.

(12) IT ヘルスケア. 第 15 巻 1 号,2020：003-015. hierarchical modular neural network. SPIE’s International Symposium on Medical Imaging 1999. 3661: pp. 680-688, 1999. 21) 石﨑大輝, 伊瀬恵子, 内本高之他: 尿沈渣鏡検法の内部精度管理の有用性に関する検討. 医学検査 63 (1): pp. 48-52, 2014. 22) 岡谷貴之. 深層学習（機械学習プロフェッショナルシリーズ）. 講談社, 東京, 2015.. － 14 －.

(13) IT ヘルスケア. 第 15 巻 1 号,2020：003-015. Title Automatic Classification of Urinary Sediment Images Authors Satoshi Mitsuyama*, Hitoshi Matsuo** Institutions * Social Innovation Business Division, Hitachi, Ltd. ** Department of Healthcare Informatics, Faculty of Healthcare and Welfare, Takasaki University of Health and Welfare, Gunma, Japan. Key Words Urinary sediment, Automatic classification, Image processing, Neural network, Segmentation Abstract The urinary sediment examination is carried out by microscopic inspection of laboratory technicians. Particles contained in urine samples are classified and counted, then the results are reported to doctors. These results can help diagnose diseases affecting the kidney, ureter, and bladder. Image processing techniques are expected to automate the microscopic inspection. However, the application to practical use has been prevented by the fact that the particles in urinary sediment have various shapes, sizes, and colors (even those of the same kind). In this paper, in order to automate the examination, a new image segmentation method and a hierarchical modular neural network (HMNN) are proposed for the classification of the images captured by flow cytometry. Proposed segmentation method can segment not only colored particles but also transparent ones by using both of gray level and its differential values. HMNN enables accurate classification of urinary sediment images by using small neural network modules hierarchically. Experimental results using our segmentation method showed its effectiveness. We compared the classification accuracy when using the HMNN to that with a general single neural network (SNN) and found that the classification accuracy is higher than when using a SNN. Finally, we applied the proposed method to automatically measure the density of the particles of each kind. Its measurement results were com-pared to those of technicians’. The match rates of the automated measurement results and technicians’ results were more than 93% and we concluded that the proposed methods enable automation of screening-purpose examination by jointly using chemical tests.. － 15 －.

(14)