論 文
顕微鏡像の画像処理
（平成元年8月31日受理） 長田佐天木康人
吉岡正人
Image Processing of the Optical Microscope
TasukuOSADA YasuhitoAMAKI MasatoYOSIOKA
Abstract This paper describes the processing system of microscopic image developed in Department of Mechanical System Engineering， Yamanashi Universty． It illustrates hardware and software， both of which are newly designed so as to apply for such fine and rapid changing microscopic image as crack growth． Examples of image process− ing for cracks of MgO single crystal are shown． 1．まえがき 顕微鏡像の目視による観察では，不連続に変化する 物理現象や，高速あるいは数時間単位でしか変化しな い現象に追随することが難しい． さらに，微細なものの観察では，人間の視覚の限界 から，見落としや像境界線の誤認識が起こりやすいな ど，人間の直感力に頼ることにより定量的な情報が得 られないなど難点がある． また顕微鏡像をスチルカメラで撮影して保存してお く方法では，像の再現や加工が容易ではない．このよ うな難点は，映像をコンピュータメモリに取り込むこ とによって解決が可能となる． 近年コンピュータ技術の進歩により，映像信号の情 報処理に関する応用は，飛躍的に発展している。とく に処理部に画像処理専用プロセッサを採用した，小型 ’機械システム工学科，Department of Mechanical Systen Engjneering ”山梨大学大学院，Graduate Stude rt t．， Precision Engineering で高速な処理装置が市販され広く普及しているP．と ころが，これらの市販品を，特定の目的のための実験 装置として使用する場合，細部については，ハード的 な回路の部分や，処理用ソフトについて，目的の要求 を満足しない場合もあり，そのまま使用することが出 来ない．また，一般に汎用の画像処理装置は高価であ る． 筆者らは，従来から種々の材料内に発生，成長する 亀裂（クラック）の形成機構に関する研究を行ってき たa）．これらの研究においては，顕微鏡視野内でのみ 観察可能な，微視的スケールのクラック核の観察を欠 かすことが出来ない．このような微小クラックの観察， 記録のための画像処理システムとしては，ハード的に は，高速のデータ処理及び大容量のメモリ，ソフト的 には，画像上でのクラック部分の抽出，画面分割表示， 二値化処理などが要求されるが，市販の処理シス子ム を用いることは，上記の理由から必ずしも適当でない． そこで新たに，顕微鏡観察用の新たな画像処理システ ム（ハードウェア，ソフトウェア両方）を開発した． 本資料では開発したシステムについて説明し，顕微鏡 画像の処理例として，MgO単結晶に対する圧子押し 込み痕周辺のクラック発生状況について述べる．
また本システムは，システム自体を筆者自身の手で 開発，製作しているので，顕微鏡によるクラック観察 のみならず，他の現象の観察，記録，処理にも十分適 用することが出来る． 子レピカメラは固体白黒カメラで画素数は510（ 水平）×492（垂直）の固体撮像素子で構成してい る．シス子ム動作の簡単な流れを図2に示す． 3． 各部の簡単な説明 2． 酉像処理システム 図1に試作した画像処理システムのブロック図を示 す．図示したようにハードの部分は必要最小限の回路 構成としているため，画像信号の演算すべてが，パソ
コン（PC−9801）上のCPUに依存し，処理速
度が速くできないなどの問題があるが，低価格で画像 処理システムが実現できるために，本資料の使用目的 に適している． コンポジットピデオ信号CCD
Jメラ而
A／D・ c／A 冝s一ドOPC3
モニタ eレピ而
OPC5
データパス 顕微鏡OPB2
OPB3
IOR
パツプア ＜c潟 {ードIow
BHE
緬
OPBO
@ πnPB1
アドレス Jウンタ {ードOPB6
（10MH．）IPB1
アドレスパス 図1 画像処理システムのブロック図 図2 画像データ流れ図3．1 TV画像の走査
ブラウン管の電子ビームは，・ブラウン管に向かって 左から右へ水平方向に走査している．これを水平同期 信号（汀D）と呼ぶ． 水平同期信号は63．5μsの周期をもつ鋸歯状波 で電子ビームの戻りは，水平帰線消去期間に行い，こ の期聞は映像信号が加わらない． 実際の走査において水平帰線消去期間は，1回の走査時間63．5μsの16．5∼18％（白黒標準方
式）の範囲にあり，これを有効水平走査期間という． 水平帰線消去期間を16．5％とすると， 63．5μs − （63．5μs×0．165） ＝53．0μs が有効水平走査期間となる．また垂直同期信号（VD）は，16．7ms（イン
タレース方式）の周期をもつ鋸歯状波で電子ビームを 上から下に走査している．下から上への戻りは，垂直 帰線消去期間に行い，この期間は垂直走査期間の5∼ 8％（白黒標準方式）の範囲にあり，これを垂直走査 期間という．1フィールド期間（16．7ms）の間に262．
5本の走査線が含まれているから，有効走査線数は， 帰線消去期間を6％とすると 262．5本一（262．5本×0．06）≒246．5本 となりインタレース方式では1画像では2倍の493 本となる． 3．2 テレピカメラ 光学顕微鏡像の入力に固体白黒カメラを用いた．固体撮像素子の画素数は，510（水平）×490（垂
直），走査面積は6．6×8．8 rm2となっている． 本システムの同期信号は，カメラ内部での水平走査周波数15734Hzおよび垂直走査周波数59．9
4Hz（インタレース走査）によるもので水平走査周 期をHD，垂直走査周期をVDとして利用している． 複合映像信号は1．Op−p （75Ω負荷）で同様に 外部に出力される． カメラは，ガンマ特性，AGC回路，およびコント ラストの強い被写体でも白い部分の潰れを防ぐ，ダイ ナミック方式ホワイトサプレス回路が内蔵されている．3．3 A／D・D／A変換器
3．3．1 A／D変換器
テレビカメラは，映像信号と同期信 号を合成した複合映像信号を出力して いるので，映像信号だけをディジタル 信号に変換する． 映像信号のディジタル化は，インタ レース走査では，1フレーム期間に256×256画素と512×5ユ2画
素に分割する2通りがある． 本システムでは，ユフレーム期間の 第1フィールド期間の1画面をディジタル化している．分解能は256x2
56×8ビットとすると，垂直方向に 256画素分割できる，1フィールド 期間中の走査線数は262．5本であ るが前述したように有効垂直走査線は246本となる． 水平方向の256画素は，有効水平走査期間中の5 3．Oμsの映像信号を256に分割している． この分割はサンプリングと呼ばれるもので，サンプリング時間は53．0／256＝207（ns）とな
る，したがって4．83MHzがサンプリング周波数
となる．使用したA／D変換器（MP7684）は，8ビッ
ト全並列型変換方式で256のコンパレータの一方に アナログ映像信号がすべて並列に接続されている．他 方の入力へ基準電圧を抵抗分割して256通りの比較 電圧が印加される． コンパレータ出力は，8ビットの2進コードにエン コードされバッファ回路を通ってディジタル出力とな る．3．3．2 D／A変換器
図1に示すように顕微鏡像を画像処理しないで直接 テレビでモニタする場合も，制御コードによる切換を 行っているためにA／D変換と直列にD／A変換を接 続している．したがって，画像データはすべてD／A 変換されることになる．使用したD／A変換器（TML1840）は，1画
素の映像データを8ビットに分解できるビデオ処理用 で，画像信号と同期信号が内部で合成されている．出 力は75Ωラインを直接駆動できる電流加算型となっ ている．なお変換速度は25MHzまで保証されてい る． 3．4 アドレスカウンタ AO A1 メモリへ A16 74LS245UDIR74LS245
ﾂDIR 74LS245gDIROPB1 tPB6 ＋5V
9｝IP
kOAD
LOAD
RIPPLE @ CARRY dN8 T bLEAR @ 74LS163 EN8 T RIPPLE @ CARRY bLEAR @ 74LS163 EN8 T bLEAR @ 74LS163 RIPPLE @ CARRy dNBT bLEAR @ 74LS163 EN8 T @ 而O bLεAR @ 74LS163 CLOCK CLOCK 十5V ENB 十5V ENBOPBOΦ2 OPAO 口PA7＿ ＿皿PBO 皿PB7@ HDVDOPBOHD 而 図3 アドレスカウンタ 1画面分の画素は，1水平走査期間で256画素， 1垂直走査期間で256画素に分割している．1画素 に1アドレスを割り当てるカウンタの回路図を図3に
示す．同期カウンタ（74LS163）は，カウンタ
動作及びプログラムが可能で，入力データをプリセッ トできる．カウンタ動作の時は，クロック周波数10 MHz（Φ2）をクロック入力に加える．初段カウン タの出力Aeはバッファメモリのタイミングに使用し ている．この結果，映像信号のサンプリング周波数は5MHzとなり，1水平走査期間で256画素サンプ
リングできる． カウンタ出力A1からAsまでは，クロック周波数 Φ2をカウントし，AgからA16までは，水平同期信号 HDをカウントしている． カウントアップ信号は最上位ビットA16を監視し ている． プログラム動作は，どの画素を入力するかを，アド レスカウンタ入力にデータをプリセットする． カウント動作または，プログラム動作の選択は制御 信号OPA6によって行われる． 3．5 バッファメモリ図4に1画面分256×256×8ビット＝64K
バイトのバッファメモリ回路を示す． メモリは大容量で，低電力の汎用DRAMを使用す るのが一般的であるが，本システムでは応答時間が速 く，取り扱いが簡単なSRAMを使用している． 5MHzのサンプリング周波数と水平方向の画素数256の関係からアクセスタイム150ns以下のS
RAM HM62256LP（32Kバイト）を採用
した． 1画面分のデータをSRAM2個で記憶している．図示してないがRAMボード上には32KバイトのS
RAMが8画面分実装できる． OPB2 OPB3 図4 バッファメモリ 3．6 入出力回路パソコン（PC−9801）による画像処理部とア
ドレスカウンタおよびバッファメモリ間でのデータ転 送は，プログラマブル・ペリフェラル・インタフェイ ス（PPI）で中継している．図5に回路図を示す． PPIはNo． O， No．1，No． ll，とあり， 以下に各ポートの機能を述べる．PPIO Aポート：パソコンのデータバス下位8ビ
ットとバッファメモリのデータ バスと接続 Bポート：アドレスカウンタの制御 Cポート：A／D・D／A変換の制御 送． 2）バッファメモリの画像データをパソコンのメモリ に転送．3）CCDカメラからの映像信号をA／D変換してバ
ッファメモリに転送． 4）バッファメモリからの画像データをD／A変換し てモニタテレピに転送． 5）CCDカメラからの映像を直接モニタテレピに転 送．8255
ﾌ0 8255（的74LS245
cIR 召8255
ﾌ1，口74LS245
cIR 6 A1 ‘PAO `O ∼ @ IPA7ﾘ 1P80 S ∼ @ 1P87 @ 1PCO @ ∼ U 1PC7 8255（1） DO @ ｝ @ D7 @ D8 @ ∼ @ D15 @ AB3 @ AB2 @ AB1 @ で @ 両 @ 弼 @ AB7 @ AB6 @ AB5 @ AB4 ￨ AB15 @ AB14 @ AB13 @ AB12 @ ABll @ AB10 @ ABg @ AB8 @ ABO MAO肋甑尽 IP80 8255（0） M OPAO @ ∼AO OPA7 禔@ OP80 g ∼ @ OP67 巳 OPCO @ ∼ @ OPC7 図5 入出力回路 4．画像処理プログラム PPII Aポート：パソコンのデータバス上位と接 続 Bポート：カウントアップ用 Cポート：未使用 PPI皿 Aポート：アドレスカウンタのプリセット 入力 Bポート：アドレスカウンタのプリセット 入力 Cポート：未使用 データ制御機能は次の通りである． 1）パソコンの画像処理データをバッファメモリに転 本システムの画像処理プログラムは，MS−DOS 上のマクロアセンブラで作成した．アセンブリ言語に よると，処理速度が速く，ハードウェアの制御が容易 である．なお，複雑な数値演算処理を行っていない． カラー表示は，白黒テレビカメラの映像データをパソコンのGVRAMにより16色の疑似カラー化し，
パソコンのディスプレイで表示している． 開発したプログラムは大別すると以下の通りである． 1．画像入出力プログラム 2．画像データ処理プログラム 3．画像データ保存プログラムA／D・D／Aボードへ 西億データスルー命令
（a）MII
START
初期坦定 A／D・D／A・ホー hへ回惚データを転送 モニタ函面へ出力 END（b）MOO
図6 入出力制御フローチャート 4．1 画像入出力プログラム 1画面分の画像データをバッフアメモリとパソコン 相互間，バッフアメモリからモニタテレビへの表示な どは，次の4つのプログラムで実行している．MII：テレビカメラからの白黒映像を256×25
6×8ビットに分解してバツファメモリに転 送．データ転送後は，再び顕微鏡像がモニタ テレビの映像となる．図6（a）にフローチ ヤートを示す． MOO：画像データを複合映像信号に変換してモニタ テレビで表示． 図6（b）にフローチャートを示す． MIH：バッファメモリからの映像データをパソコン に転送， 図7（a）にフローチヤートを示す． MOH：パソコンの画像データをバッファメモリに転 送． 図7（b）にフローチヤートを示す． 4．2 画像処理プログラム 光学顕微鏡像の画像処理用に開発したプログラムの 代表的なものを次に述べる．START
炎叝U定 パソ⊃ンのメモリ・ア hレスと回■アドレ Xを1増やす アドレスカウンタボー hに画像アドレスをセ cト バッファメモリボード ﾉ薗惚データ出力命令 鞫怎fータをパソコン ﾌメモリに入カ @ ヂータ @ NO入力か設定敗に連 @ したか？ @ YES バッファメモリボード ﾉ画像データ出力停止 ｽ令 RET 初期設定START
パソコンのメモリ・ア hレスと■像アドレ Xを1増やす アドレスカウンタボー hに薗債アドレスをセ bト パソコンのメモリからバ bファメモリボードへ菌 ｭデータを出力 バッファメモリポード ﾉ日但ヂータ入力命令 データ NO 出力が股定数に連 @ したか？ @ YεS バッフ7メモリボード ﾉ薗億データ入力停止 ｽ令 RET（a）MIH （b）MOH
図7 入出力装置制御用プログラムブローチヤート 4．2．1 階衡表示プログラム 光学顕微鏡像からの輝度データを，パソコン上の4 枚のGVRAM（ブルー，レッド，グリーン，インテ ンシティ）の組合せにより16色疑似カラーを，ディ スプレイ上に表示する．なお，パソコンの専用高解像 度カラーディスプレイモードによるカラー表示を採用 している． 輝度データと16色の疑似カラーの関係を表6−1 に示す．GVRAM上1バイトのデータはディスプレ イ上の8ドットに対応している．これに対してテレビ カメラの1画素の輝度は1バイトに分割しているため， そのままGVRAMに輝度データを転送すると，ディ スプレイには8画素分表示されることになり，原画像 と全く異なる像が現れる．この解決方法として，1画 素の輝度データとディスプレイ上の1ドットを対応すること，すなわち8画素分をGVRAMの1バイトの
データとしている．GVRAMへのデータ転送は， BLUE， RED，
GREEN， DARKの順に4つのサブルーチンで実
行している．図8にフローチヤートを示す． 顕微鏡像の任意の領域を，詳しく調べる機能も付加 し，キーボード上の手動操作により輝度調整できる． YES END 図8 階調表示プログラムフローチヤート 表6−1 輝度信号と疑似カラーの対応（16色） ントにいったん転送してから，データセグメントを経 てバッフアメモリやグラフィック画面に出力している． 図9にフローチャートを示す．OOH∼OFH
黒80H∼8F’H
灰（暗）10H∼1FH
薄 青90H∼9FH
青20H∼2FH
薄 赤AOH∼AFH
赤30H∼3FH
薄 紫BOH∼BFH
紫40H∼4FH
薄 緑COH∼CFH
緑50H∼5FH
薄水色DOH∼DFH
水 色60H∼6FH
薄黄色EOH∼EFH
黄 色70H∼7FH
灰く明）FOH∼FFH
白’4．2．2 RENZOKU 4SCREEN：
4画面取り込み表示プログラム 顕微鏡像の時聞的推移に対応して4画面分以内で画 像を取り込み，1画面に4ウインドウの疑似カラー表 示できる． 4画面分の画像データの取り込みは，それぞれ異なったデータセグメントのDA．TA1，2，3，4の場
所に転送する．また画像データは，エクストラセグメ図9 RENZOKU フローチヤート
図10 GVRAM上の4つの画像データの配置
ウインドウ表示とGVRAM上の画像データ配置の 開係を図10に示す．図示したように左側4バイト（ 32画素）分あけ，1画面分のデータを転送し，2画 面との間隔として8パイト，上下の聞隔は1，5バイ トとしている． ウインドウ表示によると，像の変化 の状態が1画面で4個づっであるが，ディスプレイ上 で比較検討できる． そのほかに，次に掲げるプログラムが開発されてい る．
1．CONTRAST1：1画面16色濃度変換
2，CONTRAST2：ウインドウ表示画面の
16色濃度変換3．NICHIKA
4．HISTGRAM
5、RINKAKU
4，3
：画像データ2値化 ：画像データの輝度分布表 示 ：輸郭抽出処理 百像データ保存プログラム 面像データ保存用として，ディスクへの書き込みDISKINと読みだしDISKOUTのプログラム
を作成した． DISKINは，画像データをディスクへ書くフア イル操作を行うもので，このファイル操作には，FC B法とプアイルハンドル法とがある．DISKINで は，プアイルハンドル法を使用した．これは，メモリ 上のある場所にパス名を含めたフアイル名を設定した 上で，それにファイル番号をっけてそのフアイル番号 を用いてプアイル操作を行う方法である． DISKOUTもファイル操作はプアイルハンドル法 によるプログラムである．図11にフローチヤートを 示す． 写真 1 ，．A 写真 2 Di1 1DISKIN DISKOUT
図11 画像データ保存プログラムフe一ヤート ｛48H，6DH） 〔54H．64H） 〔58トL70H） （5AH．6AH） 写真 35． 処理例 6． おわりに 本システムによる顕微鏡像の画像処理例として，M gO単結晶の圧子押し込みによって生じたクラックの 原画像と処理画像の例を写真1∼3に示す． 写真1は原画像でMgO単結晶上に複数個の圧子押 し込みによって生じたクラックの一部分を示している． 写真2は写真1で示した原画像の輝度データを各画素 について16色の疑似カラーに変換した結果である． 原画像と写真2を比較するとクラックの境界のコン トラストなどは，原画像より画像処理の方が少しはは っきりしているが，まだ不鮮明な部分も多くクラック の大きさや，深さにっいての計測にはまだ十分ではな い．この画像情報をさらにコントラスト強調という処
