01画像処理の応用とシステムpdf 映像メディア工学2017 ヒューマンコンピュータインタラクション研究室 01画像処理の応用とシステム

(1)

画像処理の応用とシステム

（ ₂₀₁₇ 年 ₉ 月 ₂₅ 日）

浅井紀久夫

（非常勤 _from 放送大学）

1

(2)

本日のポイント

• ^{画像処理の応用}

• ^{画像処理とは}

• ^{システム構成}

• ^{入出力装置}

教科書

画像処理システムのところ

2

(3)

映像メディア工学の目的

• 画像処理、マルチメディア技術について、基

本的な知識を習得し、手法の概念を理解する

• ^{関連領域は広い}

映像メディア工学

3

映画

通信

医療

製造業

計測流通

広告ロボット

セキュリティ

(4)

画像処理の応用

• ^{パターン検査}

• ^文字認識

• ^{ナンバープレート認識}

• ^{指紋による個人認証}

• 医用画像による診断支援

• ^{リモートセンシング}

• ^{交通量計測}

• ^{ロボット・ビジョン}

• ^{バーチャル・スタジオ}

4

(5)

どこに欠陥が？

回路パターンの検査

果物選別：成熟度や傷を検査

5

(6)

パターン検査

• 人間の眼に代わって、高速、高精度に自動検

査

– ^{プリント基板や}LSIなどの回路パターンの検査 – 印刷文字やマークの検査

• ^事例

– セラミック印刷配線パターンの検査

配線パターンのエッジに発生する凹凸やにじみを欠陥と誤認識しないで、ショートや断線といった致命的欠陥を検出する

– LSIレジストパターンの検査

回路パターンの微細な形状不良を検出する

6

(7)

これは何？

富山福祉短期大学メルマガ

帳票_OCR

携帯端末を利用した_QRコードによるポイントシステム

7

(8)

文字認識（パターン認識）

• 人間の眼に代わって、高速に自動認識

– オフライン文字認識：帳票や文書上の文字を認識

– オンライン文字認識：タブレット上にペンで書いた文字を認識

• ^事例

– ^帳票OCR (Optical Character Reader)

 自治体の税金伝票、製造業の納品書、流通業の購入伝票、経理部門での入出金伝票

– ^手書きOCR

 郵便番号・宛名読み取り、金融機関の伝票

– ^{カメラ付き携帯電話}

 ^URL^{や名刺の読み取り}

8

(9)

これは何？

ナンバープレートの認識結果と ETC処理された車両情報と照合

画像入力二値化処理文字領域の抽出文字領域の結合 _文字認識岡山３００つ７１７１

処理手順

車種判別装置

9

(10)

ナンバープレート認識

• ナンバープレートの文字を認識して、走行す

る自動車を特定

– ナンバープレート領域の検出 – ^{文字の切り出し}

– ^文字認識

• ^事例

– ETC^車両確認

– 二地点間の旅行時間の計測

– ビルや駐車場での車両入退場管理

10

N^システム

(11)

指紋を用いたノート_PC のユーザ認証

（_lenovo）

指紋認証による入退室管理

（_NEC）

あなたは誰？

11

(12)

指紋による個人認証

• 指紋に基づいて個人を識別

– ^{指紋画像の入力} – ^特徴抽出

– 登録パターンとのマッチング

• ^事例

– ^犯罪捜査

 現場に残された指紋を照合する

– ^個人認証

 ^{建物への入退出管理}

 情報端末へのアクセス管理

指紋認証（富士通）12

(13)

頭部_MR画像

頭大丈夫？

13

(14)

医用画像による診断支援

• 医師の観察・診察を容易にする

– 身体内部の情報を画像化して保存 – ^{高精細画像を表示}

– ^{疾患候補の発見}

• ^事例

– X^線画像：X線の透過率分布から病巣部分を可視化 – 超音波画像：超音波が戻ってくるまでの時間を計測

– CT^画像、MR画像：多数の投影画像から身体内部を再構成

– 画像のデータ蓄積・伝送・表示：高画質画像を、遠隔地（離島やへき地）にリアルタイムで伝送する

– 疾患の抽出：時系列差分画像による疾患候補部位の検出

14

(15)

ランドサットランドサットだいち

15

(16)

リモートセンシング

• 対象物から離れた場所から観察

– 航空機や衛星から、地球の状態を観察する – 広域性、均質性、周期性、継続性

– マルチスペクトル：可視光、赤外光、マイクロ波

16

• ^事例

– 地球環境の監視：森林面積や海水温

の時間変化から地球温暖化の兆候を観察

– ^精密農業

– 災害情報の収集：時系列比較による破壊状態を把握

気象衛星写真

(17)

車間距離測定

いるのか、いないのか

17

(18)

交通量計測

• ^{車両の流れを把握}

– 車両の有無や状態の検出 – 前方車両との距離の計測

• ^事例

– ^{渋滞情報の提供}

– ^{交通信号の時間制御}

– 前方車両に近づきすぎたとき、注意喚起

18

(19)

自動車工場で部品を組み立てるアームロボット

ホームアシスタントロボット

（東京大学）

もう、人はいらない？

19

(20)

ロボット・ビジョン

• 人間の代わりに行うロボットの眼

– ^{産業用ロボット} – ^{家庭用ロボット}

• ^事例

– 製品の組立作業の自動化

組み付け用ロボット・アームに取り付けた複数カメラで、作業中の部品とボディの位置関係（三次元位置と姿勢）を認識する

– ^{人間の生活を補助する}

カメラを備え、周囲の状況やロボット自身の位置を認識する

20

(21)

リアルタイム_3Dバーチャル・スタジオ

空虚を指さす

21

(22)

バーチャル・スタジオ

• カメラで撮影した実写映像と _CG を合成

– 映像合成技術として、クロマキーが用いられる – カメラの位置を検出し、カメラワークに整合した

CG^{を生成する}

• ^事例

– ニュースや天気予報などの生放送

– 子供番組・語学番組での_CGキャラクタ

三次元計測：画像処理技術を利用して動きを検出

22

(23)

画像処理とは

• 画像を入力とし、何らかの処理を施すこと

• ^{狭義の画像処理}

– 画像を処理した結果が、再び画像である

明るさやコントラストを変えて、見やすくする

^{画像の歪みを補正する}

• 画像解析、画像計測、画像認識

– 入力された画像から、写っている対象に関する何らかの情報を抽出する

23

(24)

画像処理システムの構成

• ^基本構成

– 画像入力装置：入力、標本化・量子化、専用処理 – コンピュータ：画像データ処理

– 画像出力装置：専用処理、_D/A変換、出力

• ^専用処理

– 画像入力装置：色調整、画像圧縮 – 画像出力装置：色調整、濃度変換

画像データ処理入力、標本化・量子化、

専用処理

専用処理、_D/A変換、出力

画像入力装置コンピュータ画像出力装置

24

(25)

画像入力装置

• ディジタル・ビデオ・カメラ

– ^{動画像を撮影する}

– ^{フルハイビジョン（}1920^×1080^{ピクセル）} – ^{フレームレート：}30fps

• ディジタル・スチル・カメラ

– ^{静止画像を記録する}

– 500^万画素（2560 ^× 1920^{ピクセル）}

– ミラーレス：コンパクトで軽量、レンズ交換

25

(26)

画像入力装置

• ライン・スキャン・カメラ

– 工場の生産ラインにおける計測

– 一次元センサ（リニア・センサ）を機械的に移動して対象を走査

– 入力画像の画素数を圧倒的に大きくできる

• ^{イメージ・スキャナ}

– 文書や画像が記録された紙やフィルムを走査することにより、ディジタル・データに変換する

26

(27)

撮像素子

• ^{エリア・センサ}

– 光強度を電圧に変換する受光素子（フォトダイオード）を二次元的に配置した撮像素子

• CCD

– Charge Coupled Device^{（電荷結合素子）}

• CMOS

– Complementary Metal Oxide Semiconductor^（相補型金属酸化膜半導体）

27

(28)

CCD

• 入射光によって発生した電荷を順に転送し、

一次元時系列信号として出力する

CCD^{撮像素子の基本構造}

• ^特徴

– ^高感度

– 電子シャッタ機能（電子的に露光時間を制御）

^{蓄積の同時性：高速に} 動く物体の瞬間を撮像可

28

(29)

三板式と単板式

• ^三板式

– RGB^{三色をそれぞれ専用の}

CCD^{で測光する}

– ダイクロイック・プリズム

• ^単板式

– 各画素ごとに異なる色フィルタ

を接着した_CCDで、補間などの画像処理によって画像全体の色情報を再構成する

– ^{デモザイキング}

ダイクロイック・プリズムと_3CCD

デモザイキング処理

生データ

R^データ G^データB^データ

補間データ

全画素データ

29

(30)

CMOS

• ^{水平位置と垂直位置（} XY ^{アドレス）を指定し、}

直接読み出す

• ^特徴

– ^{読み出し速度が高速} – ^{消費電力が小さい} – ^安価

CMOS^{撮像素子の基本構造} ³⁰

(31)

CCD ^と CMOS ^の違い

• ^{信号を取り出す方式}

• CCD

– 電荷を増幅せずに、そのまま_CCDの持つ転送機

能により出力回路まで運び、そこで信号電圧に増幅して出力する

• CMOS

– 各画素に増幅素子を組み込み、光電変換した電荷を一旦増幅した後、各画素を_XYアドレス方式で選択し、信号を電圧または電流として取り出す

31

(32)

コンピュータの基本構成

カメラ

ディスプレイグラフィックス・コントローラ

RAMDAC チップセット

（ブリッヂ）

ハードディスクキーボード

マウス

（内部）バス CPU^バス

メモリ・バス

（内部）バスキャッシュ・メモリ

CPU

メインメモリ

フレーム・メモリ

32

(33)

画像出力装置

• ^{ディスプレイ}

– CRT (Cathode Ray Tube)^{ディスプレイ} – ^{液晶ディスプレイ}

– プラズマ・ディスプレイ – ^有機EL^{ディスプレイ}

• ^{プロジェクタ}

– ^{三巻式プロジェクタ} – ^{液晶プロジェクタ} – DLP^{プロジェクタ}

• ^プリンタ

– インクジェット・プリンタ – ^{レーザ・プリンタ}

– ^{熱転写プリンタ} ³³

(34)

CRT ^{ディスプレイ}

• 真空放電管内部の電子銃から電子ビームを発射し、前面の蛍光面に当たった位置が発光する

• 側面の電磁石で電子ビームを偏向させることにより、走査する

• ^{色再現性は比較的良い}

• ^{大きく重い}

電子銃

電子ビーム

コイル蛍光面

シャドウマスク：

電子ビームを_RGBに割り振る

34

(35)

走査方式

• ^{インタレース方式}

– 1/60秒で奇数番目の走査線（奇数フィールド）を上から下へ描画 – ^次の1/60^{秒で偶数番目の走査線}

（偶数フィールド）を描画

– 動きは滑らか、画面のちらつきが出やすい

• プログレッシブ方式（ノンインタレース）

– 1/60秒ですべての走査線を描画 – ^{ちらつきが少ない}

インタレース

プログレッシブ

35

(36)

液晶ディスプレイ

• 二枚のガラス板に挟んだ液晶にかけた電圧

の変化で、画素に対応した各液晶セルの透

過率（光の通し方）を制御する

• ^薄型

• ^{低消費電力}

液晶層は、配向方向が異なる二つの配向膜に挟まれているため、液晶分子がねじれた状態になる。

液晶分子のねじれに合わせて、光の振動方向

が回転する。 ₃₆

(37)

偏光の調節

電流を流した状態

（光を通さない）

電流を流さない状態

（光を通す）

37

(38)

プラズマ・ディスプレイ

• 二枚のガラス間に封入した希ガスに電圧を加

えることで、画素に対応した素子を発光させ

る

• ^薄型

• ^大型化

38

(39)

有機 _EL （エレクトロルミネッセンス）

• 電圧を加えると、発光する有機物質を使う

• ^超薄型

• ^{表示板を曲げられる}

電子輸送層

正孔輸送層

有機_EL材料

39

(40)

有機 _EL 用途

40

テレビ

照明

ディスプレイ

(41)

プロジェクタ（ _DLP ）

• ^{超小型ミラー（} DMD ）を敷き詰めた光半導体

素子で、光源からの光を反射することで投影

する

• ON/OFF ^{はミラー制御}

• ^明るさは ON/OFF ^時間

• ^高解像度

• ^高輝度

DMD: Digital Mirror Device DLP: Digital Light Processing

41

(42)

インクジェット・プリンタ

• 印刷ヘッドのノズルから、インクの微粒子を用

紙に吹き付ける

• ^高解像度

• ^低価格

印刷面インク回収口

ノズル

42

(43)

レーザ・プリンタ

• レーザ光で感光したドラムにトナーを付着さ

せ、用紙に転写する

• ^{保存性に優れる}

• ^高速

• ^高解像度

1 ²

3

4 5

43

(44)

評価

• 定期試験：中間及び期末

• ^{授業への参加状況}

• ^演習

– 理解度の確認（試験前に、_{1, 2}回）

• ^課題

– ^{作品と発表とレポート}

– 締め切り日を、年明けに設定予定

44

(45)

課題について

• ^作品

– 画像を加工し、芸術もしくは機能として示す

• ^発表

– 授業の中で、芸術もしくは機能について発表する – どこが面白いのか、説明する

• ^レポート

– ^{作品を印刷したもの}

– 作品のポイントを説明する

– 画像の加工、あるいは作業工程を記述する

45

(46)

課題について

• ^例

– ^{モーフィング} – ^パノラマ

– 簡単な濃淡変換を施した風景

• ^注意

– ^{著作権に気をつける}

– フリーのものを使って良いが、使ったことを明示する – ^{ウィルスに気をつける}

46

(47)

これは誰だ？

47

(48)

龍馬とベートーベン

使用ソフトウェア：Sqirlz Morph ^坂本龍馬by^中田耕市 ^{ベートーベン}byヨーゼフ・シュティーラー ⁴⁸ 48

(49)

パノラマ写真

49

(50)

二枚の写真をパノラマ化

使用ソフトウェア：_autostitch

50

(51)

朝日？夕日？

51

(52)

カラーバランスの調整

写真：iStockPhoto@microsoft^{クリップアート} 使用ソフトウェア：_FilterGear

赤色を強くする

52

(53)

講義ノート

• ^以下の URL ^{から取得できる}

– https://sites.google.com/site/asaizlaboratory/ imagemedia2017

53

01画像処理の応用とシステムpdf 映像メディア工学2017 ヒューマンコンピュータインタラクション研究室 01画像処理の応用とシステム

画像処理の応用とシステム

（ 2017 年 9 月 25 日）

浅井紀久夫

（非常勤 from 放送大学）

本日のポイント

• 画像処理の応用

• 画像処理とは

• システム構成

• 入出力装置

映像メディア工学の目的

• 画像処理、マルチメディア技術について、基

本的な知識を習得し、手法の概念を理解する

• 関連領域は広い

画像処理の応用

• パターン検査

• 文字認識

• ナンバープレート認識

• 指紋による個人認証

• 医用画像による診断支援

• リモートセンシング

• 交通量計測

• ロボット・ビジョン

• バーチャル・スタジオ

どこに欠陥が？

パターン検査

• 人間の眼に代わって、高速、高精度に自動検

査

• 事例

これは何？

文字認識（パターン認識）

これは何？

ナンバープレート認識

• ナンバープレートの文字を認識して、走行す

る自動車を特定

• 事例

あなたは誰？

指紋による個人認証

頭大丈夫？

医用画像による診断支援

リモートセンシング

いるのか、いないのか

交通量計測

• 車両の流れを把握

• 事例

もう、人はいらない？

ロボット・ビジョン

空虚を指さす

バーチャル・スタジオ

• カメラで撮影した実写映像と CG を合成

• 事例

画像処理とは

• 画像を入力とし、何らかの処理を施すこと

• 狭義の画像処理

• 画像解析、画像計測、画像認識

画像処理システムの構成

画像入力装置

• ディジタル・ビデオ・カメラ

• ディジタル・スチル・カメラ

画像入力装置

• ライン・スキャン・カメラ

• イメージ・スキャナ

撮像素子

• エリア・センサ

• CCD

• CMOS

CCD

• 入射光によって発生した電荷を順に転送し、

一次元時系列信号として出力する

• 特徴

三板式と単板式

• 三板式

• 単板式

CMOS

• 水平位置と垂直位置（ XY アドレス）を指定し、

直接読み出す

• 特徴

CCD と CMOS の違い

• 信号を取り出す方式

• CCD

（ ₂₀₁₇ 年 ₉ 月 ₂₅ 日）

（非常勤 _from 放送大学）

• ^{画像処理の応用}

• ^{画像処理とは}

• ^{システム構成}

• ^{入出力装置}

• ^{関連領域は広い}

• ^{パターン検査}

• ^文字認識

• ^{ナンバープレート認識}

• ^{指紋による個人認証}

• ^{リモートセンシング}

• ^{交通量計測}

• ^{ロボット・ビジョン}

• ^{バーチャル・スタジオ}

• ^事例

• ^事例

• ^{車両の流れを把握}

• ^事例

• カメラで撮影した実写映像と _CG を合成

• ^事例

• ^{狭義の画像処理}

• ^{イメージ・スキャナ}

• ^{エリア・センサ}

• ^特徴

• ^三板式

• ^単板式

• ^{水平位置と垂直位置（} XY ^{アドレス）を指定し、}

• ^特徴

CCD ^と CMOS ^の違い

• ^{信号を取り出す方式}

CRT ^{ディスプレイ}

• ^薄型

• ^{低消費電力}

• ^薄型

• ^大型化

有機 _EL （エレクトロルミネッセンス）

• ^超薄型

• ^{表示板を曲げられる}

有機 _EL 用途

プロジェクタ（ _DLP ）

• ^{超小型ミラー（} DMD ）を敷き詰めた光半導体

• ON/OFF ^{はミラー制御}

• ^明るさは ON/OFF ^時間

• ^高解像度

• ^高輝度

• ^高解像度

• ^低価格

• ^{保存性に優れる}

• ^高速

• ^高解像度

• ^{授業への参加状況}

• ^演習

• ^課題

• ^以下の URL ^{から取得できる}