PowerPoint プレゼンテーション

画像処理システム論

画像処理システム論

Image Media Systems

Image Media Systems

加藤

加藤

俊一

俊一

Toshi

生体から学ぶべきメカニズム（１）

生体から学ぶべきメカニズム（１）

„

明暗順応：

„ 明るさの変化に対する調節機構 „

側抑制：

„ 視野の中の明暗の微小変化を局所的に検 出・強調するメカニズム „

色順応：

„ 色彩の対比に対する調節機構

生体から学ぶべきメカニズム（２）

生体から学ぶべきメカニズム（２）

„

初期視覚における特徴抽出：

„ 空間領域 „ 局所的な明るさ・色調の対比 „ エッジ検出 „ 構図 „ 全体的な明るさ・色調 „ 周波数領域 „ 画像・映像の複雑さ „ 画像・映像内の規則性

感性の工学的なモデル化

„

知覚感性

（認識・理解） „

創出感性

（表出・働き掛け） „

階層間の

対応関係と

相互作用を

モデル化

„ Cf. マーケティングとの違い 視 聴 触 味 匂 視 聴 触 画像 肌触 味 香 絵図 表情 動作 力 生理的 レベル 心理的 レベル 「のんびり」 「躍動感」 「若々しい」 「さわやか」 「ソフト」 is_sim ilar_to is_opposite_to is_equal_to is_sim ilar_to 認知的 レベル ＜知覚感性＞ ＜創出感性＞ ＜セルフフィードバック＞ 音声 音 音楽 音声 音 音楽 物理化学的 レベル

［実験１］ 絵画を探そう

„ インターネットから Claude Monet の “Haystack at Giverny” という作品（群）を探し出して表示してみよう！ „ どういうツールを使って どういう探し方（検索の仕方）で どれだけの時間・回数が必要だったか？

［実験２］ 絵画を探そう

„ インターネットから この絵画を 見つけ出して 表示してみよう！ „ どういうツールで どういう探し方で 時間・回数が 必要だったか？

感性の工学的なモデル化

„

知覚感性

（認識・理解） „

創出感性

（表出・働き掛け） „

階層間の

対応関係と

相互作用を

モデル化

„ Cf. マーケティングとの違い 視 聴 触 味 匂 視 聴 触 画像 肌触 味 香 絵図 表情 動作 力 生理的 レベル 心理的 レベル 「のんびり」 「躍動感」 「若々しい」 「さわやか」 「ソフト」 is_sim ilar_to is_opposite_to is_equal_to is_sim ilar_to 認知的 レベル ＜知覚感性＞ ＜創出感性＞ ＜セルフフィードバック＞ 音声 音 音楽 音声 音 音楽 物理化学的 レベル

生理的レベルでの感性シミュレーション

„ 人間はどんな特徴をとらえているか？ „ 画像特徴量 „ センサーでの特徴抽出機構の「近似」 „ 多次元ベクトル空間（ＧＦ空間）による表現 „ （例） „ モノクロ図形（商標図形） „ カラーイラスト „ テクスチャ „ ３次元物体

［実験３］ 絵画を探そう

http://www.hermitagemuseum.org/html_En/index.html

［実験

4］カラー画像の検索

（芸術作品）

http://www.hermitagemuseum.org/html_En/index.html

→ DIGITAL COLLECTION

［実験

4］カラー画像の検索

（芸術作品）

http://www.hermitagemuseum.org/html_En/index.html

→ DIGITAL COLLECTION

［実験５］ 例示検索実験

„

各１０枚の画像をキーに

「似ている画像」を検索。自分の判断は？

„ （例） 「幾何学的な図形（ロゴ）」 「蝶」 „ 自分は どういう理由（「なんとなく」「直感で」は×）で 「似ている」「似ていない」と判断したか？

モノクロ画像の例示検索

(図形)

カラー画像の例示検索

(写真)

http://www2.hm.indsys.chuo-u.ac.jp/omron/take/

生理的レベルの感性

„

初期視覚における特徴抽出

„ 明暗と局所的なコントラスト „ 色彩と局所的なコントラスト „ 線分（境界線）の方向性・曲率 ↓ „ 空間的な周波数 „ テクスチャ „ 形状・構図・空間知覚

画像特徴量による評価

①横分割 ②縦分割 ③同心円状分割 ④放射状分割 画像特徴空間 例示画 …_{, p} j, … p₀ A T r₀= A T p₀ 図形データベース （商標・意匠）

カラー画像の例示検索

„

構図の特徴

„

色彩の特徴

例示した切手 色彩だけに注目して類似検索すると→ 色彩を無視して、構図だけに注目すると→ 色彩と構図を総合して判断すると→

類似性を感じる基準は？

„

類似性には、階層・段階がありそうだ

„ 知識・理解を伴う類似性 → 認知的レベル „ 雰囲気の類似性 → 心理的レベル „ ほとんど同じに見える類似性 → 生理的レベル

知覚感性

知覚感性

高次（局所）コントラスト

高次（局所）コントラスト

„

画像の特徴量記述

„

複数の特徴量からの選択（目立つ特徴）

| ) ( | 2 | ) ( | | ) ( | )} ( ) ( { )} ( ) ( { ) , , ( _{( )} 2 ) ( 1 ) ( 2 ) ( 1 ) ( 2 ) ( 1 ) ( r a r a r r a r r a r r a a f f f f f f f Cont _{i i} i i i i i + + + + − + + − + = , | ) , , ( | ) , , ( ) , ( _{( )} 1 ) ( 2 ) ( 1 ) ( ) ( 2 ) ( 1 ) (

∑

= = _{n I} i i i i i i i Cont Cont i r a a r a a r γ . | ) , , ( ' | ) , , ( ' ) , , ( ) ( 1 ∑ ∫ ∫ = = I n i _P P d l i d l i l i g r r r r r γ γ

知覚感性

知覚感性

高次（局所）コントラスト

高次（局所）コントラスト

Key:

（比較）

（比較）

Global Color Histogram

Global Color Histogram

on GF (R, G, B)

From 14,000 images Key:

高次局所コントラスト特徴を利用した類似検索 Key:

（比較）

（比較）

Regional Color Histogram

Regional Color Histogram

on SF (R, G, B)

Key:

感性の工学的なモデル化

„

知覚感性

（認識・理解） „

創出感性

（表出・働き掛け） „

階層間の

対応関係と

相互作用を

モデル化

„ Cf. マーケティングとの違い 視 聴 触 味 匂 視 聴 触 画像 肌触 味 香 絵図 表情 動作 力 生理的 レベル 心理的 レベル 「のんびり」 「躍動感」 「若々しい」 「さわやか」 「ソフト」 is_sim ilar_to is_opposite_to is_equal_to is_sim ilar_to 認知的 レベル ＜知覚感性＞ ＜創出感性＞ ＜セルフフィードバック＞ 音声 音 音楽 音声 音 音楽 物理化学的 レベル

心理的レベルでの感性

„

「感性の違い」が現れる例

„ 素人 vs 達人 „ 個人 vs 個人 „ ハードウェアとしての目の構造は同じなのに „

「感性の違い」がビジネスを左右する。

心理的レベルでの感性シミュレーション

„

ハードウェアとしての目：

共通構造

→ 分類の個人差

→ 主観的な類似度：

個人毎 „

着眼点・注目点の重み付けが違う

„

画像特徴空間：

共通的

→ 主観特徴空間（ＳＦ空間）：

個人毎

主観特徴空間の構成法

„

クラス分け

„ 学習用サンプル集合の(階層的な）分類 „ N-classへの判別学習 „

類似度行列

„ 学習用サンプル集合の(全)２対間に類似度 „ 数量化理論４類

利用者 学習用図形 画像特徴空間 主観特徴空間 画像特徴空間 例示画 p_i, p_j, p_k r₀ …_{, p} j, … …_{, r} i, … p₀ クラス分けによる 主観的類似度の提示 （離散量） 図形対に対する 主観的類似度の提示 （連続量）

<Subjective Feature Space>

Σˆ

W : A ve. intra−group cov.

Σˆ

B : A ve. inter−group cov.

<Graphical Feature Space>

Σ W : Intra−group cov.

Σ B : Inter−group cov.

<Criteria> J = tr( Σˆ _W−1Σˆ _B) : max ⇐ Σ _B A =Σ _W A Λ AT Σ _W A = I <Subjective Similarity> S = (s _ij) S∞= S S … S <Criteria> Q = ∑N i = 1∑ N j = 1 s _ij(r T _i r _j) : max ⇐ Σ _E A =Σ _X A Λ A TΣ _X A = Λ A T A T r₀= A T p₀ 図形データベース （商標・意匠）

知覚感性

知覚感性

注視する特徴の推定

注視する特徴の推定

„

階層的分類＋

„

多重解像度

ユーザによる検索結果の差

検索キー

ユーザB ユーザA

感性の工学的なモデル化

„

知覚感性

（認識・理解） „

創出感性

（表出・働き掛け） „

階層間の

対応関係と

相互作用を

モデル化

„ Cf. マーケティングとの違い 視 聴 触 味 匂 視 聴 触 画像 肌触 味 香 絵図 表情 動作 力 生理的 レベル 心理的 レベル 「のんびり」 「躍動感」 「若々しい」 「さわやか」 「ソフト」 is_sim ilar_to is_opposite_to is_equal_to is_sim ilar_to 認知的 レベル ＜知覚感性＞ ＜創出感性＞ ＜セルフフィードバック＞ 音声 音 音楽 音声 音 音楽 物理化学的 レベル

認知的レベルでの感性

„

「解釈の違い」が現れる例

„ 素人 vs 達人 „ 個人 vs 個人 „ ハードウェアとしての目の構造 ソフトウェアとしてのボキャブラリ は同じなのに

［実験６］イメージの違い

„

モネの連作の絵から受ける印象は？

“Haystack at Giverny” „ 同じオブジェクト „ 同じアングル „ 同じ構図 „ 「違い｣を生む原因は？

a1 a2

a5

a4 a3

［実験７］イメージの違い

„

モネの絵から受ける印象は？

(上下左右をひっくり返すと、印象が変わる！？) „ 同じ画像 „ 同じ色彩 „ 同じ配色 „ 「違い｣を生む原因は？

認知的レベルでの感性シミュレーション

„

認知的な表現：

主観的クラス分け×主観的ラベル付け

„

画像＊画像

„

言葉＊言葉

„

画像＊言葉

„

画像特徴量とイメージ語表現の相関：

統合特徴空間（ＵＦ空間）

…_{, p} j, … 利用者 学習用絵画 印象語空間 画像特徴空間 統合特徴空間 印象語空間 画像特徴空間 主観特徴空間上での ポインティング _{漠然としたイメージ 例示画 絵画データベース} （統合特徴空間） a_i, a_j, a_k p_i, p_j, p_k （画像主成分空間） 主観特徴空間 （印象語主成分空間） 主観特徴空間（縮退） …_{, r} i, … p₀ r₀ …_{, c} i, … a₀ c₀ Λ r₀=Λ F T a₀ GT r₀=Λ Fˆ T H−1/2 b₀ F T Fˆ T H−1/2 r₀= GTp₀ BT F T= Fˆ T H−1/2 BT b₀ G T= Gˆ T M−1/2 Q T Q T

絵画の構図・色彩特徴量のモデルと

イメージ語表現の教示学習

［実験８］

［実験８］

感性の教示と感性検索

感性の教示と感性検索

„

はじめは「教示なし」で実験

（＝平均モデル）

„ （準備）利用者登録 „ 様々なイメージ語の組合せ（１０例くらい）を キーとして感性検索。 „ 上位に検索された「候補画像」は、 „ どのような特徴を抽出した（していない）と予想 されるか？ „ どれくらい自分の解釈と一致しているか？

絵画の感性検索

［実験９］

［実験９］

感性の教示と感性検索

感性の教示と感性検索

„

次に「教示あり」で実験

（＝自分のモデルを作る）

„ 様々なイメージ語の組合せ（１０～２０例）を キーとして感性検索。 „ 検索された「候補画像」について、自分の解釈 を教示する。 „ 「同じイメージ語で検索」で、どのように変化し たか？ „ 他のイメージ語の検索結果がどう変わった か？

絵画の感性検索

景観写真の感性検索

„

構図の特徴を生かしたモデル化

３次元物体の感性的な表現

„

形状

„

質感： 色彩・表面反射・透過など

質感に対する感性モデルの可視化

A:甘い B:カジュアルな C:シックな D:クリアな E:クールな F:ダンディな G:ダイナミックな H:エスニックな I:フォーマルな J:ゴージャスな K:激しい L:ハードな M:ほがらかな N:地味な

感性シミュレーションの課題

„

感性モデルの可搬性

„

感性モデルを用いた「逆推定」

感性モデルの可搬性

„

街路景観で学習→室内景観にも適用

感性モデルの段階的構築

„

プロファイルの利用

„ 特定個人 „ 年齢／性別／趣味／言語 „

追加学習

„ 教示例の収集 → 感性モデルに反映 „ 感性の経時変化 → 感性モデルに反映

認知的レベルでの感性

„

「解釈の違い」が現れる例

„ 素人 vs 達人 „ 個人 vs 個人 „ ハードウェアとしての目の構造 ソフトウェアとしてのボキャブラリ は同じなのに

色彩に対する感性の

カラーイメージの計測と分析

„ 自分の目で見て感じる「カラー」の 「イメージ」を計量してみよう！ „ 冬休み明けには、 各自のデータ＆分析ツールを 利用して勉強します。 冬休み中に、必ず、心理実験を行って データを作成しておくこと！ „ 必要な資料は、 大学内で、ダウンロードしてください！

［宿題１］カラーイメージ（１）

„

明るい方の

20色・暗い方の20色を選び

自分の感じる明るさの順に並べる。

„

RGBおよびそれから計量できる量と

自分の感じる明るさとを比較してみる。

„

明るさの順序を決定付ける要因は？

［宿題２］カラーイメージ（２）

„

赤味

が強い

20色を選び

自分の感じる

「赤い」

順に並べる。

„

RGBおよびそれから計算できる量と

自分の感じる

「赤味」

とを比較してみる。

„

赤味

とその順序を決定付ける要因は？

（注）

Rの信号の強さだけではない！

N9.5は、Rの信号が強いが、赤くない。

［宿題３］カラーイメージ（３）

同様に

„

赤味

„

緑味

„

青味

„

黄色

が強い

20色を選び、同様の考察を

してみよう！

回答データの記載例 明るさが 強い→大 弱い→小 課題ごとに 別シートに

［宿題４］

Excelで分析

„

R, G, B or これらから導出した物理量と

感じる「赤味」の強さとの

„ 散布図を作成する „ 直線近似のグラフを求める „ 説明変数：物理量 目的変数：感じる「赤味」の強さ とする 回帰分析を行う

［宿題５］カラーイメージ

„

生理的なレベルでのカラーイメージ

„

実験用データ（

Excelシート）の所在

図１ 図２ 図３ 図４ 図５

図６ 図７ 図８ 図９ 図１０

図１１ 図１２ 図１３ 図１４ 図１５

［宿題５］カラーイメージ（１）

„ 明るさの度合い „ 暗さ „ 赤み（or 緑） „ 青み（or 黄） （注）７段階評価 ３：とっても～だ、、、 ０：どちらともいえない、、、 －３：全然～でない

［考察５］カラーイメージ（１）

生理的なレベルでのカラーイメージ

„

RGBおよびそれから計算できる量と

自分の感じる

「赤味」など

とを比較してみる。

„

赤味

とその順序を決定付ける要因は？

（注）

Rの信号の強さだけではない！

N9.5は、Rの信号が強いが、赤くない。

［考察５］

Excelで分析（１）

„

R, G, B or これらから導出した物理量と

感じる「赤味」の強さとの

„ 散布図を作成する „ 直線近似のグラフを求める „ 説明変数：物理量 目的変数：感じる「赤味」の強さ とする 回帰分析を行う

（参考）生理的に感じる明るさ

（参考）生理的に感じる明るさ

„

機械的には

„ V = (R+G+B)/3 „

人間の視覚特性を考慮すると

„ V = 0.299×R ＋ 0.587×G ＋ 0.114×B „ 錐体細胞数では L(R)>M(G)>>S(B)だが、 Mの波長帯は、Lの波長帯の大部分を含む。

［宿題６］カラーイメージ（２）

„

心理・認知的なレベルでのカラーイメージ

„

実験用データ（

Excelシート）の所在

図１ 図２ 図３ 図４ 図５

図６ 図７ 図８ 図９ 図１０

図１１ 図１２ 図１３ 図１４ 図１５

［宿題６］カラーイメージ（２）

„ 軽そうに感じる度合い „ 重そう „ 暖かそう „ 冷たそう „ 心が安らぐ „ 元気付けられる „ 固そう „ 柔らかそう （注）７段階評価

［考察６］カラーイメージ（２）

„

カラーイメージ（１）

生理的レベル

と

カラーイメージ（２）

心理・認知的レベル

の

関係を探る

„

最も～なのは？

„

～な順は？

„

～と最も関係がありそうなのは？

［考察６］

Excelで分析（２）

„

生理的レベルのイメージと

心理・認知的レベルのイメージとの

„ 散布図を作成する „ 直線近似のグラフを求める „ 説明変数：生理的レベルのイメージ 目的変数：心理・認知的レベルのイメージ とする回帰分析を行う

［宿題７］カラーイメージ（３）

„

心理・認知的なレベルでの

カラーイメージ と

形から受けるイメージ

„

実験用データ（

Excelシート）の所在

http://www.indsys.chuo-u.ac.jp/~kato/IPS/ColorAndShape.xls

図２１ 図２２ 図２３ 図２４ 図２５

図２６ 図２７ 図２８ 図２９ 図３０

［宿題７ ］カラーイメージ（３）

„

明るさの度合い（

or 暗さの度合い）

„

赤み（

or 緑）

„

青み（

or 黄）

„

角ばった度合い（

or 丸い度合い）

（注）７段階評価

［宿題７ ］カラーイメージ（４）

„ 軽そうに感じる度合い „ 重そう „ 暖かそう „ 冷たそう „ 心が安らぐ „ 元気付けられる „ 固そう „ 柔らかそう （注）７段階評価

［考察７］

„

カラーイメージ（３）と（４）の関係を探る

„

最も～なのは？

„

～な順は？

［考察７］

Excelで分析（３）

„

生理的レベルのイメージと

心理・認知的レベルのイメージとの

„ 散布図を作成する „ 直線近似のグラフを求める „ 説明変数：生理的レベルのイメージ 目的変数：心理・認知的レベルのイメージ とする回帰分析を行う

分析・モデル化のポイント（１）

„

被験者の「回答の仕方」

„ イメージ、イメージ語 「暖かい」 „ グループ分け、 「暖かグループ」 「同じグループ」 順番付け、 「最も、、、」 距離（類似度） 「どれくらい近い」 „ 心理物理量 「赤味」 Cf. 物理量 「R-G, R-G-B」

分析・モデル化のポイント（２）

„

何と何との間の関係か？

„ イメージ vs イメージ 「暖か」「冷たい」 „ イメージ vs 順位 「暖か１位」「暖か３位」 „ イメージ vs 心理物理量 「暖か」「赤味」

→

今日の

大部分のマーケット分析の手法

○ 多変量解析の利用可 「重回帰分析」 × 未知データ・新規のコンテンツに無力

分析・モデル化のポイント（３）

„

物理量との間に直接・間接の関係？

„ イメージ vs 物理量 「暖か」「R-G」 „ 順位 vs 物理量 「暖か順位」「R-G」 „ 心理物理量 vs 物理量 「赤味」「R-G」

→

これからの

感性・マーケット分析の手法

○ 多変量解析の利用可 「重回帰分析」 ○ 未知データ・新規のコンテンツでも可能 ＝ 物理量から推定可能 「R-G」から推定

講義の資料

講義の資料

on Web

on Web

„

講義資料

„ http://www.indsys.chuo-u.ac.jp/~kato/IPS/ „

参考資料

„ http://www.indsys.chuo-u.ac.jp/~kato/HM/ „ http://www.hm.indsys.chuo-u.ac.jp/ „ http://www.jske.org/

教科書・参考書

教科書・参考書

„

岸野文郎、他：「画像と空間の情報処理｣

（岩波、

3800円）

„

淀川英司、他：「視聴覚の認知科学」（電子

情報通信学会、

2800円）

„

池田光男：「目は何を見ているか」（平凡社、

2400円）