捜査用似顔絵に基づく被疑者写真検索への顔画像識別技術の適用について.pptx

(1)

平成

27年6月13日

捜査用似顔絵に基づく被疑者

写真検索への顔画像識別技

術の適用について

澤田　雅之

澤田雅之技術士事務所

(電気電子部門)

(2)

☆

おことわり

☆

　本資料の中で用いた顔写真や似顔絵

は、全てインターネット上の公開情報か

ら引用したものです。

(3)

◎　

目撃者との対話の中で犯人の顔の印象や

特徴を捉えて

1枚の絵に凝縮

→　

捜査員に配布して聞き込みに活用　

→　

広く公開して情報提供を募る

捜査用似顔絵

️

◎　

2011年中には全国で1万7583枚作成

→　

被疑者の逮捕や余罪確認に繫がった事

　　例は

813件（全体の4.6%）

顔画像識別技術を用いて被疑者写真と

照合し

、

ダイレクトに身元を割れないか

?

⇨

(4)

捜査用似顔絵と被疑者写真の対比

◎

　国内の捜査用似顔絵と逮捕後の被疑者写

　真との対比は、インターネットの公開情報から

　は困難

→

　米国の捜査用似顔絵と逮捕後の

Mugshot

（我が国の被疑者写真に相当）との

9組の実

事例で対比

　ヒューストン警察で

30年以上にわたって

活躍し、最も成功した捜査用似顔絵作成

者としてギネス世界記録に認定されたル

イス・ギブソン氏の作品

→

(5)

米国の捜査用似顔絵と逮捕後の

Mugshot

(6)

米国の捜査用似顔絵と逮捕後の

Mugshot

◎　

ルイス・ギブソン氏の手法は

、

パステルを用

　いて濃淡をつけ

、

肌の質感や顔の立体感をリ

　アルに表現

→

　鉛筆等を用いた線画による手法よりも、画

質の点で顔画像識別技術との親和性が高い。

(7)

米国の捜査用似顔絵と逮捕後の

Mugshot

◎　

どの組の似顔絵も

、

実物が持つ多くの特徴を

　よく捉えている。

→

　しかし、顔の各部分の物理的細部形状や

相対的位置関係から推定した骨格形状に基

づき同一性を判断すれば、どの組の似顔絵

も

Mugshotとは明らかに別人

(8)

米国の捜査用似顔絵と逮捕後の

Mugshot

◎

実物を見たときにピンと来るほどに似顔絵

　が捉えた特徴とは何か？

⇨

顔画像識別技術を用いて

、

似顔絵が捉え

た特徴を抽出することにより

、

Mugshotの照

合・検索を行うことができるか？

(9)

似顔絵が捉えた特徴に関する実験

◎

英国アバディーン大学心理学科が

、

英国内務

　省からの委託を受けて昭和

50年代に実施

→

記憶している顔の特徴を、

①は似顔絵で再現させ、

②は箇条書き文章で再現させる。

→

第三の被験者グループに、似顔絵又は箇条書き文

　章のいずれかを手掛かりとして、顔写真集の中から

　該当する顔写真を検索させる。

→

①と②の両被験者グループに、同一人物を目撃

　させる。

⇨

さて

、

それぞれの検索精度は？

(10)

似顔絵が捉えた特徴に関する実験の結果

◎

似顔絵を手掛かりとする検索精度と

、

箇条書

　き文章を手掛かりとする検索精度は

、

ほぼ同じ

→

検索に有用な情報量は、似顔絵と箇条書き文章で

　は、ほぼ同じ

→

箇条書き文章では、顔の物理的細部形状を表現す

　ることは極めて困難であり、顔の大まかな特徴や印

　象に関する記述が中心

⇨

似顔絵は

、

箇条書き文章でも表現可能な

、

顔

の大まかな特徴や印象に関する複数の情報を

、

一つの絵の中に凝縮（百聞は一見に如かず

。

）

(11)

複数の目撃者による似顔絵

◎

１人の犯人について

、

４人の目撃者それぞれの記　

　憶を手掛かりとして

、

大阪府警で作成した似顔絵

(12)

複数の目撃者による似顔絵に共通する特徴

◎

顔の物理的細部形状の違いに注目すれ

　ば

、

４枚の似顔絵は明らかに全くの別人

◎

目元や口元の印象

、

顔の大まかな特徴

、

　髪型や体型については

、

４枚の似顔絵に

　は明らかな共通点

→

この共通点こそが、犯人を見かけた

　時に「ピン！」と来る元となる情報

⇨

人の目は

、

顔の物理的細部形状を捉えるのではなく

、

顔の主立った特徴や印象を瞬時に捉える特性がある

。

⇨

機械の目は

、

このような特徴を捉えられるか？

(13)

機械の目の特性（

1/2

）

↔

️

２枚の顔画像は同一人物

→　

人の目

には、眉間、鼻翼、下唇の整形手術が影

　響して、全く別人の印象

→　

機械の目

では、左の画像で右の画像を、数十万

　枚の中から類似度一位に瞬時検索

◎

(出典)h9ps://www.google.co.jp/search?q=%E5%B8%82%E6%A9%8B%E9%81%94%E4%B9%9F&biw=1670 　　_{&bih=952&tbm=isch&tbo=u&source=univ&sa=X&ei=LrkJVKznE8Tr8AWqiYKICg&sqi=2&ved=0CCEQsAQ}

(14)

機械の目の特性

（

2/2

）

↔

️

２枚の顔画像は同一人物

→　

人の目

には、１７年の経年変化、剃った眉毛、女

　性的な髪型が影響して、全く別人の印象

→　

機械の目

では、左の画像で右の画像を、数十万

　枚の中から類似度一位に瞬時検索

◎

(出典)h9ps://www.google.co.jp/search?q=%E5%B9%B3%E7%94%B0%E4%BF%A1&tbm=isch&tbo=u&source= 　　univ&sa=X&ei=2jMHVNBVhvnwBfnYgqAI&sqi=2&ved=0CKsBEIke&biw=1670&bih=952

(15)

機械の目の特性のまとめ

◎

検索・照合が超高速

◎

見た目の印象の違いに影響されない

。

　多数の顔特徴抽出フィルタで、顔画像から物理的

特徴を量的に抽出　

→

　フィルタ枚数に応じた次元

数の顔特徴ベクトルを生成　

→

ベクトル間の距離

計算は超高速

　印象の違いを生み出す顔の経年変化

、

表情の有

無

、

眼鏡等の有無

、

整形手術等は

、

かつては識別

精度を劣化させる主要因

→　

顔特徴識別フィルタ

の工夫

(学習効果等)で対処　

→　

今日では識別精度

を劣化させる主要因ではない

。

（劣化の主要因は、

顔画像の鮮明度、緻密度、撮影角度）

(16)

複数の目撃者による似顔絵に共通する特徴

◎

顔の物理的細部形状の違いに注目すれ

　ば、４枚の似顔絵は明らかに全くの別人

◎

目元や口元の印象、顔の大まかな特徴、

　髪型や体型については、４枚の似顔絵に

　は明らかな共通点

→

この共通点こそが、犯人を見かけた

　時に「ピン！」と来る元となる情報

⇨

人の目は、顔の物理的細部形状を捉えるのではなく、

顔の主立った特徴や印象

を瞬時に捉える特性がある。

⇨

機械の目は

、

このような特徴を捉えられないのでは？

(17)

機械の目を用いた肖像画による写真検索実験

☆

米国立標準技術研究所の

Face RecogniJon Vendor Test

（

NIST

　Interagency Report 8009）からの引用

64 万枚の

Mugshotに864枚の写真を加えた顔画像DB

⇨

を

、

864枚の肖像画と864枚の「別の写真」で検索

◎

各組右側の顔画像は

、

アーティストが左側の写真を

　見ながら作成した肖像画（総数は

864組）

(出典) h9p://mmlab.ie.cuhk.edu.hk/archive/cufsf/

(18)

肖像画による写真検索実験の結果

◎

64万枚のMugshotに864枚の写真を加えた顔画像DB

を

、

864枚の肖像画と864枚の「別の写真」で検索

→ 肖像画で検索した場合

　　　　類似度

1位検索率　:　7.7%

　　　　類似度上位

50位以内検索率　: 　27.4%

→ 「別の写真」で検索した場合

　　　　類似度

1位検索率　:　98.5%

　　　　類似度上位

50位以内検索率　: 　99.9%

⇨

　肖像画は

、

機械の目を用いた写真検索に適してい

るとは言えない

。

その原因は？

(19)

肖像画による写真検索実験結果の考察

◎

肖像画は

、

機械の目を用いた写真検索に適している

　とは言えない

。

その原因は？

→

肖像画の作成に当たり、アーティストは、元となる顔写真との

　形状面における正確さではなく、「見た目がそっくり」となるよう

　に求められている。　

→

特徴が誇張されて描かれる傾向

→

機械の目では、顔画像の細部形状や相対的位置関係の合致

　度を、精緻に高速計算するとともに、経年変化や整形手術等に

　よる細部形状の変動については、ある程度まで許容する柔軟

　性を持たせている。　

→　

特徴が誇張された肖像画は

、

「変動の

　許容範囲」の逸脱を招き易い

。

→ 　「別の写真」と比べて肖像

　画による検索精度が著しく低くなる最大の原因

(20)

捜査用似顔絵による写真検索に関する考察

◎

機械の目には

、

経年変化や整形手術等による細部形状の変動

　（人の目には別人の印象を与える

。

）を

、

ある程度許容する柔軟性

→

特徴が誇張された肖像画は、「変動の許容範囲」を逸脱し易い。

→

目撃者の記憶から作成した捜査用似顔絵は

、

写真を見ながら

　作成した肖像画よりも

、

一層

、

「変動の許容範囲」を逸脱し易い

。

⇨

　捜査用似顔絵による機械の目を用いた写真検索の効果は期待

できない

。

→

　さて

、

我が国の捜査用似顔絵は？

(21)

我が国の捜査用似顔絵

◎

我が国の捜査用似顔絵も

、

犯人の顔の物理的な細部形状を

　正確に捉えているとは考え難い

。

→

画像のマッチングによる

　被疑者写真検索の効果は期待できない

。

⇨

　目撃した犯人の顔の記憶に基づく

、

効果的な被疑者写真検

索の実現は不可能か？

(22)

目撃者の記憶特性

◎

意識レベルの特性　〜　再生

◎

無意識レベルの特性　〜　再認

顔を見た時に意識レベルで注目して記憶に残るのは、

① 感情をよく表現し、動きにより表情を生み出す部位であ　

　　る目元や口元の印象

② 平均顔に照らした、顔の全体的な印象（肉付きが良い、

　　頬が痩けている、丸顔、面長など）

⇨

「捜査用似顔絵」に活用

　かつて見たことがある顔に出会った途端に、見たことのある顔

であることに気付くこと　

→

　驚く程に高精度

⇨

「写真閲覧」及び「写真面割り」に活用

(23)

「再認」は高精度

☆

警視庁における写真閲覧実績が物語る。

◎ 昭和60年代に警視庁が実施していた写真閲覧の概要　　(1) 事件内容に該当する罪種や相関性が高い罪種、並びに目撃者が推　　　定した犯人の年齢幅に基づき、引き出し式保管庫から写真を数百枚　　　ずつ、総計で五千枚程を取り出して目撃者に提示　　(2) 目撃者は、半日ほどかけて1枚ずつ閲覧することにより、犯人である　　　可能性が排除し切れない写真を選び出す。 ◎ 昭和60年代に警視庁が実施していた写真閲覧の効果　　(1) 年間一千件ほどの写真閲覧を実施した結果、犯人の発見率は1割弱　　　　　　(2) 当時、警視庁が保管管理していた数十万枚の写真の中から、罪種と　　　推定年齢幅のみを手掛かりとして選択したわずか五千枚程の写真を　　　　　閲覧した結果であるため、_{1割弱の発見率は驚異的}_→　閲覧に供した　　　五千枚程の中に犯人の写真が含まれていた場合には、目撃者はほぼ　　　　　確実に「犯人である可能性が排除し切れない写真」として選び出してい　　　　たと考えられる。　→　「再認」は驚く程に高精度

⇨

　今日では　、罪種や年齢幅に加えて、土地鑑、身長幅、顔や体格の大まかな特徴などを活用し、閲覧に供する五千枚ほどの中に犯人の写真が含まれる可能性を大幅に高めることができる。

(24)

目撃者の記憶特性を活かした検索手法

◎

再生と再認を併用した被疑者写真検索の実現

→ 画像間のマッチングによる検索に代えて、箇条書き文章間のマッチングに　　よる検索が実現できる。具体的には、　　① 被疑者写真を画像登録する際に、被疑者写真を観察して、顔や体格　　　の目に付く特徴や印象、風体を、箇条書き文章として作成し登録してお　　　く。この作成に当たり、「この写真の人物が将来目撃された場合、目撃者　　　はこの顔や体格のどこに注目するだろうか。」といった、目撃者目線に　　　立った写真観察が肝要　　② 似顔絵を作成する際に、似顔絵の中に凝縮された特徴や印象を箇条　　　書き文章として作成しておく。　　③ 全文検索技術を用いて、似顔絵作成時に作成した箇条書き文章と被　　　疑者写真登録時に作成した箇条書き文章のマッチングを行い、顔や体　　　格の特徴や印象、風体が近似する被疑者写真を検索する。　【目撃した顔の特徴や印象を凝縮した似顔絵は、顔の特徴や印象を言葉で表現した箇条書き文章と比べて、検索に有用な情報量はほぼ同じ】

捜査用似顔絵に基づく被疑者写真検索への顔画像識別技術の適用について.pptx

平成

27年6月13日