類似画像検索の実行

実行パートでは、最適化パートで最適化された画像検索手法と特徴量算出元画像サ イズの組み合わせで、段階的な絞り込み処理による類似画像検索を実行する。クエリ 画像とDB中の画像との類似度を基に、類似画像を選出する方法として、図3.4に示す ように、類似度の閾値を設けて、閾値以上の類似度を持つ画像を類似画像として選出 する方法や、図3.5に示すように、類似度が高い順に候補画像のリストをソートして、

ソート結果が上位の画像から予め定めた枚数の画像を抜き出して類似画像として選出 する方法が一般的である。前者の閾値による選出方法を段階的な絞り込み処理に用い る場合、ある絞り込み段階でクエリ画像と候補画像の類似度が算出でき次第、その画 像を次の絞込み段階へ通過させるか否かを決定できるため、各段での絞り込み処理を 並列化して全体の処理を高速化できる（DB内の画像をランダムな順番に調べる場合、

特定のタイミングに連続して複数枚の画像が絞り込みを通過することは少なく、次段 の処理の負荷はほぼ一定になると予想される）。しかし、閾値の設定が性能に大きく影 響する、各段での絞り込みを通過する画像の枚数が毎回異なるなどの問題がある。一 方で、後者のソートによる選出方法を段階的な絞り込み処理に用いる場合、各段での 絞り込みを通過する画像の枚数を任意に決定できるため、安定して同じ枚数の類似画 像を選出することができるが、クエリ画像と候補画像の類似度の算出が全て終了した 後でなければ、絞り込みを通過させる画像を決定できないため、各段での絞り込み処 理を並列化できない。

そこで、絞り込みを通過させる画像を決定する方法（通過画像決定方法: Filtering

Strategy）として、図3.6に示すように、DB内の画像を複数のグループ（各グループ

内にN枚の候補画像）に分割し、各グループN枚の候補画像に対して類似度を算出す る毎に、N枚の中で類似度が上位M枚の画像を通過させる方法を提案する。この提案 手法を本論文では部分ソートフィルタリングと名付ける。部分ソートフィルタリング では、毎回既定の枚数の画像が絞り込みを通過する上、順次通過する画像が決定され ていくため、処理の並列化が可能である。部分ソートフィルタリングを用いた段階的 な絞り込み処理の流れを図3.7〜図3.10に示す。1段目の絞り込み処理では、クエリ画 像をDBの全画像と比較し、2段目の絞り込み処理へ通過させる画像を順次決定してい く。2段目の絞り込み処理では、クエリ画像を1段目から通過してきた画像と順次比較 し、次の絞り込み処理へ通過させる画像を決定していく。n段目（最後）の絞り込み処 理では、クエリ画像を前段から通過してきた画像と順次比較し、類似画像を選出する。

Database Threshold 0.95

Selected Similar Images Query Image

Compare

Similarity: 0.74

Similarity: 0.35 Similarity: 0.98

Similarity: 0.99

・ ・

・

・ ・

・

Copyright (C) 2018 Japan Atomic Energy Agency

図 3.4: 類似度の閾値を用いた類似画像選出方法

Select Top N Images as Similar Images Query Image

Compare

Similarity: 0.61 Database

Similarity: 0.74

Similarity: 0.35 Similarity: 0.98

・ ・

・

Sort

Similarity: 0.95 Similarity: 0.98 Similarity: 0.99

・ ・

・

・ ・

・

Similarity: 0.94 Similarity: 0.94

Copyright (C) 2018 Japan Atomic Energy Agency

図 3.5: 類似度によるソートを用いた類似画像選出方法

Select Top M Images from Each N Images Query Image

Compare

Database

Similarity: 0.74

Similarity: 0.35 Similarity: 0.98

・ ・

・

・ ・

・

Similarity: 0.95

Similarity: 0.61

Similarity: 0.99

・ ・

・

・ ・

・ Candidates of

Next Step

・ ・

・

Copyright (C) 2018 Japan Atomic Energy Agency

図 3.6: 部分ソートフィルタリングによる類似画像の候補の絞り込み

図3.7:部分ソートフィルタリングを用いた段階的な絞り込み処理（準備）

図 3.8: 部分ソートフィルタリングを用いた段階的な絞り込み処理（1段目の絞り込み 処理の実行）

図 3.9: 部分ソートフィルタリングを用いた段階的な絞り込み処理（2段目の絞り込み 処理の実行）

図3.10: 部分ソートフィルタリングを用いた段階的な絞り込み処理（n段目の絞り込み 処理の実行）