1
早稲田大学大学院情報生産システム研究科
博士論文審査結果報告書
論 文 題 目
S t u d y o n H i l b e r t - S c a n b a s e d B a g - o f - F e a t u r e s f o r
I m a g e D e s c r i p t i o n a n d R e t r i e v a l
申 請 者 Pengyi HAO
情報生産システム工学専攻 イメージメディア 研究
2013 年 9 月
2
近 年 ， 情 報 通 信 ， セ キ ュ リ テ ィ な ど の 発 展 に 伴 い ， コ ン ピ ュ ー タ ビ ジ ョ ン に お け る 画 像 検 索 技 術 の 需 要 が 高 ま っ て き て い る ．1 9 8 0 年 代 か ら 画 像 デ ー タ ベ ー ス に 関 す る 研 究 が 盛 ん と な り ， こ れ ま で に 様 々 な 画 像 記 述 法 が 提 案 さ れ て き た ． そ の 中 で 2 0 0 0 年 初 め に 画 像 検 索 に お い て 局 所 特 徴 量 を 用 い た 画 像 記 述 法 と し て C s u r k a ら( 2 0 0 4 )に よ る B a g - o f - F e a t u r e s（B o F） が 提 案 さ れ ， 当 該 分 野 の 研 究 が 大 き く 発 展 し た ． こ れ は ，S a l t o n ら( 1 9 8 3 )に よ る 文 書 分 類 手 法 で あ る B a g - o f - Wo r d s を 画 像 に 適 用 し た も の で あ り ， 画 像 を 局 所 特 徴 量 の 集 合 と み な し ， 局 所 特 徴 量 の ヒ ス ト グ ラ ム を 使 っ て 画 像 検 索 を 行 う も の で あ る ．B o F は そ の 後 ，F e i - F e i ら( 2 0 0 5 )に よ る S I F T 特 徴 量 を 利 用 し た も の ，
Wi n n ら( 2 0 0 5 )に よ る Te x t o n 特 徴 量 を 利 用 し た も の な ど ，様 々 な 改 良 研 究 が
な さ れ て き た ． し か し ， こ れ ら の 研 究 で は 画 像 特 徴 を 局 所 特 徴 量 の ヒ ス ト グ ラ ム と し て 記 述 す る た め ， 局 所 特 徴 量 の 空 間 的 位 置 情 報 が 欠 落 し て し ま う と い う 問 題 が あ っ た ．こ れ は ，B a g - o f - Wo r d s に お け る 単 語 間 の 関 係 を 無 視 し て い る 問 題 と 同 じ で あ る ．こ の 問 題 に 対 し て ，L a z e b n i k ら( 2 0 0 6 )に よ る S p a t i a l P y r a m i d M a t c h i n g（S P M） や ，M a r c i n ら( 2 0 0 6 )に よ る 重 み 分 布 ベ ク ト ル 量 子 化 法 が 提 案 さ れ て い る が ， 空 間 的 位 置 情 報 の 導 入 が 十 分 に 検 討 さ れ て い る と は 言 い 難 い ．本 研 究 で は ，本 来 の B o F に 対 し て 局 所 特 徴 の 空 間 的 位 置 関 係 を 積 極 的 に 導 入 す る こ と に よ り ， 従 来 研 究 に 対 し て 検 索 精 度 お よ び 速 度 を 向 上 さ せ る 方 法 を 提 案 し て い る ． 具 体 的 に は ， 空 間 充 填 曲 線 の 一 種 で あ る ヒ ル ベ ル ト 曲 線 を 画 像 走 査 に 用 い て ， 空 間 的 近 傍 情 報 を 可 能 な 限 り 保 存 す る H i l b e r t - S c a n b a s e d B o F（H S - B o F ) を 考 案 し て い る ．
本 研 究 で は , 画 像 や ビ デ オ に 写 っ て い る 顔 を 対 象 と し て 顔 画 像 の ク ラ ス タ リ ン グ に よ る グ ル ー プ 化 を 高 精 度 に 実 現 し , 画 像 記 述 法 H S - B o F に 基 づ く 高 速 画 像 検 索 技 術 の 確 立 を 行 っ て い る . ま た ， 顔 画 像 の 高 速 検 索 に お い て 主 要 な 要 素 技 術 で あ る 粗 検 索 法 に 関 し て シ グ ネ チ ャ と い う 新 た な 方 法 を 考 案 し て い る . 本 研 究 は , コ ン ピ ュ ー タ ビ ジ ョ ン に お け る 画 像 検 索 の 分 野 に お い て , 空 間 的 位 置 情 報 を 取 り 込 ん だ 画 像 記 述 法 を 提 案 し て い る 点 で そ の 意 義 は 高 く ， 画 像 検 索 研 究 の 新 た な 展 開 を 示 す も の と 言 え る ． 以 下 ， 各 章 ご と に そ の 概 要 を 示 し 評 価 を 与 え る ．
第 1 章 「I n t r o d u c t i o n」 で は ， 画 像 検 索 に お け る 画 像 記 述 法 の 主 要 な 従 来 技 術 に つ い て 概 説 し ， 画 像 記 述 法 の 問 題 点 と そ の 対 策 を 明 ら か に し て い る ． ま た , 顔 画 像 を 対 象 と し た 画 像 ／ ビ デ オ 検 索 手 法 の 従 来 研 究 と の 相 違 点 を 明 ら か に し て い る .
第 2 章「H i l b e r t - S c a n b a s e d B a g - o f - F e a t u r e s f o r I m a g e R e t r i e v a l」で は, 画 像 検 索 に お け る 画 像 記 述 法 と し て ， ヒ ル ベ ル ト 走 査 を 用 い て 空 間 的 位 置 情
報 を B o F に 導 入 し た H S - B o F を 提 案 し て い る ．こ れ は ，画 像 上 で コ ー ナ ー 点
な ど の 特 徴 点 群 を 抽 出 し ， ヒ ル ベ ル ト 走 査 を 利 用 し て ２ 次 元 の 画 像 平 面 上 の 特 徴 点 群 を １ 次 元 直 線 上 に 展 開 し ， そ の １ 次 元 直 線 上 に 列 ん だ 各 特 徴 点 の 局
3
所 特 徴 量 の 集 合 を 木 構 造 化 し て 表 現 す る も の で あ る ． ま た ， こ れ は ヒ ル ベ ル ト 走 査 に よ り １ 次 元 に 展 開 す る と ，２ 次 元 空 間 上 で の 近 傍 性 が 他 の 走 査 法（ 例 え ば ， ラ ス タ 走 査 ，Z 走 査 な ど ） に 比 べ て よ り 保 持 さ れ る と い う 特 徴 を 利 用 し た も の で あ る ． 木 構 造 表 現 は ， 上 位 層 に 背 景 情 報 を 少 な く し た 対 象 物 の 大 局 的 な 特 徴 を 含 む よ う に し ， ま た 下 位 層 に は 局 所 的 な 特 徴 を 詳 細 に 記 述 す る よ う に 設 計 す る ． し た が っ て ，H S - B o F は ， 色 ， 形 状 な ど を 表 す 局 所 特 徴 量 が ヒ ル ベ ル ト 走 査 順 に 並 ん だ 下 位 層 ヒ ス ト グ ラ ム ， 建 物 ， 鳥 な ど の 構 造 的 な カ テ ゴ リ レ ベ ル の 特 徴 量 が ヒ ル ベ ル ト 走 査 順 に 並 ん だ 上 位 層 ヒ ス ト グ ラ ム に よ り 構 成 さ れ る ．2 5 6 種 類 の 対 象 物 体 を 含 む C a l t e c h - 2 5 6 デ ー タ セ ッ ト や 1 0 0 万 枚 の 画 像 を 含 む 大 規 模 デ ー タ セ ッ ト I m a g e N e t な ど を 用 い た 画 像 検 索 実 験 を 行 っ た 結 果 ， 提 案 手 法 は ， 従 来 手 法 の B o F や S P M な ど を 用 い た 場 合 よ り ，m A P（m e a n Av e r a g e P r e c i s i o n） に お い て 約 2 %～7 %の 精 度 向 上 が 得 ら れ る こ と が わ か っ た ． 本 研 究 は ， ヒ ル ベ ル ト 走 査 に よ る 空 間 的 位 置 情 報 を 生 か し た 画 像 記 述 法 の 着 想 に よ り ， 高 精 度 の 画 像 検 索 を 可 能 に し た こ と が 評 価 で き る ．
第 3 章 「F a c e C l u s t e r i n g f r o m Vi d e o D a t a s e t w i t h H i l b e r t - S c a n b a s e d B a g - o f - F e a t u r e s」 で は ，H S - B o F を 利 用 し て ， 膨 大 な ビ デ オ デ ー タ セ ッ ト か ら 人 物 の 顔 を 効 率 的 に 特 定 す る た め の ク ラ ス タ リ ン グ 手 法 を 検 討 し た ． こ れ は ， ビ デ オ か ら 顔 の 部 分 を 抽 出 し た 顔 ト ラ ッ ク を 生 成 し ， 同 じ よ う な 顔 ト ラ ッ ク が 並 ん だ 部 分 を ク ラ ス タ リ ン グ に よ り 分 割 す る シ ー ン ト ラ ッ ク ， さ ら に あ る 人 物 の 顔 が 並 ん で い る シ ー ン ト ラ ッ ク 部 分 を 抽 出 す る 人 物 ト ラ ッ ク と い っ た 階 層 的 な 組 織 化 を 行 う こ と に よ り ， 高 速 検 索 を 可 能 に す る も の で あ る ． 階 層 的 な 組 織 化 に よ り ， 一 人 の 人 物 が 現 れ て い る 複 数 の シ ー ン ト ラ ッ ク を 見 つ け る こ と が で き ， ま た そ の 下 位 層 の 複 数 の 顔 ト ラ ッ ク で 見 つ け る こ と が で き る ． 標 準 デ ー タ ベ ー ス と し て 公 開 さ れ て い る 複 数 の ビ デ オ （ 映 画 ，T V シ ョ ウ ，N A S A ,イ ン タ ビ ュ ー な ど ） を 使 っ て ク ラ ス タ リ ン グ 精 度 に 関 す る 評 価 実 験 を 行 っ た 結 果 ， 提 案 手 法 は ， 従 来 手 法 の 階 層 的 ク ラ ス タ リ ン グ 手 法 A g g l o m e r a t i v e c l u s t e r i n g や k m e a n s な ど と 比 較 し た 場 合 に ， 約 7 %～9 %の 精 度 向 上 が 得 ら れ て い る ． こ の よ う に 第 ２ 章 で 述 べ た H S - B o F を ， ビ デ オ に お け る 顔 画 像 の ク ラ ス タ リ ン グ に 適 用 し て, 識 別 精 度 の 良 い 顔 画 像 ク ラ ス タ リ ン グ 法 を 実 現 で き た こ と が 評 価 で き る.
第 4 章 「 F a c e R e t r i e v a l f r o m Vi d e o D a t a s e t b a s e d o n D i c t i o n a r y
L e a r n i n g」 で は ， 第 ３ 章 の 提 案 方 法 を 拡 張 し ， 新 た な 辞 書 学 習 法 を 用 い て ビ
デ オ デ ー タ セ ッ ト か ら 表 情 変 化 を 吸 収 す る 顔 画 像 ク ラ ス タ リ ン グ を 行 う こ と で ， さ ら に 高 精 度 化 で き る こ と を 示 し て い る ． こ こ で は 膨 大 な ビ デ オ デ ー タ セ ッ ト か ら の 人 物 を 効 率 的 に 特 定 す る た め の 辞 書 学 習 法 を 開 発 し た ． こ れ は L 1 ノ ル ム を ベ ー ス と し た 従 来 手 法 の ス パ ー ス 辞 書 学 習 に ， M a x i m u m C o r r e n t r o p y C r i t e r i o n ( M C C )に よ る 区 分 的 拘 束 条 件 を 設 定 し て ，学 習 用 ビ デ
4
オ か ら シ ー ン ト ラ ッ ク ， 人 物 ト ラ ッ ク の 再 組 織 化 を 行 い ， 高 精 度 の ク ラ ス タ リ ン グ を 可 能 に す る も の で あ る ． ま ず ， 同 一 人 物 か ど う か を 特 定 す る 方 法 を 比 較 評 価 す る 公 開 ベ ン チ マ ー ク テ ス ト を 行 っ た 結 果 ，2 0 0 9 年 か ら 2 0 1 2 年 ま で の 代 表 的 な 7 種 類 の 従 来 手 法 に 対 し て ，提 案 手 法 は 2～5％ の 精 度 向 上 が 見 ら れ た ． 次 に ， 第 3 章 に お い て 利 用 し た 複 数 の ビ デ オ を 使 っ て ，1 0 0 万 枚 の 顔 画 像 を 含 ん だ 2 1 8 , 7 8 6 個 の 顔 ト ラ ッ ク か ら 検 索 す る こ と を 試 み た ． 従 来 手 法 と し て 代 表 的 な K e y - F a c e s（N g u y e n ら ，2 0 1 0）や F a c e - Tr a c k（S i v i c ら ，
2 0 0 5） に 対 す る 比 較 実 験 を 行 っ た 結 果 ， 提 案 手 法 が m A P に お い て 従 来 手 法
よ り 4～8％ 向 上 す る こ と を 確 認 し ， ま た 検 索 時 間 は ， 従 来 手 法 よ り 約 1／1 0 以 下 に 短 縮 で き る こ と を 示 し て い る ．H S - B o F の 拡 張 と し て 新 た な M C C に よ る 区 分 的 拘 束 条 件 を 導 入 し た 辞 書 学 習 法 を 考 案 す る こ と に よ り, 高 精 度 な 顔 検 索 ア ル ゴ リ ズ ム を 実 現 で き た こ と が 評 価 で き る ．
第 5 章「F a s t F a c e R e t r i e v a l f r o m Vi d e o D a t a s e t Vi a S i g n a t u r e s」で は ， 前 章 に お い て 述 べ た 顔 画 像 検 索 を ， い か に し て 高 速 化 で き る か を 検 討 し て い る ． 本 章 で は ， 顔 画 像 の 粗 検 索 法 と し て M C C に よ る 線 形 判 別 関 数 を 利 用 し た シ グ ネ チ ャ を 提 案 し て い る ． シ グ ネ チ ャ は ， 顔 に 対 す る H S - B o F の 次 元 数 Ｎ の 特 徴 空 間 を ， 探 索 性 能 を で き る だ け 保 持 す る よ う に 次 元 縮 退 さ せ ， 低 次 元 Ｋ （N > > K） の 特 徴 空 間 に 変 換 す る も の で あ る ． 前 章 で 述 べ た 複 数 の ビ デ
オ （1 0 0 万 枚 の 顔 画 像 を 含 ん だ 2 1 8 , 7 8 6 個 の 顔 ト ラ ッ ク ） を 使 っ た 評 価 実 験
の 結 果 ， 提 案 手 法 は m A P に よ る 検 索 性 能 を 劣 化 さ せ る こ と な く ， 検 索 時 間 に お い て 従 来 手 法 の K e y - F a c e s や F a c e - Tr a c k よ り 6～1 3％ と 大 幅 に 改 善 で き る こ と を 確 認 し た ． シ グ ネ チ ャ に よ る 高 速 検 索 が 可 能 な 新 た な 画 像 検 索 手 法 を 考 案 し た こ と が 評 価 で き る ．
第 6 章 「C o n c l u s i o n s a n d F u t u r e W o r k」 で は ， 本 論 文 を ま と め ，H S - B o F の 拡 張 の 可 能 性 ， お よ び 顔 画 像 解 析 へ の 応 用 分 野 に お い て 更 な る 検 索 性 能 の 高 精 度 化 に 関 し て 今 後 の 課 題 を 挙 げ て い る ．
以 上 要 す る に 本 論 文 は ，従 来 の B o F に 対 し て ヒ ル ベ ル ト 走 査 を 用 い て 空 間 的 位 置 情 報 を 導 入 し た H S - B o F を 確 立 す る こ と を 目 的 と し ， 顔 を 対 象 と し て シ グ ネ チ ャ な ど に よ る 高 精 度 か つ 高 速 な 画 像 検 索 手 法 を 検 討 し, 従 来 法 に 対 す る 検 索 性 能 向 上 を 示 し た も の で ， 画 像 工 学 上 価 値 あ る 業 績 と 言 え る ． よ っ て 本 論 文 は 博 士 （ 工 学 ） の 学 位 論 文 に 値 す る も の と 認 め る ．
2 0 1 3 年 8 月 2 0 日
主 査 早 稲 田 大 学 教 授 博 士 ( 工 学 ) ( 九 州 工 業 大 学 ) 鎌 田 清 一 郎 早 稲 田 大 学 教 授 博 士 ( 情 報 工 学 ) ( 九 州 工 業 大 学 ) 古 月 敬 之
早 稲 田 大 学 教 授 博 士 ( 工 学 ) ( グ ル ノ ー ブ ル 大 学 ) ル パ ー ジ ュ ・ イ ブ 九 州 工 業 大 学 教 授 工 学 博 士 ( 東 北 大 学 ) 江 島 俊 朗
