早稲田大学大学院 基幹理工学研究科

早稲田大学大学院 基幹理工学研究科

博士論文審査報告書

論 文 題 目

Fast Foreground Object Detection Methods Designed for Ultra High Definition Videos

申 請 者

Axel BEAUGENDRE ボジャンドル アクセル

2017 年 2 月

1

物 体 の 検 出 問 題 は コ ン ピ ュ ー タ ー ビ ジ ョ ン 分 野 で 最 も 重 要 な 研 究 課 題 の １ つ で あ り 、 物 体 の 追 跡 、 人 物 の 検 出 、 監 視 系 シ ス テ ム 、 車 の 安 全 運 転 シ ス テ ム な ど の 多 く の 応 用 に 適 用 さ れ て き た 。 前 景 物 体 検 出 問 題 と は 、 全 体 の 画 像 か ら 関 心 の あ る 物 体 (OOI: Object of Interest)、 例 え ば 人 間 や 自 動 車 等 を 背 景 と は 区 別 し て 検 出 す る 問 題 で あ り 、 こ の 20 年 間 、 背 景 差 分 法 、 時 間 変 化 法 、 オ プ テ イ カ ル フ ロ ー 法 等 多 く の 手 法 が 提 案 さ れ て き た 。 中 で も 背 景 差 分 法 は 、 カ メ ラ 位 置 が 固 定 さ れ た 検 出 問 題 に 対 し て 最 も 有 効 な 方 法 と さ れ て い る 。

一 方 、 最 近 、 超 高 精 細 (UHD：Ultra High Definition) 映 像 が 注 目 さ れ て い る 。UHD 映 像 で は 4K (3840×2160) と 8K (7680×4320) の ２ つ の 解 像 度 が 用 い ら れ 、 解 像 度 が 1920×1080 の 現 行 ハ イ ビ ジ ョ ン (HD: High Definition)放 送 と 比 較 し て 、4 倍 と 1 6 倍 の 画 素 数 を 持 つ 。UHD 映 像 は 、 広 い 視 野 角 、 実 物 に 近 い 色 再 現 、 自 然 な 立 体 感 な ど の 利 点 を 持 つ が 、 物 体 検 出 問 題 に お い て は 、 以 下 の ３ つ の 課 題 を 解 決 す る こ と が 必 要 と な る 。 課 題( 1 )： UHD 映 像 で は 、従 来 の 前 景 物 体 検 出 を 行 っ た 場 合 に 膨 大 な 処 理 時 間 が か か る

（10 秒 の 4K 映 像 で 10 日 間 な ど ）。 課 題(2)：UHD 映 像 で は 、 画 像 に 応 じ て 木 の 葉 の よ う な 小 さ な 動 き の あ る 物 体 が 多 く 検 出 さ れ 、 誤 検 出 (FP: False Positive) 物 体 が 多 量 に 発 生 す る 。 課 題(3)：UHD 映 像 で は 、 画 像 内 の 小 物 体 ま で 認 識 で き る 利 点 が あ る が 、 計 算 速 度 向 上 の た め に 単 純 に ダ ウ ン ス ケ ー ル す る と 、 小 物 体 の 検 出 が で き な く な る 。

そ こ で 本 論 文 で は 、 カ メ ラ 位 置 が 固 定 さ れ た UHD 映 像 で 物 体 検 出 を 正 確 か つ 高 速 に 行 う た め に 、 以 下 の 3 手 法 を 新 し く 提 案 し て い る 。(1) 動 物 体 検 出 の 実 時 間 更 新 法 （RTRM 法 ）： 検 出 さ れ た 物 体 に 対 し て 、 後 続 フ レ ー ム で 追 跡 処 理 を 行 っ て FP 物 体 を 削 減 し 、小 さ な 物 体 で も 検 出 精 度 を 向 上 さ せ る 。 (2) 適 応 ブ ロ ッ ク 伝 搬 法 （A BPBGS 法 ）： 物 体 検 出 に 不 要 な 部 分 を ス キ ッ プ す る こ と で 、 検 出 時 間 と メ モ リ 使 用 量 の 削 減 を 図 る 。( 3) 混 在 ブ ロ ッ ク 背 景 モ デ リ ン グ 手 法 （MBBM 法 ）： 物 体 検 出 精 度 を 向 上 さ せ る 背 景 画 像 の モ デ リ ン グ に お い て 、 画 面 全 体 で は な く 部 分 的 な ブ ロ ッ ク の み 処 理 す る こ と に よ っ て 、 検 出 精 度 の 向 上 と 、 演 算 時 間 、 メ モ リ 使 用 量 の 削 減 を 図 る 。

本 論 文 は 、 以 下 の ５ 章 か ら な っ て い る 。

第 １ 章 は Introduction で あ り 、 前 景 物 体 検 出 問 題 と そ の 応 用 シ ス テ ム 、 前 景 物 体 検 出 の 従 来 手 法 、UHD 映 像 の 特 徴 な ど を 述 べ て い る 。

第 2 章 は Real-Time Refinement Method for Moving Object Detectors で あ り 、 前 景 物 体 検 出 処 理 で 物 体 検 出 を 行 っ た 後 に 、 後 続 フ レ ー ム で 動 物 体 の 追 跡 処 理 を 行 う こ と で F P 物 体 を 削 減 し 、 検 出 精 度 の 向 上 を 図 る 方 法

（RTRM 法 ） を 提 案 し て い る 。 動 物 体 の ト ラ ッ キ ン グ に 関 し て 、 従 来 手 法 で は 物 体 の カ ラ ー 、 形 状 、 輪 郭 情 報 な ど ピ ク セ ル 毎 の 処 理 を 行 う た め に 、U HD

2

映 像 で は 莫 大 な 計 算 量 が 必 要 と な る 。こ れ に 対 し て RTR M 法 は 、検 出 さ れ た 物 体 か ら OOI に 属 さ な い 物 体 を フ レ ー ム か ら 除 去 し 、ま た 、物 体 同 士 が 重 な っ た り 、 離 反 し た り す る 際 に は 、 複 数 の OOI に 対 し て 、 前 フ レ ー ム の OOI 位 置 と 現 在 フ レ ー ム の OOI 位 置 の マ ッ チ ン グ 問 題 と し て 定 式 化 し 、ハ ン ガ リ ア ン 法 に よ っ て 正 確 な 移 動 位 置 を 求 め て い る 。本 処 理 は ピ ク セ ル 毎 で は な く 、 物 体 毎 に 行 う た め 、計 算 時 間 は 画 像 の 解 像 度 に よ ら ず 、U HD 映 像 で の ト ラ ッ キ ン グ を 効 率 良 く 行 う こ と が で き る 。8K 映 像 を 用 い た 実 験 結 果 と し て 、 従 来 手 法 で は 2634 個 存 在 し た FP 数 を ゼ ロ 個 に 削 減 し 、ま た 、1 フ レ ー ム 当 た り の 演 算 時 間 と し て 、RTRM に 要 す る 計 算 時 間 は 4.2×10^{- 4} 秒 、 ト ラ ッ キ ン グ 処 理 は 2.7×10^{- 5} 秒 で 実 現 で き る こ と を 示 し た 。

第 3 章 は Adaptive Block-Propagative Background Subtraction で あ り 、 物 体 検 出 に 不 要 な 部 分 を ス キ ッ プ す る こ と で 、 検 出 時 間 と メ モ リ 使 用 量 の 削 減 を 図 る 手 法 （AB PBGS 法 ） の 提 案 を 行 っ て い る 。 従 来 手 法 で は 、 フ レ ー ム 全 体 の 検 出 処 理 を 行 う た め 、 計 算 時 間 が か か る 。ROI（Region of Interest） に 限 定 し た 手 法 も 知 ら れ て い る が 、 検 出 物 体 の 形 状 や サ イ ズ に 制 限 が あ る 。 こ れ に 対 し て ABP BGS 法 は 、フ レ ー ム を 検 出 物 体 の 大 き さ に 応 じ て 決 め た ブ ロ ッ ク に 分 割 し 、R OI か ら 決 ま る ブ ロ ッ ク を 物 体 の 動 き に 応 じ て 伝 搬 さ せ な が ら 物 体 検 出 を 行 う 。 こ れ に よ っ て UHD 映 像 の 物 体 検 出 で も 、 正 確 な 検 出 を 行 い つ つ 、 大 幅 に 計 算 時 間 を 短 縮 す る こ と が で き る 。1 個 の 8K 映 像 と 5 個 の 4K 映 像 を 用 い た 実 験 結 果 と し て 、 従 来 手 法 と し て 最 良 と さ れ る PB AS 法 (CVPR2014) に 対 し て 、 検 出 精 度 の 劣 化 は 低 く 抑 え な が ら 、 画 素 当 た り の 演 算 量 は 10^{- 6}秒 の オ ー ダ ー か ら 10^{- 8}秒 の オ ー ダ ー に 、メ モ リ 使 用 量 は 11 GB か ら 450MB に 削 減 す る こ と に 成 功 し て い る 。

第 4 章 は Mixed Block Background Modelling for Foreground Detectio n in UHD Videos で あ り, 検 出 精 度 を 向 上 さ せ つ つ 、UHD 映 像 の 背 景 画 像 の モ デ リ ン グ に 必 要 な 演 算 時 間 と メ モ リ 使 用 量 を 大 幅 に 削 減 す る 手 法 （MB BM 法 ） の 提 案 を 行 っ て い る 。 従 来 手 法 で は 全 て の 画 像 を 処 理 し 、 ブ ロ ッ ク 単 位 や ピ ク セ ル 単 位 に 複 数 の パ ラ メ ー タ セ ッ ト を 使 う た め に 、UHD 映 像 で は 莫 大 な 処 理 時 間 と メ モ リ 容 量 を 必 要 と し た 。 そ こ で MBB M 法 で は 、 画 面 全 体 を 処 理 す る の で は な く 、 部 分 的 な 小 領 域 （ ブ ロ ッ ク の 集 合 ） を 更 新 し な が ら 処 理 を 行 う こ と で 、 計 算 時 間 を 削 減 す る 。 選 択 さ れ た 小 領 域 毎 に ガ ウ ス 平 均 法 を 用 い て 背 景 モ デ ル を 更 新 し 、3 章 で 述 べ た A BPBGS 法 を 用 い て 前 景 物 体 を 抽 出 し 、 背 景 画 像 全 体 の モ デ リ ン グ を 行 う 。 こ の た め に 、 動 き の 少 な い ま た は 輝 度 変 化 の 少 な い 背 景 画 像 を 持 つ 映 像 に 対 し て 、 検 出 精 度 の 向 上 と 計 算 時 間 の 短 縮 が 期 待 で き る 。 さ ら に 、4K 映 像 を 用 い た 実 験 結 果 と し て 、 従 来 手 法 に 対 す る 検 出 精 度 の 向 上 と 演 算 時 間 の 削 減 を 実 証 し 、 か つ 、8K 映 像 を 用 い た 実 験 結 果 と し て 、6.4 フ レ ー ム/秒 を 達 成 で き る こ と を 示 し て い る 。

3

第 5 章 は Conclusion で あ り 、 本 論 文 で 提 案 し た UHD 映 像 に 対 す る 前 景 物 体 検 出 ア ル ゴ リ ズ ム を 総 括 し 、 今 後 の 課 題 に つ い て 述 べ て い る 。

以 上 、 本 論 文 は UHD 映 像 に 対 す る 前 景 物 体 検 出 問 題 に 取 り 組 み 、 従 来 手 法 で は 高 検 出 率 を 達 成 す る に は 膨 大 な 計 算 処 理 時 間 が か か る と い う 課 題 に 対 す る 新 手 法 を 提 案 し 、 学 術 的 に も 、 実 用 的 に も 高 く 評 価 で き る 。 よ っ て 本 論 文 は 博 士 （ 工 学 ） 早 稲 田 大 学 の 学 位 論 文 と し て 価 値 あ る も の と 認 め る 。

2017 年 2 月

審 査 員 主 査 早 稲 田 大 学 教 授 博 士 （ 工 学 ） 東 京 大 学 甲 藤 二 郎

早 稲 田 大 学 教 授 博 士 （ 工 学 ） 早 稲 田 大 学 戸 川 望

早 稲 田 大 学 教 授 博 士 （ 工 学 ） 大 阪 大 学 吉 村 猛

早 稲 田 大 学 教 授 工 学 博 士 （ 京 都 大 学 ） 木 村 晋 二

早 稲 田 大 学 名 誉 教 授 工 学 博 士 （ 早 稲 田 大 学 ） 後 藤 敏