平 成 28年 度 成 果 報 告 書
平 成
平 成
平 成
平 成
28
年 度
年 度
年 度
年 度
戦 略 的 イ ノ ベ ー シ ョ ン 創 造 プ ロ グ ラ ム
戦 略 的 イ ノ ベ ー シ ョ ン 創 造 プ ロ グ ラ ム
戦 略 的 イ ノ ベ ー シ ョ ン 創 造 プ ロ グ ラ ム
戦 略 的 イ ノ ベ ー シ ョ ン 創 造 プ ロ グ ラ ム
（ 自 動 走 行 シ ス テ ム ）
：
（ 自 動 走 行 シ ス テ ム ）
（ 自 動 走 行 シ ス テ ム ）
：
：
（ 自 動 走 行 シ ス テ ム ）
：
「 走 行 映 像 デ ー タ ベ ー ス 」 の 構 築 技 術 の 開 発 及 び 実 証
「 走 行 映 像 デ ー タ ベ ー ス 」 の 構 築 技 術 の 開 発 及 び 実 証
「 走 行 映 像 デ ー タ ベ ー ス 」 の 構 築 技 術 の 開 発 及 び 実 証
「 走 行 映 像 デ ー タ ベ ー ス 」 の 構 築 技 術 の 開 発 及 び 実 証
平 成
29
年
3
月
（ 委 託 先 ）
一 般 財 団 法 人
日 本 自 動 車 研 究 所
目
次
序 章 ... 序 1 1． は じ め に ... 序 1 1.1 事 業 全 体 の 目 標 ... 序 1 1.2 全 体 ス キ ー ム ... 序 2 1.3 委 員 名 簿 ... 序 5 2． 技 術 開 発 項 目 ... 序 7 2.1 平 成28年 度 の 研 究 開 発 課 題 の 概 要 ... 序 8 2.2 技 術 開 発 内 容 ... 序 10 2.2.1 走 行 映 像 デ ー タ ベ ー ス の 分 析 ... 序 10 2.2.2 タ グ 付 け 技 術 開 発 ... 序 10 2.2.3 検 索 用 デ ー タ ベ ー ス 技 術 開 発 ... 序 10 2.2.4 走 行 映 像 デ ー タ ベ ー ス の 開 発 と 実 証 ... 序 11 2.2.5 走 行 映 像 デ ー タ ベ ー ス の 評 価 ... 序 12 2.3 走 行 映 像 デ ー タ ベ ー ス の 開 発 目 標 ... 序 13 2.4 研 究 開 発 成 果 の ま と め ... 序 14 2.4.1 走 行 映 像 デ ー タ の 分 析 ... 序 14 2.4.2 走 行 映 像 デ ー タ ベ ー ス へ の タ グ 付 け 技 術 開 発 ... 序 19 2.4.3 走 行 映 像 デ ー タ ベ ー ス 開 発 お よ び 実 証 ... 序 23 2.4.4 走 行 映 像 デ ー タ ベ ー ス の 評 価 ... 序 26 2.4.5 研 究 開 発 全 体 企 画 ・ 管 理 ... 序 43 第1章 走 行 映 像 デ ー タ の 分 析... 1 1.1 国 内 走 行 映 像 デ ー タ の 分 析 ... 1 1.1.1 走 行 環 境 シ ー ン 分 類 の 目 的 ... 1 1.1.2 走 行 環 境 シ ー ン 分 類 の 定 義 ... 1 1.1.3 走 行 環 境 シ ー ン 分 類 対 象 映 像 デ ー タ ... 8 1.1.4 走 行 環 境 シ ー ン 分 類 、 映 像 抽 出 方 法 ... 10 1.1.5 走 行 環 境 シ ー ン 番 号 映 像 時 刻 一 覧 表 ... 11 1.1.6 走 行 環 境 シ ー ン 分 類 抽 出 結 果 （ 作 業 分 ） ... 12 1.1.7 走 行 環 境 シ ー ン 分 類 全 体 予 測 ... 13 1.1.8 全 体 歩 行 者 シ ー ン 数 ... 15 1.1.9 地 域 区 分 に よ る シ ー ン 数 の 傾 向 ... 15 1.1.10 平 成27年 度 成 果 報 告 書 と の 相 違... 17 1.1.11 ... 171.2 海 外 走 行 映 像 デ ー タ の 分 析 ... 20 1.2.1 海 外 走 行 映 像 デ ー タ の 分 析 ... 20 1.2.2 海 外 走 行 映 像 か ら の 特 徴 シ ー ン の 抽 出 ... 24 1.3 走 行 映 像 デ ー タ 分 析 支 援 ツ ー ル の 開 発... 30 1.3.1 走 行 映 像 デ ー タ の 分 類 ツ ー ル の 開 発 ... 30 1.3.2 走 行 映 像 デ ー タ 抽 出 ツ ー ル の 開 発... 36 1.3.3 走 行 映 像 デ ー タ 分 析 支 援 ツ ー ル 開 発 の ま と め ... 38 1.3.4 今 後 の 課 題 ... 39 1.4 デ ー タ 収 集 車 両 の 機 能 設 計 ... 40 1.4.1 デ ー タ 収 集 シ ス テ ム の 改 良 開 発 ... 40 1.4.2 ま と め と 今 後 の 課 題 ... 52 1.5 走 行 映 像 デ ー タ の 分 析 成 果 と 今 後 の 課 題 ... 53 1.5.1 成 果 ま と め ... 53 1.5.2 今 後 の 課 題 ... 54 第 2章 走 行 映 像 デ ー タ へ の タ グ 付 け 技 術 の 開 発 お よ び 実 証 ... 55 2.1 タ グ 付 け 技 術 開 発... 55 2.1.1 シ ー ン 抽 出 機 能 ... 55 2.1.2 自 動 タ グ 付 け 機 能 ... 57 2.1.3 手 動 タ グ 付 けGUI機 能 ... 70 2.1.4 フ レ ー ム 間 補 間 機 能 ... 75 2.1.5 運 用 プ ロ グ ラ ム ... 75 2.1.6 ま と め と 今 後 の 課 題 ... 76 2.2 走 行 映 像 デ ー タ へ の タ グ 付 け 技 術 の 開 発 及 び 実 証 ... 77 2.2.1 走 行 映 像 デ ー タ ベ ー ス の 運 用 ... 77 2.2.2 手 動 タ グ 付 け 編 集 作 業 ・ タ グ 情 報 確 認 作 業 の 実 施 ... 80 2.2.3 検 索 用 デ ー タ ベ ー ス の 開 発 ... 88 2.3 走 行 映 像 デ ー タ へ の タ グ 付 け 技 術 の 開 発 お よ び 実 証 と 成 果 ま と め ... 107 2.3.1 成 果 ま と め ... 107 2.3.2 今 後 の 課 題 ... 108 第 3章 走 行 映 像 デ ー タ ベ ー ス の 評 価 ... 109 3.1 走 行 映 像 デ ー タ ベ ー ス の 性 能 比 較 評 価... 109 3.1.1 周 辺 環 境 の 物 体 認 識 ア リ ゴ リ ズ ム の 要 件 と デ ー タ ベ ー ス 評 価 基 準 ... 109 3.1.2 走 行 映 像 デ ー タ ベ ー ス の 評 価 ... 111 3.1.3 走 行 映 像 デ ー タ ベ ー ス の 性 能 比 較 評 価 の ま と め ... 118 3.2 走 行 映 像 デ ー タ の 評 価 ... 123 3.2.1 前 遠 方 監 視 画 像 に 対 す る 映 像 デ ー タ の 評 価 ... 123 3.2.2 全 周 囲 監 視 画 像 に 対 す る 映 像 デ ー タ の 評 価 ... 130 3.2.3 評 価 用 サ ン プ ル デ ー タ の 作 成 ... 134
3.3 走 行 映 像 デ ー タ ベ ー ス の 質 や 量 及 び 多 様 性 に 関 わ る 評 価 ... 139 3.3.1 デ ー タ ベ ー ス の 評 価1 （ レ ー ザ ー レ ン ジ セ ン サ に よ る 基 準 距 離 情 報 付 加 の 有 効 性 評 価 、画 像 デ ー タ の 平 均 輝 度 の バ リ エ ー シ ョ ン 評 価 ） ... 139 3.3.2 デ ー タ ベ ー ス の 評 価2 （ 映 像 デ ー タ の27シ ー ン 分 類 の 指 針 検 討 及 び 有 効 性 の 評 価 、 歩 行 者 の 属 性 情 報 等 を 用 い た タ グ 情 報 の 有 効 性 評 価 ） ... 147 3.3.3 デ ー タ ベ ー ス の 評 価3 （ レ ー ザ レ ン ジ セ ン サ に よ る 基 準 距 離 情 報 付 加 の 有 効 性 評 価 、 真 値 タ グ 付 き 画 像 の 活 用 方 法 検 討 及 び 追 加 タ グ 情 報 の 提 案 、 高 分 解 能 カ メ ラ の 有 効 性 評 価 ） .. 156 3.3.4 デ ー タ ベ ー ス の 評 価4 （真 値 タ グ 付 き 画 像 の 活 用 方 法 検 討 及 び 追 加 タ グ 情 報 の 提 案 ）... 166 3.3.5 デ ー タ ベ ー ス の 評 価5 （ 映 像 デ ー タ の27シ ー ン 分 類 の 指 針 検 討 及 び 有 効 性 の 評 価 ） ... 174 3.3.6 デ ー タ ベ ー ス の 評 価6 （ 映 像 デ ー タ の27シ ー ン 分 類 の 指 針 検 討 及 び 有 効 性 の 評 価 、 誤 認 識 対 象 の バ リ エ ー シ ョ ン 評 価 、真 値 タ グ 付 き 画 像 の 活 用 方 法 検 討 及 び 追 加 タ グ 情 報 の 提 案 ） ... 183 3.3.7 デ ー タ ベ ー ス の 評 価7 （ 真 値 タ グ 付 き 画 像 の 活 用 方 法 検 討 及 び 追 加 タ グ 情 報 の 提 案 ） ... 191 3.3.8 走 行 映 像 デ ー タ ベ ー ス の 評 価 ま と め ... 198 第 4章 研 究 開 発 全 体 企 画 ・ 管 理 ... 206 4.1 全 体 工 程 表 の 策 定 ... 206 4.2 研 究 開 発 の 運 営 ... 207 4.2.1 開 発 検 討 会 の 実 施 ... 207 4.2.2 自 動 運 転 シ ス テ ム 研 究 推 進 委 員 会 の 参 画 ... 208 4.2.3 SIPシ ス テ ム 実 用 化WGの 参 画 ... 209 4.2.4 研 究 開 発 全 体 企 画 会 議 の 実 施 ... 210 4.2.5 技 術 動 向 調 査 の 実 施 ... 212 4.3. 研 究 開 発 全 体 企 画 ・ 管 理 と 成 果 ま と め ... 227 4.3.1 ま と め ... 227 4.3.2 今 後 の 課 題 ... 227 お わ り に ... 228 参 考 資 料 ... 230
序 章
1
． は じ め に
1.1
事 業 全 体 の 目 標
2018 年 を 目 処 に 交 通 事 故 死 者 数 を2,500人 以 下 と し 、2020年 ま で に は 世 界 で 最 も 安 全 な 道 路 交 通 社 会 を 実 現 す る と 共 に 、 交 通 渋 滞 を 大 幅 に 削 減 す る と し た 政 府 施 策 目 標 の 解 決 策 と し て 、 人 為 的 ミ ス の 抑 制 や 円 滑 な 交 通 流 の 実 現 に 向 け た 自 動 走 行 シ ス テ ム の 実 用 化 と 普 及 が 期 待 さ れ て お り 、 そ の 根 幹 を な す 周 辺 環 境 認 識 技 術 の 発 展 が 望 ま れ て い る 。 車 載 カ メ ラ 方 式 を 用 い た 周 辺 環 境 認 識 技 術 に お い て 、 交 通 弱 者 で あ る 歩 行 者 や 二 輪 車 の 形 状 や 挙 動 の 認 識 に は 、 高 解 像 度 カ メ ラ で 撮 像 さ れ た 多 数 の 歩 行 者 画 像 を 含 む 走 行 映 像 デ ー タ ベ ー ス （ 以 下 DBと 称 す ） が 不 可 欠 で あ る 。 ま た 、 走 行 映 像 デ ー タ に 対 し て 、 従 来 手 動 等 で 実 施 し て い た 対 象 物 へ の タ グ 付 け 作 業 を 自 動 で 対 象 物 を 検 知 し て 行 う タ グ 技 術 開 発 な ど の 基 盤 開 発 の 発 展 が 望 ま れ て い る 。 本 事 業 は 、SIP（ 戦 略 的 イ ノ ベ ー シ ョ ン 創 造 プ ロ グ ラ ム ）自 動 走 行 シ ス テ ム 研 究 開 発 計 画 （2015年 5月 11日 ： 内 閣 府 政 策 統 括 官 （ 科 学 技 術 ・ イ ノ ベ ー シ ョ ン 担 当 ）） の 〔 Ⅰ 〕 自 動 走 行 シ ス テ ム の 開 発 ・ 実 証 の 研 究 開 発 内 容 で あ る セ ン シ ン グ 能 力 の 向 上 技 術 開 発 と 実 証 実 験 の 一 つ の テ ー マ と し て 、走 行 映 像 デ ー タ ベ ー ス の 構 築 技 術 の 確 立 を 目 標 に 平 成26 年 度 か ら 実 施 し て い る 。 平 成28 年 度 は 、 平 成27 年 度 に デ ー タ 収 集 シ ス テ ム 車 両 を 用 い て 収 集 し た 国 内 走 行 映 像 デ ー タ お よ び 海 外 走 行 映 像 デ ー タ を 活 用 し て 、開 発 検 討 会 の 合 意 事 項 で あ る27 シ ー ン 分 類 （ 以 下 、 走 行 環 境 シ ー ン と 称 す ） に 基 づ き タ グ 付 作 業 を 各 シ ー ン 毎 に 分 析 お よ び 評 価 を 行 い 、蓄 積 し た 走 行 映 像 デ ー タ ベ ー ス に 対 す る 検 証 を 行 う 。ま た 、自 動 タ グ 付 け 技 術 開 発 は 、 検 知 ・ 認 識 率 向 上 の た め の ア ル ゴ リ ズ ム 改 良 に 加 え て 、 対 象 物 ま で の 距 離 情 報 等 の 付 加 情 報 追 加 に 対 応 す る ア ル ゴ リ ズ ム 開 発 や 検 索 用 デ ー タ ベ ー ス の 開 発 を 行 う 。 合 わ せ て 、 走 行 映 像 デ ー タ ベ ー ス の 評 価 手 法 に 関 し て 、 評 価 方 式 仕 様 書 に 基 づ く 性 能 比 較 評 価 の 実 施 お よ び 収 集 し た 一 部 デ ー タ を 公 開 し 、OEM（Original Equipment Manufacturer） お よ び サ プ ラ イ ヤ 等 か ら 選 定 し た 一 部 に 対 し て 評 価 サ ン プ ル デ ー タ を 提 供 し 、 質 や 量 お よ び 多 様 性 等 に 対 す る 幅 広 い 評 価 や ア イ デ ア 提 供 に 基 づ く 技 術 開 発 を 行 う 。1.2
全 体 ス キ ー ム
本 事 業 の 全 体 実 施 体 制 を 図 序 1.2-1に 示 す 。日 本 自 動 車 研 究 所（ 以 下 、JARIと 称 す ）は 、 本 事 業 の 研 究 開 発 を 実 施 に 当 り 委 託 契 約 に 基 づ き 、図 序 1.2-2に 示 す 通 り 、2つ の 研 究 テ ー マ で あ る 「 走 行 映 像 デ ー タ の 分 析 」 お よ び 「 走 行 映 像 デ ー タ ベ ー ス へ の タ グ 付 け 技 術 の 開 発 お よ び 実 証 」 を 実 施 し た 。 研 究 開 発 の 推 進 体 制 は 、JARIが 研 究 開 発 の 全 体 を 統 括 し 、当 研 究 開 発 に 必 要 な 要 素 技 術 を 所 有 し て い る 安 全 シ ス テ ム を 商 品 開 発 す る サ プ ラ イ ヤ 、 画 像 認 識 技 術 や デ ー タ ベ ー ス シ ス テ ム な ど を 商 品 開 発 す る 総 合 電 機 メ ー カ ー 、 シ ス テ ム 小 型 化 を 実 現 す る 半 導 体 メ ー カ ー な ど を 含 め た 5つ の 研 究 室 お よ び 走 行 映 像 デ ー タ ベ ー ス の 評 価 を 実 施 す る 8団 体 の 再 委 託 先 に よ る 組 織 の 連 携 で 実 施 し た 。 図 序 1.2-1 全 体 実 施 体 制 図 本 事 業 に 参 画 す る 5つ の 研 究 室 お よ び 再 委 託 先 に お け る 研 究 開 発 分 担 の 概 要 を 示 す 。 JARI第 51研 究 室 （ ク ラ リ オ ン 株 式 会 社 ） 国 内 の 走 行 映 像 デ ー タ の 分 析 お よ び 収 集 し た 全 周 辺 監 視 画 像 デ ー タ に 対 す る 評 価 等 を 担 当 し た 。 JARI第 52研 究 室 （ 萩 原 電 気 株 式 会 社 ） 国 内 の 走 行 映 像 デ ー タ の 分 析 お よ び デ ー タ 収 集 車 両 の 改 良 開 発 等 を 担 当 し た 。 JARI第 61研 究 室 （ ル ネ サ ス エ レ ク ト ロ ニ ク ス 株 式 会 社 ） GUIJARI第 62研 究 室 （ 日 本 電 気 株 式 会 社 ） 画 像 に 対 す る 自 動 タ グ 付 け 技 術 開 発 及 び 検 索 用 デ ー タ ベ ー ス 技 術 開 発 を 担 当 し た 。 JARI第 63研 究 室 （ 株 式 会 社 デ ン ソ ー ） 走 行 映 像 デ ー タ セ ン タ を 活 用 し た 走 行 映 像 ベ ー ス の 蓄 積 及 び 前 遠 方 監 視 画 像 デ ー タ に 対 す る 評 価 等 を 担 当 し た 。 再 委 託1（ 国 立 研 究 開 発 法 人 産 業 技 術 総 合 研 究 所 ） 走 行 映 像 デ ー タ ベ ー ス の 提 供 デ ー タ を 用 い た 評 価 と し て 、 走 行 映 像 デ ー タ ベ ー ス に 係 る 性 能 比 較 評 価 を 担 当 し た 。 再 委 託2（ 国 立 大 学 法 人 名 古 屋 大 学 ） 提 供 デ ー タ を 用 い た 走 行 映 像 デ ー タ ベ ー ス の 質 や 量 及 び 多 様 性 に 係 る 評 価 と し て 、 レ ー ザ レ ン ジ セ ン サ に よ る 基 準 距 離 情 報 付 加 の 有 効 性 評 価 、 画 像 デ ー タ の 平 均 輝 度 の バ リ エ ー シ ョ ン 評 価 を 担 当 し た 。 再 委 託3（ 日 立 製 作 所 株 式 会 社 ） 提 供 デ ー タ を 用 い た 走 行 映 像 デ ー タ ベ ー ス の 質 や 量 及 び 多 様 性 に 係 る 評 価 と し て 、 映 像 デ ー タ の 27シ ー ン 分 類 の 指 針 検 討 及 び 有 効 性 の 評 価 、歩 行 者 の 属 性 情 報 等 を 用 い た タ グ 情 報 の 有 効 性 評 価 を 担 当 し た 。 再 委 託4（ 三 菱 電 機 株 式 会 社 ） 提 供 デ ー タ を 用 い た 走 行 映 像 デ ー タ ベ ー ス の 質 や 量 及 び 多 様 性 に 係 る 評 価 と し て 、 レ ー ザ レ ン ジ セ ン サ に よ る 基 準 距 離 情 報 付 加 の 有 効 性 評 価 、真 値 タ グ 付 き 画 像 の 活 用 方 法 検 討 及 び 追 加 タ グ 情 報 の 提 案 、 高 分 解 能 カ メ ラ の 有 効 性 評 価 を 担 当 し た 。 再 委 託5（ パ ナ ソ ニ ッ ク 株 式 会 社 ） 提 供 デ ー タ を 用 い た 走 行 映 像 デ ー タ ベ ー ス の 質 や 量 及 び 多 様 性 に 係 る 評 価 と し て 、 真 値 タ グ 付 き 画 像 の 活 用 方 法 検 討 及 び 追 加 タ グ 情 報 の 提 案 を 担 当 し た 。 再 委 託6（ 富 士 通 株 式 会 社 ） 提 供 デ ー タ を 用 い た 走 行 映 像 デ ー タ ベ ー ス の 質 や 量 及 び 多 様 性 に 係 る 評 価 と し て 、 映 像 デ ー タ の 27シ ー ン 分 類 の 指 針 検 討 お よ び 有 効 性 の 評 価 を 担 当 し た 。 再 委 託7（ ト ヨ タ 自 動 車 株 式 会 社 ） 提 供 デ ー タ を 用 い た 走 行 映 像 デ ー タ ベ ー ス の 質 や 量 及 び 多 様 性 に 係 る 評 価 と し て 、 映 像 デ ー タ の 27シ ー ン 分 類 の 指 針 検 討 及 び 有 効 性 の 評 価 、 誤 認 識 対 象 の バ リ エ ー シ ョ ン 評 価 、 真 値 タ グ 付 き 画 像 の 活 用 方 法 検 討 及 び 追 加 タ グ 情 報 の 提 案 を 担 当 し た 。
再 委 託8（ マ ツ ダ 株 式 会 社 ） 提 供 デ ー タ を 用 い た 走 行 映 像 デ ー タ ベ ー ス の 質 や 量 及 び 多 様 性 に 係 る 評 価 と し て 、 真 値 タ グ 付 き 画 像 の 活 用 方 法 検 討 及 び 追 加 タ グ 情 報 の 提 案 を 担 当 し た 。 ・開 発仕様検 討及び 策定 Ａ． 走行映像データの分析技術開発 走行 映 像デー タの収集の実施体制図 走行 映 像デー タの収集の実施体制図走行 映 像デー タの収集の実施体制図 走行 映 像デー タの収集の実施体制図 JAR I第5 1研究 室 開発検討 会 Ｂ． 走行映像へのタ グ付け の収集技術 開発 技術仕様検討WG ・ 実施者：JARI、研究室 ・ 関係企業 技術仕様検討WG ・ 実施者：JARI、研究室 ・ 関係企業 ・開 発仕様検 討及び 策定 ・ 国内走行 映像デ ー タの分析 ・ 全周囲画 像デ ー タ評価 JAR I第5 2研 究室 走 行 映像デー タ 走 行 映像デー タ 走 行 映像デー タ 走 行 映像デー タ へへへへ のののの タグ 付け技術開発タグ 付け技術開発タグ 付け技術開発タグ 付け技術開発 の 実 施体制図 の 実 施体制図 の 実 施体制図 の 実 施体制図 ・ 海外走行 映像デ ー タの分析 ・ デ ー タ収集 車両の改良開発 ・走行 映像デ ー タセンター 運用 ･前 方監視画 像デ ー タ評価 ・自 動タグ付 け機能 ・検 索用DB 技術検討 ・シ ー ン抽 出機能 ・手動 タグ付け Ｇ ＵＩ機能 ・フ レ ー ム 補間 機能 J ARI第 61 研究室 J ARI第 62 研究室 JA RI第6 3研 究室 ＜再委 託＞ ・（ 国研法 ）産総研 ・（ 国大法 ）名古屋大学 ・日 立製作所 ㈱ ・三 菱電機㈱ ・パ ナソ ニック ㈱ ・富 士通㈱ ・ト ヨタ自動車㈱ ・マ ツダ ㈱ Ｊ ＡＲＩ（ 研 究開発 統括・ 企画） ・走行 映像デ ー タベー ス評価 図 序1.2-2 研 究 室 体 制 図
1.3
委 員 名 簿
本 事 業 を 推 進 す る に 当 り 、 有 識 者 メ ン バ で 構 成 さ れ る 自 動 運 転 シ ス テ ム 研 究 推 進 委 員 会 に 対 し て 研 究 開 発 の 進 捗 状 況 等 の 報 告 を 実 施 し て お り 、 委 員 名 簿 を 表 序 1.3-1に 示 す 。 本 委 員 会 は 、平 成28 年 度 に2回 開 催 さ れ 、以 下 の 報 告 を 行 い 質 疑 応 答 及 び 意 見 交 換 を 実 施 し た 。 ・第1回（ 平 成28 年9月29日 ）：平 成 27年 度 成 果 と 課 題 、平 成28 年 度 研 究 開 発 目 標 の 概 要 ・ 第2回 （ 平 成 29年2月27 日 ）： 平 成28年 度 の 研 究 成 果 概 要 、 質 疑 応 答 等 ま た 、 内 閣 府 が 主 催 す る SIPシ ス テ ム 実 用 化WGに お い て 、 以 下 の 報 告 し 質 疑 応 答 を 実 施 し た 。 ・ 第1回 （ 平 成 28年6月5日 ）： 平 成 27年 度 成 果 と 課 題 、 平 成28 年 度 研 究 開 発 目 標 の 概 要 ・ 第2回 （ 平 成 28年9月28 日 ）： 平 成28年 度 研 究 開 発 の 中 間 報 告 、 質 疑 応 答 ・ 第3回 （ 平 成 29年3月8日 ）： 平 成 28年 度 研 究 開 発 の 成 果 と 課 題 報 告 、 質 疑 応 答 さ ら に 、 本 事 業 の 技 術 開 発 方 針 の 策 定 に 際 し て 、 自 動 車 メ ー カ ー 参 加 に よ る 意 見 交 換 や ア ド バ イ ス を 頂 く 場 と し て 、 平 成 28年 度 に5回 の 開 発 検 討 会 （ 表 序1.3-2） を 開 催 し 、 自 動 車 メ ー カ ー や 再 委 託 の 関 係 8団 体 の ニ ー ズ を 反 映 し た 推 進 の 方 向 性 等 に 反 映 し た 。 ・ 第1回 （ 平 成 28年6月29 日 ）： 平 成27年 度 成 果 、 平 成 28年 度 研 究 開 発 目 標 の 概 要 ・第2回（ 平 成 28年 9月 2日 ）： 再 委 託 先 の 走 行 映 像 デ ー タ ベ ー ス の 評 価 内 容 の 概 要 紹 介 等 ・第3回（ 平 成 28年 10月28日 ）：走 行 映 像 デ ー タ ベ ー ス の 再 委 託 先 の 中 間 報 告 等 の 概 要 紹 介 ・第4回（ 平 成 28年 12月16日 ）：走 行 映 像 デ ー タ ベ ー ス の 再 委 託 先 の 報 告 書 骨 子 等 の 概 要 紹 介 ・ 第5回 （ 平 成 29年 1月20 日 ）： 走 行 映 像 デ ー タ ベ ー ス 評 価 結 果 の と り ま と め 等表 序1.3-1 自 動 運 転 シ ス テ ム 研 究 推 進 委 員 会 委 員 名 簿 氏 名 氏 名氏 名 氏 名 組組組組 織織織織 名名名名 所 属所 属所 属所 属 ／／／／役職役職役職役職 座長 伊藤 誠 筑波大学 シ ス テム情報系／教授 委員 石太郎 早稲田大学 環境総合研究センター／参事 委員 大前 学 慶應義塾大学 大学院政策・ メディア研究科／教授 委員 北﨑 智之 国立研究開発法人産業技術総合 研究所 自動車ヒ ューマンファ クター研究センター／研究セン ター長 委員 葛巻 清吾 SIP-adus プログラムディレクター （ トヨタ自動車株式会社／CSTO 補佐） 委員 菅沼 直樹 金沢大学 新学術創成研究機構准／准教授 委員 須田 義大 東京大学生産技術研究所 次世代モビリティ研究センター／教授・ センター長 委員 高田 広章 名古屋大学 未来社会創造機構／教授 オブザーバー 経済産業省製造産業局自動車課／国土交通省自動車局技術政策課 事務局 一般財団法人日本自動車研究所 表 序1.3-2 走 行 映 像DB開 発 検 討 会 委 員 名 簿 氏 名 氏 名氏 名 氏 名 組組組組 織織織織 名名名名 所 属所 属所 属所 属 ／／／／ 役職役職役職役職 座長 谷川 浩 （ 一財） 日本自動車研究所 ITS研究部／部長 委員 田中 勇彦 トヨタ自動車（ 株） 先進安全先行開発部第1先行開発室／主幹 委員 下村 倫子 日産自動車（ 株） 総合研究所／モビリティ・ サービス研究所／主任研究員 委員 斉藤 徹 （ 株）本田技術研究所 四輪R&Dセンター 第12技術開発室／主任研究員 委員 速水 正人 マツダ（ 株） 統合制御シス テム開発本部／シニアスタッ フ 委員 喜瀬 勝之 富士重工業（ 株） ス バル 第一技術本部 車両研究実験第4部／主幹
2
． 技 術 開 発 項 目
走 行 映 像 デ ー タ ベ ー ス の 構 築 技 術 の 開 発 及 び 実 証 は 、 従 来 の 画 像 認 識 技 術 に 用 い る 歩 行 者 辞 書 に 対 し て 、 未 検 出 や 誤 検 出 が 存 在 す る 歩 行 者 情 報 を 、 自 動 走 行 シ ス テ ム の 周 辺 環 境 認 識 セ ン サ に 求 め ら れ る 歩 行 者 の 属 性 情 報 （ 大 人 ・ 子 供 、 男 ・ 女 、 保 有 物 、 移 動 方 向 等 ） や 自 転 車 乗 車 な ど 認 識 用 映 像 辞 書 の 充 実 で 認 識 率 の 向 上 を 図 る た め 、 国 内 外 の 走 行 映 像 デ ー タ を 地 域 （ 関 東 地 域 、 中 京 地 域 、 関 西 地 域 ）、 季 節 （ 寒 冷 地 を 含 む ）、 道 路 種 別 （ 高 速 道 路 、 国 道 、 県 道 、 市 道 、 山 岳 道 ）、 特 殊 な 場 所 （ 観 光 地 や 高 速 道 路 サ ー ビ ス エ リ ア 駐 車 場 ） お よ び 様 々 な 時 間 帯 等 を 網 羅 す る 走 行 映 像 デ ー タ を 収 集 し 、 研 究 目 標 延 べ 歩 行 者 400万 事 例 お よ び 歩 行 者 シ ー ン 4万 シ ー ン の 走 行 映 像 デ ー タ ベ ー ス を 構 築 す る た め の 技 術 開 発 で あ る 。 本 事 業 が 目 指 す 周 辺 環 境 認 識 技 術 へ の 利 活 用 と し て は 、ADAS動 向 の 一 つ に 代 表 さ れ る Euro NCAPに お い て 、 図 序2-1に 示 す よ う に2016 年 単 路 飛 出 し か ら2020年 交 差 点 事 故 対 応 が あ り 、本 走 行 映 像 デ ー タ ベ ー ス は2020年 交 差 点 事 故 対 応 へ の 事 業 成 果 の 適 用 を 目 標 の 一 つ と し て 設 定 し て お り 、車 両 の 全 周 辺 検 知 を 必 要 と す る 技 術 開 発 成 果 が 求 め ら れ て い る 。 ’ 2 0 E ur o ’ 2 0 E ur o’ 2 0 E ur o ’ 2 0 E ur o ---- NCA PNCA PNCA PNCA P ‘ 1 6 E ur o‘ 1 6 E ur o ‘ 1 6 E ur o ‘ 1 6 E ur o ---- NCA PNCA PNCA PNCA P
図 序2-1 ADAS動 向 （Euro NCAP）
現 在 公 開 さ れ て い る 画 像 デ ー タ ベ ー ス と し て 、Karlsruhe市 と そ の 周 辺 限 定 で 収 集 し た 前 方 画 像 の デ ー タ ベ ー ス で あ る KTTI（Karlsruhe Institute of Technology） が あ る 。
他 方 、 本 走 行 映 像 デ ー タ ベ ー ス は 、 日 本 各 地 、 米 国 か ら 地 域 性 や 天 候 等 を 考 慮 し た 、 幅 広 い 画 像 デ ー タ を 収 集 し て い る 。 ま た 、 図 序 2-2に 示 す 通 り 、 デ ー タ 収 集 車 両 に 搭 載 さ れ た 前 遠 方 監 視 と 全 周 辺 監 視 用 5台 の 高 分 解 能 ハ イ ビ ジ ョ ン カ メ ラ 及 び 5台 の 前 遠 方 監 視 と 全 周 辺 監 視 用 レ ー ザ レ ン ジ セ ン サ か ら 構 成 さ れ 、 既 存 シ ス テ ム と 比 べ て 約 100倍 の 情 報 量 を 活 用 出 来 る 走 行 映 像 デ ー タ ベ ー ス 構 築 を 目 指 す も の で あ る 。 カ メ ラ カ メ ラ カ メ ラ カ メ ラ 仕 様仕 様仕 様仕 様 画 素 数 画 素 数 画 素 数 画 素 数1 3 92 * 5 1 2, 1 3 92 * 5 1 2, 分 解能1 3 92 * 5 1 2, 1 3 92 * 5 1 2, 分 解能分 解能 12b it分 解能12b it12b it12b it 画 角 画 角 画 角 画 角9 09 09 09 0 °°° 、°、 周期、、周期周期周期1 0 fps1 0 fps1 0 fps1 0 fps ＫＩＴＴI *1 9 0 9 0 9 0 9 0 °°°° 情 情 情 情 報 量報 量報 量報 量 約 約 約 約 1 0 01 0 01 0 01 0 0 倍倍倍倍 ① ① ① ① 側 方側 方側 方側 方 ②② 前 広角②②前 広角前 広角前 広角 ③③ 前 遠方③③前 遠方前 遠方前 遠方 9 0 9 0 9 0 9 0 °°°° 1 8 5 1 8 5 1 8 5 1 8 5 °°°° * 4 * 4 * 4 * 4 ③ ③③ ③ ② ② ② ② ①①①① 前 方 前 方 前 方 前 方 カ カ カ カ メ ラメ ラメ ラ 仕メ ラ仕仕仕 様様様様 画 画 画 画 素 数素 数素 数素 数1 9 20* 1 9 20* 1 2 001 9 20* 1 9 20* 1 2 001 2 001 2 00, , 分 解 能, , 分 解 能分 解 能 1 2b it分 解 能1 2b it1 2b it1 2b it 画 角 画 角 画 角
画 角9 09 0 °9 09 0°°° & 1 85& 1 85& 1 85& 1 85°° * 4°°* 4* 4* 4 、、、 周期、周期周期周期6 0fps6 0fps6 0fps6 0fps
*1
( K a rlsruhe In sti tute o f T echnol ogy) ( K a rlsruhe In sti tute o f T echnol ogy) ( K a rlsruhe In sti tute o f T echnol ogy) ( K a rlsruhe In sti tute o f T echnol ogy)
K a r l sruhe K a r l sruhe K a r l sruhe K a r l sruhe市市市市 とそ のとそ のとそ の周辺とそ の周辺周辺周辺 限 定 限 定 限 定 限 定 ででで 収集で収集収集した収集したしたした画像画像画像画像 日 本 各地 日 本 各地日 本 各地 日 本 各地 、、、、米国米国米国米国からからからから 地域性地域性地域性や地域性ややや 天 候 等 天 候 等天 候 等 天 候 等をを考慮をを考慮考慮考慮 したしたしたした、、 幅広、、幅広幅広幅広いいい 画像い画像画像画像 図 序 2-2 既 存 シ ス テ ム と の 有 効 性 比 較 例
2.1
平 成
28
年 度 の 研 究 開 発 課 題 の 概 要
本 事 業 は 、 自 動 走 行 に 供 す る 周 辺 環 境 認 識 技 術 の 設 計 開 発 と 評 価 を 効 率 的 に 行 う 走 行 映 像 デ ー タ ベ ー ス の 確 立 を 目 標 に 、2つ の 研 究 開 発 テ ー マ が あ る 。 ・ テ ー マ A． 走 行 映 像 デ ー タ の 分 析 ・ テ ー マ B． 走 行 映 像 デ ー タ へ の タ グ 付 け 技 術 の 開 発 及 び 実 証 を 図 序2.1.1-1の 研 究 開 発 の 流 れ に 示 す よ う に 、4年 間 の 事 業 を 通 し て 実 施 を 計 画 し て い る 。 デー タ収集 車両 デ ータ収集 設計 走行映像 デ ータベー スの開発と 実証 タグ付け 技術開発 評価手法 の開発 タグ付け ツール開発・改善 国内車両 製作6台 要件技術開発 トライア ル 走行 米国走行映像収集 国内走行映像デ ータの分析 海外車両 改良開発 手動タグ付け 自動タグ付け 開発 ﾃﾞｰﾀｾﾝﾀ 構築 方針 作成 評価方式の開発 A : 走 行 映 像 デ ー タ の 収 集 ・ 分 析 B : 走 行 映 像 走 行 映 像 走 行 映 像 走 行 映 像 デ ー タ へ の タ グ デ ー タ へ の タ グ デ ー タ へ の タ グ デ ー タ へ の タ グ 付付付付 けけけけ 技 術 技 術 技 術 技 術 のののの 開 発 及 開 発 及 開 発 及 開 発 及 びびびび 実 証 実 証 実 証 実 証 H26年度 評価計画 走行計画検討 要件技術開発 方針 作成 方針 作成 走行映像デー タの評価 総合評価（自動化・性能） H27年度 国内走行映像デ ータ収集 H28年度 H29年度 車両開発 完了 海外走行映像デ ータの分析 走行映像デ ータのシーン抽出 シーン分類 データ ベース タグ付け 完了 完了 図 序2.1.1-1 研 究 開 発 の 流 れ 平 成28 年 度 は 、 走 行 映 像 デ ー タ ベ ー ス の 要 素 技 術 開 発 と し て 、 平 成27 年 度 に 収 集 し た 走 行 映 像 デ ー タ の 自 動 検 知 さ れ た 対 象 物 に 対 し て 距 離 情 報 を 付 加 す る 自 動 タ グ 付 け 機 能 や シ ー ン 抽 出 機 能 等 の 性 能 向 上 を 行 う(1)タ グ 付 け 技 術 開 発 、走 行 映 像 デ ー タ ベ ー ス の 利 活 用 を 有 効 に す る(2)検 索 用 デ ー タ ベ ー ス の 開 発 を 実 施 し た 。 ま た 、タ グ 付 け 作 業 を 実 施 し た デ ー タ ベ ー ス を 用 い て 、平 成27 年 度 に 開 発 検 討 会 で 合 意 し た 走 行 環 境 シ ー ン（27シ ー ン 分 類 ）に 基 づ い た シ ー ン 抽 出 や シ ー ン 分 類 を 行 う(3)走 行 映 像 デ ー タ ベ ー ス の 分 析 を 実 施 し た 。 さ ら に 、 走 行 映 像 デ ー タ ベ ー ス を 利 活 用 の 対 象 と な る OEM、サ プ ラ イ ヤ お よ び 研 究 機 関 を 新 た に 参 画 し て 頂 き(4)走 行 映 像 デ ー タ ベ ー ス の 評 価 を 中 心 と し た 技 術 開 発 を 実 施 し た 。 技 術 開 発 項 目 の 概 要 を 図 序 2.1.1-2に 示 す 。人､30m 自転車､40m 白線 路肩 街路樹 路肩切れ目 人､30m 自転車､40m 白線 路肩 街路樹 路肩切れ目 映像の自動選別 正解値の 自動入力 人手に よる 修正 人手入力値の フレー ム自動補間 映像 タ グ付け 技術 ・シーン抽出技術開発 正解値が付与さ れた 走行映像データベース レーダーや 車両情報 人､30m 自転車､40m 白線 路肩 街路樹 路肩切れ目
正解値
タ グ付け 技術 ・手動タ グ付けG UI開発 タ グ付け技術 ・自動タグ付け 技術開発 タグ付け 技術 ・フレーム 間補間技術開発 データ 収集システム 車両 の改良開発（ 完了） 走行データ 収集計画（ 完了） 有効シ ーン タグ情報 走行映像DB 歩行者400万 事例 走行映像データ ベースの開発 ・走行映像データ ベースの分析 ・リア ルタ イム 可逆圧縮技術開発（ 完了） ・検索用データ ベース技術開発 ・走行映像データ ベースの評価 本事業の技術開発項目 タグ＝物体の属性情報撮影
車 両 歩行 者 障害 物 図 序 2.1.1-2 技 術 開 発 項 目 （ 概 要 ） 平 成28 年 度 の 技 術 開 発 項 目 と し て 、（1） か ら （4） を 実 施 し た 。 (1) 収 集 し た 走 行 映 像 デ ー タ に 距 離 情 報 等 を 付 加 す る 「 タ グ 付 け 技 術 開 発 」 (2) 走 行 映 像 デ ー タ ベ ー ス を 有 効 利 活 す る ツ ー ル で あ る「 検 索 用 デ ー タ ベ ー ス 技 術 開 発 」 (3) 国 内 外 の 走 行 映 像 デ ー タ を 走 行 環 境 シ ー ン （27シ ー ン 分 類 ） に 基 づ い た 分 析 を 行 う 「 走 行 映 像 デ ー タ ベ ー ス の 分 析 」 (4) 研 究 開 発 し た 走 行 映 像 デ ー タ ベ ー ス の 性 能 比 較 評 価 や デ ー タ ベ ー ス の 質 や 量 及 び 多 様 性 等 を 定 量 的 に 評 価 す る た め の 「 走 行 映 像 デ ー タ ベ ー ス の 評 価 」2.2
技 術 開 発 内 容
2.1項 で 示 し た 各 技 術 分 野 に つ い て 更 に 必 要 な 詳 細 技 術 項 目 や シ ス テ ム 信 頼 性 を 向 上 す る た め の 技 術 項 目 を 定 め 開 発 を 行 っ た 。 2.2.1 走 行 映 像 デ ー タ ベ ー ス の 分 析 平 成27 年 度 に 収 集 し た 国 内 走 行 映 像 デ ー タ に 対 し て 、 平 成27 年 度 開 発 検 討 会 で 合 意 し た 走 行 環 境 シ ー ン（27シ ー ン 分 類 ）を 用 い て 収 集 し た 映 像 を 分 析 し シ ー ン 抽 出 す る 。シ ー ン 抽 出 し た 映 像 取 得 日 付 、 場 所 、 時 刻 に シ ー ン 分 類 番 号 を 関 連 付 け の 検 討 を 行 い 、 シ ー ン 抽 出 と 標 準 シ ー ン 分 類 番 号 の 関 連 付 け を 行 う 技 術 項 目 と し て 定 め た 。 2.2.2 タ グ 付 け 技 術 開 発 平 成27 年 度 に 開 発 し た 自 動 タ グ 付 け 機 能 に 対 し て 、単 眼 画 像 測 距 技 術 を 用 い た デ ー タ 収 集 車 両 か ら 対 象 物 ま で の 距 離 情 報 を 付 加 す る 研 究 開 発 を 行 う 。 ま た 、 走 行 映 像 デ ー タ セ ン タ で 運 用 し て い る 処 理 ソ フ ト ウ ェ ア の 処 理 速 度 ・ 検 知 ・ 認 識 率 向 上 の た め に 、 シ ー ン 抽 出 機 能 、 手 動 タ グ 付 け GUI（Graphical User Interface） 機 能 お よ び フ レ ー ム 間 補 間 機 能 の ア ル ゴ リ ズ ム 改 良 を 施 す 研 究 開 発 を 技 術 項 目 と 定 め た 。 表 序 2.2.2-1に 示 す 。 表 序2.2.2-1 タ グ 付 け 技 術 開 発 の 機 能 概 要 技 術 項 目 内 容 目 標 シ ー ン 抽 出 機 能 シ ー ン 抽 出 用 ア ル ゴ リ ズ ム 開 発 の 改 良 。 歩 行 者 検 知 用 辞 書 お よ び 車 両 検 知 用 辞 書 の 改 善 タ グ 付 け 情 報 プ ロ グ ラ ム に よ り シ ー ン 抽 出 の 自 動 化 を 実 現 す る 。 自 動 タ グ 付 け 機 能 単 眼 画 像 測 距 技 術 を 用 い た 対 象 物 ま で の 距 離 情 報 を 付 加 す る ツ ー ル の 開 発 効 率 的 な タ グ 付 け 作 業 を 行 え る 自 動 タ グ 付 け ツ ー ル を 実 現 す る 。 手 動 タ グ 付 け GUI機 能 フ レ ー ム 間 補 間 機 能 手 動 タ グ 付 け GUI ツ ー ル の 機 能 追 加 お よ び 作 業 者 の 操 作 性 向 上 対 象 物 ID を 用 い た 属 性 情 報 の 関 連 付 け 作 業 の 迅 速 化 を 実 現 す る 。 2.2.3 検 索 用 デ ー タ ベ ー ス 技 術 開 発 平 成27 年 度 に 開 発 し た 検 索 デ ー タ ベ ー ス の デ ー タ 構 造 体 を ベ ー ス と し て 、発 話 ロ グ に よ る シ ー ン 属 性 デ ー タ お よ び 歩 行 者 属 性 デ ー タ 、 画 像 タ グ 付 け 結 果 か ら 抽 出 さ れ る 歩 行 者 属 性 情 報 デ ー タ お よ び 他 の 車 両 出 力 情 報 CAN（Controller Area Network） 及 びGPS（Global Positioning System） 等 の デ ー タ に 対 す る 横 断 デ ー タ 分 析 が 可 能 な 検 索 用 デ ー タ ベ ー ス の 研表 序2.2.3-1 検 索 用 デ ー タ ベ ー ス 技 術 開 発 技 術 項 目 内 容 目 標 検 索 用 デ ー タ ベ ー ス 技 術 開 発 デ ー タ 構 造 体 を ベ ー ス と し て 、 発 話 ロ グ を 用 い た 各 デ ー タ を 横 断 分 析 が 可 能 な 検 索 エ ン ジ ン の 開 発 検 索 機 能 お よ び 視 覚 化 機 能 の ア プ リ ケ ー シ ョ ン を 実 現 す る 。 2.2.4 走 行 映 像 デ ー タ ベ ー ス の 開 発 と 実 証 ① 走 行 映 像 デ ー タ セ ン タ の 運 用 平 成27 年 度 に 収 集 し た 国 内 走 行 映 像 デ ー タ お よ び 海 外 走 行 映 像 デ ー タ に 対 し 、タ グ 技 術 開 発 ツ ー ル 等 を 活 用 し て 、 走 行 映 像 デ ー タ ベ ー ス を 蓄 積 す る た め の 走 行 映 像 デ ー タ セ ン タ の 運 用 を 実 施 し 、運 用 の 安 定 性 を 検 証 す る 。図 序2.2.4-1 に 走 行 映 像 デ ー タ ベ ー ス の シ ス テ ム 構 成 を 示 す 。 図 序 2.2.4-1 走 行 映 像 デ ー タ ベ ー ス の シ ス テ ム 構 成 図 表 序2.2.4-1 走 行 映 像 デ ー タ ベ ー ス 開 発 技 術 項 目 内 容 目 標 走 行 映 像 デ ー タ の 蓄 積 映 像 デ ー タ （RAW動 画 ） サ ム ネ イ ル 動 画 デ ー タ シ ー ン デ ー タ （ 距 離 デ ー タ ） 等 を 電 子 媒 体 に バ ッ ク ア ッ プ さ せ 、 次 工 程 に 受 け 渡 し 定 期 的 に 輸 送 さ れ る 走 行 映 像 デ ー タ を 遅 延 等 な く 確 実 な デ ー タ 蓄 積 を 行 う 。
② 手 動 タ グ 付 け 編 集 作 業 、 タ グ 情 報 確 認 作 業 平 成28 年 度 に 機 能 改 良 し た 手 動 タ グ 付 けGUIツ ー ル を 用 い て 、 自 動 タ グ 付 け さ れ た タ グ 情 報 の 内 容 確 認 お よ び 各 対 象 物 へ の 属 性 情 報 を 付 与 す る こ と を 技 術 項 目 と し て 定 め た 。 表 序2.2.4-2 手 動 タ グ 付 け 編 集 作 業 、 タ グ 情 報 確 認 作 業 技 術 項 目 内 容 目 標 手 動 タ グ 付 け 編 集 作 業 、タ グ 情 報 確 認 作 業 手 動 タ グ 付 け GUIツ ー ル を 用 い た 自 動 タ グ 付 け 情 報 の 内 容 確 認 及 び 未 検 知 対 象 物 へ の 手 動 タ グ 情 報 付 与 各 タ グ 対 象 物 へ の 属 性 情 報 の 手 動 付 与 30万 フ レ ー ム 以 上 の タ グ 情 報 を 作 成 す る 2.2.5 走 行 映 像 デ ー タ ベ ー ス の 評 価 平 成27 年 度 に 策 定 し た 評 価 方 式 仕 様 書 に 基 づ き 、 平 成27 年 度 に 収 集 し た 走 行 映 像 デ ー タ 及 び タ グ 情 報 等 を 用 い て 、 公 知 の 画 像 認 識 エ ン ジ ン 等 を 用 い た 検 出 ・ 認 識 方 式 の ベ ン チ マ ー ク 評 価 、 学 習 型 の 検 知 ・ 認 識 方 式 に 対 し て の 学 習 デ ー タ ベ ー ス 評 価 お よ び 走 行 映 像 デ ー タ ベ ー ス を 統 計 解 析 し 、 対 象 物 の 分 布 か ら デ ー タ ベ ー ス の 性 質 の 評 価 を 技 術 項 目 と 定 め た 。 ま た 、 評 価 用 サ ン プ ル デ ー タ を 用 い て 、 走 行 映 像 デ ー タ ベ ー ス に 係 る 質 や 量 及 び 多 様 性 等 に 係 る 評 価 項 目 を 、OEM、サ プ ラ イ ヤ 及 び 研 究 機 関 先 の 開 発 環 境 等 を 活 用 し て 評 価 を 行 い 、 改 良 や 追 加 す べ き シ ー ン 等 を 抽 出 し 報 告 書 に 纏 め る 。 表 序2.2.5-1 走 行 映 像 デ ー タ ベ ー ス の 評 価 技 術 項 目 内 容 目 標 走 行 映 像 デ ー タ ベ ー ス の 評 価 ・ 検 出 ・ 認 識 方 式 の ベ ン チ マ ー ク 評 価 、学 習 型 デ ー タ ベ ー ス 評 価 お よ び 統 計 解 析 し 対 象 物 の 分 布 か ら デ ー タ ベ ー ス の 性 質 の 評 価 ・ 走 行 映 像 デ ー タ ベ ー ス に 係 る 質 や 量 及 び 多 様 性 等 に 係 る 評 価 走 行 映 像 デ ー タ ベ ー ス の 性 能 比 較 評 価 お よ び 改 良 や 追 加 す べ き シ ー ン 等 を 抽 出 す る
2.3
走 行 映 像 デ ー タ ベ ー ス の 開 発 目 標
本 事 業 に お け る 走 行 映 像 デ ー タ ベ ー ス の 最 終 開 発 目 標 は 、 以 下 の 通 り で あ る 。 （ 目 標 ） 延 べ 歩 行 者 事 例 ：400万 事 例 、 歩 行 者 シ ー ン4万 シ ー ン （ 動 画 デ ー タ ） （ 取 得 実 績 ）： 国 内 走 行 1,347時 間 お よ び 米 国 走 行 135時 間 の 合 計 約 1,482時 間 の 走 行 映 像 デ ー タ を 収 集 し た 。 （ 成 果 物 ） ・ 走 行 映 像 デ ー タ ベ ー ス （ 走 行 映 像 デ ー タ 、 車 両 情 報 、 タ グ 付 け 情 報 を 含 む ） ・ 技 術 開 発 項 目 に 対 応 し た 各 種 の 製 作 仕 様 書 お よ び ソ フ ト ウ ェ ア 仕 様 書 ・ 走 行 映 像 デ ー タ ベ ー ス 関 連 の 総 合 評 価 結 果 （ 自 動 化 、 性 能 ） ま た 、 表 序 2.3-1に 平 成28年 度 の 成 果 目 標 お よ び 開 発 目 標 の ま と め を 示 す 。 表 序2.3-1 研 究 開 発 テ ー マ 別 の 成 果 目 標 お よ び 開 発 目 標 の ま と め 年 度 デ ー タ ベ ー ス 化 基 盤 技 術 開 発 走 行 映 像 デ ー タ の 分 析 走 行 映 像 デ ー タ ベ ー ス の 評 価 平 成 28 年 度 ① タ グ 付 け 技 術 開 発 ・ 自 動 タ グ 付 け 機 能 単 眼 画 像 測 距 技 術 を 用 い た 自 動 タ グ 付 け ツ ー ル を 開 発 し 、タ グ 付 け 作 業 を100%完 了 ・ シ ー ン 抽 出 機 能 ツ ー ル の ア ル ゴ リ ズ ム 改 良 を 行 い 、シ ー ン 抽 出 作 業 を100%完 了 ・ 手 動 タ グ 付 けGUI機 能 作 業 効 率 向 上 の 機 能 改 良 を ツ ー ル に 反 映 し 、手 動 タ グ 付 け 作 業 を 投 入 し 完 了 す る 。 ② 検 索 用 デ ー タ ベ ー ス の 技 術 開 発 検 索 機 能 及 び 視 覚 化 機 能 を 実 装 し た 検 索 エ ン ジ ン プ ロ ト タ イ プ を 開 発 し 評 価 を 実 施 す る 。 ・ 国 内 外 走 行 映 像 デ ー タ に 対 し て 、 走 行 環 境 シ ー ン （27 シ ー ン 分 類 ） を 用 い て 収 集 し た 映 像 を 分 析 し シ ー ン 抽 出 す る 。 ・ シ ー ン 抽 出 結 果 と 走 行 環 境 シ ー ン 番 号 の 関 連 付 け 結 果 か ら 、 走 行 映 像 デ ー タ ベ ー ス に 対 す る 質 や 量 に 対 す る 評 価 及 び 分 析 を 行 う 。 ・検 出・認 識 方 式 の ベ ン チ マ ー ク 評 価 、学 習 型 デ ー タ ベ ー ス 評 価 お よ び 統 計 解 析 し 対 象 物 の 分 布 か ら デ ー タ ベ ー ス の 性 質 を 評 価 す る 。 ・走 行 映 像 デ ー タ ベ ー ス に 係 る 質 や 量 及 び 多 様 性 等 に 係 る 評 価 す る 。 ・走 行 映 像 デ ー タ ベ ー ス の 性 能 比 較 評 価 お よ び 改 良 や 追 加 す べ き シ ー ン 等 を 抽 出 す る 。2.4
研 究 開 発 成 果 の ま と め
2.4.1 走 行 映 像 デ ー タ の 分 析 (1) デ ー タ 収 集 設 計 ① 国 内 走 行 映 像 デ ー タ の 分 析 【 開 発 目 標 】 平 成 27 年 度 分 の 国 内 走 行 映 像 デ ー タ に 係 る 走 行 環 境 シ ー ン （27 シ ー ン 分 類 ） の 整 理 を 実 施 す る 。 【 成 果 】 平 成 27 年 度 分 走 行 映 像 デ ー タ に 係 る 交 通 環 境 映 像 を 走 行 環 境 シ ー ン （27 シ ー ン 分 類 ） で 整 理 し 、件 数 を 表 序 2.4.1-1に 纏 め た 。そ の 結 果 、歩 行 者 シ ー ン4万 件 に 対 し 、全 歩 行 者 シ ー ン 数 の 合 計 は 115,717件 で あ る 。ま た 、歩 行 者 事 例400万 件 に 対 し 、約694万 件（ 注 ） と 事 業 目 標 を 達 成 し た 。ま た 、シ ー ン 番 号1、14 及 び15の 地 域 区 分 別 比 較 を 図 序 2.4.1-1、 2に 示 す 。 表 序2.4.1-1 走 行 環 境 シ ー ン 分 類 結 果 （ 全 体 数 予 測 内 訳 ）図 序2.4.1-1 歩 行 者 追 越 し （ シ ー ン 番 号 1） 地 域 区 分 別 比 較 （ 件 数 ／ 日 ） 図 序2.4.1-2 右 左 折 群 集 （ シ ー ン 番 号 14及 び15） 地 域 区 分 別 比 較 （ 件 数 ／ 日 ） ② 海 外 走 行 映 像 デ ー タ の 分 析 【 開 発 目 標 】 平 成27 年 度 分 の 海 外 （ 米 国 ） 走 行 映 像 デ ー タ に 係 る 走 行 環 境 シ ー ン （27シ ー ン 分 類 ） の 整 理 を 実 施 す る 。 【 成 果 】 海 外 走 行 映 像 デ ー タ 約68時 間 に お け る27シ ー ン 分 類 数 は 表 序2.4.1-2に 示 す 通 り21,923 シ ー ン で あ り 、 歩 行 者 シ ー ン 数 は 14,577及 び 自 転 車 の シ ー ン 数 は1,976で あ っ た 。 ま た 、 海 外 （ 米 国 ） に お け る 走 行 映 像 デ ー タ 分 析 結 果 を 図 序 2.4.1-3に 示 す 。 市 街 地 285.1 繁 華 街 314.8 観 光 地 246.3 寒 冷 地 126.8 市 街 地 8.7 繁 華 街 16.9 観 光 地 10.3 寒 冷 地 7.0
表 序 2.4.1-2 海 外 走 行 環 境 シ ー ン 分 類 結 果 （ 海 外 全 体 数 予 測 内 訳 ） シ ー ン 番 号 ： シ ー ン 名 称 シ ー ン 数 1： 追 越 し （ 歩 行 者 ） 5,583 2： 追 越 し （ 自 転 車 ） 1,529 3： 横 断 歩 道 横 切 り （ 歩 行 者 ） 1,631 4： 横 切 り （ 自 転 車 ） 307 5： 交 差 点 左 折 （ 歩 行 者 ） 145 6： 交 差 点 左 折 （ 自 転 車 ） 9 7： 交 差 点 右 折 （ 歩 行 者 ） 243 8： 交 差 点 右 折 （ 自 転 車 ） 17 9： 追 越 し （ 複 数 歩 行 者 ） 3,713 10： 横 断 歩 道 横 切 り （ 複 数 歩 行 者 ） 1,129 11:歩 行 者 ・ 自 転 車 混 在 60 12:追 越 し （ 群 集 ） 392 13:横 断 歩 道 横 切 り （ 群 集 ） 336 14:交 差 点 左 折 （ 群 集 ） 81 15:交 差 点 右 折 （ 群 集 ） 170 16:歩 行 者 の 付 属 物 835 17:特 殊 歩 行 者 1,154 18:特 殊 自 転 車 55 19:特 殊 周 辺 環 境 481 20:路 側 物 （ 誤 認 識 対 象 ） 0 21:路 側 駐 車 車 両 追 い 越 し 3,837 22:交 差 点 右 折 時 対 向 直 進 車 （ 自 動 車 ） 141 23:交 差 点 右 折 時 対 向 直 進 車 （ 二 輪 車 ） 9 24:交 差 点 直 進 時 前 方 右 折 車 （ 自 動 車 ） 77 25:交 差 点 直 進 時 前 方 右 折 車 （ 二 輪 車 ） 4 26:交 差 点 前 方 横 切 り 直 進 車 （ 自 動 車 ） 801 27:交 差 点 前 方 横 切 り 直 進 車 （ 二 輪 車 ） 81 合 計 （ シ ー ン 番 号 １ １ ， １ ６ は 除 く ） 21,923 歩 行 者 シ ー ン 数 14,577 自 転 車 シ ー ン 数 1,976 合 計 16,553 ※ シ ー ン 番 号11,16 は 他 の 歩 行 者 シ ー ン に 付 随 す る た め シ ー ン 数 か ら は の ぞ く
図 序 2.4.1-3 海 外 （ 米 国 ） 走 行 映 像 デ ー タ 分 析 結 果 ③ 走 行 映 像 デ ー タ 分 析 支 援 ツ ー ル の 開 発 【 開 発 目 標 】 走 行 環 境 シ ー ン の 分 析 に 用 い る 走 行 映 像 デ ー タ 分 析 支 援 ツ ー ル の 開 発 を 実 施 す る 。 走 行 映 像 デ ー タ 分 析 支 援 ツ ー ル 機 能 イ メ ー ジ を 図 序 2.4.1-4に 示 す 。 【 成 果 】 成 果 ( ⅰ ) 走 行 映 像 デ ー タ 分 類 ツ ー ル は 、平 成27年 度 に 開 発 し た デ ー タ ベ ー ス ビ ュ ー ワ の 拡 張 ツ ー ル と し て 作 成 し 、 追 加 機 能 と し て シ ー ン 分 類 の た め の 種 別 番 号 や 属 性 デ ー タ を 映 像 フ レ ー ム 毎 に 情 報 と し て 付 与 を 実 現 し た 。 成 果 （ ⅱ ） 走 行 映 像 デ ー タ 抽 出 ツ ー ル は 、 ユ ー ザ が 抽 出 条 件 を カ ス タ マ イ ズ す る こ と で 、 任 意 条 件 の 抽 出 対 象 デ ー タ が 抽 出 で き る ツ ー ル の 作 成 が 出 来 た 。 ⾛⾏映像 データをビュ ーワで閲覧 分類したいシーンで 、代表時刻setボタ ンを押すと、そのシ ーンの時刻名のシー ン代表フレームファイ ルが生成される シーンパレットで 代表フレームの 分類番号を選 択する シーン属性を 並べたパレット ウインドウ シーン代表フ レームファイル にシーン番号 が記録される 図 序 2.4.1-4 走 行 映 像 デ ー タ 分 析 支 援 ツ ー ル 機 能 イ メ ー ジ 図
(2) デ ー タ 収 集 車 両 の 改 良 開 発 【 開 発 目 標 】 走 行 環 境 シ ー ン の デ ー タ 整 理 に 合 わ せ て 、 デ ー タ 収 集 車 両 の 機 能 改 良 を 実 施 す る 。 【 成 果 】 成 果 ① ・ レ ー ダ チ ャ ー ト ／ レ ー ダ 距 離 点 群 の 画 像 重 畳 距 離 情 報 の 可 視 化 と 活 用 の た め に 、 レ ー ダ チ ャ ー ト の 追 加 と 距 離 点 群 の 画 像 へ の 重 畳 表 示 の 試 作 評 価 を 行 い 、JPEG画 像 ビ ュ ー ワ に 追 加 実 装 し 、 同 期 し て デ ー タ を 解 析 出 来 る こ と を 確 認 し た （ 図 序 2.4.1-5）。 レーダチャート（周辺360°） フルスケール切替表⽰ 10m/20m/30m レーダ距離点群の画像への重畳表⽰ レーダチャート（前遠方） フルスケール切替表⽰ 20m/40m/80m 路線バス 歩⾏者 電信柱 図 序2.4.1-5 レ ー ダ チ ャ ー ト ／ レ ー ダ 距 離 点 群 の 画 像 重 畳 の 動 作 イ メ ー ジ 図 成 果 ② ・ 画 像 表 示 変 換 と 動 画 化 表 示 の デ ー タ 利 用 確 認 前 後 左 右 180度 魚 眼 カ メ ラ の 歪 補 整 画 像 を 円 筒 投 影 画 像 変 換 し た 活 用 例 を 検 討 し た （ 図 序2.4.1-6）。 右画像 左画像 後画像 前画像 前遠方画像
2.4.2 走 行 映 像 デ ー タ ベ ー ス へ の タ グ 付 け 技 術 開 発 【 開 発 目 標 】 （1） シ ー ン 抽 出 に 係 る デ ー タ 処 理 の 高 速 化 （2） 手 動 タ グ 付 けGUIツ ー ル の 機 能 改 良 （3） 自 動 タ グ 付 け 機 能 向 上 を 実 施 す る 。 【 成 果 】 (1) シ ー ン 抽 出 に 係 る デ ー タ 処 理 の 高 速 化 ① JPEG変 換 ル ー チ ン の 高 速 化 （表 序2.4.2-1） 成 果 （ ⅰ ） 変 換 済 み フ ァ イ ル の 有 無 を 確 認 し 、 存 在 る 場 合 に は コ ピ ー の み と し 、 処 理 全 体 の ボ ト ル ネ ッ ク に な っ て い る JPEG 変 換 の 高 速 化 を 実 現 し た （図 序2.4.2-1）。 成 果 （ ⅱ ） 特 に 並 列 処 理 を 行 う 高 負 荷 時 に 効 果 し た 。 表 序 2.4.2-1 JPEG変 換 ル ー チ ン の 高 速 化 負 荷 状 況 負 荷 状 況負 荷 状 況 負 荷 状 況 JPEG 変 換変 換変 換変 換 コ ピ ー の みコ ピ ー の みコ ピ ー の みコ ピ ー の み
高 負 荷 時 3 min / 60 frame 1.5 min / 60 frame 低 負 荷 時 5 sec / 60 frame 5 sec / 60 frame
シーン抽出 JPEG 変換 自動タグ付け用 リスト生成 リスト ファイル 自動タグ付け 改善前 改善後 main01/02 tagwork (JPEG 変換済データ) シーン抽出 + JPEG 変換 改善前の問題点 既に JPEG 変換されてあるデータがあっても再変換 を実施するため処理が遅くなる。 改善後 JPEG 変換済みデータがあれば、これをコピーする だけとし、大幅な高速化を実現。 未使用 シーン抽出 JPEG 変換 (コピーで高速化) 自動タグ付け用 リスト生成 リスト ファイル 自動タグ付け main01/02 tagwork (JPEG 変換済データ) シーン抽出 + JPEG 変換 使用 約 12 時間 約 24 時間 図 序2.4.2-1 JPEG 変 換 の 効 率 改 善
(2) 手 動 タ グ 付 けGUIツ ー ル の 機 能 改 良 ① 改 良 内 容 手 動 タ グ 付 け GUIツ ー ル に お け る 主 な 改 良 内 容 を 示 す （ 図 序2.4.2-2）。 【 成 果 】 ・ 矩 形 枠 色 分 け ： 自 動 タ グ 付 け 結 果 と 手 動 タ グ 付 け 結 果 を 目 視 確 認 可 能 ・ 矩 形 枠 の ス ケ ー ル 機 能 ： 対 象 物 を 取 り 囲 む 矩 形 枠 の 画 素 数 の 大 き さ を 示 す ・ 特 定 フ レ ー ム 以 降 の 属 性 変 更 ： ・ タ グ 一 覧 ： 単 独 自 動 コ ピ ー 機 能 、 同 一 ID指 定 、 フ レ ー ム 切 替 え 時 の 設 定 引 継 ぎ ・ シ ョ ー ト カ ッ ト キ ー 対 応 ・ 自 動 フ ァ イ ル 保 存 ・ タ グ 付 け フ ァ イ ル の 大 容 量 対 応 ・ 映 像 フ ォ ル ダ や XMLフ ァ イ ル の ド ラ ッ グ ア ン ド ド ロ ッ プ 対 応 ・ 高 速 化 ・ エ ラ ー 発 生 時 の メ ッ セ ー ジ 内 容 の 詳 細 化 ・ ロ グ 内 容 の 詳 細 化 図 序2.4.2-2 手 動 タ グ 付 け GUIツ ー ル の 改 良 （ 改 善 点 一 覧 ）
② 単 独 コ ピ ー 機 能 【 成 果 】 自 動 コ ピ ー の 対 象 と す る も の を 個 別 に 設 定 す る こ と に よ り 、 既 に タ グ 付 け さ れ た 対 象 物 に 影 響 を 与 え ず 追 加 ま た は 修 正 す る 対 象 物 の み を 自 動 コ ピ ー す る こ と が 可 能 と し た（図 序 2.4.2-3）。 図 序 2.4.2-3 手 動 タ グ 付 け GUIツ ー ル の 改 良 （ 単 独 コ ピ ー 機 能 ） ③ 特 定 フ レ ー ム 以 降 で の 属 性 変 更 【 成 果 】 自 動 コ ピ ー で は す べ て の 属 性 が コ ピ ー 対 象 に な っ て い た が 、 自 車 と の 相 対 関 係 で フ レ ー ム ご と に 異 な る 可 能 性 の あ る 方 向 や 隠 れ な ど の 属 性 は 変 更 可 能 と し た 。 ま た 、 対 象 と す る 属 性 は カ ス タ マ イ ズ 可 能 と し た （ 図 序 2.4.2-4）。 歩⾏者 大人 男 後左 隠れなし 歩⾏者 大人 男 後左 隠れあり 隠れなし 隠れあり 最初の状態 20 フレーム後の状態 図 序2.4.2-4 手 動 タ グ 付 け GUIツ ー ル の 改 良 （ 特 定 フ レ ー ム 以 降 で の 属 性 変 更 ）
(3) 自 動 タ グ 付 け 機 能 向 上 【 開 発 目 標 】 平 成27 年 度 に 研 究 開 発 し た 自 動 タ グ 付 け ツ ー ル に 対 す る 機 能 強 化 、課 題 対 応 と し て 以 下 の 研 究 開 発 を 実 施 し た 。 ① 自 動 タ グ 付 け 結 果 に 、 障 害 物 と 自 車 と の 距 離 情 報 を 付 加 （ 図 序 2.4.2-5） ② 自 動 タ グ 付 け 処 理 の 高 速 化 ③ 物 体 認 識 種 類 の 拡 大 自車 障害物 y x 障 害 物 の 種類 障 害 物 の 種類障 害 物 の 種類 障 害 物 の 種類 障 害 物 ま での 障 害 物 ま での障 害 物 ま での 障 害 物 ま での 距 離 距 離 距 離 距 離 ((( メ ー ト ル(メ ー ト ルメ ー ト ルメ ー ト ル)))) 図 序 2.4.2-5 自 動 タ グ 付 け 結 果 （ 障 害 物 と 自 車 両 と の 距 離 情 報 付 加 ） 【 成 果 】 成 果 ① 単 眼 画 像 測 距 エ ン ジ ン を 導 入 す る こ と に よ り 、 障 害 物 ま で の 距 離 を タ グ 情 報 と し て 出 力 す る 仕 組 み を 実 装 し 、63,983 本 の シ ー ン 、22,521,337フ レ ー ム に 対 す る 自 動 タ グ 付 け を 実 施 し た 。 成 果 ② よ り 高 速 な 認 識 エ ン ジ ン へ の 差 し 替 え と 、 自 動 タ グ 付 け 処 理 の 並 列 実 行 の 仕 組 み を 研 究 開 発 、 平 成27年 度 比 で 約23.5 倍 の 高 速 化 を 実 現 し た （ 図 序2.4.2-6）。
成 果 物 自動タグ付け機能 タグ付け結果 走行映像データ 本年度の研究 • 自動タグ付け結果に測距情報を付加 • 自動タグ付けツールの高速化 自動タグ付け ツール Windows7 仮想マシン動作環境 自動タグ処理用WS 自動タグ付けツール(仮想マシンx) 自動タグ付けツール(仮想マシンB) 自動タグ付けツール(仮想マシンA) シ ー ン 振 り 分 け 機 能 図 序2.4.2-6 自 動 タ グ 付 け 処 理 の 高 速 化 2.4.3 走 行 映 像 デ ー タ ベ ー ス 開 発 お よ び 実 証 (1) 走 行 映 像 デ ー タ ベ ー ス の 運 用 【 開 発 目 標 】 年 間 を 通 じ た 安 定 稼 働 の 確 認 及 び 検 証 を 実 施 す る （ 図 序 2.4.3-1）。 【 成 果 】 成 果 ① 蓄 積 総 容 量 2.1PB、 加 工 処 理 中 のNAS(HDD)容 量 696TBに 対 し 、 ・ ハ ー ド ウ エ ア （HDD,LTO,各 種 機 器 ） 不 具 合 無 し ・LTO 読 み 出 し 337本 （638万 File） 不 具 合 無 し 成 果 ② 安 定 稼 働 の 検 証 ・ タ グ 付 け 拠 点 配 送 デ ー タ （ 約 35GB、18万 File） 書 き 出 し 時 間 ・ 元 デ ー タ 書 き 出 し 時 間 4,797s 18万 ⇒10Fileに ア ー カ イ ブ 301s 図 序2.4.3-1 走 行 映 像 デ ー タ ベ ー ス の 運 用 評 価
(2) 手 動 タ グ 付 け 編 集 作 業 、 タ グ 情 報 確 認 作 業 【 開 発 目 標 】 自 動 タ グ 付 け タ グ 情 報 の 一 部 に 対 し て 、 改 良 さ れ た 手 動 タ グ 付 け GUIツ ー ル を 用 い て 30 万 フ レ ー ム 以 上 の タ グ 情 報 を 作 成 す る 。 【 成 果 】 自 動 タ グ 付 け 結 果 の 一 部 に 対 し て 、 表 序 2.4.3-1に 示 す デ ー タ を 選 定 し 、 映 像 デ ー タ 数 700シ ー ン 以 上 の 手 動 タ グ 付 け 編 集 作 業 を 実 施 し た 。 ・ 新 規 追 加 ： 繁 華 街（ 関 東 、中 部 、関 西 地 区 ）、高 速 道（ 首 都 高 速 、名 古 屋 高 速 、東 名 高 速 ） ・ デ ー タ 拡 充 ： 海 外 （NY： 繁 華 街 ）、 一 般 道 （ 関 東 地 区 ）、 市 街 地 （ 関 東 、 関 西 地 区 ）、 駐 車 場 （ 関 東 地 区 ） 表 序 2.4.3-1 手 動 タ グ 付 け 編 集 作 業 ・ タ グ 情 報 確 認 作 業 の デ ー タ 対 象 項 目 地 域 場 所 撮 像 日 時 時 間 帯 天 候 繁 華 街 関 東 神 奈 川 県 ・ 横 浜 9月 12日 朝 → 昼 晴 東 京 都 ・ 新 橋 10月7日 朝 → 昼 晴 東 京 都 ・ 渋 谷 10月23日 夜 曇 東 京 都 ・ 新 宿 11月 21日 夜 曇 中 部 愛 知 県 ・ 名 古 屋 市 栄 11月 20日 朝 → 昼 曇 ・ 晴 愛 知 県・ 名 古 屋 駅 東 11月 13日 夜 曇 ・ 雨 愛 知 県・ 名 古 屋 駅 東 11月 26日 朝 → 昼 晴 愛 知 県 ・ 名 古 屋 市 伏 見 11月 27日 朝 → 昼 晴 関 西 大 阪 府 ・ 難 波 11月 20日 朝 → 昼 晴 大 阪 府 ・ 難 波 12月16日 夜 曇 ・ 晴 大 阪 府 ・ 本 町 12月18日 夜 曇 ・ 雨 大 阪 府 ・ 梅 田 9 月4日 朝 → 昼 晴 ・ 曇 海 外 NY 市 街 地 ／ 繁 華 街 ／ 高 速 道 ／ 一 般 道 ／ 駐 車 場 11月 9日 11月 10日 11月 12日 朝 → 昼 晴 ・ 曇 高 速 道 関 東 首 都 高 速 11月 20日 朝 → 昼 曇 中 部 名 古 屋 高 速 9 月11日 朝 → 昼 晴 東 名 高 速 10月15日 朝 → 昼 晴 一 般 道 関 東 神 奈 川 県 ・ 国 道 1号 線 10月28日 朝 → 昼 晴 東 京 ・ 都 道5号 線 10月14日 朝 → 昼 曇 ・ 晴 市 街 地 関 東 神 奈 川 県 ・ 上 大 岡 11月 6日 朝 → 昼 晴 神 奈 川 県 ・ 武 蔵 小 杉 11月11日 昼 → 夜 曇 関 西 大 阪 府 ・ 新 大 阪 11月 9日 昼 → 夜 雨 ・ 曇 大 阪 府 ・ 天 王 寺 11月 23日 朝 → 昼 曇 ・ 雨 駐 車 場 関 東 東 京 都 ・ 国 際 展 示 場 10月30日 昼 曇 ・ 晴 東 名 ・ 海 老 名 SA 11月 10日 昼 → 夜 雨
(3) 検 索 用 デ ー タ ベ ー ス の 開 発 【 開 発 目 標 】 以 下 の 機 能 追 加 に 係 る ソ フ ト ウ ェ ア 研 究 開 発 及 び 機 能 評 価 を 実 施 す る 。 ・ 検 索 API環 境 ・ デ ー タ 特 性 に 応 じ た デ ー タ 補 完 ・Timewindowに よ る 時 間 範 囲 を 考 慮 し た デ ー タ 抽 出 【 成 果 】 過 年 度 の デ ー タ モ デ ル 検 討 に 加 え 、 検 索 API 仕 様 ／ デ ー タ 補 完 方 式 の 見 直 し 、 Timewindow 検 索 な ど の 仕 様 を 見 直 し た 上 で 検 索 デ ー タ ベ ー ス 機 能 の ソ フ ト ウ ェ ア を 実 装 し 、 機 能 評 価 を 実 施 し 設 計 仕 様 の 達 成 を 確 認 し た 。 検 索 用 デ ー タ ベ ー ス の 概 要 を 図 序 2.4.3-2に 、 画 面 イ メ ー ジ を 図 序 2.4.3-3に 示 す 。 図 序2.4.3-2 検 索 用 デ ー タ ベ ー ス の 概 要 図 序 2.4.3-3 SIP走 行 映 像 デ ー タ ベ ー ス 検 索 シ ス テ ム （ 画 面 イ メ ー ジ ）
第 4回 開 発 検 討 会 に お け る 検 索 用 デ ー タ ベ ー ス の デ モ ン ス ト レ ー シ ョ ン を 実 施 し 、 コ メ ン ト を 研 究 開 発 に フ ィ ー ド バ ッ ク さ せ た 。 2.4.4 走 行 映 像 デ ー タ ベ ー ス の 評 価 (1) 走 行 映 像 デ ー タ ベ ー ス の 性 能 比 較 評 価 【 開 発 目 標 】 走 行 映 像 デ ー タ ベ ー ス に 係 る 性 能 比 較 評 価 と し て 、 ① か ら ⑤ の 評 価 項 目 に よ り 、KTTI （Karlsruhe Institute of Technology） な ど 公 知 の デ ー タ ベ ー ス と の 比 較 比 較 を 行 い 、 走 行 映 像 デ ー タ ベ ー ス の 性 能 性 を 検 証 す る 。 【 成 果 】 ① ベ ン チ マ ー ク デ ー タ セ ッ ト と し て の 評 価 (ⅰ) 走 行 映 像 デ ー タ ベ ー ス 平 成 27年 度 版 と の 比 較 適 合 率 （Precison）、 再 現 率 （Recall） と も に 低 い 値 ⇒ 評 価 用 デ ー タ ベ ー ス と し て 、 よ り 正 検 出 難 易 度 の 高 い デ ー タ ベ ー ス で あ る 。 (ⅱ) KITTI DBと の 比 較 結 果 （ 表 序2.4.4-1） ・ 高 い Precisionの 値 ： 誤 検 出 が 少 な か っ た こ と を 示 す 。 ・ 低 い Recallの 値 ： 検 出 漏 れ は 多 か っ た こ と を 示 し て い る 。 ⇒ 走 行 映 像 デ ー タ ベ ー ス に は 、歩 行 者 と 誤 検 出 す る 背 景 映 像 は 少 な く 、検 出 困 難 な 歩 行 者 映 像 は 多 い こ と を 示 し て い る （ 平 成27 年 度 版 と 同 様 の 傾 向 で あ る ）。 表 序2.4.4-1 学 習 用 DB：INRIA、 評 価 用DB：othersと し た 場 合 の 評 価 結 果
TestDB
F-measure
Precision
Recall
SIP
(2015
年度の評価結果
)
0.0076
0.0052
0.0148
SIP
(
本年度の評価結果
)
0.0047
0.0033
0.0082
KITTI
0.0026
0.0013
0.0622
② 学 習 用 デ ー タ セ ッ ト と し て の 評 価 KITTI デ ー タ ベ ー ス と の 比 較 で は 、： 総 じ て 同 等 程 度 の 性 能 と な っ た 。 学 習 時 に サ ン プ ル 選 択 を 実 施 す る こ と で 、 検 出 器 の 性 能 向 上 が 見 込 め る 。 つ ま り 、 走 行 映 像 デ ー タ ベ ー ス は 、KITTI デ ー タ ベ ー ス よ り も サ ン プ ル 数 が 多 い 利 点 を 活 か す 評 価 を 行 う こ と が 重 要 で あPrecision： 適 合 率 ＝ 検 出 数 /（ 検 出 数 + 誤 検 出 数 ）（ 正 解 率 、 高 い 値 程 誤 検 出 が 少 な い ） Recall：再 現 率 ＝ 検 出 数 /（ 検 出 数 + 未 検 出 数 ）（ 正 例 再 現 率 、高 い 値 程 検 出 漏 れ 少 な い ） F-measure：Precision、Recallの 調 和 平 均 ＝ 検 出 数/（ 検 出 数 ＋（ 誤 検 出 数 ＋ 未 検 出 数 ）/2）
表 序2.4.4-2 F-measure（ 調 和 平 均 ） ／Precision（ 正 解 率 ） ／Recall（ 正 例 再 現 率 ）
③ 統 計 解 析 に よ る デ ー タ ベ ー ス の 性 質 （ 特 性 ） 評 価 （ 図 序2.4.4-1） ・ ラ ベ ル 付 き 画 像 の 性 質 ： 凡 化 性 の 高 い デ ー タ セ ッ ト ・背 景 画 像 の 性 質：対 象 と 誤 検 出 し や す い 画 像 多 数 ⇒ 高 難 易 度 な 評 価 用 デ ー タ セ ッ ト 学習データで張る非線形判別空間 学習データで張る非線形判別空間に 射影した背景データ 歩行者 自動車 二輪車 事 後 確 率 事 後 確 率 1.0 0.0 1.0 0.0 図 序2.4.4-1 デ ー タ ベ ー ス 性 質 の 可 視 化 結 果 ④ 識 別 性 能 評 価1（ 同 一DBで 学 習 ・ 評 価 を 実 施 し た 場 合 ）（ 表 序2.4.4-3） ・KITTI デ ー タ ベ ー ス: TP rateが 低 い ⇒ 歩 行 者 の 正 検 出 が 困 難 な デ ー タ ベ ー ス （ 検 出 漏 れ が 多 い デ ー タ ベ ー ス ） ・ 走 行 映 像 デ ー タ ベ ー ス ：TP、TN rateは70%以 上 ⇒ サ ン プ ル 数 が 多 い こ と か ら 、 評 価 難 易 度 を 調 整 で き る 。 （ 計 測 環 境 等 に 関 す る タ グ も 付 与 さ れ た デ ー タ ベ ー ス で あ る こ と か ら 、 幅 広 い 検 出 方 式 評 価 へ の 活 用 が 期 待 で き る 。） Test Training: SIP Training: KITTI SIP 0.0009 (result 1-1) 0.0009 (result 2-1) KITTI 0.0025 (result 1-2) 0.0027 (result 2-2) Test Training: SIP Training: KITTI SIP 0.0004 (result 1-1) 0.0005 (result 2-1) KITTI 0.0012 (result 1-2) 0.0014 (result 2-2) Test Training: SIP Training: KITTI SIP 0.0221 (result 1-1) 0.0215 (result 2-1) KITTI 0.0759 (result 1-2) 0.0804 (result 2-2)
表 序2.4.4-3 識 別 性 能 評 価1の 結 果
Training set:
SIP
Test set: SIP
（昨年度版）
Training set: SIP
Test set: SIP
（ 今 年度版）
（ 今 年度版）
（ 今 年度版）
（ 今 年度版）
Training set: KITTI
Test set: KITTI
TP rate
0.765 (
±
0.033)
0.839
0.839
0.839
0.839 (
±
0.005)
0.660 (
±
0.005)
TN rate
0.447 (
±
0.036)
0.767 (
±
0.015)
0.831
0.831
0.831
0.831 (
±
0.014)
“TP rate” ≅ 歩 行 者 の 正 検 出 性 能 、“TN rate” ≅ 誤 検 出 抑 制 性 能 ⑤ 識 別 性 能 評 価2（ 学 習 デ ー タ ベ ー ス と は 異 な る 評 価 用 デ ー タ INRIAで 評 価 し た 場 合 ）（ 表 序 2.4.4-4） ・ 評 価 用DBを 変 え て もTP rateの 変 化 が 少 な い 。 （ 歩 行 者 の 正 検 出 性 能 に 関 し て 、 頑 健 性 が 高 い ） ・ 昨 年 度 版 と の 比 較 か ら 、TP, TN rateと も に 向 上 し た 。 （ デ ー タ 収 集 ・ ア ノ テ ー シ ョ ン 時 の 過 学 習 対 策 が 有 効 に 機 能 し た ） 表 序2.4.4-4 識 別 性 能 評 価2の 結 果Training set:
SIP
（昨年度版）
Test set:
INRIA
Training set: SIP
（ 本 年度版）
（ 本 年度版）
（ 本 年度版）
（ 本 年度版）
Test set:
INRIA
Training set:
KITTI
Test set:
INRIA
TP rate
0.761 (±
0.056)
0.855
0.855
0.855
0.855
(±
0.008)
0.697
(±±±±
0.021)
TN rate
0.445
(±
0.033)
0.591 (±
0.012) 0.653
0.653
0.653 (±±±±
0.653
0.034)
(2) 前 方 監 視 画 像 に 対 す る 映 像 デ ー タ の 評 価 【 開 発 目 標 】 走 行 映 像 デ ー タ と し て 取 得 し た 画 像 デ ー タ の 品 質 を 、 画 像 認 識 に 対 し て 重 要 な 特 性 で あ る 、 解 像 度 と コ ン ト ラ ス ト に 注 目 し て 評 価 を 行 う 。 【 成 果 】 ① 通 常 環 境 、 悪 環 境 で の 認 識 用 画 像 品 質 に 問 題 無 い こ と を 確 認 し た 。 ・ 画 質 評 価 の 範 囲 （ 通 常 ）： 距 離10-25m、 角 度20°の 範 囲 を 評 価 （ 車 速20～60km/h、 歩 行 者 横 断5km/h を 前 提 ）。前 方 監 視 画 像（ 通 常 ）の 画 質 評 価 結 果 を 表 序2.4.4-5 に 示 す 。 ま た そ の 評 価 例 を 図 序2.4.4-2 に 示 す 。表 序 2.4.4-5 前 方 監 視 画 像 （ 通 常 ） の 画 質 評 価 結 果
