10 ( 57) 【要約】
【課題】複数の画像間の対応点を探索する対応点探索方 法において、利用する画像に拘わらず、より精度よく対 応点の探索ができるようにする。
【解決手段】本発明の対応点探索方法においては、予め 設定された第１の手法を用いて複数の画像のうちの基準 画像中の画素毎に複数の画像間の対応点を探索する。ま た、第１の手法とは異なる第２の手法を用いて複数の画 像のうちの基準画像中の画素毎に複数の画像間の対応点 を探索する。そして、第１の手法において利用した基準 画像を複数に区分した区分領域毎に、第１の手法による 対応点の探索精度が基準値以上であるか否かを判定する （Ｓ４３０）。さらに、探索精度が基準値以上である区 分領域にて前記第１の手法による対応点を採用し、探索 精度が基準値未満である区分領域にて第２の手法による 対応点を採用することで、複数の画像間の対応点を設定 する（Ｓ４２０，Ｓ４４０）。
10
20
30
40
50 【 特 許 請 求 の 範 囲 】
【 請 求 項 １ 】
視 差 を 有 す る 複 数 の 画 像 を 画 像 処 理 す る 画 像 処 理 装 置 （ １ ０ ） に て 実 行 さ れ 、 複 数 の 画 像 間 の 対 応 点 を 探 索 す る 対 応 点 探 索 方 法 （ Ｓ １ ０ ∼ Ｓ １ ０ ０ ） で あ っ て 、
予 め 設 定 さ れ た 第 １ の 手 法 を 用 い て 前 記 複 数 の 画 像 の う ち の 基 準 画 像 中 の 画 素 毎 に 前 記 複 数 の 画 像 間 の 対 応 点 を 探 索 す る 第 １ 探 索 工 程 （ Ｓ ５ ０ ） と 、
前 記 第 １ の 手 法 と は 異 な る 第 ２ の 手 法 を 用 い て 前 記 複 数 の 画 像 の う ち の 基 準 画 像 中 の 画 素 毎 に 前 記 複 数 の 画 像 間 の 対 応 点 を 探 索 す る 第 ２ 探 索 工 程 （ Ｓ ６ ０ ） と 、
前 記 第 １ の 手 法 に お い て 利 用 し た 基 準 画 像 を 複 数 に 区 分 し た 区 分 領 域 毎 に 、 前 記 第 １ の 手 法 に よ る 対 応 点 の 探 索 精 度 が 基 準 値 以 上 で あ る か 否 か を 判 定 す る 探 索 精 度 判 定 工 程 （ Ｓ ７ ０ ： Ｓ ４ ３ ０ ） と 、
前 記 探 索 精 度 が 基 準 値 以 上 で あ る 区 分 領 域 に て 前 記 第 １ の 手 法 に よ る 対 応 点 を 採 用 し 、 前 記 探 索 精 度 が 基 準 値 未 満 で あ る 区 分 領 域 に て 前 記 第 ２ の 手 法 に よ る 対 応 点 を 採 用 す る こ と で 、 複 数 の 画 像 間 の 対 応 点 を 設 定 す る 対 応 点 設 定 工 程 （ Ｓ ４ ２ ０ ， Ｓ ４ ４ ０ ） と 、 を 実 施 す る こ と を 特 徴 と す る 対 応 点 探 索 方 法 。
【 請 求 項 ２ 】
請 求 項 １ に 記 載 の 対 応 点 探 索 方 法 に お い て 、
前 記 対 応 点 設 定 工 程 で は 、 前 記 第 １ の 手 法 に よ っ て 得 ら れ た 対 応 点 を 前 記 複 数 の 画 像 間 の 対 応 点 と し て 設 定 し 、 前 記 探 索 精 度 が 基 準 値 未 満 で あ る 区 分 領 域 の 対 応 点 を 前 記 第 ２ の 手 法 に よ る 対 応 点 と 入 れ 替 え る こ と
を 特 徴 と す る 対 応 点 探 索 方 法 。 【 請 求 項 ３ 】
請 求 項 １ ま た は 請 求 項 ２ に 記 載 の 対 応 点 探 索 方 法 に お い て 、 前 記 第 １ 探 索 工 程 で は 、
前 記 複 数 の 画 像 の う ち の 基 準 画 像 中 の あ る 画 素 を 表 す 基 準 画 素 に お け る 画 素 情 報 と 、 前 記 基 準 画 像 を 除 く 他 の 画 像 中 の 画 素 を 表 す 比 較 画 素 に お け る 画 素 情 報 と 、 の 差 異 に 基 づ く 画 素 コ ス ト を 、 前 記 基 準 画 素 お よ び 前 記 比 較 画 素 を 変 更 し つ つ 、 前 記 基 準 画 素 毎 に 演 算 す る 画 素 コ ス ト 演 算 工 程 （ Ｓ ２ １ ０ ） と 、
前 記 基 準 画 素 を 変 更 す る 際 に お い て 前 記 基 準 画 素 と 前 記 比 較 画 素 と の 座 標 差 で あ る 視 差 の 変 化 量 に 対 す る コ ス ト を 表 す 視 差 コ ス ト を 、 前 記 基 準 画 素 毎 に 演 算 し 、 前 記 各 基 準 画 素 に 対 し て 、 前 記 画 素 コ ス ト と 前 記 視 差 コ ス ト と に 基 づ く 総 合 コ ス ト が 最 小 値 と な る 際 の 比 較 画 素 と の 組 み 合 わ せ を 演 算 す る 最 小 コ ス ト 画 素 演 算 工 程 （ Ｓ ２ ２ ０ ∼ Ｓ ２ ６ ０ ） と 、 前 記 各 基 準 画 素 に 対 応 す る 比 較 画 素 を 、 前 記 各 基 準 画 素 に 対 応 す る 対 応 点 の 候 補 と し て 抽 出 す る 対 応 点 抽 出 工 程 （ Ｓ ２ ７ ０ ） と 、
を 実 施 し 、
前 記 最 小 コ ス ト 画 素 演 算 工 程 で は 、
前 記 基 準 画 素 お よ び 前 記 比 較 画 素 を 複 数 の 方 向 に 沿 っ て 順 に 変 更 し た と き に お け る 合 計 コ ス ト が 最 小 と な る と き の 最 小 コ ス ト を 演 算 し 、 方 向 毎 に 演 算 さ れ た 最 小 コ ス ト を 互 い に 加 算 し た 値 を 前 記 最 小 値 と す る こ と
を 特 徴 と す る 対 応 点 探 索 方 法 。 【 請 求 項 ４ 】
請 求 項 １ ∼ 請 求 項 ３ の 何 れ か １ 項 に 記 載 の 対 応 点 探 索 方 法 に お い て 、
前 記 第 ２ 探 索 工 程 で は 、 オ プ テ ィ カ ル フ ロ ー を 用 い て 基 準 画 像 中 の 各 画 素 に 対 応 す る 画 素 を 対 応 点 の 候 補 と し て 抽 出 す る こ と
を 特 徴 と す る 対 応 点 探 索 方 法 。 【 請 求 項 ５ 】
視 差 を 有 す る 複 数 の 撮 像 画 像 を 用 い て 撮 像 画 像 中 の 物 体 ま で の 距 離 を 測 定 す る 距 離 測 定 装 置 （ １ ） で あ っ て 、
10
20
30
40
50 前 記 各 画 素 間 の 位 置 関 係 に 基 づ い て 物 標 ま で の 距 離 を 測 定 す る 測 定 手 段 （ Ｓ １ １ ０ ） と
、
を 備 え 、
前 記 画 素 対 応 手 段 は 、 請 求 項 １ ∼ 請 求 項 ４ の 何 れ か １ 項 に 記 載 の 対 応 点 探 索 方 法 を 用 い て 前 記 複 数 の 撮 像 画 像 に お け る 各 画 素 間 の 位 置 関 係 を 対 応 付 け る こ と
を 特 徴 と す る 距 離 測 定 装 置 。 【 発 明 の 詳 細 な 説 明 】
【 技 術 分 野 】 【 ０ ０ ０ １ 】
本 発 明 は 、 複 数 の 画 像 間 の 対 応 点 を 探 索 す る 対 応 点 探 索 方 法 、 お よ び 対 応 点 探 索 方 法 を 利 用 す る 距 離 測 定 装 置 に 関 す る 。
【 背 景 技 術 】 【 ０ ０ ０ ２ 】
上 記 の 対 応 点 探 索 方 法 と し て 、 例 え ば 左 右 の 撮 像 画 像 の 水 平 方 向 に ビ タ ビ ア ル ゴ リ ズ ム を 適 用 し 、 対 応 点 の 探 索 を 行 う も の が 知 ら れ て い る （ 例 え ば 、 特 許 文 献 １ 参 照 ） 。
【 先 行 技 術 文 献 】 【 特 許 文 献 】 【 ０ ０ ０ ３ 】
【 特 許 文 献 １ 】 特 開 ２ ０ ０ ３ − ０ ８ ５ ５ ６ 号 公 報 【 発 明 の 概 要 】
【 発 明 が 解 決 し よ う と す る 課 題 】 【 ０ ０ ０ ４ 】
と こ ろ で 、 一 般 的 に 上 記 の よ う な 対 応 点 探 索 方 法 で は 、 利 用 す る 撮 像 画 像 に よ っ て 良 好 に 対 応 点 を 探 索 で き る 場 合 と そ う で な い 場 合 と が 生 じ る 傾 向 が あ る 。
そ こ で 、 こ の よ う な 問 題 点 を 鑑 み 、 複 数 の 画 像 間 の 対 応 点 を 探 索 す る 対 応 点 探 索 方 法 に お い て 、 利 用 す る 画 像 に 拘 わ ら ず 、 よ り 精 度 よ く 対 応 点 の 探 索 が で き る よ う に す る こ と を 本 発 明 の 目 的 と す る 。
【 課 題 を 解 決 す る た め の 手 段 】 【 ０ ０ ０ ５ 】
本 発 明 の 対 応 点 探 索 方 法 に お い て 、 第 １ 探 索 工 程 で は 、 予 め 設 定 さ れ た 第 １ の 手 法 を 用 い て 複 数 の 画 像 の う ち の 基 準 画 像 中 の 画 素 毎 に 複 数 の 画 像 間 の 対 応 点 を 探 索 す る 。 ま た 、 第 ２ 探 索 工 程 で は 、 第 １ の 手 法 と は 異 な る 第 ２ の 手 法 を 用 い て 複 数 の 画 像 の う ち の 基 準 画 像 中 の 画 素 毎 に 複 数 の 画 像 間 の 対 応 点 を 探 索 す る 。
【 ０ ０ ０ ６ 】
そ し て 、 探 索 精 度 判 定 工 程 で は 、 第 １ の 手 法 に お い て 利 用 し た 基 準 画 像 を 複 数 に 区 分 し た 区 分 領 域 毎 に 、 第 １ の 手 法 に よ る 対 応 点 の 探 索 精 度 が 基 準 値 以 上 で あ る か 否 か を 判 定 す る 。 さ ら に 、 対 応 点 設 定 工 程 で は 、 探 索 精 度 が 基 準 値 以 上 で あ る 区 分 領 域 に て 前 記 第 １ の 手 法 に よ る 対 応 点 を 採 用 し 、 探 索 精 度 が 基 準 値 未 満 で あ る 区 分 領 域 に て 第 ２ の 手 法 に よ る 対 応 点 を 採 用 す る こ と で 、 複 数 の 画 像 間 の 対 応 点 を 設 定 す る 。
【 ０ ０ ０ ７ 】
す な わ ち 、 本 発 明 の 対 応 点 探 索 方 法 で は 、 複 数 の 手 法 で 対 応 点 を 探 索 し 、 あ る 手 法 で の 対 応 点 の 探 索 精 度 が 基 準 値 以 上 で あ れ ば こ の 手 法 に よ る 対 応 点 を 採 用 し 、 こ の 手 法 で の 対 応 点 の 探 索 精 度 が 基 準 値 未 満 で あ れ ば 他 の 手 法 に よ る 対 応 点 を 採 用 す る 。
【 ０ ０ ０ ８ 】
こ の よ う な 対 応 点 探 索 方 法 に よ れ ば 、 得 ら れ る 画 像 に よ っ て あ る 手 法 で の 精 度 が 悪 い 場 合 に 他 の 手 法 に よ る 対 応 点 を 採 用 す る の で 、 探 索 精 度 の よ い 対 応 点 を 採 用 で き る 確 度 を 向 上 さ せ る こ と が で き る 。
【 ０ ０ ０ ９ 】
10
20
30
40
50 【 図 面 の 簡 単 な 説 明 】
【 ０ ０ １ ０ 】
【 図 １ 】 本 発 明 が 適 用 さ れ た 距 離 検 出 装 置 １ の 概 略 構 成 を 示 す ブ ロ ッ ク 図 で あ る 。
【 図 ２ 】 処 理 部 １ ０ （ Ｃ Ｐ Ｕ １ １ ） が 実 行 す る 距 離 演 算 処 理 を 示 す フ ロ ー チ ャ ー ト で あ る 。
【 図 ３ 】 分 解 画 像 を 生 成 す る 処 理 の 一 例 を 示 す 画 像 図 で あ る 。
【 図 ４ 】 距 離 演 算 処 理 の う ち の 対 応 点 探 索 処 理 を 示 す フ ロ ー チ ャ ー ト で あ る 。 【 図 ５ 】 左 右 方 向 に お け る コ ス ト 演 算 の 概 略 を 示 す 説 明 図 で あ る 。
【 図 ６ 】 Ｓ Ｓ Ｉ Ｍ を 説 明 す る 模 式 図 で あ る 。
【 図 ７ 】 上 下 方 向 に お け る コ ス ト 演 算 の 概 略 を 示 す 説 明 図 で あ る 。 【 図 ８ 】 斜 め 方 向 に お け る コ ス ト 演 算 の 概 略 を 示 す 説 明 図 で あ る 。 【 図 ９ 】 高 速 処 理 の 概 略 の 示 す 説 明 図 で あ る 。
【 図 １ ０ 】 距 離 演 算 処 理 の う ち の 視 差 統 合 処 理 を 示 す フ ロ ー チ ャ ー ト で あ る 。 【 図 １ １ 】 本 実 施 形 態 に よ る 効 果 の 一 例 を 示 す 画 像 図 で あ る 。
【 発 明 を 実 施 す る た め の 形 態 】 【 ０ ０ １ １ 】
以 下 に 本 発 明 に か か る 実 施 の 形 態 を 図 面 と 共 に 説 明 す る 。 ［ 本 実 施 形 態 の 構 成 ］
本 発 明 が 適 用 さ れ た 距 離 検 出 装 置 １ は 、 複 数 の 撮 像 画 像 の 視 差 を 検 出 す る こ と に よ っ て 撮 像 画 像 中 の 各 点 （ 物 体 ） ま で の 距 離 を 検 出 す る 装 置 で あ る 。 特 に 、 本 実 施 形 態 の 距 離 検 出 装 置 １ で は 、 動 的 計 画 法 で あ る ビ タ ビ ア ル ゴ リ ズ ム を 複 数 の 方 向 に 適 用 す る こ と で 複 数 の 撮 像 画 像 を 構 成 す る 画 素 間 の 対 応 関 係 （ 視 差 ） を 高 精 度 か つ 低 負 荷 で 求 め る こ と が で き る よ う 配 慮 さ れ て い る 。 ま た 、 オ プ テ ィ カ ル フ ロ ー を 併 用 す る こ と で 、 よ り 精 度 よ く 距 離 を 推 定 で き る よ う 設 定 さ れ て い る 。
【 ０ ０ １ ２ 】
詳 細 に は 、 距 離 検 出 装 置 １ は 、 乗 用 車 等 の 車 両 に 搭 載 さ れ て お り 、 図 １ に 示 す よ う に 、 処 理 部 １ ０ と 、 ２ つ の 撮 像 部 ２ １ ， ２ ２ と 、 車 両 制 御 部 ３ ０ と を 備 え て い る 。 な お 、 撮 像 部 は ２ つ に 限 ら れ る こ と な く 、 ３ 以 上 設 け ら れ て い て も よ い 。
【 ０ ０ １ ３ 】
撮 像 部 ２ １ ， ２ ２ は 、 そ れ ぞ れ 車 両 の 進 行 方 向 が 撮 像 範 囲 内 と な る 周 知 の カ メ ラ と し て 構 成 さ れ て い る 。 撮 像 部 ２ １ ， ２ ２ は 、 中 心 軸 が 平 行 か つ 水 平 方 向 に 所 定 の 距 離 だ け 離 れ て 配 置 さ れ た ス テ レ オ カ メ ラ を 構 成 し て い る 。 こ れ ら の 撮 像 部 ２ １ ， ２ ２ は 、 予 め 決 ま っ た 時 間 で 周 期 的 に 同 時 に 撮 像 を 行 う よ う 設 定 さ れ て い る 。
【 ０ ０ １ ４ 】
処 理 部 １ ０ は 、 Ｃ Ｐ Ｕ １ １ と 、 Ｒ Ｏ Ｍ 、 Ｒ Ａ Ｍ 等 の メ モ リ １ ２ と を 備 え た 周 知 の コ ン ピ ュ ー タ と し て 構 成 さ れ て い る 。 処 理 部 １ ０ （ Ｃ Ｐ Ｕ １ １ ） は 、 撮 像 部 ２ １ ， ２ ２ に よ っ て 撮 像 さ れ た 撮 像 画 像 を 取 得 す る 。 そ し て 、 メ モ リ １ ２ に 格 納 さ れ た プ ロ グ ラ ム に 基 づ い て 後 述 す る 距 離 演 算 処 理 等 の 各 種 処 理 を 実 行 す る 。
【 ０ ０ １ ５ 】
車 両 制 御 部 ３ ０ は 、 処 理 部 １ ０ に よ る 処 理 結 果 を 利 用 し て 車 両 を 制 御 す る 処 理 を 行 う 。 例 え ば 、 車 両 制 御 部 ３ ０ は 、 撮 像 部 ２ １ ， ２ ２ に よ る 撮 像 範 囲 内 の 各 点 （ 各 画 素 ） に お け る 距 離 の 情 報 を 処 理 部 １ ０ か ら 取 得 し 、 こ の 距 離 の 情 報 に 基 づ い て 物 体 の 位 置 お よ び 相 対 速 度 を 認 識 す る 。 そ し て 、 物 体 が 走 行 に 支 障 を 来 す 虞 が あ る 場 合 、 走 行 軌 道 を 変 更 す る 車 両 制 御 を 行 う 。
【 ０ ０ １ ６ 】
［ 本 実 施 形 態 の 処 理 ］
10
20
30
40 【 ０ ０ １ ７ 】
こ の 処 理 で は 、 ま ず 、 撮 像 部 ２ １ ， ２ ２ に よ っ て 撮 像 さ れ た 撮 像 画 像 を 取 得 す る （ Ｓ １ ０ ） 。 続 い て 、 撮 像 さ れ た 画 像 を 平 行 化 す る （ Ｓ ２ ０ ） 。 こ こ で 、 画 像 の 平 行 化 と は 、 撮 像 画 像 の レ ン ズ に よ る 画 像 の 歪 み や 姿 勢 の ず れ を 補 正 す る 処 理 等 を 示 す 。
【 ０ ０ １ ８ 】
続 い て 、 分 解 画 像 を 生 成 す る （ Ｓ ３ ０ ） 。 こ こ で 、 分 解 画 像 と は 、 撮 像 画 像 に 含 ま れ る 構 造 部 ま た は 模 様 部 を 示 す 画 像 を 表 す 。 な お 、 構 造 部 と は 、 撮 像 画 像 （ 図 ３ （ ａ ） 参 照 ） 中 の 物 体 等 に お け る 大 ま か な 輪 郭 や 幾 何 構 造 を 表 し 、 図 ３ （ ｂ ） に 具 体 例 を 示 す 。 ま た 、 模 様 部 と は 、 構 造 部 に 対 し て よ り 細 か な 部 分 で あ っ て 、 撮 像 画 像 中 の 物 体 表 面 の 模 様 等 を 表 し 、 図 ３ （ ｃ ） に 具 体 例 を 示 す 。
【 ０ ０ １ ９ 】
こ の 処 理 で は 、 ま ず 、 構 造 部 の 画 像 を I s 、 撮 像 画 像 を I と し て 、 以 下 の 最 小 化 を 実 施 す る こ と に よ っ て 構 造 部 の 画 像 を 得 る 。
【 ０ ０ ２ ０ 】 【 数 １ 】
【 ０ ０ ２ １ 】
な お 、 上 記 式 （ １ ） に お い て 、 ∇ （ ナ ブ ラ ） I s の 項 は 、 構 造 部 の 画 像 の 輝 度 の 偏 微 分 が で き る だ け 小 さ く な る よ う に す る た め の 項 で あ る 。 こ の 項 に よ っ て 、 輝 度 の 変 化 が 大 き い エ ッ ジ 部 分 の み が 残 る よ う に な る 効 果 が 得 ら れ る 。 ま た 、 上 記 式 （ １ ） に お い て 、 1 / 2 θ ( I s - I )
2
の 項 は 、 構 造 部 の 画 像 と 撮 像 画 像 の 輝 度 の 差 が 小 さ く な る よ う に す る た め の 項 で あ る 。 こ の 項 に よ っ て 、 構 造 部 の 画 像 と 撮 像 画 像 と に お け る 輝 度 の 差 が 大 き く 異 な ら な い よ う に す る 効 果 が 得 ら れ る 。
【 ０ ０ ２ ２ 】
続 い て 、 模 様 部 の 画 像 を I t と し て 、 I t = I - I s を 演 算 す る こ と に よ っ て 模 様 部 の 画 像 を 得 る 。 こ の よ う に し て 得 ら れ た 構 造 部 お よ び 模 様 部 の 画 像 は 、 メ モ リ １ ２ に お い て 記 録 さ れ る 。
【 ０ ０ ２ ３ 】
続 い て 、 ピ ラ ミ ッ ド 画 像 を 生 成 す る （ Ｓ ４ ０ ） 。 ピ ラ ミ ッ ド 画 像 と は 、 １ つ の 撮 像 画 像 か ら 生 成 さ れ る 解 像 度 の 異 な る 複 数 の 画 像 を 示 す 。 例 え ば 、 撮 像 画 像 か ら 、 画 像 拡 大 率 η が １ ， １ ／ ２ ， １ ／ ４ に 設 定 さ れ た ３ 種 類 の 画 像 を 生 成 し 、 こ れ ら を ピ ラ ミ ッ ド 画 像 と し て メ モ リ １ ２ に 記 録 さ せ る 。
【 ０ ０ ２ ４ 】
な お 、 以 下 の 処 理 は 、 解 像 度 が 低 い 順 （ 画 像 拡 大 率 η が 小 さ い 順 ） に 、 ピ ラ ミ ッ ド 画 像 を 構 成 す る そ れ ぞ れ の 画 像 に つ い て 実 施 さ れ る 。 ま た 、 ピ ラ ミ ッ ド 画 像 は 、 撮 像 画 像 の み か ら 生 成 さ れ て も よ い し 、 分 解 画 像 の そ れ ぞ れ か ら 生 成 さ れ て も よ い 。
【 ０ ０ ２ ５ 】
続 い て 、 オ プ テ ィ カ ル フ ロ ー に よ る 視 差 演 算 を 行 う （ Ｓ ５ ０ ） 。 オ プ テ ィ カ ル フ ロ ー に よ る 視 差 演 算 で は 、 ピ ラ ミ ッ ド 画 像 の そ れ ぞ れ に 対 し て 、 公 知 の 論 文 （ A. We d e l, T . P o c k , C. Z a c h , D. Cr e me r s , a n d H. Bis c h o f ., An imp r o v e d a lg o r i t h mf o r t v - l1 o p t i c a l f lo w. , P r o c . o f t h e Da g s t u h l Mo t i o n Wo r k s h o p , 2 0 0 8 . の 2 節 ） に て 開 示 さ れ た 論 文 中 の オ プ テ ィ カ ル フ ロ ー の 式 （ 論 文 中 の 式 （ ５ ） ） を 下 記 式 （ ２ ） と し て 用 い る こ と に よ り 視 差 を 求 め る 。
10
20
30
40
50 【 数 ２ 】
【 ０ ０ ２ ７ 】
中 括 弧 内 の 前 側 の 項 は 輝 度 や コ ン ト ラ ス ト を 表 す デ ー タ 項 （ マ ッ チ ン グ コ ス ト ） で あ る 。 デ ー タ 項 で は 、 観 測 さ れ た 輝 度 情 報 を も と に し て 左 右 画 像 の 差 が 算 出 さ れ る 。 ま た 、 中 括 弧 内 の 後 側 の 項 は 、 平 滑 化 等 を 行 う た め の 正 則 化 項 で あ る 。 正 則 化 項 で は 、 ▽ u 、 ▽ v の 変 化 が 大 き い 場 合 に 、 そ の 変 化 を 抑 制 し て ノ イ ズ な ど に ロ バ ス ト に 解 を 推 定 で き る よ う に す る も の で あ る 。 本 手 法 で は 、 特 に 正 則 化 項 に T o t a l Ge n e r a liz e d V a r i a t i o n ( h t t p :/ / www .u n i - g r a z .a t / i ma www/ o p t c o n / p r o je c t s / b r e d ie s / t g v . h t ml) に て 提 案 さ れ た Ｌ ｐ ノ ル ム を 用 い る 。 特 に 、 Ｌ ｐ ノ ル ム は ０ よ り 大 き く １ 未 満 の 値 に 設 定 さ れ る 。 こ の 構 成 に よ っ て 、 ノ イ ズ に 対 し て ロ バ ス ト で か つ シ ャ ー プ な 輪 郭 部 が 得 ら れ る 構 成 を 実 現 す る 。
【 ０ ０ ２ ８ 】
こ こ で 、 デ ー タ 項 は 、 例 え ば 、 マ ッ チ ン グ 特 徴 量 で あ る Ce n s u s t r a n s f o r m( C) お よ び S S I M( S S ) （ S t r u c t u r a l S imir a l it y ） を 用 い て 、 以 下 の よ う 表 す 。
【 ０ ０ ２ ９ 】 【 数 ３ 】
【 ０ ０ ３ ０ 】
な お 、 こ の 式 で は 特 徴 量 不 変 と す る 。 一 方 、 正 則 化 項 は 、 下 記 式 に て 求 め る 。 【 ０ ０ ３ １ 】
【 数 ４ 】
【 ０ ０ ３ ２ 】
な お 、 上 記 式 （ ４ ） に お い て 、 ｖ は ｕ の 近 似 値 を 示 し 、 ま た 、 α １ 、 α ２ 、 β 、 γ は 定 数 を 示 す 。 ま た 、 ｎ は 画 像 の 輝 度 勾 配 の 向 き に 垂 直 な ベ ク ト ル を 示 す 。 上 記 式 （ ４ ） に お い て は 、 構 造 部 の 画 像 輝 度 の エ ッ ジ に 対 し て 垂 直 な 成 分 が 大 き い 点 な ら ば 、 ｕ と ｖ と が 大 き く ず れ て も 許 容 さ れ る 。 構 造 部 の 画 像 輝 度 の エ ッ ジ に 対 し て 垂 直 な 成 分 が 大 き く な い 場 合 に は 、 ｖ の 変 化 が 抑 制 さ れ る 。
【 ０ ０ ３ ３ 】
続 い て 、 対 応 点 探 索 処 理 を 実 施 す る （ Ｓ ６ ０ ） 。 対 応 点 探 索 処 理 は 、 基 準 画 像 （ 例 え ば 撮 像 部 ２ １ に よ る 撮 像 画 像 ） を 構 成 す る 各 画 素 と 比 較 画 像 （ 例 え ば 撮 像 部 ２ ２ に よ る 撮 像 画 像 ） を 構 成 す る 各 画 素 と の 対 応 関 係 、 す な わ ち 、 同 じ も の が 写 っ て い る 場 所 を 関 連 付 け る 処 理 で あ る 。
【 ０ ０ ３ ４ 】
10
20
30
40 【 ０ ０ ３ ５ 】
な お 、 こ の 処 理 で は 、 基 準 画 像 の 画 素 位 置 毎 に 、 比 較 画 像 の 視 差 探 索 す る 範 囲 内 に あ る 画 素 に 対 す る コ ス ト を 算 出 す る 。 ま た 、 こ の 処 理 は 、 前 述 の オ プ テ ィ カ ル フ ロ ー を 用 い た 手 法 と は 独 立 し た 処 理 で あ る 。
【 ０ ０ ３ ６ 】
こ こ で 、 ピ ク セ ル 位 置 ｐ ， 視 差 ｕ ｐ の と き の 節 点 の コ ス ト を Ｄ （ ｐ ， ｕ ｐ ） と 表 現 す る 。 ま た 、 コ ス ト Ｄ （ ｐ ， ｕ ｐ ） は 、 下 記 Ｓ Ｓ Ｉ Ｍ （ S t r u c t u a l S imila r i t y ） を 用 い て 求 め る 。
【 ０ ０ ３ ７ 】 【 数 ５ 】
【 ０ ０ ３ ８ 】
な お 、 上 記 数 式 に お け る 各 記 号 の 定 義 に つ い て は 、 図 ６ に 示 す 。 ま た 、 上 記 数 式 中 の α 、 β 、 γ は 、 任 意 の 定 数 で あ る 。
次 に 、 ビ タ ビ ア ル ゴ リ ズ ム に よ る コ ス ト を 求 め る （ Ｓ ２ ２ ０ ∼ Ｓ ２ ６ ０ ） 。 Ｓ ２ ２ ０ の 処 理 で は 、 コ ス ト Ｅ ｘ を 下 記 の 手 順 を 実 施 す る こ と で 求 め る 。
【 ０ ０ ３ ９ 】 ［ 手 順 １ − １ ］
ま ず 、 基 準 画 像 の 画 素 に つ い て は 、 基 準 画 像 の 左 上 の 画 素 か ら 右 方 向 に 順 に 選 択 し 、 右 端 ま で 選 択 し 終 わ る と 、 １ 段 下 の 左 端 の 画 素 を 選 択 し 、 再 び 右 方 向 に 順 に 選 択 す る 処 理 を 繰 り 返 す 。 こ の 際 、 比 較 画 像 に つ い て は 、 基 準 画 像 の 選 択 中 の 画 素 と 同 じ 高 さ （ 鉛 直 方 向 の 位 置 ） に あ る 比 較 画 像 の 画 素 を 、 左 か ら 右 に 向 か う 方 向 （ 右 方 向 ） に 左 端 か ら 右 端 ま で 順 次 選 択 す る 。 す な わ ち 、 図 ５ （ ｂ ） に 示 す よ う に 、 基 準 画 像 お よ び 比 較 画 像 に つ い て そ れ ぞ れ 水 平 方 向 （ Ｘ 方 向 ） に つ い て 選 択 す る 画 素 の 座 標 を 遷 移 さ せ る 。
【 ０ ０ ４ ０ 】
そ し て 、 比 較 画 像 の 各 画 素 に つ い て 、 視 差 （ 基 準 画 像 の 画 素 の 位 置 と 比 較 画 像 の 画 素 の 位 置 の 差 ） が 大 き く な る に つ れ て コ ス ト が 大 き く な る よ う 予 め 設 定 さ れ た 関 数 を 用 い て 視 差 コ ス ト Ｓ （ ｕ ｐ ， ｕ ｑ ） を 求 め る 。 な お 、 Ｓ （ ｕ ｐ ， ｕ ｑ ） は 、 ｐ か ら ｑ に 視 差 が 変 化 す る 際 の 視 差 コ ス ト を 示 す 。
【 ０ ０ ４ １ 】 ［ 手 順 １ − ２ ］
そ し て 、 節 点 の コ ス ト Ｄ （ ｐ ， ｕ ｐ ） と 、 視 差 コ ス ト Ｓ （ ｕ ｐ ， ｕ ｑ ） と に つ い て ビ タ ビ ア ル ゴ リ ズ ム を 適 用 す る 。
10
20
30
40
50 【 数 ６ 】
【 ０ ０ ４ ３ 】
上 記 式 （ ビ タ ビ ア ル ゴ リ ズ ム の 式 ） で は 、 前 述 の あ る 節 点 に つ い て 、 図 ５ （ ａ ） に 示 す マ ト リ ク ス に お け る 左 端 の 何 れ か の 節 点 か ら そ の 節 点 （ あ る 節 点 ） に 至 る ま で の 、 節 点 の コ ス ト Ｄ （ ｐ ， ｕ ｐ ） と 、 視 差 コ ス ト Ｓ （ ｕ ｐ ， ｕ ｑ ） と の 和 、 を 示 し て い る 。
【 ０ ０ ４ ４ 】
こ こ で は 、 節 点 毎 に 、 こ の Ｅ （ ｕ ｐ ） が 最 小 と な る 節 点 コ ス ト お よ び 視 差 コ ス ト の 組 み 合 わ せ を ビ タ ビ ア ル ゴ リ ズ ム を 用 い て 求 め る 。 こ の 演 算 に よ っ て 得 ら れ る こ れ ら の デ ー タ を 右 方 向 の コ ス ト と す る 。
【 ０ ０ ４ ５ 】 ［ 手 順 １ − ３ ］
上 記 ［ 手 順 １ − １ ］ ∼ ［ 手 順 １ − ２ ］ と 同 様 の 方 法 を 、 右 か ら 左 に 向 か う 方 向 （ 左 方 向 ） に 適 用 す る こ と に よ っ て 、 ビ タ ビ ア ル ゴ リ ズ ム の コ ス ト を 得 る 。 こ の 演 算 に よ っ て 得 ら れ る こ れ ら の デ ー タ を 左 方 向 の コ ス ト と す る 。
【 ０ ０ ４ ６ 】 ［ 手 順 １ − ４ ］
上 記 の 手 順 に て 求 め た 右 方 向 の コ ス ト と 左 方 向 の コ ス ト と を 対 応 す る 節 点 同 士 で 加 算 し 、 得 ら れ た デ ー タ を 左 右 方 向 の コ ス ト Ｅ ｘ と し て メ モ リ １ ２ に 記 録 さ せ る 。
【 ０ ０ ４ ７ 】
続 い て 、 Ｓ ２ ３ ０ の 処 理 で は 、 コ ス ト Ｅ ｙ を 下 記 の 手 順 を 実 施 す る こ と で 求 め る 。 ［ 手 順 ２ − １ ］
ま ず 、 図 ７ （ ｂ ） に 示 す よ う に 、 各 節 点 に つ い て 、 Ｙ 方 向 （ 画 像 の 鉛 直 方 向 ） か ら み た 仮 想 的 な 平 面 を 準 備 す る 。 そ し て こ の 平 面 に 対 応 す る 画 素 を 選 択 す る 。 す な わ ち 、 基 準 画 像 の 画 素 に つ い て は 、 基 準 画 像 の 左 上 の 画 素 か ら 下 方 向 に 順 に 選 択 し 、 下 端 ま で 選 択 し 終 わ る と 、 １ 段 右 側 の 上 端 の 画 素 を 選 択 し 、 再 び 下 方 向 に 順 に 選 択 す る 処 理 を 繰 り 返 す 。 こ の 際 、 比 較 画 像 に つ い て は 、 基 準 画 像 の う ち の 選 択 中 の 画 素 と 同 じ 左 右 位 置 （ 水 平 方 向 の 位 置 ） に あ る 比 較 画 像 の 画 素 を 、 上 か ら 下 に 向 か う 方 向 （ 下 方 向 ） に 上 端 か ら 下 端 ま で 順 次 選 択 す る 。
【 ０ ０ ４ ８ 】
そ し て 、 こ の 際 の 視 差 コ ス ト Ｓ （ ｕ ｐ ， ｕ ｑ ） を 求 め る 。 ［ 手 順 ２ − ２ ］
そ し て 、 計 算 済 み の 節 点 の コ ス ト Ｄ （ ｐ ， ｕ ｐ ） と 、 視 差 コ ス ト Ｓ （ ｕ ｐ ， ｕ ｑ ） と に つ い て ビ タ ビ ア ル ゴ リ ズ ム を 適 用 す る 。
【 ０ ０ ４ ９ 】
こ こ で は 、 図 ７ （ ａ ） に 示 す よ う に 、 前 述 の ビ タ ビ ア ル ゴ リ ズ ム の 式 を 利 用 し て 、 節 点 毎 に 、 こ の Ｅ （ ｕ ｐ ） が 最 小 と な る 節 点 コ ス ト お よ び 視 差 コ ス ト の 組 み 合 わ せ を 求 め る 。 こ の 演 算 に よ っ て 得 ら れ る こ れ ら の デ ー タ を 下 方 向 の コ ス ト と す る 。
【 ０ ０ ５ ０ 】 ［ 手 順 ２ − ３ ］
10
20
30
40
50 れ る こ れ ら の デ ー タ を 上 方 向 の コ ス ト と す る 。
【 ０ ０ ５ １ 】 ［ 手 順 ２ − ４ ］
上 記 の 手 順 に て 求 め た 下 方 向 の コ ス ト と 上 方 向 の コ ス ト と を 対 応 す る 節 点 同 士 で 加 算 し 、 得 ら れ た デ ー タ を 上 下 方 向 の コ ス ト Ｅ ｙ と し て メ モ リ １ ２ に 記 録 さ せ る 。
【 ０ ０ ５ ２ 】
続 い て 、 Ｓ ２ ４ ０ の 処 理 で は 、 コ ス ト Ｅ ｘ − ｙ を 下 記 の 手 順 を 実 施 す る こ と で 求 め る 。 ［ 手 順 ３ − １ ］
ま ず 、 図 ８ （ ｂ ） に 示 す よ う に 、 各 節 点 に つ い て 、 Ｘ Ｙ 方 向 （ 画 像 の 左 下 か ら ４ ５ 度 斜 め 右 上 方 向 ） か ら み た 仮 想 的 な 平 面 を 準 備 す る 。 そ し て こ の 平 面 に 対 応 す る 画 素 を 選 択 す る 。 す な わ ち 、 基 準 画 像 の 画 素 に つ い て は 、 基 準 画 像 の 左 上 の 画 素 を 選 択 し 、 ４ ５ 度 右 上 の 画 素 を 順 に 選 択 す る 。
【 ０ ０ ５ ３ 】
そ し て 、 端 部 ま で 選 択 し 終 わ る と 、 左 端 の 画 素 の う ち の 最 も 上 段 の 画 素 を 選 択 し 、 再 び ４ ５ 度 右 上 に 順 に 選 択 す る 処 理 を 繰 り 返 す 。 こ の 際 、 比 較 画 像 に つ い て は 、 基 準 画 像 の う ち の 選 択 中 の 画 素 と 対 応 す る 斜 め 方 向 に 位 置 す る 画 素 を 左 下 端 か ら 右 上 端 ま で 順 次 選 択 す る 。
【 ０ ０ ５ ４ 】
そ し て 、 こ の 際 の 視 差 コ ス ト Ｓ （ ｕ ｐ ， ｕ ｑ ） を 求 め る 。 ［ 手 順 ３ − ２ ］
そ し て 、 計 算 済 み の 節 点 の コ ス ト Ｄ （ ｐ ， ｕ ｐ ） と 、 視 差 コ ス ト Ｓ （ ｕ ｐ ， ｕ ｑ ） と に つ い て ビ タ ビ ア ル ゴ リ ズ ム を 適 用 す る 。
【 ０ ０ ５ ５ 】
こ こ で は 、 図 ８ （ ａ ） に 示 す よ う に 、 前 述 の ビ タ ビ ア ル ゴ リ ズ ム の 式 を 利 用 し て 、 節 点 毎 に 、 こ の Ｅ （ ｕ ｐ ） が 最 小 と な る 節 点 コ ス ト お よ び 視 差 コ ス ト の 組 み 合 わ せ を 求 め る 。 こ の 演 算 に よ っ て 得 ら れ る こ れ ら の デ ー タ を 右 斜 め 上 方 向 の コ ス ト と す る 。
【 ０ ０ ５ ６ 】 ［ 手 順 ３ − ３ ］
上 記 ［ 手 順 ３ − １ ］ ∼ ［ 手 順 ３ − ２ ］ と 同 様 の 方 法 を 、 右 上 か ら 左 斜 め 下 に 向 か う 方 向 に 適 用 す る こ と に よ っ て 、 ビ タ ビ ア ル ゴ リ ズ ム の コ ス ト を 得 る 。 こ の 演 算 に よ っ て 得 ら れ る こ れ ら の デ ー タ を 右 斜 め 下 方 向 の コ ス ト と す る 。
【 ０ ０ ５ ７ 】 ［ 手 順 ３ − ４ ］
上 記 の 手 順 に て 求 め た 右 斜 め 下 方 向 の コ ス ト と 右 斜 め 上 方 向 の コ ス ト と を 対 応 す る 節 点 同 士 で 加 算 し 、 得 ら れ た デ ー タ を 右 斜 め 方 向 の コ ス ト Ｅ ｘ − ｙ と し て メ モ リ １ ２ に 記 録 さ せ る 。
【 ０ ０ ５ ８ 】 ［ 手 順 ４ ］
続 い て 、 Ｓ ２ ５ ０ の 処 理 で は 、 コ ス ト Ｅ ｘ ＋ ｙ を 下 記 の 手 順 を 実 施 す る こ と で 求 め る 。 こ の 際 に は 、 ［ 手 順 ３ − １ ］ ∼ ［ 手 順 ３ − ４ ］ と 同 様 に 、 左 斜 め 方 向 の コ ス ト Ｅ ｘ ＋ ｙ を 求 め 、 メ モ リ １ ２ に 記 録 さ せ る 。
【 ０ ０ ５ ９ 】
こ こ で 、 上 記 の 各 処 理 に お い て 、 ビ タ ビ ア ル ゴ リ ズ ム の コ ス ト Ｅ （ ｐ ， ｕ ） （ Ｅ ｘ 、 Ｅ ｙ 、 Ｅ ｘ − ｙ 、 Ｅ ｘ ＋ ｙ ） は 以 下 の 式 （ １ ３ ） で 求 め ら れ る 。
【 ０ ０ ６ ０ 】 【 数 ７ 】
10
20
30
40
50 た だ し 、 Ｅ （ ｐ ， ｕ ） は 、 ピ ク セ ル 位 置 ｐ 、 ピ ク セ ル 位 置 ｐ − １ と の 視 差 ｕ の 際 の ビ タ
ビ ア ル ゴ リ ズ ム に よ る コ ス ト 、 ｓ （ ｕ ， ｖ ） は 、 ピ ク セ ル 位 置 ｐ − １ か ら ピ ク セ ル 位 置 ｐ に な る と き に 、 視 差 が ｖ か ら ｕ に 変 化 す る 際 の コ ス ト 、 Ｄ （ ｐ ， ｕ ） は 、 ピ ク セ ル 位 置 ｐ 、 視 差 ｕ の と き の 節 点 の コ ス ト を 表 す 。
【 ０ ０ ６ ２ 】
図 ９ に 示 す 例 で は 、 例 え ば 、 左 か ら 右 方 向 に 向 け て 、 ピ ク セ ル 位 置 ｐ - 1 か ら ｐ へ の ビ タ ビ ア ル ゴ リ ズ ム の コ ス ト を 演 算 す る 例 を 示 し て い る 。 ピ ク セ ル 位 置 ｐ , 視 差 ｕ の ビ タ ビ ア ル ゴ リ ズ ム の コ ス ト は 、 ピ ク セ ル 位 置 ｐ − １ に あ る 全 て の 節 点 か ら 接 続 さ れ る 経 路 の 内 で 、 最 も 小 さ い ｛ Ｅ ｐ − １ ， ｖ ｝ ＋ ｓ （ ｕ ， ｖ ） ｝ に 自 ノ ー ド の Ｄ （ ｐ ， ｕ ） を 足 し た も の に な る 。
【 ０ ０ ６ ３ 】
こ こ で 、 取 り 得 る 視 差 の 範 囲 を ｍ , 探 索 範 囲 ( 図 ９ で の 矢 印 の 本 数 ) を ｎ 個 と す る と 、 ピ ク セ ル 位 置 ｐ − １ か ら ｐ へ 遷 移 す る た め に は 、 ｍ × ｎ 回 の 探 索 を 行 う 必 要 が あ る と い え る 。
【 ０ ０ ６ ４ 】
し か し な が ら 、 本 実 施 形 態 に お い て は 、 下 記 式 を 用 い て Ｅ （ ｐ ， ｕ ） を 求 め る 。 【 ０ ０ ６ ５ 】
【 数 ８ 】
【 ０ ０ ６ ６ 】
こ の 式 （ １ ４ ） で は 、 視 差 （ ｕ − １ ） か つ ピ ク セ ル 位 置 ｐ で の コ ス ト と 、 視 差 ｕ 、 ピ ク セ ル 位 置 （ ｐ − １ ） の コ ス ト と 、 節 点 の コ ス ト Ｄ （ ｐ ， ｕ ） と を 利 用 し て 、 最 適 解 を 求 め て い る 。
【 ０ ０ ６ ７ 】
本 実 施 形 態 に お い て 式 （ １ ３ ） の 代 わ り に 式 （ １ ４ ） を 用 い る の は 、 式 （ １ ３ ） と 式 （ １ ４ ） と が 等 価 で あ る か ら で あ る 。 式 （ １ ３ ） と 式 （ １ ４ ） と が 等 価 で あ る こ と を 以 下 に 証 明 す る 。
【 ０ ０ ６ ８ 】 【 数 ９ 】
【 ０ ０ ６ ９ 】
式 （ １ ５ ） に つ い て 、 Ｅ （ ｐ ， ｕ ） は 上 記 の よ う に ， ｍ ｉ ｎ の 部 分 に つ い て ， ｛ ｖ ＝ ０ ， … ， ｕ − １ ｝ の 範 囲 と ｛ ｖ ＝ ｕ ｝ の と き の ２ 項 比 較 と 等 価 と な る 。 ま た 、 式 （ １ ６ ） は 、 式 （ １ ３ ） に お け る ｕ を （ ｕ − １ ） に 置 換 し た 定 義 と 同 様 の 式 で あ る 。
【 ０ ０ ７ ０ 】 【 数 １ ０ 】
【 ０ ０ ７ １ 】
式 （ １ ６ ） の 右 辺 の Ｄ を 左 辺 に 移 項 す る こ と に よ っ て 上 記 式 （ １ ７ ） が 得 ら れ 、 さ ら に 、 こ の 式 （ １ ７ ） に お け る 両 辺 に − ｓ ( ｕ − １ ， ｖ ) ＋ ｓ （ ｕ ， ｖ ） を 足 す と 以 下 の 式 （ １ ８ ） が 得 ら れ る 。
10
20
30
40
50 【 数 １ １ 】
【 ０ ０ ７ ３ 】
そ し て 、 式 （ １ ５ ） の 右 辺 の ｍ ｉ ｎ ｛ Ｅ （ ｐ − １ ， ｖ ） ＋ ｓ （ ｕ ， ｖ ） ｝ の 部 分 を 式 （ １ ８ ） の 左 辺 に 置 き 換 え る と 、 Ｅ （ ｐ ， ｕ ） は 上 記 の 式 （ １ ４ ） で 表 さ れ る 。 つ ま り 、 ２ 項 の 比 較 演 算 （ ｍ ｉ ｎ 部 分 ） と 節 点 コ ス ト Ｄ と の 足 し 算 に よ り 算 出 で き る こ と が 分 か る 。 【 ０ ０ ７ ４ 】
な お 、 上 記 に お い て は 、 ｓ （ ｕ , ｖ ） ＝ ｕ − ｖ と し て い る 。 こ の よ う に 式 （ １ ３ ） に 換 え て 式 （ １ ４ ） を 用 い て コ ス ト Ｅ （ ｐ ， ｕ ） を 求 め る こ と で 、 ｍ × ｎ 回 の 探 索 を ２ ｍ 回 の 探 索 と す る こ と が で き る 。 す な わ ち 、 処 理 を 高 速 化 す る こ と が で き る 。
【 ０ ０ ７ ５ 】
続 い て 、 図 ４ に 戻 り 、 コ ス ト Ｅ （ Ｅ （ ｐ ， ｕ ） ） に 従 っ て 、 最 小 と な る 視 差 を 選 択 し （ Ｓ ２ ７ ０ ） 、 基 準 画 像 に お け る 各 画 素 と 比 較 画 像 に お け る 各 画 素 と の 対 応 関 係 を メ モ リ １ ２ に 記 録 し （ Ｓ ２ ８ ０ ） 、 対 応 点 探 索 処 理 を 終 了 す る 。
【 ０ ０ ７ ６ 】
こ の よ う な 対 応 点 探 索 処 理 が 終 了 す る と 、 図 ２ に 戻 り 、 視 差 統 合 処 理 を 実 施 す る （ Ｓ ７ ０ ） 。 視 差 統 合 処 理 は 、 距 離 を 推 定 す る 際 に 、 各 画 素 に つ い て 、 オ プ テ ィ カ ル フ ロ ー に よ る 視 差 推 定 結 果 を 利 用 す る か 、 ビ タ ビ ア ル ゴ リ ズ ム に よ る 視 差 推 定 結 果 を 利 用 す る か を 設 定 す る 処 理 で あ る 。
【 ０ ０ ７ ７ 】
視 差 統 合 処 理 で は 、 図 １ ０ に 示 す よ う に 、 ま ず 、 オ ク ル ー ジ ョ ン 領 域 の 判 定 を 行 う （ Ｓ ４ １ ０ ） 。 こ こ で い う オ ク ル ー ジ ョ ン 領 域 と は 、 ビ タ ビ ア ル ゴ リ ズ ム に よ る 視 差 推 定 結 果 の 信 頼 性 が 低 い 領 域 を 示 し 、 例 え ば 、 前 述 の コ ス ト Ｅ が 比 較 的 大 き く な る 領 域 （ 判 定 閾 値 以 上 と な る 領 域 ） を 示 す 。 オ ク ル ー ジ ョ ン 領 域 の 判 定 の 際 に は 、 判 定 を 行 う 画 像 を 任 意 に 区 分 し た 区 分 領 域 毎 に 判 定 を 行 う 。 つ ま り 、 区 分 領 域 は 、 １ 画 素 の み か ら 構 成 さ れ て い て も よ い し 、 複 数 の 画 素 か ら 構 成 さ れ て も よ い 。
【 ０ ０ ７ ８ 】
オ ク ル ー ジ ョ ン 領 域 の 判 定 を 行 う 処 理 と し て は 、 例 え ば 、 P e t e r S a n d ら に よ る 手 法 ” P a r t i c le V id e o : L o n g - R a n g e Mo t io n E s t i ma t io n u s i n g P o i n t T r a j e c t o r ie s ” 等 を 用 い る こ と が で き る 。
【 ０ ０ ７ ９ 】
続 い て 、 全 て の 画 素 に つ い て 、 取 り 敢 え ず は ビ タ ビ ア ル ゴ リ ズ ム に よ る 視 差 推 定 結 果 を 利 用 す る よ う 設 定 し （ Ｓ ４ ２ ０ ） 、 区 分 領 域 の 何 れ か に お い て オ ク ル ー ジ ョ ン 領 域 が 存 在 す る か 否 か を 判 定 す る （ Ｓ ４ ３ ０ ） 。 オ ク ル ー ジ ョ ン 領 域 が 存 在 し て い な け れ ば （ Ｓ ４ ３ ０ ： Ｎ Ｏ ） 、 Ｓ ４ ２ ０ の 処 理 に 移 行 す る 。
【 ０ ０ ８ ０ 】
ま た 、 オ ク ル ー ジ ョ ン 領 域 が 存 在 し て い れ ば （ Ｓ ４ ３ ０ ： Ｙ Ｅ Ｓ ） 、 オ ク ル ー ジ ョ ン 領 域 で あ る 区 分 領 域 に つ い て 、 オ プ テ ィ カ ル フ ロ ー に よ る 視 差 推 定 結 果 を 利 用 す る よ う 設 定 す る （ Ｓ ４ ４ ０ ） 。 つ ま り 、 オ ク ル ー ジ ョ ン 領 域 に つ い て 、 ビ タ ビ ア ル ゴ リ ズ ム に よ る 視 差 推 定 結 果 を オ プ テ ィ カ ル フ ロ ー に よ る 視 差 推 定 結 果 に 入 れ 替 え る 。 こ の よ う な 処 理 が 終 了 す る と 、 視 差 統 合 処 理 を 終 了 す る 。
【 ０ ０ ８ １ 】
視 差 統 合 処 理 が 終 了 す る と 、 図 ２ に 戻 り 、 各 画 素 の 視 差 に つ い て 外 れ 値 が あ る か 否 か を 判 定 す る （ Ｓ ８ ０ ） 。 こ の 処 理 で は 、 例 え ば 、 あ る 画 素 に お け る 視 差 と こ の 画 素 の 周 囲 に 位 置 す る 画 素 に お け る 視 差 と が か け 離 れ て い る 場 合 に 、 こ の 画 素 の 視 差 が 外 れ 値 で あ る と 判 定 す る 。 例 え ば 、 こ の 処 理 と し て は 、 “ S e c r e t s o f Op t i c a l F lo w E s t i ma t io n a n d T h e ir P r in c i p le s ” を 採 用 す る こ と が で き る 。
10
20
30
40
50 外 れ 値 が あ れ ば （ Ｓ ８ ０ ： Ｙ Ｅ Ｓ ） 、 こ の 外 れ 値 を 除 去 す る （ Ｓ ９ ０ ） 。 つ ま り 、 外 れ
値 と な っ た 画 素 に お け る 視 差 の 推 定 結 果 を 削 除 す る 。 こ の 処 理 の 後 、 Ｓ ３ ０ の 処 理 に 戻 る 。
【 ０ ０ ８ ３ 】
ま た 、 外 れ 値 が な け れ ば （ Ｓ ８ ０ ： Ｎ Ｏ ） 、 平 滑 化 を 行 う （ Ｓ １ ０ ０ ） 。 こ の 処 理 で は 、 例 え ば 、 公 知 の 手 法 で あ る 、 D. F e r s t l 等 に よ る ” I ma g e Gu i d e d De p t h Up s a mp lin g u s i n g a n is o t r o p i c t o t a l g e n e r a liz e d v a r i a t io n ” に よ る 手 法 を 応 用 す る 。
【 ０ ０ ８ ４ 】
す な わ ち 、 該 公 知 手 法 に よ る 、 下 記 式 （ ２ １ ） に お け る Ｄ ｓ を 、 下 記 式 （ ２ ２ ） に 示 す よ う に 、 各 解 像 度 で 得 ら れ た 視 差 情 報 l e v e ls _ u で 置 き 換 え る 。
【 ０ ０ ８ ５ 】 【 数 １ ２ 】
【 ０ ０ ８ ６ 】 【 数 １ ３ 】
【 ０ ０ ８ ７ 】
な お 、 視 差 情 報 le v e l s _ u は 、 前 段 の ピ ラ ミ ッ ド 画 像 （ 解 像 度 が １ 段 階 低 い 撮 像 画 像 ） に お い て 推 定 さ れ た 視 差 を 示 す 。 こ の よ う な 式 （ ２ ２ ） を 採 用 し て 平 滑 化 を 行 う こ と で 、 シ ャ ー プ な エ ッ ジ を 残 し な が ら 路 面 な ど の 表 面 を 滑 ら か に 処 理 す る 構 成 に で き る 。
【 ０ ０ ８ ８ 】
続 い て 、 各 画 素 に お け る 対 応 点 の 視 差 に 応 じ て 各 画 素 に 写 っ て い る 物 体 ま で の 距 離 を 算 出 す る （ Ｓ １ １ ０ ） 。 そ し て 、 こ れ ら の 画 素 と 距 離 と の 対 応 デ ー タ を 車 両 制 御 部 ３ ０ に 対 し て 出 力 す る （ Ｓ １ ２ ０ ） 。 こ の よ う な 処 理 が 終 了 す る と 、 距 離 演 算 処 理 を 終 了 す る 。 【 ０ ０ ８ ９ 】
こ こ で 、 距 離 演 算 処 理 に よ っ て 出 力 さ れ る 対 応 デ ー タ は 、 画 素 毎 に 距 離 が 対 応 付 け ら れ た 距 離 画 像 と な る 。 距 離 画 像 に お い て は 、 濃 淡 に よ っ て 距 離 が 表 現 さ れ て お り 、 濃 度 が 高 く な る に つ れ て 距 離 が 遠 く な る こ と を 示 す 。 距 離 画 像 の 一 例 を 図 １ １ （ ｂ ） 、 図 １ １ （ ｃ ） に 示 す 。 な お 、 図 １ １ （ ａ ） は 、 撮 像 画 像 で あ り 、 図 １ １ （ ｂ ） は 、 本 実 施 形 態 の 手 法 に よ る 距 離 画 像 で あ り 、 図 １ １ （ ｃ ） は 、 ビ ダ ビ ア ル ゴ リ ズ ム の み に よ っ て 得 ら れ た 距 離 画 像 で あ る 。
【 ０ ０ ９ ０ 】
図 １ １ （ ｃ ） に 示 す ビ ア ル ゴ リ ズ ム の み に よ っ て 得 ら れ た 距 離 画 像 で は 、 図 中 の 枠 に て 示 す 電 話 ボ ッ ク ス 付 近 の 領 域 が オ ク ル ー ジ ョ ン 領 域 と な っ て お り 、 輪 郭 が ぼ や け て い る 。 一 方 、 図 １ １ （ ｂ ） に 示 す 本 実 施 形 態 の 手 法 に よ る 距 離 画 像 で は 、 電 話 ボ ッ ク ス 付 近 の 領 域 が よ り 鮮 明 に な っ て お り 、 距 離 の 推 定 精 度 が 相 対 的 に 向 上 し て い る と い え る 。
【 ０ ０ ９ １ 】
［ 本 実 施 形 態 に よ る 効 果 ］
10
20
30
40
50 間 の 対 応 点 を 探 索 す る （ Ｓ ６ ０ ） 。 そ し て 、 探 索 精 度 判 定 工 程 で は 、 第 １ の 手 法 に お い て
利 用 し た 基 準 画 像 を 複 数 に 区 分 し た 区 分 領 域 毎 に 、 第 １ の 手 法 に よ る 対 応 点 の 探 索 精 度 が 基 準 値 以 上 で あ る か 否 か を 判 定 す る （ Ｓ ７ ０ ： Ｓ ４ ３ ０ ） 。 さ ら に 、 対 応 点 設 定 工 程 で は 、 探 索 精 度 が 基 準 値 以 上 で あ る 区 分 領 域 に て 第 １ の 手 法 に よ る 対 応 点 を 採 用 し 、 探 索 精 度 が 基 準 値 未 満 で あ る 区 分 領 域 に て 第 ２ の 手 法 に よ る 対 応 点 を 採 用 す る こ と で 、 複 数 の 画 像 間 の 対 応 点 を 設 定 す る （ Ｓ ４ ２ ０ ， Ｓ ４ ４ ０ ） 。
【 ０ ０ ９ ２ 】
す な わ ち 、 本 発 明 の 対 応 点 探 索 方 法 で は 、 複 数 の 手 法 で 対 応 点 を 探 索 し 、 あ る 手 法 で の 対 応 点 の 探 索 精 度 が 基 準 値 以 上 で あ れ ば こ の 手 法 に よ る 対 応 点 を 採 用 し 、 こ の 手 法 で の 対 応 点 の 探 索 精 度 が 基 準 値 未 満 で あ れ ば 他 の 手 法 に よ る 対 応 点 を 採 用 す る 。
【 ０ ０ ９ ３ 】
こ の よ う な 距 離 検 出 装 置 １ に よ れ ば 、 得 ら れ る 画 像 に よ っ て あ る 手 法 で の 精 度 が 悪 い 場 合 に 他 の 手 法 に よ る 対 応 点 を 採 用 す る の で 、 探 索 精 度 の よ い 対 応 点 を 採 用 で き る 確 度 を 向 上 さ せ る こ と が で き る 。
【 ０ ０ ９ ４ 】
な お 、 上 記 実 施 形 態 の 距 離 検 出 装 置 １ に お い て 、 第 １ の 手 法 は 区 分 領 域 毎 の 探 索 精 度 の 差 が 比 較 的 大 き く 異 な り 、 第 ２ の 手 法 は 区 分 領 域 毎 の 探 索 精 度 の 差 が 第 １ の 手 法 よ り も 小 さ い も の が 採 用 さ れ る 。 第 ２ の 手 法 に よ る 平 均 的 な 探 索 精 度 よ り も 第 １ の 手 法 に よ る 探 索 精 度 が 低 い 区 分 領 域 に つ い て 第 ２ の 手 法 を 採 用 す る よ う に す れ ば よ い 。
【 ０ ０ ９ ５ 】
ま た 、 上 記 の 距 離 検 出 装 置 １ に お い て 処 理 部 １ ０ は 、 第 １ の 手 法 に よ っ て 得 ら れ た 対 応 点 を 複 数 の 画 像 間 の 対 応 点 と し て 設 定 し 、 探 索 精 度 が 基 準 値 未 満 で あ る 区 分 領 域 の 対 応 点 を 第 ２ の 手 法 に よ る 対 応 点 と 入 れ 替 え る 。
【 ０ ０ ９ ６ 】
こ の よ う な 距 離 検 出 装 置 １ に よ れ ば 、 探 索 精 度 が 低 い 部 位 の み 第 ２ の 手 法 に よ る 対 応 点 と 入 れ 替 え る の で 、 全 体 的 に 探 索 精 度 が 高 い 場 合 に 入 れ 替 え る 処 理 を 不 要 と す る こ と が で き 、 処 理 負 荷 を 軽 減 す る こ と が で き る 。
【 ０ ０ ９ ７ 】
ま た 、 上 記 の 距 離 検 出 装 置 １ に お い て 処 理 部 １ ０ は 、 複 数 の 画 像 の う ち の 基 準 画 像 中 の あ る 画 素 を 表 す 基 準 画 素 に お け る 画 素 情 報 と 、 基 準 画 像 を 除 く 他 の 画 像 中 の 画 素 を 表 す 比 較 画 素 に お け る 画 素 情 報 と 、 の 差 異 に 基 づ く 画 素 コ ス ト を 、 基 準 画 素 お よ び 比 較 画 素 を 変 更 し つ つ 、 基 準 画 素 毎 に 演 算 す る （ Ｓ ２ １ ０ ） 。 そ し て 、 基 準 画 素 を 変 更 す る 際 に お い て 基 準 画 素 と 比 較 画 素 と の 座 標 差 で あ る 視 差 の 変 化 量 に 対 す る コ ス ト を 表 す 視 差 コ ス ト を 、 基 準 画 素 毎 に 演 算 し 、 各 基 準 画 素 に 対 し て 、 画 素 コ ス ト と 視 差 コ ス ト と に 基 づ く 総 合 コ ス ト が 最 小 値 と な る 際 の 比 較 画 素 と の 組 み 合 わ せ を 演 算 す る （ Ｓ ２ ２ ０ ∼ Ｓ ２ ６ ０ ） 。 こ の 際 、 基 準 画 素 お よ び 比 較 画 素 を 複 数 の 方 向 に 沿 っ て 順 に 変 更 し た と き に お け る 合 計 コ ス ト が 最 小 と な る と き の 最 小 コ ス ト を 演 算 し 、 方 向 毎 に 演 算 さ れ た 最 小 コ ス ト を 互 い に 加 算 ま た は 左 か ら 右 ， 右 か ら 左 と い っ た 方 向 ペ ア 毎 の 計 算 ス テ ッ プ に お い て コ ス ト を 畳 込 み し た 値 を 最 小 値 と す る 。 ま た 、 各 基 準 画 素 に 対 応 す る 比 較 画 素 を 、 各 基 準 画 素 に 対 応 す る 対 応 点 の 候 補 と し て 抽 出 す る （ Ｓ ２ ７ ０ ） 。
【 ０ ０ ９ ８ 】
す な わ ち 、 距 離 検 出 装 置 １ に お い て は 、 第 １ 探 索 工 程 に て 複 数 の 方 向 に お い て ビ ダ ビ ア ル ゴ リ ズ ム を 採 用 し た マ ル チ パ ス ビ ダ ビ を 用 い る 。 こ の よ う な 距 離 検 出 装 置 １ に よ れ ば 、 ビ ダ ビ ア ル ゴ リ ズ ム が 得 意 と す る 領 域 に お い て は 高 精 度 に 対 応 点 を 探 索 で き る 。
【 ０ ０ ９ ９ 】
ま た 、 上 記 の 距 離 検 出 装 置 １ に お い て 処 理 部 １ ０ は 、 オ プ テ ィ カ ル フ ロ ー を 用 い て 基 準 画 像 中 の 各 画 素 に 対 応 す る 画 素 を 対 応 点 の 候 補 と し て 抽 出 す る 。
10
20
30
40
50 構 成 と す る こ と で 対 応 点 の 探 索 精 度 を 向 上 さ せ る こ と が で き る 。
【 ０ １ ０ ０ 】
ま た 、 上 記 の 距 離 検 出 装 置 １ に お い て 処 理 部 １ ０ は 、 各 画 素 間 の 位 置 関 係 に 基 づ い て 物 体 ま で の 距 離 を 測 定 す る （ Ｓ １ １ ０ ） 。
こ の よ う な 距 離 検 出 装 置 １ に よ れ ば 、 前 述 の 対 応 点 探 索 方 法 を 用 い る こ と で 対 応 点 の 探 索 精 度 を 向 上 さ せ る こ と が で き る の で 、 物 体 ま で の 距 離 を 精 度 よ く 測 定 す る こ と が で き る 。
【 ０ １ ０ １ 】
［ そ の 他 の 実 施 形 態 ］
本 発 明 は 、 上 記 の 実 施 形 態 に よ っ て 何 ら 限 定 し て 解 釈 さ れ な い 。 ま た 、 上 記 の 実 施 形 態 の 説 明 で 用 い る 符 号 を 特 許 請 求 の 範 囲 に も 適 宜 使 用 し て い る が 、 各 請 求 項 に 係 る 発 明 の 理 解 を 容 易 に す る 目 的 で 使 用 し て お り 、 各 請 求 項 に 係 る 発 明 の 技 術 的 範 囲 を 限 定 す る 意 図 で は な い 。 上 記 実 施 形 態 に お け る １ つ の 構 成 要 素 が 有 す る 機 能 を 複 数 の 構 成 要 素 と し て 分 散 さ せ た り 、 複 数 の 構 成 要 素 が 有 す る 機 能 を １ つ の 構 成 要 素 に 統 合 さ せ た り し て も よ い 。 ま た 、 上 記 実 施 形 態 の 構 成 の 少 な く と も 一 部 を 、 同 様 の 機 能 を 有 す る 公 知 の 構 成 に 置 き 換 え て も よ い 。 ま た 、 上 記 実 施 形 態 の 構 成 の 一 部 を 、 課 題 を 解 決 で き る 限 り に お い て 省 略 し て も よ い 。 ま た 、 上 記 実 施 形 態 の 構 成 の 少 な く と も 一 部 を 、 他 の 上 記 実 施 形 態 の 構 成 に 対 し て 付 加 又 は 置 換 し て も よ い 。 な お 、 特 許 請 求 の 範 囲 に 記 載 し た 文 言 の み に よ っ て 特 定 さ れ る 技 術 思 想 に 含 ま れ る あ ら ゆ る 態 様 が 本 発 明 の 実 施 形 態 で あ る 。
【 ０ １ ０ ２ 】
上 述 し た 距 離 検 出 装 置 １ の 他 、 当 該 距 離 検 出 装 置 １ を 構 成 要 素 と す る シ ス テ ム 、 当 該 距 離 検 出 装 置 １ と し て コ ン ピ ュ ー タ を 機 能 さ せ る た め の プ ロ グ ラ ム 、 こ の プ ロ グ ラ ム を 記 録 し た 媒 体 、 距 離 検 出 方 法 、 対 応 点 探 索 方 法 な ど 、 種 々 の 形 態 で 本 発 明 を 実 現 す る こ と も で き る 。
【 ０ １ ０ ３ 】
例 え ば 、 上 記 実 施 形 態 に お い て 、 ピ ラ ミ ッ ド 画 像 や 分 解 画 像 の そ れ ぞ れ に つ い て 、 オ プ テ ィ カ ル フ ロ ー に よ る 視 差 推 定 、 平 滑 化 等 の 各 処 理 を 実 施 し た が 、 こ れ ら の 処 理 は 、 ピ ラ ミ ッ ド 画 像 や 分 解 画 像 の 一 部 に つ い て 実 施 し て も よ い 。 ま た 、 処 理 の 種 別 毎 に 、 利 用 す る 画 像 を 変 更 し て も よ い 。
【 ０ １ ０ ４ 】
［ 実 施 形 態 の 構 成 と 本 発 明 の 手 段 と の 対 応 関 係 ］
上 記 実 施 形 態 に お い て 処 理 部 １ ０ は 、 本 発 明 で い う 画 像 処 理 装 置 に 相 当 す る 。 ま た 、 処 理 部 １ ０ が 実 行 す る 処 理 の う ち の Ｓ １ ０ ∼ Ｓ １ ０ ０ は 、 本 発 明 で い う 対 応 点 探 索 方 法 お よ び 画 素 対 応 手 段 に 相 当 す る 。
【 ０ １ ０ ５ 】
ま た 、 上 記 実 施 形 態 に お い て Ｓ ５ ０ の 処 理 は 本 発 明 で い う 第 １ 探 索 工 程 に 相 当 し 、 上 記 実 施 形 態 に お い て Ｓ ６ ０ の 処 理 は 本 発 明 で い う 第 ２ 探 索 工 程 に 相 当 す る 。 ま た 、 上 記 実 施 形 態 に お い て Ｓ ２ １ ０ の 処 理 は 本 発 明 で い う 画 素 コ ス ト 演 算 工 程 に 相 当 し 、 上 記 実 施 形 態 に お い て Ｓ ２ ２ ０ ∼ Ｓ ２ ６ ０ の 処 理 は 本 発 明 で い う 最 小 コ ス ト 画 素 演 算 工 程 に 相 当 す る 。 【 ０ １ ０ ６ 】
ま た 、 上 記 実 施 形 態 に お い て Ｓ ２ ７ ０ の 処 理 は 本 発 明 で い う 対 応 点 抽 出 工 程 に 相 当 し 、 上 記 実 施 形 態 に お い て Ｓ １ １ ０ の 処 理 は 本 発 明 で い う 測 定 手 段 に 相 当 す る 。 ま た 、 上 記 実 施 形 態 に お い て Ｓ ４ ３ ０ の 処 理 は 本 発 明 で い う 探 索 精 度 判 定 工 程 に 相 当 す る 。
【 ０ １ ０ ７ 】
ま た 、 上 記 実 施 形 態 に お い て Ｓ ４ ２ ０ ， Ｓ ４ ４ ０ の 処 理 は 本 発 明 で い う 対 応 点 設 定 工 程 に 相 当 す る 。
【 符 号 の 説 明 】 【 ０ １ ０ ８ 】
【 図 １ 】 【 図 ２ 】
【 図 ３ 】 【 図 ５ 】
【 図 ８ 】 【 図 ９ 】
10 フロントページの続き
( 72) 発明者 白井 孝昌
愛知県刈谷市昭和町１丁目１番地 株式会社デンソー内 ( 72) 発明者 テヘラニニキネジャド ホセイン
愛知県刈谷市昭和町１丁目１番地 株式会社デンソー内 ( 72) 発明者 三田 誠一
愛知県名古屋市天白区久方２丁目１２番地１ 学校法人トヨタ学園内 ( 72) 発明者 ロン チャン
愛知県名古屋市天白区久方２丁目１２番地１ 学校法人トヨタ学園内 ( 72) 発明者 シェ チーウェイ
愛知県名古屋市天白区久方２丁目１２番地１ 学校法人トヨタ学園内 Ｆターム( 参考) 2F065 AA04 AA06 CC11 DD03 FF01 FF05 FF09 J J 03 J J 05 J J 26 QQ05 QQ24 QQ25 QQ31 QQ34 QQ38 UU05
