10 ( 57) 【要約】
【課題】特定物標の認識結果や既知の校正用物体を用い ずに、ステレオ画像間の垂直方向のずれを補正するため の技術を提供する。
【解決手段】測距補正装置は、ステレオカメラにより撮 像された複数の撮像画像からなるステレオ画像を取得す る（Ｓ１）。そして、ステレオ画像間の垂直方向のずれ を補正するための補正パラメータを用いて、Ｓ１で取得 されたステレオ画像を相互に平行化する。つぎに、Ｓ２ で平行化されたステレオ画像から、ステレオマッチング によりステレオ画像間の水平視差の分布を算出する（Ｓ ３）。そして、Ｓ１で取得されたステレオ画像と、Ｓ３ で算出された水平視差の分布とに基づいて、ステレオ画 像間の垂直方向のずれの分布を算出し（Ｓ４）、その算 出した垂直方向のずれの分布に基づいて、既存の補正パ ラメータを更新する（Ｓ６）。
10
20
30
40
50 【 特 許 請 求 の 範 囲 】
【 請 求 項 １ 】
複 数 の カ メ ラ に よ り 共 通 の 領 域 を 異 な る 位 置 か ら 同 時 に 撮 像 し た 複 数 の 撮 像 画 像 か ら な る ス テ レ オ 画 像 を 取 得 す る 画 像 取 得 手 段 （ １ １ ， Ｓ １ ） と 、
ス テ レ オ 画 像 間 の 垂 直 方 向 の ず れ を 補 正 す る た め の 補 正 パ ラ メ ー タ を 用 い て 、 前 記 画 像 取 得 手 段 に よ り 取 得 さ れ た ス テ レ オ 画 像 を 相 互 に 平 行 化 す る 平 行 化 手 段 （ １ ２ ， Ｓ ２ ） と 、
前 記 平 行 化 手 段 に よ り 平 行 化 さ れ た ス テ レ オ 画 像 か ら 、 ス テ レ オ マ ッ チ ン グ に よ り 前 記 ス テ レ オ 画 像 間 の 水 平 視 差 の 分 布 を 算 出 す る 視 差 算 出 手 段 （ １ ４ ， Ｓ ３ ） と 、
前 記 ス テ レ オ 画 像 と 、 前 記 視 差 算 出 手 段 に よ り 算 出 さ れ た 水 平 視 差 の 分 布 と に 基 づ い て 、 前 記 ス テ レ オ 画 像 間 の 垂 直 方 向 の ず れ の 分 布 を 算 出 し 、 そ の 算 出 し た 垂 直 方 向 の ず れ の 分 布 に 基 づ い て 前 記 補 正 パ ラ メ ー タ を 更 新 す る 更 新 手 段 （ １ ６ ， Ｓ ４ ∼ Ｓ ６ ） と 、
を 備 え る こ と を 特 徴 と す る 測 距 補 正 装 置 。 【 請 求 項 ２ 】
請 求 項 １ に 記 載 の 測 距 補 正 装 置 に お い て 、
前 記 更 新 手 段 は 、 前 記 ス テ レ オ 画 像 と 、 前 記 視 差 算 出 手 段 に よ り 算 出 さ れ た 水 平 視 差 の 分 布 と に 基 づ い て 、 前 記 ス テ レ オ 画 像 間 の オ プ テ ィ カ ル フ ロ ー の 垂 直 成 分 を 算 出 す る こ と に よ り 、 前 記 ス テ レ オ 画 像 間 の 垂 直 方 向 の ず れ の 分 布 を 作 成 す る こ と 、
を 特 徴 と す る 測 距 補 正 装 置 。 【 請 求 項 ３ 】
請 求 項 １ 又 は 請 求 項 ２ に 記 載 の 測 距 補 正 装 置 に お い て 、
前 記 更 新 手 段 は 、 異 な る 時 期 に 撮 像 さ れ た 複 数 回 分 の 前 記 ス テ レ オ 画 像 そ れ ぞ れ に つ い て 、 前 記 ス テ レ オ 画 像 間 の 垂 直 方 向 の ず れ の 分 布 を 複 数 算 出 し 、 そ の 複 数 回 分 の 算 出 結 果 に 対 し て 統 計 処 理 を 施 し た 結 果 に 基 づ い て 、 前 記 補 正 パ ラ メ ー タ を 更 新 す る こ と 、
を 特 徴 と す る 測 距 補 正 装 置 。 【 請 求 項 ４ 】
請 求 項 １ な い し 請 求 項 ３ の 何 れ か １ 項 に 記 載 の 測 距 補 正 装 置 に お い て 、
前 記 取 得 手 段 に よ り 取 得 さ れ た ス テ レ オ 画 像 の 状 況 、 前 記 視 差 算 出 手 段 に よ る 前 記 ス テ レ オ 画 像 間 の 水 平 視 差 の 算 出 状 況 、 又 は 、 前 記 カ メ ラ の 視 界 に 影 響 を 及 ぼ す 特 定 の 機 器 の 作 動 状 況 の 少 な く と も 何 れ か に 基 づ い て 、 前 記 更 新 手 段 に よ る 算 出 結 果 に 関 す る 信 頼 性 を 判 定 す る 信 頼 性 判 定 手 段 （ １ ９ ） を 備 え 、
前 記 更 新 手 段 は 、 前 記 信 頼 性 判 定 手 段 に よ る 判 定 結 果 に 応 じ て 、 前 記 ス テ レ オ 画 像 間 の 垂 直 方 向 の ず れ の 分 布 の 算 出 を 制 限 す る こ と 、
を 特 徴 と す る 測 距 補 正 装 置 。 【 発 明 の 詳 細 な 説 明 】
【 技 術 分 野 】 【 ０ ０ ０ １ 】
本 発 明 は 、 複 数 の カ メ ラ に よ り 撮 像 さ れ た ス テ レ オ 画 像 か ら 距 離 情 報 を 取 得 す る 技 術 に 関 す る も の で あ り 、 特 に 、 ス テ レ オ 画 像 間 の 垂 直 方 向 の ず れ を 補 正 す る た め の 技 術 に 関 す る 。
【 背 景 技 術 】 【 ０ ０ ０ ２ 】
従 来 、 複 数 の カ メ ラ を 用 い て 撮 像 さ れ た ス テ レ オ 画 像 か ら 、 ス テ レ オ 法 等 の 三 次 元 計 測 技 術 を 用 い て 距 離 情 報 を 取 得 す る 技 術 が 知 ら れ て い る 。 ス テ レ オ 法 は 、 複 数 の カ メ ラ に よ り 撮 像 さ れ た ス テ レ オ 画 像 間 で 対 応 す る 領 域 を 探 索 す る 、 い わ ゆ る ス テ レ オ マ ッ チ ン グ を 行 い 、 そ こ か ら 得 ら れ た 画 像 間 の 視 差 に 基 づ い て 距 離 を 算 出 す る 方 法 で あ る 。
【 ０ ０ ０ ３ 】
10
20
30
40
50 ず れ が 生 じ る 。 ま た 、 車 両 の 室 内 に 搭 載 さ れ た ス テ レ オ カ メ ラ に よ り 車 両 の ウ イ ン ド シ ー
ル ド 越 し に 外 界 を 撮 像 す る 場 合 、 そ の ス テ レ オ カ メ ラ か ら 得 ら れ る 画 像 は 、 ウ イ ン ド シ ー ル ド に よ る 屈 折 の 影 響 も 受 け る 。 こ の た め 、 従 来 、 ス テ レ オ カ メ ラ の 姿 勢 や 画 像 の 歪 み を ソ フ ト ウ ェ ア 的 ／ ハ ー ド ウ ェ ア 的 な 手 法 で 校 正 し 、 測 距 の 精 度 を 高 め る こ と が 行 わ れ て き た 。 し か し な が ら 、 振 動 等 の 影 響 で こ の 校 正 が 経 時 的 に ず れ て く る お そ れ が あ る 。
【 ０ ０ ０ ４ 】
一 方 、 特 許 文 献 １ に は 、 撮 像 画 像 平 面 に お い て 検 出 さ れ た 道 路 上 の 基 準 対 象 物 に 基 づ い て 算 出 さ れ た 空 間 的 に 平 行 な 近 似 線 か ら 得 ら れ る 消 失 点 に 基 づ い て 、 ス テ レ オ カ メ ラ の 水 平 ず れ に 起 因 し た 誤 差 を 含 む 視 差 を 補 正 す る 技 術 が 記 載 さ れ て い る 。
【 先 行 技 術 文 献 】 【 特 許 文 献 】 【 ０ ０ ０ ５ 】
【 特 許 文 献 １ 】 特 開 ２ ０ ０ ３ − ８ ３ ７ ４ ２ 号 公 報 【 発 明 の 概 要 】
【 発 明 が 解 決 し よ う と す る 課 題 】 【 ０ ０ ０ ６ 】
特 許 文 献 １ に 記 載 の 技 術 で は 、 ス テ レ オ 画 像 間 の 垂 直 方 向 の ず れ を 補 正 す る こ と に つ い て は 考 慮 さ れ て い な い 。 し か し な が ら 、 ス テ レ オ 画 像 間 の 垂 直 方 向 の ず れ は 、 ス テ レ オ マ ッ チ ン グ の 精 度 の 低 下 を 招 き 、 そ れ に 基 づ い て 算 出 さ れ る 距 離 の 誤 差 が 大 き く な る お そ れ が あ る 。 ま た 、 特 許 文 献 １ に 記 載 の 技 術 で は 、 道 路 上 の 白 線 等 の 特 定 物 標 の 認 識 結 果 や 、 既 知 の 校 正 用 物 体 を 利 用 し な け れ ば 、 ス テ レ オ 画 像 間 の ず れ を 補 正 す る こ と が で き な い 。 【 ０ ０ ０ ７ 】
本 発 明 は 、 上 記 問 題 を 解 決 す る た め に な さ れ た も の で あ る 。 そ の 目 的 は 、 特 定 物 標 の 認 識 結 果 や 既 知 の 校 正 用 物 体 を 用 い ず に 、 ス テ レ オ 画 像 間 の 垂 直 方 向 の ず れ を 補 正 す る た め の 技 術 を 提 供 す る こ と で あ る 。
【 課 題 を 解 決 す る た め の 手 段 】 【 ０ ０ ０ ８ 】
本 発 明 の 測 距 補 正 装 置 は 、 画 像 取 得 手 段 と 、 平 行 化 手 段 と 、 視 差 算 出 手 段 と 、 更 新 手 段 と を 備 え る 。 画 像 取 得 手 段 は 、 複 数 の カ メ ラ に よ り 共 通 の 領 域 を 異 な る 位 置 か ら 同 時 に 撮 像 し た 複 数 の 撮 像 画 像 か ら な る ス テ レ オ 画 像 を 取 得 す る 。 平 行 化 手 段 は 、 ス テ レ オ 画 像 間 の 垂 直 方 向 の ず れ を 補 正 す る た め の 補 正 パ ラ メ ー タ を 用 い て 、 画 像 取 得 手 段 に よ り 取 得 さ れ た ス テ レ オ 画 像 を 相 互 に 平 行 化 す る 。 視 差 算 出 手 段 は 、 平 行 化 手 段 に よ り 平 行 化 さ れ た ス テ レ オ 画 像 か ら 、 ス テ レ オ マ ッ チ ン グ に よ り ス テ レ オ 画 像 間 の 水 平 視 差 の 分 布 を 算 出 す る 。 更 新 手 段 は 、 ス テ レ オ 画 像 と 、 視 差 算 出 手 段 に よ り 算 出 さ れ た 水 平 視 差 の 分 布 と に 基 づ い て 、 ス テ レ オ 画 像 間 の 垂 直 方 向 の ず れ の 分 布 を 算 出 し 、 そ の 算 出 し た 垂 直 方 向 の ず れ の 分 布 に 基 づ い て 補 正 パ ラ メ ー タ を 更 新 す る 。
【 ０ ０ ０ ９ 】
本 発 明 に よ れ ば 、 ス テ レ オ 画 像 間 の 垂 直 方 向 の ず れ を 補 正 す る た め の 補 正 パ ラ メ ー タ を 用 い て ス テ レ オ 画 像 を 相 互 に 平 行 化 す る こ と で 、 ス テ レ オ 画 像 間 の 垂 直 方 向 の ず れ を 補 正 で き る 。 そ の 上 で ス テ レ オ 画 像 間 の 水 平 視 差 を 算 出 す る こ と で 、 ス テ レ オ 法 に よ る 測 距 の 精 度 を 高 め る こ と が で き る 。 さ ら に 、 新 た に 取 得 さ れ た ス テ レ オ 画 像 と 、 そ の ス テ レ オ 画 像 か ら 算 出 さ れ た 水 平 視 差 と 基 づ い て 、 ス テ レ オ 画 像 間 の 垂 直 方 向 の ず れ の 分 布 を 算 出 す る こ と で 、 既 得 の 補 正 パ ラ メ ー タ を 更 新 す る こ と が で き る 。 こ の よ う に す る こ と で 、 補 正 パ ラ メ ー タ を 最 新 の 状 況 に 応 じ て 随 時 更 新 す る こ と が で き る た め 、 測 距 精 度 の 経 時 的 な 低 下 を 防 ぎ 、 測 距 精 度 を 維 持 ・ 向 上 で き る 。
【 図 面 の 簡 単 な 説 明 】 【 ０ ０ １ ０ 】
【 図 １ 】 測 距 装 置 の 構 成 を 表 す ブ ロ ッ ク 図 。
【 図 ２ 】 補 正 パ ラ メ ー タ 算 出 処 理 の 手 順 を 表 す フ ロ ー チ ャ ー ト 。
10
20
30
40
50 測 距 結 果 の 比 較 を 表 す 図 。
【 発 明 を 実 施 す る た め の 形 態 】 【 ０ ０ １ １ 】
以 下 、 本 発 明 の 実 施 形 態 を 図 面 に 基 づ い て 説 明 す る 。 な お 、 本 発 明 は 下 記 の 実 施 形 態 に 限 定 さ れ る も の で は な く 様 々 な 態 様 に て 実 施 す る こ と が 可 能 で あ る 。
［ 測 距 装 置 の 構 成 の 説 明 ］
本 実 施 形 態 の 測 距 装 置 １ は 、 図 １ に 示 す と お り 、 ス テ レ オ カ メ ラ １ ０ と 、 制 御 装 置 １ １ と を 備 え る 。 こ の 測 距 装 置 １ は 、 例 え ば 、 車 両 （ 自 動 車 等 ） に 搭 載 さ れ 、 車 両 前 方 の 物 体 と の 距 離 情 報 に 基 づ い て 車 両 の 運 転 を 支 援 す る 運 転 支 援 シ ス テ ム と し て 具 現 化 さ れ る 。 た だ し 、 本 発 明 の 実 施 形 態 は 、 車 両 に 搭 載 さ れ る も の に 限 ら れ な い 。
【 ０ ０ １ ２ 】
ス テ レ オ カ メ ラ １ ０ は 、 公 知 の ス テ レ オ カ メ ラ と 同 様 、 左 カ メ ラ １ ０ Ｌ 及 び 右 カ メ ラ １ ０ Ｒ か ら な る １ 対 の 撮 像 装 置 を 備 え る 。 左 カ メ ラ １ ０ Ｌ 及 び 右 カ メ ラ １ ０ Ｒ は 、 自 車 両 の 進 行 方 向 に 向 け て 概 ね （ 所 定 の 取 付 精 度 の 範 囲 で ） 平 行 等 位 の 位 置 に 配 置 さ れ て い る 。 こ れ ら の 左 カ メ ラ １ ０ Ｌ 及 び 右 カ メ ラ １ ０ Ｒ は 、 互 い に 共 通 す る 領 域 （ 自 車 両 の 前 方 領 域 ） を 同 一 タ イ ミ ン グ で 撮 像 し 、 左 右 一 対 の 画 像 か ら な る ス テ レ オ 画 像 を 表 す 画 像 デ ー タ を 制 御 装 置 １ １ に 入 力 す る 。
【 ０ ０ １ ３ 】
制 御 装 置 １ １ は 、 図 示 し な い Ｃ Ｐ Ｕ ， Ｒ Ｏ Ｍ ， Ｒ Ａ Ｍ 等 を 備 え る マ イ ク ロ コ ン ピ ュ ー タ を 中 心 に 構 成 さ れ 、 測 距 装 置 １ を 統 括 制 御 す る 。 制 御 装 置 １ １ は 、 Ｒ Ｏ Ｍ 等 に 記 録 さ れ た プ ロ グ ラ ム を Ｃ Ｐ Ｕ に て 実 行 す る こ と に よ り 、 各 種 機 能 を 実 現 す る 。
【 ０ ０ １ ４ 】
制 御 装 置 １ １ は 、 機 能 的 構 成 と し て 、 画 像 平 行 化 処 理 部 １ ２ 、 補 正 パ ラ メ ー タ 記 憶 部 １ ３ 、 視 差 算 出 部 １ ４ 、 距 離 算 出 部 １ ５ 、 補 正 パ ラ メ ー タ 算 出 部 １ ６ 、 物 体 検 出 部 １ ７ 、 安 定 性 判 定 部 １ ８ 、 及 び 、 信 頼 性 判 定 部 １ ９ を 備 え る 。
【 ０ ０ １ ５ 】
画 像 平 行 化 処 理 部 １ ２ は 、 補 正 パ ラ メ ー タ 記 憶 部 １ ３ に 記 憶 さ れ て い る 補 正 パ ラ メ ー タ を 用 い て 、 ス テ レ オ カ メ ラ １ ０ か ら 入 力 さ れ た ス テ レ オ 画 像 間 の 垂 直 方 向 の ず れ を 補 正 し 、 ス テ レ オ 画 像 を 互 い に 平 行 化 す る 。 具 体 的 に は 、 ス テ レ オ 画 像 間 で 互 い に 対 応 関 係 に あ る 画 像 領 域 （ 例 え ば 、 画 素 ） の 高 さ が 水 平 方 向 一 致 す る よ う に 、 補 正 パ ラ メ ー タ に 従 っ て 画 素 全 体 の 垂 直 方 向 の 座 標 を 変 換 し 、 ス テ レ オ 画 像 間 の 垂 直 方 向 の ず れ を 補 正 す る 。 【 ０ ０ １ ６ 】
ス テ レ オ 画 像 の 平 行 化 に 用 い ら れ る 補 正 パ ラ メ ー タ は 、 ス テ レ オ 画 像 の 画 素 全 体 に つ い て 垂 直 方 向 の 座 標 を 変 換 す る パ ラ メ ー タ で あ り 、 画 素 ご と の 補 正 量 を 表 す テ ー ブ ル 、 あ る い は 定 式 化 さ れ た 関 数 と し て 補 正 パ ラ メ ー タ 記 憶 部 １ ３ に 保 存 さ れ て い る 。
【 ０ ０ １ ７ 】
視 差 算 出 部 １ ４ は 、 画 像 平 行 化 処 理 部 １ ２ に よ っ て 互 い に 平 行 化 さ れ た ス テ レ オ 画 像 に 基 づ い て 、 画 像 全 体 を 所 定 小 区 画 に 分 割 し た 画 像 ブ ロ ッ ク ご と に ス テ レ オ 画 像 間 の 水 平 視 差 を 算 出 し 、 算 出 し た 水 平 視 差 を 画 像 上 の 座 標 に 対 応 付 け た 視 差 マ ッ プ を 作 成 す る 。 水 平 視 差 の 算 出 に は 、 ス テ レ オ マ ッ チ ン グ 等 の 技 法 を 用 い る こ と が で き る 。 な お 、 ス テ レ オ マ ッ チ ン グ に つ い て は 公 知 の 技 法 で あ る の で 、 こ こ で の 詳 し い 説 明 は 省 略 す る 。
【 ０ ０ １ ８ 】
距 離 算 出 部 １ ５ は 、 視 差 算 出 部 １ ４ に よ り 作 成 さ れ た 視 差 マ ッ プ に 基 づ い て 、 ス テ レ オ 画 像 に 写 る 物 体 ま で の 距 離 を 算 出 し 、 算 出 し た 距 離 を 表 す 距 離 情 報 を 作 成 す る 。 周 知 の と お り 、 ス テ レ オ 画 像 に 写 る 物 体 ま で の 距 離 は 、 ス テ レ オ 画 像 間 の 水 平 視 差 に 反 比 例 す る 値 と し て 表 さ れ る 。
【 ０ ０ １ ９ 】
10
20
30
40
50 づ い て 既 存 の 補 正 パ ラ メ ー タ を 更 新 す る 。
【 ０ ０ ２ ０ 】
具 体 的 に は 、 補 正 パ ラ メ ー タ 算 出 部 １ ６ は 、 ス テ レ オ 画 像 間 の オ プ テ ィ カ ル フ ロ ー を 最 適 に 求 め る ア ル ゴ リ ズ ム と 、 ス テ レ オ 画 像 間 の 水 平 視 差 の 算 出 結 果 と 用 い て 、 ス テ レ オ 画 像 間 の 垂 直 ず れ を 算 出 す る 。 一 般 的 に 、 画 像 の オ プ テ ィ カ ル フ ロ ー を 求 め る 処 理 は 、 時 間 的 に 連 続 す る 画 像 に 対 し て 行 う も の で あ る が 、 本 発 明 は 、 ス テ レ オ 画 像 を 成 す 左 右 の 画 像 に 対 し て オ プ テ ィ カ ル フ ロ ー を 求 め る 処 理 を 適 用 す る 点 に お い て 特 徴 を 有 す る 。 ス テ レ オ 画 像 を 成 す 左 右 の 画 像 は 、 同 一 の 瞬 間 を 観 測 し た も の で あ る か ら 、 互 い の 水 平 視 差 が 既 知 で あ れ ば 、 互 い に 対 応 関 係 に あ る 画 素 周 辺 の オ プ テ ィ カ ル フ ロ ー を 求 め る 手 順 に よ っ て ス テ レ オ 画 像 間 の 垂 直 ず れ を 推 定 で き る 。 な お 、 ス テ レ オ 画 像 間 の オ プ テ ィ カ ル フ ロ ー を 求 め る 詳 細 な 手 順 に つ い て は 、 後 述 す る 。
【 ０ ０ ２ １ 】
物 体 検 出 部 １ ７ は 、 ス テ レ オ カ メ ラ １ ０ か ら 入 力 さ れ た ス テ レ オ 画 像 と 、 そ の ス テ レ オ 画 像 に 基 づ い て 視 差 算 出 部 １ ４ に よ り 算 出 さ れ た 水 平 視 差 と に 基 づ い て 、 画 像 内 に 写 る 検 出 対 象 物 （ 例 え ば 、 道 路 上 の 白 線 等 ） を 、 周 知 の 画 像 認 識 手 法 を 用 い て 検 出 す る 。 安 定 性 判 定 部 １ ８ は 、 物 体 検 出 部 １ ７ に よ る 検 出 状 態 の 安 定 性 を 判 定 す る 。 具 体 的 に は 、 検 出 と 非 検 出 と を 繰 返 す ハ ン チ ン グ 現 象 等 の 不 安 定 な 検 出 が 起 き て い る か を 判 定 す る 。
【 ０ ０ ２ ２ 】
信 頼 性 判 定 部 １ ９ は 、 ス テ レ オ 画 像 の 状 態 や 、 視 差 算 出 部 １ ４ に よ る 水 平 視 差 の 算 出 状 況 、 安 定 性 判 定 部 １ ８ に よ る 物 体 検 出 の 安 定 性 の 判 定 結 果 に 基 づ い て 、 補 正 パ ラ メ ー タ 算 出 部 １ ６ お い て 算 出 さ れ る ス テ レ オ 画 像 間 の 垂 直 ず れ に 関 す る 信 頼 性 を 判 定 す る 。 そ し て 、 信 頼 性 の 判 定 結 果 に 応 じ て 、 補 正 パ ラ メ ー タ 算 出 部 １ ６ に よ る ス テ レ オ 画 像 間 の 垂 直 ず れ の 算 出 を 、 画 像 全 体 あ る い は 部 分 的 に 制 限 す る 。
【 ０ ０ ２ ３ 】
［ 補 正 パ ラ メ ー タ 算 出 処 理 の 説 明 ］
制 御 装 置 １ １ が 実 行 す る 補 正 パ ラ メ ー タ 算 出 処 理 の 手 順 に つ い て 、 図 ２ の フ ロ ー チ ャ ー ト を 参 照 し な が ら 説 明 す る 。
【 ０ ０ ２ ４ 】
ま ず 、 Ｓ １ で は 、 制 御 装 置 １ １ は 、 左 カ メ ラ １ ０ Ｌ に よ り 撮 像 さ れ た 左 画 像 を 表 す 画 像 デ ー タ と 、 右 カ メ ラ １ ０ Ｒ に よ り 撮 像 さ れ た 右 画 像 を 表 す 画 像 デ ー タ と を 取 得 す る 。 次 の Ｓ ２ で は 、 制 御 装 置 １ １ は 、 補 正 パ ラ メ ー タ 記 憶 部 １ ３ に 記 憶 さ れ て い る 既 存 の 補 正 パ ラ メ ー タ を 用 い て 、 Ｓ １ に お い て 取 得 さ れ た 左 右 の 画 像 か ら な る ス テ レ オ 画 像 間 の 垂 直 方 向 の ず れ を 補 正 し 、 そ の ス テ レ オ 画 像 を 互 い に 平 行 化 す る 。 な お 、 Ｓ ２ の 処 理 は 、 制 御 装 置 １ １ の 画 像 平 行 化 処 理 部 １ ２ の 機 能 と し て 実 現 さ れ る 。
【 ０ ０ ２ ５ 】
次 の Ｓ ３ で は 、 制 御 装 置 １ １ は 、 Ｓ ２ に お い て 平 行 化 さ れ た ス テ レ オ 画 像 間 の 水 平 視 差 を 算 出 し 、 算 出 し た 水 平 視 差 を 画 像 上 の 座 標 に 対 応 付 け た 視 差 マ ッ プ を 作 成 す る 。 な お 、 Ｓ ３ の 処 理 は 、 制 御 装 置 １ １ の 視 差 算 出 部 １ ４ の 機 能 と し て 実 現 さ れ る 。
【 ０ ０ ２ ６ 】
そ し て 、 Ｓ ４ で は 、 制 御 装 置 １ １ は 、 Ｓ １ で 取 得 さ れ た ス テ レ オ 画 像 と 、 そ の ス テ レ オ 画 像 に 基 づ い て Ｓ ３ に お い て 作 成 さ れ た 視 差 マ ッ プ と に 基 づ い て 、 ス テ レ オ 画 像 間 の 垂 直 ず れ を 算 出 す る 。 こ こ で は 、 ス テ レ オ 画 像 間 の オ プ テ ィ カ ル フ ロ ー を 最 適 に 求 め る 処 理 に よ っ て 、 ス テ レ オ 画 像 間 の 垂 直 ず れ を 算 出 す る 。
【 ０ ０ ２ ７ 】
10
20
30
40 全 体 に つ い て 算 出 し 、 算 出 し た 垂 直 ず れ を 画 像 上 の 座 標 に 対 応 付 け た 垂 直 ず れ マ ッ プ を 作
成 す る 。 【 ０ ０ ２ ８ 】
以 下 、 ス テ レ オ 画 像 間 の 垂 直 ず れ を 算 出 す る 方 法 に つ い て 、 具 体 的 に 説 明 す る 。 こ こ で は 、 ス テ レ オ 画 像 の う ち の 左 画 像 の 座 標 ( x ,y ) に お け る 輝 度 値 を I
0( x , y ) と 表 し 、 右 画 像 の
座 標 ( x ,y ) に お け る 輝 度 値 を 、 I
1( x , y ) と 表 す 。 た だ し 、 ｘ は 画 像 の 水 平 方 向 の 座 標 で あ り
、 y は 画 像 の 垂 直 方 向 の 座 標 で あ る 。 【 ０ ０ ２ ９ 】
仮 に 、 ス テ レ オ 画 像 間 の 垂 直 ず れ が 完 全 に な い 状 態 を 想 定 し た 場 合 、 左 右 の 画 像 の 輝 度 値 に つ い て 下 記 （ １ ） の よ う な 関 係 が 成 立 す る 。
【 ０ ０ ３ ０ 】 【 数 １ 】
な お 、 上 記 式 （ １ ） に お い て 、 u は 、 視 差 マ ッ プ で 表 さ れ る 水 平 視 差 の 値 （ ピ ク セ ル 数 ） で あ る 。
【 ０ ０ ３ １ 】
実 際 に は 、 左 右 の 画 像 に お け る 対 応 す る 画 素 の 間 に は 、 水 平 視 差 の 他 に ス テ レ オ カ メ ラ １ ０ の 歪 み 等 に 起 因 す る 垂 直 ず れ が 存 在 す る 。 そ こ で 、 左 画 像 の 座 標 ( x ,y ) の 画 素 と 対 応 関 係 に あ る 右 画 像 の 画 素 と の 間 の 垂 直 ず れ の 値 （ ピ ク セ ル 数 ） を ｖ と す る と 、 下 記 式 （ ２ ） の よ う に 表 さ れ る 。
【 ０ ０ ３ ２ 】 【 数 ２ 】
そ こ で 、 画 素 ご と の 垂 直 ず れ ｖ を 、 オ プ テ ィ カ ル フ ロ ー の 関 係 式 に 基 づ い て 算 出 す る 。 ま ず 、 右 画 像 の 各 画 素 に つ い て 、 輝 度 値 と 座 標 と の 対 応 を 下 記 式 （ ３ ） の よ う に 置 き 換 え て 、 左 右 の 画 像 間 の 水 平 視 差 ｕ を 相 殺 し た 上 で 、 下 記 式 （ ４ ） で 表 さ れ る オ プ テ ィ カ ル フ ロ ー の 関 係 式 に よ っ て 垂 直 ず れ ｖ を 求 め る 。
【 ０ ０ ３ ３ 】 【 数 ３ 】
【 ０ ０ ３ ４ 】 【 数 ４ 】
上 記 式 （ ４ ） は 、 右 画 像 の 対 応 点 ( x , y ) か ら 垂 直 方 向 に ｖ ピ ク セ ル ず れ た 画 素 の 輝 度 値 と 、 左 画 像 の 対 応 点 ( x ,y ) の 画 素 の 輝 度 値 と の 差 分 の ２ 乗 の 総 和 で 求 め ら れ る 誤 差 関 数 が 最 少 と な る パ ラ メ ー タ ｖ を 求 め る 関 係 式 で あ る （ L u c a s - K a n a d e 法 ） 。 上 記 式 （ ４ ） は 、 凸 最 適 化 問 題 で あ り 、 “ 極 小 値 が 存 在 す れ ば 大 域 的 最 小 値 で あ る ” こ と が 知 ら れ て い る 。 上 記 式 （ ４ ） を テ ー ラ ー 展 開 す る と 、 下 記 式 （ ５ ） が 得 ら れ る 。
10
20
30
40
50 【 数 ５ 】
ま た 、 上 記 式 （ ５ ） を 変 形 す る と 、 下 記 式 （ ６ ） の よ う に 表 さ れ る 。 【 ０ ０ ３ ６ 】
【 数 ６ 】
さ ら に 、 上 記 式 （ ６ ） を 行 列 の 形 式 に 変 換 す る と 、 下 記 式 （ ７ ） の よ う に 表 さ れ る 。 【 ０ ０ ３ ７ 】
【 数 ７ 】
上 記 式 （ ７ ） の 最 小 化 は 、 ｖ の 偏 微 分 が ０ に な る こ と で あ り 、 下 記 式 （ ８ ） の よ う に 解 く こ と で 、 垂 直 ず れ ｖ を 求 め る こ と が で き る 。
【 ０ ０ ３ ８ 】 【 数 ８ 】
上 記 式 （ ８ ） は 最 小 二 乗 法 に よ っ て 解 け る が 、 そ の た め に は 、 複 数 回 の 反 復 計 算 が 必 要 で あ る 。 な お 、 最 初 の 計 算 時 に お い て 、 ｖ の 初 期 値 ｖ
０ は 全 て ０ に 設 定 さ れ て い る も の と
す る 。 そ し て 、 そ の 次 の 計 算 か ら 過 去 に 推 定 し た ｖ の 前 回 値 を ｖ
０ に 使 用 す る 。 Ｓ ４ に お
10
20
30
40
50 図 ２ の フ ロ ー チ ャ ー ト の 説 明 に 戻 る 。 制 御 装 置 １ １ は 、 Ｓ ４ に お い て 複 数 組 の ス テ レ オ
画 像 か ら そ れ ぞ れ 計 算 さ れ た 垂 直 ず れ マ ッ プ を 複 数 保 存 す る 。 そ し て 、 Ｓ ５ で は 、 制 御 装 置 １ １ は 、 蓄 積 さ れ た 複 数 の 垂 直 ず れ マ ッ プ に つ い て 、 平 均 化 等 の 統 計 処 理 を 施 す 。 Ｓ ６ で は 、 制 御 装 置 １ １ は 、 Ｓ ５ に お い て 統 計 処 理 さ れ た 垂 直 ず れ マ ッ プ に 基 づ い て 補 正 パ ラ メ ー タ を 作 成 し 、 そ の 補 正 パ ラ メ ー タ を 補 正 パ ラ メ ー タ 記 憶 部 １ ３ に 記 録 し て 、 既 存 の 補 正 パ ラ メ ー タ を 更 新 す る 。 な お 、 Ｓ ４ ∼ Ｓ ６ の 処 理 は 、 制 御 装 置 １ １ の 補 正 パ ラ メ ー タ 算 出 部 １ ６ の 機 能 と し て 実 現 さ れ る 。
【 ０ ０ ４ ０ 】
上 述 の Ｓ １ ∼ Ｓ ６ の 一 連 の 処 理 の う ち 、 Ｓ １ ∼ Ｓ ３ の 処 理 は 、 水 平 視 差 の 算 出 結 果 を 距 離 の 算 出 や 物 体 検 出 に リ ア ル タ イ ム に 反 映 す る た め に 、 所 定 時 間 内 に 処 理 を 完 了 す る 必 要 の あ る リ ア ル タ イ ム 部 分 で あ る 。 一 方 、 Ｓ ４ ∼ Ｓ ６ は 、 複 数 組 の ス テ レ オ 画 像 に 関 す る 垂 直 ず れ マ ッ プ を 蓄 積 し 、 そ れ を 統 計 処 理 し て 補 正 パ ラ メ ー タ を 作 成 す る た め 、 リ ア ル タ イ ム 性 が 要 求 さ れ な い 非 リ ア ル タ イ ム 部 分 で あ る 。
【 ０ ０ ４ １ 】 ［ 計 算 事 例 ］
図 ３ （ ａ ） は 、 ３ ０ ０ フ レ ー ム 分 の ス テ レ オ 画 像 か ら 計 算 さ れ た 垂 直 ず れ マ ッ プ を 統 計 処 理 す る こ と で 得 ら れ た 、 ス テ レ オ 画 像 間 の 垂 直 ず れ の 分 布 を 表 す 画 像 で あ る 。 こ の 画 像 は 、 垂 直 ず れ の 大 き さ を 画 像 の 色 の 濃 淡 で 表 現 し た も の で あ り 、 色 が 濃 い ほ ど 垂 直 ず れ の 量 が 大 き い こ と を 表 し て い る 。 図 ３ （ ａ ） の 事 例 で は 、 画 像 の 右 上 部 分 及 び 左 下 部 分 に お い て 、 垂 直 ず れ が 大 き く な っ て お り 、 特 に 、 画 像 の 右 上 部 分 に お い て 顕 著 で あ る 。
【 ０ ０ ４ ２ 】
図 ３ （ ｂ ） は 、 図 ３ （ ａ ） で 表 さ れ る 垂 直 ず れ を 有 す る ス テ レ オ カ メ ラ １ ０ を 用 い て 撮 像 さ れ た 測 距 対 象 の 画 像 ３ １ に つ い て 、 垂 直 ず れ を 補 正 し な い で 距 離 を 算 出 し た 距 離 画 像 ３ ２ と 、 垂 直 ず れ を 補 正 し た 上 で 距 離 を 算 出 し た 距 離 画 像 ３ ３ と を 例 示 し た 図 で あ る 。 【 ０ ０ ４ ３ 】
図 ３ （ ｂ ） に 例 示 さ れ る と お り 、 垂 直 ず れ の 補 正 を 行 っ て い な い 距 離 画 像 ３ ２ に お い て は 、 画 像 の 右 上 に お け る 楕 円 で 囲 ん だ 部 分 に 、 測 距 対 象 の 画 像 ３ １ に は 写 っ て い な い 不 自 然 な 近 距 離 物 体 が 表 れ て い る 。 こ れ に 対 し 、 垂 直 ず れ の 計 算 結 果 に 基 づ い て 補 正 を 行 っ た 距 離 画 像 ３ ３ に お い て は 、 前 述 の よ う な 不 自 然 な 近 距 離 物 体 は 表 れ ず 、 測 距 対 象 の 画 像 ３ １ に 写 る 風 景 と 概 ね 一 致 す る 測 距 結 果 が 得 ら れ て い る 。
【 ０ ０ ４ ４ 】
［ 補 正 パ ラ メ ー タ の 高 信 頼 化 ・ 高 精 度 化 の た め の 更 な る 工 夫 ］
信 頼 性 判 定 部 １ ９ に よ り 、 垂 直 ず れ の 計 算 精 度 の 低 下 が 予 想 さ れ る 特 定 の 条 件 を 判 定 し 、 そ の 条 件 下 に お い て 、 補 正 パ ラ メ ー タ 算 出 部 １ ６ が 垂 直 ず れ の 算 出 を 制 限 す る こ と で 、 補 正 パ ラ メ ー タ の 精 度 ・ 信 頼 性 を 高 め る こ と が で き る 。 そ の 場 合 、 垂 直 ず れ の 算 出 を 制 限 す る 対 象 は 、 特 定 の 条 件 に 該 当 す る 画 素 、 そ の 画 素 の 周 辺 領 域 、 あ る い は 画 像 全 体 の 何 れ で あ っ て も よ い 。 具 体 的 に は 、 以 下 の （ １ ） ∼ （ ５ ） の 条 件 下 に お い て 、 垂 直 ず れ の 算 出 を 制 限 す る こ と で 、 補 正 パ ラ メ ー タ の 高 信 頼 化 ・ 高 精 度 化 を 実 現 で き る 。
【 ０ ０ ４ ５ 】
（ １ ） ス テ レ オ カ メ ラ １ ０ か ら 入 力 さ れ た ス テ レ オ 画 像 に お い て 、 白 飛 び （ 明 る い 部 分 の 階 調 が 失 わ れ 領 域 全 体 が 白 く な っ て い る 状 態 ） や 、 黒 つ ぶ れ （ 暗 い 部 分 の 階 調 が 失 わ れ 領 域 全 体 が 黒 く な っ て い る 状 態 ） が 生 じ て い る 場 合 、 信 頼 性 判 定 部 １ ９ は 、 そ の 部 分 の 画 像 か ら 得 ら れ る 垂 直 ず れ の 信 頼 性 が 低 い と 判 定 す る 。 こ の 場 合 、 白 飛 び 及 び 黒 つ ぶ れ に 該 当 す る 画 素 自 体 や 周 辺 領 域 を 、 垂 直 ず れ を 算 出 す る 対 象 か ら 除 外 す る こ と が 考 え ら れ る 。 【 ０ ０ ４ ６ 】
（ ２ ） 視 差 算 出 部 １ ４ に よ る ス テ レ オ マ ッ チ ン グ に お い て 、 左 右 の 画 像 間 の マ ッ チ ン グ コ ス ト （ 相 違 度 ） が 高 い 場 合 、 信 頼 性 判 定 部 １ ９ は 、 そ の 部 分 の 画 像 か ら 得 ら れ る 垂 直 ず れ の 信 頼 性 が 低 い と 判 定 す る 。 こ の 場 合 、 該 当 す る 画 素 自 体 や 周 辺 領 域 を 、 垂 直 ず れ を 算 出 す る 対 象 か ら 除 外 す る こ と が 考 え ら れ る 。
10
20 （ ３ ） ス テ レ オ カ メ ラ １ ０ の 視 界 に 介 在 す る 車 両 の ウ イ ン ド シ ー ル ド に 設 け ら れ た ワ イ
パ （ 図 示 な し ） が 作 動 し て い る 場 合 、 信 頼 性 判 定 部 １ ９ は 、 そ の ス テ レ オ 画 像 か ら 得 ら れ る 垂 直 ず れ の 信 頼 性 が 低 い と 判 定 す る 。
【 ０ ０ ４ ８ 】
（ ４ ） 幾 何 変 換 に よ り 同 位 置 に 変 換 し た 左 右 の 画 像 に お い て 、 一 方 の 画 像 に ハ レ ー シ ョ ン 等 が 起 き て い て 両 画 像 が 互 い に 似 て い な い 場 合 、 信 頼 性 判 定 部 １ ９ は 、 そ の ス テ レ オ 画 像 か ら 得 ら れ る 垂 直 ず れ の 信 頼 性 が 低 い と 判 定 す る 。
【 ０ ０ ４ ９ 】
（ ５ ） 物 体 検 出 部 １ ７ に よ る 検 出 状 態 の 安 定 性 を 判 定 す る 安 定 性 判 定 部 １ ８ に お い て 、 検 出 と 未 検 出 と を 繰 り 返 す 現 象 （ ハ ン チ ン グ ） 等 が 検 知 さ れ た 場 合 、 信 頼 性 判 定 部 １ ９ は 、 そ の ス テ レ オ 画 像 か ら 得 ら れ る 垂 直 ず れ の 信 頼 性 が 低 い と 判 定 す る 。
【 ０ ０ ５ ０ 】 ［ 効 果 ］
実 施 形 態 の 測 距 装 置 １ に よ れ ば 、 以 下 の 効 果 を 奏 す る 。
画 像 平 行 化 処 理 部 １ ２ が 、 補 正 パ ラ メ ー タ を 用 い て ス テ レ オ 画 像 を 相 互 に 平 行 化 す る こ と で 、 ス テ レ オ 画 像 間 の 垂 直 ず れ を 補 正 で き る 。 そ の 上 で 、 視 差 算 出 部 １ ４ が 、 ス テ レ オ 画 像 間 の 水 平 視 差 を 算 出 す る こ と で 、 距 離 算 出 部 １ ５ に よ る 測 距 の 精 度 を 高 め る こ と が で き る 。 さ ら に 、 補 正 パ ラ メ ー タ 算 出 部 １ ６ が 、 新 た に 取 得 さ れ た ス テ レ オ 画 像 と 、 そ の ス テ レ オ 画 像 か ら 算 出 さ れ た 水 平 視 差 と 基 づ い て 、 ス テ レ オ 画 像 間 の 垂 直 ず れ を 算 出 し 、 既 得 の 補 正 パ ラ メ ー タ を 更 新 で き る 。 こ の よ う に す る こ と で 、 補 正 パ ラ メ ー タ を 最 新 の 状 況 に 応 じ て 随 時 更 新 す る こ と が で き る た め 、 測 距 精 度 の 経 時 的 な 低 下 を 防 ぎ 、 測 距 精 度 を 維 持 ・ 向 上 で き る 。
【 符 号 の 説 明 】 【 ０ ０ ５ １ 】
10 フロントページの続き
( 72) 発明者 三田 誠一
愛知県名古屋市天白区久方２丁目１２番地１ 豊田工業大学内 ( 72) 発明者 石丸 和寿
愛知県西尾市下羽角町岩谷１４番地 株式会社日本自動車部品総合研究所内 ( 72) 発明者 テヘラニニ ホセイン
愛知県刈谷市昭和町１丁目１番地 株式会社デンソー内
