18 6 ステレオ画像法による栽培果実の三次元位置計測に関する研究

ステ レオ画像法による栽培果実の三次元位置計測 に関する研究

16580212

平成 16年度〜平成 17年度科学研 究費補助金 (基盤研究 (C))研究成果報告書

平成 18年 6月

研究代表者 高 橋 照 夫

は しがき

本報告書は,文部省科学研 究費補助金 ･基盤研 究 (C)によって実施 され た研 究成果 を とりま とめた ものである.この補助金 は平成16‑ 17年度 の2カ年 にわたって助成

され た.

1.研究課題 ステ レオ画像法 による栽培果実の三次元位置計測 に関す る研 究

2.課題番号 16580212

3.研究組織

研究代表者 : 高橋 照夫 (弘前大学農学生命科学部教授)

4.研究経費

平成16年度 平成17年度

計

5.研究発表

且

600千 円

1,800千 円

岡津舟 貧

( o ^十円)

( 0 4･円)

( 0 4Fl)

(1)口頭発表

1)高橋 照夫 :ステ レオ視法 による リンゴ園果実群 の三次元位 置計測,農業環境 工学関連7学会2005年合 同大会講演要 旨集 ,469,2005

目 次

第 1章 緒 言 1.1 研 究の背景

1.2 これ までの研 究経過 と成果 1.3 本研究の 目的

第2章 ステ レオ視 システ ムの試作 2.1 日 的

2.2 試作 システ ムⅠ (1)主 な構成 と機能 (2)処理 プ ログラム (3)操作手順

2.3 試作 システ ムⅡ (1)主 な構成 と機 能

(2)処理 プ ログラムの内容 と処理 の流れ (3)操作手順

第3章 キャ リブ レー シ ョンの簡便化 に関す る検討 3.1 日 的

3･2 ステ レオ視 システ ムのキャ リブ レー シ ョン関係 式 (1) ステ レオ視 システ ムの距離関係 式

(2)レンズ公式 と関係 式

(3)左右 カメラの視軸 が交差 してい る場合 (4)キャ リブ レー シ ョンの簡易化 の方法

3･3 試作 システ ムⅠのキャ リブ レー シ ョンースケール 係数α dに関す る実験

(1)実験方法

(2)実験結果 と考察

第4章 果樹 園内の果 実群 の三次元位置計測 に関す る実験 4.1 日 的

4.2 左右画像合成 に よる距離測定法 (1)測定原理

(2)合成画像 の作成 と鮮 明 さの判 定方法 (3)処理手順

1l12335500112311111155556771111111 888111555580222223

(2)実験結果 と考察

第 5章 ステ レオ合成像 の RGB濃度分散特性 と距離精度 に関す る実験 5.1 日 的

5.2 実験方法

5.3 実験結果 と考察

(1)合成像 の Ⅹ軸上 にお けるocaVe分布 (2)視差刻 み とo cave収束 の関係

(3)距離断面位 置がo cave分布 に及 ぼす影響

(4)果実像 直径 と視差刻 みの比が距離誤差 に及 ぼす影響 第6章 総 括

参考文献

7788801333333444

第 1章 緒 言

1.1研究の背景

現在わが国の果樹農業は,栽培従事者の高齢化,後継者不足,生産農家の減少等によ り労働力の確保が困難 とな りつつあるのに加 え,輸入 自由化や消費動向の変化等による 販売競争な どで,極 めて厳 しい環境 におかれている.果樹栽培の10a当た り労働時間は 250‑280時間で,生産費合計に占める労働費の割合 は ミカンが約65%, リンゴが68%

となっていて,水稲作な どに比べ非常に高 く,労働時間及び労働費を削減す ることが, 経営改善のみな らず地域の生産基盤 を強化す る上で重要な課題 になっている.国内の リ

ンゴ生産量の約半分 を占める青森県ではこ うした状況を踏 まえ,高品質 を維持 しなが ら 省力,低 コス ト生産 と軽労化 を図るための方策 として,園地整備やわい化樹栽培の普及

とともに,暫定や摘果,防除,着色管理,収穫な どの作業について,多 目的管理機,無 人ス ピー ドスプ レーヤ,高所作業台の導入が奨励 され,機械化による生産性の向上が推 進 されている. しか し,労働時間の40%前後を占める収穫作業な どは,機械化が進ん でお らず,大幅な労働時間の削減 は困難な状況にある.

果実栽培では果実が生育期間中ほぼ‑定位置に固定 され るので,その特徴 を生かせ ば, 生育初期か ら収穫期 までの管理や収穫作業の機械化 を合理的な一貫体系 として展開で きると予想 され る.そのためには,･まず,対象物の三次元位置計測が必要になるが,そ の研究は測定精度の面か らレーザ距離計な どによるアクテ ィブ ･ステ レオ計測法を用い るものが多い. しか し,対象物 を認識す るためには さらに画像処理が必要になるので, 果実栽培のよ うに果実のほかに枝葉や樹幹が存在す る環境 を測定対象にす る場合は,戟 別 と位置計測が同時に可能なステ レオ視計測法がそれ らに比べ有利 と言える.

1.2 これまでの研究経過 と成果

筆者 らは,リンゴ園内の収穫期果実の識別 と三次元位置の計測を両眼ステ レオ視法に よって行 うため新手法の開発 に着手 し,対象物の色特徴やテクスチャが周囲 と異なって

いるとき,その色特徴 を指定 してRGB濃度の平均分散 を算出 し判定に利用す る研究を行 った.その結果,その考 え方を用いれば,果実のみな らず,枝葉や樹幹,さらに種々の 障害物 について,識別 と三次元位置の計測が可能であ り,対象物のカラー画像 と距離画 像 を同時に得 られ ることを明 らかに した.

そ こで,ステ レオ視計測に関す る左右画像合成手法を提案 し適用実験 を行 ってきた.

まず,同手法の基礎的性質に関す る実験 よ り,距離計測精度 については,リンゴ園内の 果実に対 して1‑ 4mの距離範囲で約5%の精度 を有す るとい う成果が得 られた.また, 両眼ステ レオ視計測法で画像処理 による解決が困難 とされてきた対応 問題 について分 析 を行い,上述の成果 をもとに同側視野合成法 を開発 した.これ らの手法を収穫 リンゴ 果実が密集 した画像 に適用 して,果実の識別 と三次元計測に有効なことを確認 した.

1.3 本研究の 目的

本研究は,ステ レオ画像法による三次元位置計測システムを,ほ場栽培の果実の個体 管理に利用す るため,自動計測時の位置精度向上 と,よ り簡便 に利用できるよ うにす る ための画像処理法の改善を 目指す ものである.具体的には次の点について究明す ること を 目的 とす る.

(1)ステ レオ画像法 を簡便かつ所要精度で利用可能にす るための手順 を確立す ること, (2)ステ レオ合成像の鮮 明 さ判定基準 と対象物の識別及び位置精度 との関係 を究明す ること.

筆者 らのステ レオ画像合成法は,三次元空間を二次元断面に区切 って左右画像の合成 を行い,その合成像の鮮 明 さか ら物体検出を行 う点,及び同側視野合成 によって対応問 題 の解決を図る点でオ リジナルな手法である.上述の関係が明 らかにされれば,収穫期 の果実のみな らず,枝葉や樹幹,各生育期の果実,及び障害物等の測定にも利用可能に なると期待 され る.また,簡便な利用法の手順が確立 され るな らば,安価 なデジタルカ メラを用いたステ レオ計測が可能にな り,種々の機械化に広 く利用できるよ うになると 予想 され る.

2

第2章 ステ レオ視 システムの拭作

2.1 日 的

ステ レオ視計測法は,図2.1に示す よ うに,2台のカメラで撮影 された一対の画像 を もとに,三角測量の原理 に基づいて対象物の三次元位置 を計測す る方法である.その測 定精度は,各カメラ ･レンズ系の撮像特性 とステ レオ光学系の構成状態 によって大きな 影響 を受 ける.光学系にわずかで も誤差があると測定精度が急激 に低下 し,とくに遠距 離 にあるものほ どその影響が著 しく現れ る.農業分野で屋外で利用す る場合 は,測定対 象の農産物 ･青果物 とその周囲の照明条件 とともに,対象物の存在す る範囲の広が りを 考慮す る必要がある.また,対象物 を撮影画像の処理 によって検 出 し,周囲物体 と的確 に識別できるよ うな ソフ トウェアを装備す ることも必要である.

そのためステ レオ視計測 システムには,対象物が左右カメラの共通視野内に入 り,所 定範囲内の大 きさで同時に同一の撮影条件で収録 できるよ うに,望遠用のズーム機構 と フォーカス ･露出な どの 自動調節機構 を備 えたカメラと,カメラ部 を上下左右 に旋回 さ せ るパ ン･チル ト機構 が要求 され る.ステ レオ視 システムを用いる場合 には,使用条件

を考慮 して,予め精密 なキャ リブ レー シ ョンを行い,そのシステムの計測特性 を明 らか に しておかなければな らない.

本研究では,ステ レオ視計測 システムを リンゴ園での栽培管理 と収穫作業の機械化 ･ 自動化 における計測セ ンサ として使用す ることを 目的 とし,その要件 として次の点に留 意 した.すなわち,左右2台のカメラが同一の規格 と性能を持 ち,かつ両者が適切な配 置状態であること,撮影像の色特徴や形状特徴 の再現性 が良好で,対象物の遠近や照明 環境の影響 をできるだけ軽減できるよ うに,フォーカス,露出,ホ ワイ トバ ランス等の 自動調節機能 を備 え,かつズーム機構等の コンピュータ制御 が可能なこと,また,一連 の作業 を自動化す るためには,撮影 ･画像入力 ･保存 ･処理の各操作が コンピュー タプ ログラムで制御 できること,等である.距離の測定範囲は,機械等 よる作業範囲をカバ ーできるよ うに約2mと想定 し,測定精度 は2mで2%を許容限度 に設定 した.また,

2m以上 血 まででは対象物の探索 を使用 目的 とし5%の精度 を 目安 とした.

試作システムは,計測精度 に対す る撮像性能の影響 を検討す るため画像解像度の高い CCDデジタルカメラを備 えたシステムⅠと,対象物の存在す る空間に焦点 を絞 ることが 可能なパ ン ･チル ト機構 を備 えたネ ッ トワー クカメラによるシステムⅡの 2台を供試対 象 に した.

図2.

2.2 試作システムⅠ

(1)主な構成 と機能 試作 システムⅠの主な構成は,図2.2のよ うに,CCDカラーデ ジタルカメラ2台, ノー トパ ソコン,及びパ ン･チル ト式カメラ台である.カメラ‑ ツ

ド部の外観 を図2.3に示す.各構成要素の内容は以下の通 りであ り,主な仕様 を表2.2 に示す.

デジタルカメラは,約400万画素のCCD素子撮像面をもち,NTSC信号をデジタル化 して出力す るタイプである.撮影時のフォーカス,露出,ホワイ トバ ランス等の 自動調 節機構 を持つほか,パ ソコンか らUSBインターフェースを介 してそれ らの制御 を行 うこ

とができる.

デジタルカメラか ら出力 され るNTSCカラーデジタル信号は,USBを介 してパ ソコン に入力可能である.解像度は最大2272×1704画素,三原色RGBの濃度分解能は各最大 8bitである.本研究では解像度 を2272×1704画素,RGBの分解能 を各原色 とも8bit のJPEG画像 として使用 した.ノー トパ ソコンは,CPUクロック周波数が 1.7GHzの Pentiu皿搭載機 で,2台のカメラのスチル撮影 と画像入力の制御,及びハー ドデスク‑

の保存 を行 う.本体が3.2kgと軽量で,バ ッテ リ稼働 は約 4時間である.パ ン･チル タ は,小型直流モー タを使用 した水平旋回 (パ ン)と上下回転 (チル ト)の2方向の首振 り機 構 をもち,カメラ台を上部に取 り付 けたものである.パン ･チル トの回転角度は内蔵 ポ テ ンシ ョメー タの電圧測定によ り知 ることができる.それ らの方向及び速度の制御 は, モー タに印加す る直流電圧の極性及び電圧 を変 えることによ りなされ,パ ソコンか ら操 作可能である.首振 り範囲は水平旋回角が±180度,上下回転角が±45度である.カメ

ラとパ ン ･チル タのほ場での駆動電源 は, 自動車用12Vバ ッテ リ電圧 をイ ンバータで AC IOOVに変換 して用いた.

距離測定値の校正 には レーザ距離計 を用いた.その主な仕様 を表2.2に示す.同距離 計は,光源 に670nmの可視光 レーザダイオー ドを用いた携帯型で,測距範囲が0.2‑

200m,測距精度が±1.5mm (最大3mm)である.手動計測 と,Bluetoothイ ンター フェ ースを介 したパ ソコン制御 による計測が可能である.

USBインターフ=‑ス 図2.2

試作システム Ⅰの構成 図2.3試作シス

表2.1試作 システ ムの主要構成要素に関す る諸元 (1)CCDカ ラーデ ジ タル カ メ ラ

カメラ部有効酢 数 撮像素子

レンズ

デジタルズーム 光学プアインター 液晶モニター オー トフォーカス 撮影臣離

シャッター

シャッター速度

測光方式 露出制御方式 露出補正 感度

約400万車乗

.8型CCD^{(総画素数}

内 容

約410万画素)

7.1(W)‑21,3(T)mm (35nrm フイルム換算35･105rTm) ド2.8(W)I4.9(T)

最大約3.6倍 (光学ズームと合わせて最大約11倍のデジタルズー ムが可能)

実像式ズームファインダー､視野串約82%

1.8型低温ポリシリコンTFr液晶カラーモニター.視野率1OO牝

TTL9点AiAF (1点測距可能)

フォーカスロックおよびマニュアルフォーカス可能 通常撮影 :50cm〜co

マクロ撮影 :10cm(W)/30cm (T)〜 50cm

マニュアルフォーカス撮影 :10cm(W)/30cm (T)〜∞

:メカニカルシャッター +電子シャッター 15‑ 1/1500秒

1.3秒以上はシャッター速度優先モ‑ ドまたはマニュアルモー ド時改定 可能

15‑I.3秒はノイズリダクション処理あり

評価測光 /中央部重点平均測光 /スポッ ト測光 (中央固定 /AF 枠連動)

プログラムAE/シャッター速度優先AE/絞 り優先AE/マニュ アル露出 AEロ ック可能

:土2段 (1/3段ステップ) AEB撮影可能 ホワイ トバランス

ス トロボ

オー ト/lSO50/100/200/400相 当

TTLオー トホワイ トバランス /プ リセ ッ トホワイ トバランス (太 鴨光 /くもり/電球 /蛍光灯/蛍光灯H/ス トロボ) /マニュアルホ ワイ トバランス (マニュアル 1/マニュアル 2)

オー ト/常時発光 /発光禁止

赤目緩和常時発光 :赤目緩和オー ト/赤目積和常時発光 /発光禁止 赤目壌和発光崇止

ス トロボ撮影臣離

ス トロボ調光補正

常時発光 /発光禁止

35cm〜4.8m (W)/35cm〜3.0m (丁) (感度オー ト時)

55cm〜4.0m (W)/55cm〜2.5m (T) (lSO IOO相当時)

:1/3段ステ ップ士2段.FEロック可能

撮影モー ド

連続撮影

オー ト

クリエイティブゾーン :プロクラム /シャッター速度優先 / 絞り優先 /マニュアル /カスタム

イメージソーン :ポー トレー ト/風景 /夜景 /高速シャッター / スローシャッター /ステイツチアシス ト/動画

高速連続撮影 :約2.5両偉 /珍 通常連続撮影 :約1.5両偉 /秒

(ラージ/ファインモー ド､液晶モニター非表示のとき) セルフタイマー :約2秒 /約10秒後に撮影

I(ソコン接続撮影 :USB接続時.RemoteCapture(同梱のソフ トウェア)で績影可能 記韓媒体 :コンパク トプラッ

画偉ファイルフォーマット 画像記録 (静止画)

(軸酉) フォーマット

JPEG圧痛率切り換え

シュカー ド(TypeJおよびTypeJl対応) DCF'1 DPOF対応

JPEG(Exif2.2)'2/RAW

AVJ(酉偉データ :MotionJPEG/音声データ:WAVE(モノラル)) スーパーファイン /ファイン /ノーマル

記母画素数 (静止再)

再生モー ド

ラージ :2272× 1704画素 ミ ドル1 :1600×1200画素 ミ ドル2 :1024×768画素 スモール :640×480画素 (動画) :320×240画素 (約3分)̀

160× 120画素 (約3分)● 約15フレーム/珍

'( )内は1回の撮影での阜長記録時同です｡

シングル再生 (ヒス トグラム表示可能)/インデックス再生 (サム ネイル9両偉)

拡大再生 (瀬晶モニター上で最大約10倍に拡大可能) スライ ドショー

音声メモ (最長約60秒まで記録可能)

専用プリンター (CP‑100､CP‑10)､BJプリンタへの画像出力 (ダイレク トフリン ト)

表示吾宕 :English/Deutsch/FrancaiS/NederlandS/Dansk/Suomi/ ltaJiano/Norsk/SVenska/EspaRol/況清 /日本語

マイカメラ(カスタマイズ):

機能

起動画面/起動舌/シ1,ツタ一書/操作書/セルフタイマー青を､以 下の方法で設定が可能｡

l.このカメラで記韓

2.同梱のソフトウェアやオンラインフォトサービス｢Canonlmage Gateway｣からダウンロー ド

CanonImageGateway 対応機能

インターフェース

同梱のソフ トウェアを使って､CanonImageGatewayの会員登 録､画像のアップロー ド､カメラへのマイカメラコンテンツのダウ ンロー ド､オンラインアルバムサービス.オンラインフリン トサー ビス､写兵集作成サービス､携帯電話での西嶺閲覧などが可能 :USB (minJ'‑B)(標準/PTP選択可能)

快食/音声出力端子 (NTSCまたはPAL切換可能､モノラル音声)

8

(2)ノー トパ ソコン 型式

C PU,RAM

OS

内蔵‑‑ ドデスク

内 容

NECVersaProPC‑V17F/LV‑R

IntelPentiumM 1.7GHz,512MB RAM WindovsXPSP2

IDE40GB (3)パ ン ･テ イル タ

カメラ間隔 角度範囲

コン トロール

内 容

300,250,200,150帆 (設定可能) 上下 一45‑450 ,左右 ‑180‑ 180 0

ポテ ンシ ョメータ内蔵,パ ソコン制御可

表2.2 レーザ距離計 の仕 様

項 目 内 容

測 定精度

(標 準偏 差の 2倍 ) 測 定 単位 /最 ′ト表示値

測定範囲 (約 30mか ら､ タ一一 ゲ ッ トフ レ一一トを使 用 ) 測 定時 間 軒離 測 定/連続 測 定

レ一一ザ一一ドッ ト径 ( ･定の粁離 にお いて) 内蔵望遠 ファインダー デ ィスプ レイの鮮 明

マ ルチ ライ ンデ ィスプ レイ 回転式 エ ン ドキ ャ ップ

タイマ ー機 能

計算機 能

8lUや!QQ嘩

辿 続測 定 測 定値 保 存

最 小/最 大寸 法測 定 ピタゴラ ス機 能 測 定値 自動 記録

電源 :単3形 ア ル カ リ乾電 池2 本

PJJ'滴､防聴 寸法と最良 内蔵 水 準器

温度範囲

標準 :±1.5mm/最 大 :土3mm●1 1mm^●2

0.2m‑200m●3

0.5秒 か ら約 4秒 / 0.16秒 か ら約 1秒t4

6/30/60ミリメ一一トル (10/50日 00 メー ト/り

O C Or＼_Oヽ■̲‑I/

CO

C, 10件分

0 0

最 新の もの か .‑)15件 分 10,000LL3]の測 定 ■5

IP54acc:lEC529準拠

172x73x45mm,3359 10

‑25oCか ら+70oC

‑10oCか ら+50oC

(2)ノー トパ ソコン 型 式

CPU,RAM

OS

内蔵ハー ドデスク

内 容

NECVersaProPC‑V17F/LV‑氏

IntelPentium班1.7GHz,512MBRAM

WindovsXPSP2 IDE40GB

(3)パ ン ･テ イル タ カメラ間隔 角度範 囲

コン トロール

内 容

300,250,200,150mm (設定可能) 上下 ‑45‑450 ,左右 ‑180‑180 0

ポテ ンシ ョメータ内蔵,パ ソコン制御 可

表2.2 レーザ距離計 の仕様

項 目 内 容

測 定精度

(標 准偏 差の2倍 ) 測 定単位 /最 小 表 示値

測 定範囲 (約 30mか ら､ タ一一 ゲ ッ トフ レ一一トを使 用 ) 測 定時 間 軒離 測 定/連続測 定

レ一一ザ一一ドッ ト径 ( ･定の距離 にお いて) 内蔵望遠 ファイ ンダー デ ィス‑7レイの,qti.ul] マ ルチ ライ ンデ ィスプ レイ 山転式 エ ン ドキャ ップ タイマー機 能

計 算機 能

早IuetQ^gI野

地 続 測 定 測 定値 保 存

最 小/最 大寸 法測 定 ピタゴラス機 能 測 定値 自動 記録

電源 :単3形 アル カ リ乾電池 2 本

PJJ‑滴 ､防 聴 寸法 と毛虫

内 蔵 水 準器

温度範囲

標 準 :±1.5mm/最 大:士3mm●1 1mm●2

0.2m‑200m●3

0.5秒 か ら約 4秒 / 0.16秒^か ら約 1秒●4

6/30/60ミリメ一一トル (10/50/100メー トル )

O COCOCO

0 10件分

0 0

最 新の i,J‑)か ら15件 '/) 10,000Lulの 測 定●5

1P54acc:lEC529準拠

172x73x45mm,335g 10

‑25oCか ら+70oC

‑10oCか ら+50oC

9

試作システム Ⅰの主な特徴は,左右一対のカメラでほぼ同時に撮影できること,パ ソ コンによるカメラ制御 とそのデータの取得 ･保存が可能なこと,及びカラー入力画像 (RGB24bit)をデジタル画像 として保存できること,全体 として軽量であ り,可搬性 に優 れていることな どである.撮影可能時間は,パ ソコン,カメラ,レーザ距離計 とも約3 時間であった.

(2)処理プログラム 図2.4に示す ように,カメラ制御用,画像入力 ･保存用,モニ タ画面表示用及び距離計算用の各プログラムで構成 される.カメラ制御用プログラムは, パ ン･チル タとカメラのズーム機構 を制御す る.画像入力 ･保存用プログラムは,画像 入力やハー ドデスク‑の保存実行 を命令す る.モニタ画面表示用プログラムは,原画像, 処理結果画像及び関連データをモニタ画面に表示す る.これ らの使用言語は,Visual Basicで統一 した.距離計算用プログラムは,第3章で述べ るステ レオ視の測定原理に 基づいて距離を算出す る.計算処理は,実行 ファイル を上述の画面表示用プログラムの 中か ら呼び出 して行われ る.

モニタ画面表示用 と距離計算用のプ ログラムは,それぞれ測定距離が既知のもとで校 正に使用す るキャ リブ レーシ ョンモー ドと,未知の場合 に使用す る測定モー ドの2種 を 用意 した.換作は,両方 とも手動で行 った.画像処理の流れを図2.5に示す.

(3)換作手順 測定モー ドでの手動操作手順は,まず操作者が対象物 にシステムの向 きを合せ,左右カメラのズーム調節 を行い,フォーカス,露出,及びホワイ トバ ランス の 自動調節後,左右カメラのシャッター指令 を送って対象物 を静止画 として撮影 ･入力 し,両画像を‑‑ ドデ ィスクに保存す る.距離の算出は,距離計算プ ログラムにより一 対の左右画像を読み込んだ後,左画像内の対象物 を手動で特定 して行われ,結果がモニ

タ画面に表示 され るとともにハー ドデ ィスクに保存 される.

キャ リブ レーシ ョンモー ドでの操作手順は,画像の入力 ･保存までは上述 と同 じであ るが,距離計算は,操作者が測定範囲を 目視で得 られた対象物のお よその距離に絞 って 行 う.

図2.4処理プログラムの概要 (距離測定

モード) 左右画

重ね合せ 重なり状態の 比較

(a)キャリブレーションモード 距牡決定

(b)距離測定モード 図2.5画像処理の流れ 2.(31)主 な構拭作 システムⅡ

成 と機 能 主な構成 は図2.6に示す よ うに,2台のカ ラーデ ジタルネ ッ ト ワー クカメラ,ネ ッ トワー ク用ハブ,及び ノー トパ ソコンか ら成 る.カメラ‑ ツ ド部

の 外観 を図ネ ッ トワー クカ2.7に,ネ ッ トワー クカ メラの主な仕様 を表2.3に示す.

メラは,約 34万画素の CCD撮像 面 を もち,NTSC映像信号 をデ ジタル 化 して出

力す るタイプである.据影 時のフォーカス,露 出,ホ ワイ トバ ランス等の 自動 調節機構 を持つ ほか,焦点距離 3.

ソコンか らTCP/IPのプロ トコルによってそれ らの手動調節や撮影 ･画像入力及び保存 等の制御 を行 うことができる.

デジタルカメラか ら出力 され るカラー画像の解像度は最大640×480画素,三原色RGB の濃度分解能は各々最大8bitである.本研究では解像度 を640×480画素又は320×240 画素,RGBの分解能 を各原色 とも8bitとして使用 した.

ノー トパ ソコンは,試作システム Ⅰと共用であ り,ネ ッ トワークのサーバ として使用 し,クライアン トであるカメラに指令 を送信 して,スチル撮影 と画像入力の制御,及び 画像のハー ドデスク‑の保存に使用 した.

カメラ台の上部に配置 された各カメラは,本体内蔵のパ ン･チル ト機構 により,それ ぞれ独立にパ ン ･チル トの2方向の回転が可能である.パ ソコンか ら各カメラのIPア ドレスに所定形式のデータを送信す ることによ り,方向及び速度の制御操作ができる.

首振 り範囲は,水平旋回角が±100度,上下回転角が‑30‑+90度である.

電源 は,カメラとハブ用 として,試作システムⅠと同様,自動車用12Vバ ッテ リをイ ンバータでACIOOVに変換 して用いた.距離測定値 の校正には前述の レーザ距離計 を用 いた.

試作システムIIの特徴 としては,試作システム Ⅰと同様のもの以外に,2台のタメラ それぞれのパ ン角度を独立に制御可能である点が挙げられ る,それ によ り,両カメラの 視軸を対象物方向で交差 させ ることができるので,左右画像における対象物の対応付 け 処理が平行視軸の場合 よ り有利 になると期待 され る.

(2)処理プログラムの内容 と処理の流れ 基本的には試作システムⅠと同様であ り, カメラ制御用,画像入力 ･保存用,モニタ画面表示用及び距離計算用の各プログラムで 構成 され る.ただ し,カメラ制御や画像入力 ･保存はWeb上で実行す ることになるので, HTML,JavaScript,ASP等を用いて作成 した.距離計算用プログラムは,試作システム

Ⅰと同様のものを用いてお り,計算処理は実行 ファイルを前述の画面表示用プログラム の中か ら呼び出 して行われ る.

図2.6試作システムⅡの構成 図2.7試作シス

表 2･3試 作 シ ス テ ム の 主 要 構 成 要 素 に 関 す る 諸 元

(1)CCDカ ラ ー デ ジ タ ル カ メ ラ 内 容

快食債号 NTSC方式準拠

柵徽素子 1/4A

*" 実効 CCD

34万酵素 同期方式

内静岡期方式

走査方式 2

:ーインターレース

最低被写体照度 ノーマルモー ド:llux(1′30秒時)′

ナイトモー ド:0lux

撫徽モー ド ノ

ーマルモード′ナイ トモー ド フォーカス オー ト′マニュアル W犠 :0.0一

m〜○○′T端 :1.6m〜○○ (ナイトモー ド時 W端 :0.02m〜00 ′T犠 :2,3m〜00)

絞 りレンズ fオー トアイリスサーボ方式=3.5‑9一.Omm

F1.6‑4.0電動26倍ズ‑ム (榔 時) 赤外線カットフィルタ 電動出し入れ (ノーマルモー ド′ナイトモー ド)

ナイ トモー ド 赤外

線ライト lLED (4灯) 珊 投射可搬 離 l^{約 3m}

レンズフィルタ径 37mm p托ch=0.75rnm ホワイトバランス

m 方式 オート′マニュアル′ワンプッシュ

OS Linux

プロトコル TCP

/lP.HTTP､DHCP､FTP､WebView(キヤノン独自) 恢僕圧縮方式 MotbnJPEG(飲食島貫可変)､JPE

G (静止面利用時) 映亀l聖縮レー ト 0.1fps〜30fp

s(可変)

出力酉鰍サイズ ー60× 120､320×240､640×48

表示重職サイズ 80×60､160X t20､320×240､640×4800

サーバログ管理カメラ制8P HTsyslJtン､チル ト､ズーム､明るさ.シャッタースピー ド､フォーカスモー ド､可視範浄制限､制御時筒制醍TP､FTP､Webog形式 Vi糾 Livescope 接続制限 アクセス制限 (){スワー ド).軟象簸概時筒.サービス時

稗帯､同時接続赦 (最大50) ネット

ワーク EthemetX1(FU45､一0/100自動切換え) 表示用LE

D ネットワークの状態表示

マルチコネクタ Vi

deolN/OUT:NTSCコンポジット

､BNC端子 各 ー AudioIN/

OUT:モノラル.ミニジャック 舌 1 外線デバイス入力 :入力=2､出力=3

R5‑業マルチターミナル (232C:ー(使用しません)VB‑EX50､別

売)をご利用する幣のコネクタです.

寸法 VB‑VB‑C50i:104,C50lR:136.6m0mm ((W)W)× ー30.×130.3mm (3mm (口)x ー09.D)×日 0.7m6mm ((H)H) (ともに突起物含ます､VB‑C50iRlJ取付け板を含む)

賞量 VB‑C50i:約620g

VB‑C50iR:約700g

動作環境 温l生0‑40℃､温度20‑85%

RH(結露不可)

電源 ACアダプタ､消責電力25W以下

シ ャ ッ タ ー 指 令 を 送

っ て 対 象 物 を 静 止 画 と し て 撮 影 ･入 力 し て , 両 画 像 を パ ソ コ ン の ハ ー ドデ ィ ス ク に 保 存

す る .距 離 の 算 出 は ,距 離 計 算 プ ロ グ ラ ム に よ り一 対 の 左 右 画 像 や 左 右 カ メ ラ の

視 軸 交 差 角 デ ー タ を を 読 み 込 ん だ 後 ,左 画 像 内 の 対 象 物 を 手 動 で 特 定 し て 行 わ れ , 結 果

第3章 キャ リブ レー シ ョンの簡便化に関する検討

3.1 日 的

ステ レオ視 システムのキャ リブ レーシ ョンは,2台のカメラで撮影 した画像か ら対象 物の三次元位置を算出できるよ うに,空間座標系 とカメラ座標系 との関係式における諸 係数 を決定す ることである.キャ リブ レーシ ョンの方式 としては一般 に,予め測定 され た三次元構造物のステ レオ撮影 を行って画像解析 により諸係数 を得 る方法や,立体形状 モデル を利用す る方式な どが採用 されている.

しか し,農業分野用 として屋外でステ レオ視計測 を行 う場合 には,測定距離範囲を広 く取 り,かつ条件 によってズーム調節が必要になることが多い.そのためキャ リブ レー シ ョンでは,左右それぞれのカメラに関す る距離関係式を個別 に実験で求め,両者の結 果 をもとにシステムの距離式 を決定す る方法が有効になる.ただ し,ズームが広角側の 撮影では距離が遠 くなるほ どカメラの レンズ収差 による撮影画像の歪みが増大 し,対象 物 に関す る左右画像の視差精度が悪化す る.それ を避 けるためには,一般 に撮影画像の 歪み補正処理が行われ るが,多大の時間を要す るので実用上問題 である.

そ こで本章では,画像の歪み補正処理 を必要 としない簡便なキャ リブ レーシ ョン係数 の決定法 とその利用法について検討 した.

3.2 ステ レオ視 システムのキャリブレー シ ョン関係式

(1)ステ レオ視 システムの距離関係式 2台のカメラが平行なステ レオ視法による測 定距離Llmn]]は,モニタ画面上の視差 S[画素]を用いて三角測量の原理 より次式で算出

され る.

L‑ αd･f･a/s

S=X l X∫

ここで,αdはモニタ画面のスケール係数 [画素/mm], fは焦点距離[mm]で,それぞれ左 右各カメラの値 よ り,αd‑ (αdl+ αd丁)/2, f‑ (fl+fr)/2で求められ る.aは

15

左右両カメラの視軸間隔[m],^Xlと^Xrはモニタ画面上における左右各原画像の対応 点の Ⅹ座標 [画素]である.

式(3.1)のLは レンズ中心か ら対象物までの距離であるが,市販カメラでは レンズ中 心位置が不明のため,実用上はカメラ前端か らの距離Llが用い られ る.カメラ前端か

らレンズ中心までの距離 をL, とす ると, L^l‑L‑L,‑αd･f･a/S‑L^,

ここで,L,‑(L,1+L,∫)/2,L,1, L,rは左右各カメラの値.

(3.3)

供試カメラではズーム制御 によって合焦位置が変化す るため,レンズ中心に相 当す る 位置 も変化す る.供試カメラの焦点距離 については,最広角 と最望遠 における値のみが 仕様 に記載 され,任意のズーム位置 における値 は不明なので,上式を用いる場合にはズ ーム と焦点距離の関係 を求めてお く必要がある.一般 に,ズーム レンズ機構 をもつカメ ラにおいて も,単一 レンズの公式が成立す ることが知 られているので,本研究ではズー ム制御値 と焦点距離の関係 な ど供試カメラに関す る距離特性 は,レンズ公式を用いて以 下のよ うに求めた.

(2)レンズ公式 と関係式 レンズの公式は次のよ うに表 され る.

1/L+1/b‑1/f (3.4) ここで,Lは レンズ中心か ら対象物までの距離[mm],bは レンズ中心か ら撮像面までの 距離[mm].対象物の実長 をⅩ[mm],撮像面の投影像長 さを∈[m]とす ると,撮像倍率m は,

m ‑∈/Ⅹ‑b/L

式(3.4)と(3.5)よりbを消去す ると, L‑ f･(1十m)/m‑f･(1+Ⅹ/∈)

f‑m･L/(m+1)‑L/(1+X/E)

(3,5)

なお,吉の大きさは実際には測定できないので,モニタ画面上の長 さⅩ[画素]を用い ると,Ⅹ‑αd･E.これ より式(3.7)は,次式で表 され る.

L‑ f･(1十m)/m‑f･(1+αd･Ⅹ/Ⅹ) (3.8)

式(3･8)は,供試カメラのズーム レンズにも適用可能である.カメラ用の球面 レンズ では,一般 にfが小 さいほ ど収差が強 くな り,レンズ周辺 を通 って画面の端近 くに投影 され る像 ほど形状が歪む,そのため,ステ レオ視法では,対象物が画面の周辺 に近いほ ど左右画像の対応点の座標値が不正確 になって視差の誤差が増加す るため,レンズ収差 の補正が必要 とされてい る.

(3)左右カメラの視軸が交差 している場合 左右両カメラの光軸が平行ではな く,交 差 (再検)しているときには,式(3.1)が成立 しないため同式 による距離計算の結果 は不 適切な値 になる.その場合 には,平行化処理 によって平行ステ レオ視 と等価 な画像 に変 換す る必要がある.本研究では,左右各画像のⅩ座標X I, Xrをそれぞれ視軸が平行 な状態の Ⅹ座標Xl',Xr'に次式(3.9)で置換 して用いた.す なわち, Z軸に対す る左 右各カメラの光軸角度がそれぞれ 81,O rの とき,X l',X r'は,

x l' ‑‑ f･(f･sinO 1‑ X l･COSO l)/(f･cosOl+^xl･SinO l)

x: ‑ f･(f･sinOr+x^,･cosO,)/(f･cosOr‑ x,･sinOr) (3.9) この とき,視差S'は,

I I I S =X l Xr

したがって,カメラ前端か らの距離式 Llは, Ll‑ αd･f･a/S'‑L,

となる.flと frが一致 しない ときは,両者の平均値 を fとして用いる.

(3.10)

(3.ll)

なお,本研究ではLlに比べL,がかな り小 さいので,Llは次式で近似す るもの とし た.

Ll‑ αd･f･a/S' ^(3.12)

(4)キャ リブ レーシ ョンの簡易化の方法 レンズ収差の影響 による視差誤差 を軽減す る方法 としては,画像 の歪みを補正す る方法のほかに,視差誤差の性質 を調べ,その対 策 を講 じることによ り軽減す る方法が考え られ る.キャ リブ レーシ ョンでの視差誤差の 影響 は,式(3.12)よ りαdに現れ ることにる.そ こで本研究では,中央合成画面上にお

けるα｡の性質 を調べ る実験 を行い,回帰分析 により中央合成画面の座標 とα｡の関係式

17

を求めることに した.

3.3 拭作 システム Ⅰのキャリブ レーシ ョンースケール係数 αdに関する実験 (1)実験方法

撮影対象は,図3.1に示す20mm方眼の精度試験祇 (横 ×縦=1.2mXO.8m)とし,鉛直 となるよ うに室内壁面に沿って張って用いた.撮影条件は,距離を1‑3.2m間で1m 間隔,焦点距離を7.1‑21.3mm間で4段階に設定 した.露出,合焦,及びホワイ トバ ランスを自動調節 とし,試作 システム Ⅰのパ ソコンで焦点距離 と撮影の制御 を行い,各 条件で撮影 した画像をパ ソコンのハー ドデ ィスクに保存 した.図3.2に レンズ収差によ

る左右画像の歪み状態例 を示す.

'..:: I l I ●

I1 l t.J甘 ◆ I l J I l

｢‑▲

I I

= ■ー /.

r十

:.チ 4 ㌔ l I l I

■■11p‑‑‑̲̲=

◆● ◆一● ヰ◆ ‖二 :i iii 項●丁.l.◆● ● I JIー●¶T:■日︼ ..L■ ト 3i ∴ 1!

:回 + ' I II ■1 ■ ‑‑ !● 千 ++ ーi‑.:‑.i 71;l■l■

LIL: : I;■t■▲ †十† I王!:;:: ‑鮎

‑ ‑.i.i ‑対' I

I 一 日 I ト

1 I

: : l ◆ ◆ . t T

･ ‑ . ≡ . ‑ ‑ . I

+

(a)左画像 (b)

右画像 図3.2レンズ収差による画像の

歪みと補正の例 (右カメラ,焦 点距離 7.1ITlm,撮影距離 900mm)

d

｣▼ I I1 Il lIl