2021 公益社団法人日本水産学会/The Japanese Society of Fisheries Science
Tel81138408520．Fax81138408520．Emailkomeyama＠ˆsh.hokudai.ac.jp
a 現所属北海道大学大学院水産科学研究院（Faculty of Fisheries Sciences, Hokkaido University, Minato-cho, Hakodate, Hokkaido 041 8611, Japan）
画像認識技術を応用したステレオカメラの自動キャリブレーションと
魚体の自動認識手法の開発
古 田 直 哉，
1田 中 達 也，
1米 山 和 良
2a
（2020 年 6 月 8 日受付，2020 年 11 月 20 日受理，2021 年 1 月 29 日 JSTAGE 早期公開） 1北海道大学大学院水産科学院，2同水産科学研究院Method for automating ˆsh-size measurement and camera calibration using a three-dimensional structure and an optical character recognition technique
NAOYAFURUTA,1TATSUYATANAKA1AND KAZUYOSHIKOMEYAMA2a
1Graduate School of Fisheries Sciences, Hokkaido University, Minato-cho, Hakodate, Hokkaido 0418611, 2Faculty of Fisheries Sciences, Hokkaido University, Minato-cho, Hakodate, Hokkaido 0418611, Japan
This study developed a method for automatically measuring ˆsh-body sizes with a stereo-vision system calibrated using a three-dimensional frame for accuracy and precision. The three-dimensional frame was installed in a water tank and photographed using a stereo camera to obtain the parameters for calibration. An optical character recognition technique was used to detect the feature points on the frame. All the feature points could be detected, and the correct combinations of the points were matched automatically in the stereo images. To obtain the ˆsh-body size, the snouts and tails of goldˆsh in the tank were detected in the stereo video sequences using the Faster R-CNN image recognition technique, and the ˆsh-body lengths were calculated automatically. The accura-cy and precision of the automatic calibration system were equivalent to the manual calibration, whereas those of the automatic ˆsh-body size measurements were lower than the manual measurement. The automatic processes of the calibration and the ˆsh body-size measurement were about 96 and 90 faster than those in the manual process. The issues of the accuracy and precision of ˆsh-body size measurements can be resolved in the future by improving the image recognition accuracy.
キーワードFaster R-CNN，画像認識技術，魚体計測，光学文字認識技術，較正用立体フレーム，ステレオ画 像計測 養殖業では，人件費や餌代に要するランニングコスト の低減を目的に，先進的な技術の導入による高効率かつ 省力化された養成システムの実現が求められている。効 率の良い養殖魚の養成には，養殖魚の体長や体重を定期 的に計測して成長を把握することが重要である。たとえ ば，出荷時期を見込んだ給餌量の調整で成長をコント ロールしたり，成長に応じた分養を行えたりすることか ら，計画的な経営に成長モニタリングは欠かせない。こ れまで，このような養殖魚の成長モニタリングは，目視 観測による推定や捕獲による直接的な計測が主流であっ たが，大きい観測誤差，養殖魚に与える外傷やストレス による商品価値の低下や成長阻害などの問題があった。 これらの問題を解決するために，今日では，成長モニタ リング技術としてステレオカメラを用いた非接触な魚体 計測（ステレオ画像計測）が多数行われている。18) ステレオカメラを用いた魚体計測は，キャリブレー ション済みのカメラで撮影した画像上に投影される対象 魚の 3 次元位置を推定できる。しかし，現状のカメラ キャリブレーションと魚体計測は複数のカメラ画像の処 理を手動で行うため，膨大な作業負荷を必要とする。た とえば Shafait et al.5)は，生簀内のミナミマグロ約 1500 尾の魚体計測におよそ 24 時間を費やした。また，魚体
計測に用いられるステレオカメラは 2 眼ステレオカメ ラが主流だが，5,911)計測の精度（複数回の計測における 計測値のばらつきを表す尺度）と正確度（計測値が真値 にどれだけ近い値かを表す尺度）の向上のために，3 台 以上のカメラを使用したステレオ画像計測の研究も行わ れている。7,8)田中ら7)は，4 眼ステレオカメラによるカ メラキャリブレーションと魚体計測を手動で行ったが， 作 業 負 荷 は 2 眼 ス テ レ オ カ メ ラ と 比 較 し て 大 き か っ た。非接触な魚体計測を養殖経営体に導入するために は，ステレオカメラを用いた魚体計測の作業負荷を低減 するための計測過程の自動化が不可欠である。 魚体計測の自動化には，較正用立体フレームを用いた カメラキャリブレーションの自動化と魚体計測の自動化 の 2 つの課題がある。カメラキャリブレーションは空 間点の座標が既知で容易に判別できる特徴点を撮影し， 空間点と画像上への投影点をマッチングすることで行 う。12)一般的には，チェッカーボード（白黒の市松模様 が印刷されたボード）を用いたカメラキャリブレーショ ンで，各特徴点の位置情報を画像処理で自動検出するプ ロシージャが確立されており，チェッカーボードを撮影 した複数のステレオ画像を準備するだけで容易にカメラ キャリブレーションができる。13)しかし，この手法を用 いたステレオ画像計測では奥行方向に対象が遠ざかると 誤差が大きく，精度，正確度ともに不安定になる傾向が ある。11)そこで，精度と正確度の高いカメラキャリブ レーションを行うため，較正用立体フレームと呼ばれる 堅牢な立体構造物に特徴点を配置する手法が導入されて おり，14)チェッカーボードによるカメラキャリブレー ションよりも精度，正確度が高いことが報告されてい る。11)そのため，高性能な魚体計測には，立体フレーム を用いたカメラキャリブレーションが望ましい。しか し，平面上に存在するチェッカーボードの各特徴点に対 して，立体フレームの各特徴点は立体的に存在するた め，ステレオ画像上の特徴点の位置関係が立体フレーム の投影位置に依存しており，画像処理による特徴点の自 動的なマッチングが困難である。たとえば，2 眼ステレ オ カ メ ラ で カ メ ラ キ ャ リ ブ レ ー シ ョ ン を 行 う場 合 ， チェッカーボードはステレオカメラに向けて撮影し，そ の特徴点は平面上に存在するため，それぞれのカメラ画 像上に投影される特徴点の配置は類似する。一方で，立 体フレームの特徴点は左右方向に限らず，奥行方向にも 広がって位置し，一般的なカメラで採用される透視投影 法では，それぞれのカメラ画像上に投影される特徴点が 類似した配置にはならない可能性があり，特徴点のマッ チングが難しい。ステレオ画像のマッチングはそれぞれ の画像上の特徴点の位置合わせで可能になるが，ノイズ による類似した特徴点が多数出現するため，通常，エピ ポーラ拘束（片方の画像上の投影点がもう片方の画像上 に投影される範囲を推定すること）により特徴点の候補 を絞り込むことで可能になる。しかし，エピポーラ拘束 による絞り込みはカメラキャリブレーションの実施が前 提となる。したがって，立体フレームを使用したカメラ キャリブレーションでは，特徴点の位置関係を画像処理 で自動的にマッチングすることが困難である。計測過程 の自動化のためには，立体フレーム上の特徴点の自動 マッチング手法の確立が不可欠となる。 ステレオカメラを用いた魚体計測は，魚体側面から撮 影し，吻端と尾鰭上下葉の後縁の接合点の 3 次元位置 を推定して尾叉長とすることが主流である。この場合， 対象魚は尾鰭を振動させて遊泳することから，計測され る魚体長は尾鰭が最大に伸長する瞬間を除き過小評価に なる。このような過小評価の影響を軽減させるために， 連 続 する 画 像 フ レ ーム で 魚 体 長 を 推 定 す る 必 要 が あ る。10)Torisawa et al.10)は 1 尾あたり 20 枚のステレオ画 像計測を行っており，これを手動計測に頼ると膨大な作 業負荷を要する。そこで，ステレオカメラによる魚体計 測では，作業負荷の低減を目的とした自動化の研究が行 われている。5,15)しかし現状では，画像処理で 1 枚の画 像から計測位置を正確に自動検出できないため，手動操 作と自動操作を混在させたセミオート式に留まってい る。5)魚体計測の自動化には，複数画像フレームの画像 から吻端，尾鰭上下葉の後縁の接合点の計測位置を自動 で検出する必要がある。 本研究では，カメラキャリブレーションの自動化に寄 与する技術として画像上の文字情報を取得，識別できる 光学文字認識技術（Optical Character Reader: OCR）に， 魚体計測の自動化に寄与する技術として 1 枚の画像上 から関心領域を検出できる深層学習のアプローチのひと つである Faster R-CNN（Regions with Convolutional Neural Networks）に着目した。立体フレーム上の各特 徴点に数字の文字列情報を付し，OCR でステレオ画像 上の文字情報と位置を取得することで，特徴点の自動 マッチングを実現できる可能性がある。画像上の関心領 域を自動的に検出する R-CNN16)は，検出対象の教師画 像と正解となる教師ラベルを紐づけて学習を行い，検出 器を作製し，入力画像上の関心領域を検出できる。近年， R-CNN を 応 用 し た 画 像 認 識 技 術 の 適 用 事 例 が あ り，1719)中でも R-CNN から派生した Faster R-CNN は 非常に優れた検出速度を有する。Faster R-CNN を用い て対象魚の計測部位を自動検出することで，ステレオカ メラを用いた魚体計測を自動化できる可能性がある。 本研究では，較正用立体フレームを用いたステレオカ メラのキャリブレーションと魚体計測に画像認識技術を 適用することで，魚体計測の作業工程の完全自動化を図 り，従来手法の手動操作との比較から一連の工程の妥当 性を正確度，精度，計測時間の観点から検討した。
Fig. 1 Set-up used to obtain camera parameters. (a) dimensional frame and stereo camera installed in the tank. (b) Three-dimensional frame used for calibration. There are 24 feature points attached to a rectangular metal frame measuring approxi-mately 30 cm long on a side. For automatic recognition, a unique number was printed on each of the 24 feature points. The num-bers 0 and 8 are di‹cult to recognize automatically, so they were not included. (c) The stereo camera was made by ˆxing two cameras to a 30 cm-long metal rod.
材料と方法 較正用立体フレームを用いたカメラキャリブレーショ ンの自動化 較正用立体フレーム上の特徴点の認識とス テレオ画像間のマッチングを行うため，OCR を使用し てステレオ画像上の数字でラベルされた特徴点を認識 し，各特徴点の画像位置と立体フレーム上の位置を検出 することでカメラキャリブレーションの自動化を図った。 実 験 に は ， 0.30 × 0.25 × 0.30 m の 金 属 製 の 立 体 フ レームに，数字が印字された 24 枚の薄板を設置して， その中心を特徴点とした（Fig. 1）。本研究では精度 1.2 1.3 mm のレーザー距離計（Leica DISTOTM S910, Lei-ca Geosystems., Sankt Gallen, Switzerland）による計測 点を特徴点の 3 次元位置の真値として扱った。OCR の 文字認識では，事前の確認で誤認識されやすかった 0 と 8 を除いた数字を使用し，画像上の文字を認識した うえで特徴点を検出した。製作した金属製の治具に 2 機のカメラ（HERO5 Session, GoPro Inc., San Mateo, USA ） を 0.30 m の 間 隔 で 取 り 付 け ， 0.90 m 前 方 で 2 機のカメラの光軸が交わるように調節した（Fig. 1）。 動画撮影の設定は，ワイド視野角（垂直画角 69.5°，水 平画角 118.2°，対角画角 133.6°），解像度 1920×1080 pixels，フレームレート 60 fps にした。実験水槽（幅 0.45×奥行 0.90×高さ 0.55 m）に立体フレームを設置 し，ステレオカメラによって水中撮影を行った（Fig. 1）。 2 機のカメラに記録された音声の位相差を利用して撮影 動画の時刻を同期した。20,21)同期された 2 つのカメラ動 画からステレオ画像として同時刻の画像をキャプチャ し ， カ メ ラ キ ャ リ ブ レ ー シ ョ ン を 行 っ た 。 OCR は MATLAB の Computer vision toolbox（MathWorks Inc., Massachusetts, USA）を使用し，各特徴点の文字 認識を行い画像位置の取得を行った。OCR を適用した 自動操作によるカメラキャリブレーションの妥当性評価 のため，同じカメラ動画を用いて手動操作によるカメラ キャリブレーションを行った。自動と手動それぞれの， 特徴点の推定位置と真の位置の 3 次元距離（以下，偏 差）を評価対象とし，特徴点認識の処理に要した時間を 比較した。 画 像 認 識 技 術 に よ る 魚 体 計 測 の 自 動 化 Faster R-CNN18)を用いた深層学習による検出器（学習器）の作 製を行い，検出器によるステレオ画像上の魚体の計測部 位を画像認識することで，魚体計測の自動化を試みた。 Faster R-CNN は，検出対象を関心領域として抽出した 教師画像と，それに付随する正解となるデータ（教師ラ ベル）を与えて学習を行うことで，画像上の関心領域を 検出し，画像認識による魚体検出とともに位置情報の取 得ができる。 Faster R-CNN の学習と計測部位の検出には技術計算 言語 MATLAB の Deep Learning Toolbox と Computer vision toolbox (MathWorks Inc., Massachusetts, USA） を使用した。カメラキャリブレーションで使用した実験 水槽（水温 19°C）に尾叉長 112 mm のキンギョ Caras-sius auratusを放流し 3 時間馴致させた。対象個体の尾 叉長はノギスで計測し，これを真値とした。カメラキャ リブレーションを済ませたステレオカメラで撮影を行っ た（Fig. 2）。魚体計測には，自動操作で行ったカメラ キャリブレーションのうち，正確度，精度が最も小さ かったカメラパラメータを使用した。魚体の画像認識を 行う検出器を構築するため，撮影した映像から吻端およ び尾鰭の画像をそれぞれ抽出し，Faster R-CNN の教師 データセットとした。また，関心領域の識別に特化した 検出器を作製するため，MATLAB の Image processing toolbox (MathWorks Inc., Massachusetts, USA）を使 用し，関心領域が映る 24 ビット RGB 画像を動画から キャプチャし，キンギョのみを抽出する R，G，B 輝度 （R: 3255，G: 0255，B: 0193）を求め，それ以外の 背景を除去した。学習にはトレーニングセット画像を 557 枚，テストセット画像を 140 枚準備し，エポック数
Fig. 2 Fish-body size measurement. (a) The stereo camera was installed in the tank, and the released goldˆsh were recorded. (b) The positions of the measuring points. The centers of gravity of the bounding boxes at the snout and tail were detected using an image recognition technique; they were used as measuring points.
（ひとつの訓練データを繰り返し学習させる回数）を 20 とした。ここで，トレーニングセット数の軽減および学 習時間の短縮を図るため，検出器の構築には学習済み ディープニューラルネットワークのひとつである Alex-Net を転移学習した。学習済みディープニューラルネッ トワークを未学習のディープニューラルネットワークの 前半層に組み込むことで画像の特徴抽出器として利用で き，画像特徴量のクラス分類を担う後半層を重点的に学 習することで，限られたトレーニングセットでも性能を 保ちながら学習時間を削減できる。22)構築した学習器の 性能を評価するために，学習に使用した動画とは異なる 動画から抽出したステレオ画像を検証データとして用い た。1 シーンの計測につき，対象のステレオ画像から連 続する 20 フレーム（0.33 秒間）をひとつのセットとし て解析に用いた。教師画像と同様の画像処理で魚体計測 に使用するステレオ画像の背景を除去した。検出した吻 端および尾鰭のバウンディングボックス（検出した関心 領域を囲む長方形の枠）の重心を魚体計測の計測点とし て尾叉長のステレオ画像計測を行った（Fig. 2）。画像 認識技術を適用した自動操作による魚体計測の妥当性を 評価するために，自動操作と手動操作による魚体長の推 定値と真値の差の絶対値（以下，偏差）および計測点抽 出の処理に要した時間を比較した。 計測の評価 本研究で行ったカメラキャリブレーショ ンと魚体計測の妥当性を評価するため，従来の手動操作 によるカメラキャリブレーション，魚体計測をともに実 施し，正確度（平均と真値の差の絶対値），精度（標準 偏差），処理に要した時間（以下，処理時間）の 3 つの 観点から比較した。手動操作では，操作者間で生じる計 測誤差を考慮して，手動による魚体計測の操作に 1 年 間従事した者が 1 人で操作した。カメラキャリブレー ションと魚体計測にはそれぞれ 6 シーンのステレオ画 像セットを検証データとして準備し，データ番号を 16 とした。カメラキャリブレーションでは，偏差からの正 確度，精度を算出した。魚体計測では，偏差からステレ オ画像計測の正確度，精度を算出した。処理時間に関し ては，自動操作と手動操作で共通する処理（被写体の撮 影，ステレオ画像の抽出処理など）に要した時間を除い て比較した。 カメラキャリブレーションならびに魚体計測における 自動操作と手動操作の正確度を比較するために，手法 （自動操作，手動操作）とデータ番号（16）を要因に もつ二元配置分散分析で偏差を検定した。加えて，自動 操作と手動操作の精度を比較するために，手法（自動操 作，手動操作）とデータ番号（16）の組み合わせで構 成される 12 群の偏差についてバートレット検定を行っ た。精度に有意差が認められた場合には，データ番号別 に手法間で，ボンフェローニ補正による多重性を考慮し た F 検定を行った。いずれの検定においても統計的有 意水準を 0.05 とした。 結 果 較正用立体フレームを用いたカメラキャリブレーショ ンの自動化 OCR を用いて，データ番号 16 のステレ オ画像上の全数字ラベルを認識し，各 24 点の特徴点の 正しいマッチングが行われた（Fig. 3）。真の位置との 偏差の四分位範囲は，自動操作のカメラキャリブレー ションで 1.51.9 mm，手動操作によるカメラキャリブ レーションで 1.11.6 mm であった（Fig. 4）。データ番 号 16 について，それぞれの正確度と精度は，自動操 作では 2.0±1.3，2.1±1.6，2.1±1.6，2.1±1.5，2.0± 1.6，2.0±1.7 mm で，その平均は 2.1±1.6 mm であっ た。手動操作では 2.3±1.5，2.1±1.8，2.2±1.8，1.9± 1.1，1.9±1.1，2.0±1.5 mm で，その平均は 2.1±1.5 mm であった。処理時間は，自動操作で 8±0 秒，手動 操作で 227±29 秒であった（Fig. 5）。二元配置分散分
析によって正確度を比較した結果，データ番号，手法間 に有意差は認められなかった（Two-way ANOVAデー タ番号 F＝0.08, p＝1.00手法 F＝0.04, p＝0.85）。ま た，手法，データ番号の間に有意な交互作用は認められ なかった（Two-way ANOVA; F＝0.14, p＝0.98）。次 に，自動操作 6 群，手動操作 6 群の計 12 群の精度を比 較 し た 結 果 ， 有 意 差 は 認 め ら れ な か っ た （ Bartlett's test; F＝10.77, p＝0.46）。 以上の結果から，カメラキャリブレーションの自動操 作は手動操作と比較して精度と正確度に差がなく，処理 時間の平均の差から，処理時間は 220 秒程度短縮され たことが分かった。 魚体計測の自動化 Faster R-CNN を用いて，データ 番号 16 における連続 20 フレームのステレオ画像の全 画像において吻端と尾鰭を検出した（Fig. 6）。推定尾 叉長の四分位範囲は，自動操作で 3.08.9 mm，手動操 作で 1.33.1 mm であった（Fig. 7）。データ番号 16 の それぞれで正確度と精度は，自動操作では 7.4±5.3， 5.7±3.1，7.8±4.0，5.5±3.1，7.3±3.0，7.2±3.2 mm で，その平均は 6.8±3.6 mm。手動操作では 2.6±1.9， 1.3±1.0，1.1±0.8，1.2±0.9，1.2±0.9，1.2±1.1 mm で，その平均は 1.4±1.1 mm であった。処理時間の平 均と標準偏差は，自動操作で 20±0 秒，手動操作で 197 ±15 秒であった（Fig. 5）。二元配置分散分析によって 正確度を比較した結果，データ番号の 6 群間で有意差 は認められず（Two-way ANOVA; F＝1.98, p＝0.08）， 手法間で有意差が認められた（Two-way ANOVA; F＝ 232.30, p＜0.001）。また，手法，データ番号との間に有 意な交互作用は認められなかった（Two-way ANOVA; F＝1.34, p＝0.25）。次に，自動操作 6 群，手動操作 6 群の計 12 群の精度を比較した結果，有意差が認められ た（Bartlett's test; F＝157.3, p＜0.001）。その後，デー タ番号ごとに手法間で精度を比較した結果，全てのデー タ番号で有意差が認められた（F-test; データ番号 1, F ＝7.44, p＜0.001，データ番号 2, F＝10.48, p＜0.001， データ番号 3, F＝24.22, p＜0.001，データ番号 4, F＝ 11.42, p＜0.001，データ番号 5, F＝10.88, p＜0.001， データ番号 6, F＝8.17, p＜0.001, Bonferroni correction）。 以上の結果から，魚体計測の自動操作は手動操作と比 較して，正確度，精度の平均の差から，正確度は 5.4 mm，精度は 2.5 mm 程度性能が低く，処理時間の平均 の差から，処理時間は 180 秒程度短縮されたことが分 かった。 考 察 本研究では，ステレオ画像に投影される較正用立体フ レーム上の特徴点を OCR の適用で自動的にマッチング することで，立体フレームを用いたカメラキャリブレー ションを自動化することができた。併せて，深層学習の 適用によって実験水槽を遊泳する単一個体を対象とした 魚体計測の自動化を実現できた。計測精度，正確度の高 い立体フレームを用いたカメラキャリブレーションの自 動化を確立できたことから，本研究の目的を達成でき， これを組み入れた自動魚体計測の作業フローを確立でき た。今後，画像認識技術の向上でさらに正確度や精度の 高い計測部位の位置検出が可能になれば，高性能な自動 魚体計測が可能になると期待される。 ステレオ画像計測で得た魚体長の推定値と，魚体長を 利用した体重推定式を用いることで魚体重を推定するこ ともできる。23,24)しかし，尾叉長など魚体の長さにあた るパラメータを利用したモデルから体重を推定する場 合，一般的に体重は長さの累乗に比例するため，体重の 誤差は体長の誤差に対して指数関数的に増大する。23,25) そのため，魚体重を含めた養殖魚の正確な成長把握をす るには，より正確な計測を行う必要がある。ステレオ画 像計測を行う上でカメラキャリブレーションは最も重要 な基礎処理のひとつであり，この処理を疎かにすれば， 計測位置を正確に検出したとしても推定値の誤差は大き くなる。13)本研究の結果では，カメラキャリブレーショ ンの自動操作と手動操作の精度と正確度に差がないこと が分かった。そのため，OCR を使用したカメラキャリ ブレーションの自動化は処理時間が短いことに加えて精 度と正確度の観点からも手動操作に代替する手法として 妥当と考えられる。 魚体計測試験は，視認性の高い実験水槽の映像を用い た検証だったため，現用の養殖生簀や養殖施設での検証 が必要であるが，魚体計測の自動化の作業工程を築くこ とができた。一方で，計測性能について，正確度と精度 は と もに 自 動 操 作 が手 動 操 作 に 劣 る 結 果 と な っ た 。 Boutros et al.11)は，ステレオカメラで 0.40 m の対象物 を計測した際に，誤差の割合が 0.42.8 程度（表に示 された推定体重から尾叉長を推定）となることを示して いる。この結果は，約 1 の誤差を示した手動操作と 類似しており，自動操作においても同等の性能が求めら れる。しかし，自動操作の誤差の割合は約 6 と大き く，手動操作より大きな値であった。全ての養殖魚に対 して同程度の割合で誤差が発生するならば，養殖魚のサ イズによっては誤差が増大する可能性がある。魚体計測 結果から養殖魚の体重を正確に推定するには，より正確 な計測を行う必要があるため，自動操作による魚体計測 の実用化には，検出器の精度と正確度のさらなる向上が 必要である。本研究では，自動魚体計測の計測位置を， 吻端および尾鰭を含む関心領域を囲んだバウンディング ボックスの重心としていた。Faster R-CNN による画像 認識で対象の吻端と尾鰭を含む関心領域を検出したが， 吻部や尾鰭上下葉の後縁の接合点の計測位置が必ずしも
Fig. 3 Stereo pair of feature-point detection results ob-tained using optical character recognition. The detect-ed numbers are displaydetect-ed in yellow near the feature points.
Fig. 4 Comparison of automatic and manual calibration. The horizontal axis shows the numbered independent data pairs. The vertical axis is the diŠerence between the true and estimated positions on the three-dimen-sional coordinate system. The maximum whisker length is 1.5 times the length of the box; values above this are outliers (＋).
Fig. 5 Processing time for ˆsh-size measurements and calibration with error bars. The calibration data represented here is the processing time for six stereo pairs. The measurement data represented here are the processing time required for size measurements calcu-lated using 20 consecutive frames in six stereo pairs.
Fig. 6 One of the stereo pairs of detection results of snout and tail using the image recognition technique. The most reliable regions of interest are displayed with yellow bounding boxes.
Fig. 7 Automatic and manual fork length estimation results. The horizontal axis shows the numbered in-dependent data pairs. The vertical axis represents the estimated fork lengths of goldˆsh Carassius auratus. The straight horizontal line indicates the true fork length of goldˆsh. バウンディングボックスの重心に位置するとは限らず， 正確度が低下する結果に至ったと考えられる。加えて， 計測位置に対する検出位置のばらつきについては，対象 が自由遊泳中の動体で検出が安定しないこと，使用した 教師画像が 557 枚で，一般的に，画像の深層学習では 少ないデータセット数だったことも影響していると考え られる。しかし，本研究の目的は自動魚体計測の作業工 程の構築であり，正確度，精度の向上に主眼を置く研究 については今後の課題としたい。 本研究では，単一個体の自動魚体計測を行ったが，養 殖生産現場への導入には複数の養殖魚が遊泳する環境で 計測を行う必要がある。複数個体を対象とする場合， Faster R-CNNによる画像認識では一枚の画像から，そ れぞれの個体の位置を検出できるが，魚体計測を行うに は，ステレオ画像上に点在するそれぞれの個体をマッチ ングさせなければならない。正確度と精度を担保するた めに連続する複数画像フレームを解析するとなれば，前 後の画像フレームにおいても同一個体のマッチングが必 要となり，本研究の手法で複数個体を計測するにはさら なる改良が求められる。Shafait et al.5)は，1 枚の画像 から手動操作で計測位置の検出を行い，それに対応する ステレオ画像上の位置をエピポーラ拘束と計測部位のテ ンプレートマッチング（任意の投影点に類似した特徴を 持つ投影点を画像上で探索，マッチングすること）で連 続した画像フレームでのセミオート魚体計測を実現して いる。Faster R-CNN を用いて計測する全画像で同一個 体のマッチングができなくても，このように画像処理技 術を応用すれば，1 枚の画像から連続するステレオ画像 において同一個体を自動検出できる可能性がある。 手動操作によるステレオ画像計測では，カメラキャリ ブレーションや魚体計測に大きな作業負荷がかかってい る。本研究では，立体フレームによるカメラキャリブ レーションと魚体計測の自動化で処理時間の短縮を図 り，カメラキャリブレーション，魚体計測の自動操作の 処理時間がその平均からそれぞれ手動操作の約 1/28， 約 1/10 に短縮できたことから（Fig. 5），自動化で作業 効率が向上するといえる。 本研究では，尾鰭が二叉に分かれた養殖魚の尾叉長を 計測する手法を提案した。計測部位の吻部と尾鰭上下葉 の後縁の接合点は魚体の中でも特徴的な部位であるた め，画像認識技術によって容易に検出できたと考えられ る。魚類養殖業では尾叉長の計測が可能な魚種が多いた め，本手法を様々な養殖魚に応用することが可能と考え られる。ヒラメのように尾叉長が計測できない魚種で は，魚種ごとに尾鰭の形を学習させて計測位置を自動検 出することで，画像認識技術を用いた自動魚体計測が可 能と考えられる。また，計測位置を正確に把握できなく ても，画像認識技術を用いて魚体を検出できれば，画像 処理によって背景を分離した画像から魚体の長軸を全長 とすることで，自動魚体計測が可能となる。 一方で，魚体計測の作業過程を自動化できたが，自動 魚体計測の精度，正確度の向上と，複数個体の同時計測 に課題が残った。自動検出した各部位の近傍に限定した 画像処理を行えば，正確な計測位置を検出できる可能性 がある。計測位置の正確な検出が叶えば，魚体計測精 度，正確度共に向上できる。今後，魚体計測精度と正確 度の向上及び，複数個体を同時計測するために画像処理 技術を用いることは必須と言える。本手法と画像処理技 術を組み合わせることで魚体計測システムの完全自動化 が達成できれば，ステレオカメラを用いた魚体計測の実 用化へとつなげることが可能になる。 謝 辞 本研究を進めるにあたり，多大なご助力を賜った古野 電気株式会社 浅海茂氏，山口武治氏，中村悟史氏，池 上温史氏にこの場を借りて深く感謝申し上げます。ま た，本研究を行うにあたり終始ご助言とご協力をいただ いた北海道大学院水産科学院水産工学講座の池田龍之介 氏をはじめとする構成員の皆様に謹んでお礼申し上げま す。多くの建設的なコメントを頂きました編集委員およ び査読者 2 名に感謝申し上げます。なお，本研究は古 野電気株式会社受託研究によって行われ，一部は公益財 団法人南北海道学術振興財団の助成事業により支援され た。
文 献
1) RuŠ BP, Marchant JA, Frost AR. Fish sizing and monitor-ing usmonitor-ing a stereo image analysis system applied to ˆsh farming. Aquacult. Eng. 1995; 14(2): 155173.
2) Shieh ACR, Petrell RJ. Measurement of ˆsh size in atlan-tic salmon (salmo salar l.) cages using stereographic video techniques. Aquacult. Eng. 1998; 17(1): 2943.
3) Harvey E, Cappo M, Shortis M, Robson S, Buchanan J, Speare P. The accuracy and precision of underwater measurements of length and maximum body depth of southern blueˆn tuna (Thunnus maccoyii) with a stereo-video camera system. Fish. Res. 2003; 63: 315326. 4) Torisawa S, Kadota M, Komeyama K, Takagi T. A
Tech-nique of three-dimensional monitoring for free-swimming Paciˆc blueˆn tuna Thunnus orientalis cultured in a net cage using a digital stereo-video camera system. Fish. Eng. 2012; 49(1): 1320.
5) Shafait F, Harvey ES, Shortis MR, Mian A, Ravanbakhsh M, Seager JW, Culverhouse PF, Cline DE, Edgington DR. Towards automating underwater measurement of ˆsh length: A comparison of semi-automatic and manual stereo-video measurements. ICES J. Mar. Sci. 2017; 74: 16901701.
6) Komeyama K, Tanaka T, Yamaguchi T, Asaumi S, Torisawa S, Takagi T. Body measurement of reared red sea bream using stereo vision. J. Rob. Mechatron. 2018; 30(2): 231237.
7) Tanaka T, Komeyama K, Torisawa T, Yamaguchi T, Asaumi S, Takagi T. Performance of a multi-stereovision technique to enhance the accuracy of ˆsh body measure-ment for aquaculture managemeasure-ment. Nippon Suisan Gak-kaishi2019;85: 314320 (in Japanese with English ab-stract).
8) Tanaka T, Ikeda R, Yuta Y, Tsurukawa K, Nakamura S, Yamaguchi T, Komeyama K. Annual monitoring of growth of red sea bream by multi-stereo-image measure-men. Fish. Sci. 2019; 85: 10371043.
9) Harvey E, Fletcher D, Shortis M. Estimation of reef ˆsh length by divers and by stereo-video. Fish. Res. 2002;57: 255265.
10) Torisawa S, Kadota M, Komeyama K, Suzuki K, Takagi T. A digital stereo-video camera system for three-dimen-sional monitoring of free-swimming Paciˆc blueˆn tuna, Thunnus orientalis, cultured in a net cage. Aquat. Living Resour. 2011;24(2): 107112.
11) Boutros N, Shortis MR, Harvey ES. A comparison of calibration methods and system conˆgurations of under-water stereo-video systems for applications in marine
ecology. Limnol. Oceanogr.: Methods 2015; 13(5): 224236. 12) 池上康男，桜井伸二，矢部京之介．DLT 法．Jpn. J.
Sports Sci. 1991; 10: 191195.
13) Chen C, Zheng YF. New robotic hand/eye calibration method by active viewing of a checkerboard pattern. Proc.IEEE Int. Conf. Rob. Autom. 1993;2: 770775. 14) Chen L, Armstrong CW, Raftopoulos DD. An
investiga-tion on the accuracy of three-dimensional space recon-struction using the direct linear transformation technique. J. Biomech. 1994;27: 493500.
15) Shortis MR, Ravanbakskh M, Shaifat F, Harvey ES, Mian A, Seager JW, Culverhouse PF, Cline DE, Edgin-gton DR. A review of techniques for the identiˆcation and measurement of ˆsh in underwater stereo-video image se-quences. Proc. SPIE Videometrics, Range Imaging, Appl. XII; Autom. Visual Insp. 2013; 8791: 8791 0G 110. 16) Girshick R, Donahue J, Darrell T. Rich feature hierarchies
for accurate object detection and semantic segmentation. Proc. IEEE Conf. Comput. Vis. Pattern Recog. 2014;1: 580587.
17) Girshick R. Fast R-CNN. Proc. IEEE Int. Conf. Comput. Vis. 2015; 1: 14401448.
18) Ren S, Kaiming H, Ross G, Jian S. Faster R-CNN: Towards real-time object detection with region proposal networks. Adv. Neural Inf. Proc. Syst. 2015; 28: 9199. 19) He K, Gkioxari G, Dollar P, Girshick R. Mask R-CNN.
IEEE Trans. Pattern Anal. Mach. Intell. 2020;42: 386 397. 20) 米山和良，國澤慎太郎，外薗博人，小谷知也，今村昭 則，松岡達郎．画像解析による水槽内を遊泳するクロマ グロ稚魚の3 次元位置の検出．数理水産科学 2015;12: 5161. 21) 池田龍之介，田中達也，池上温史，中村悟史，米山和 良．音声同期手法におけるステレオ画像計測へのフレー ムレートおよびシャッター速の影響．水産工学2019; 56(2): 8589.
22) Allken V, Handegard N, Rosen S. Fish species identiˆca-tion using a convoluidentiˆca-tional neural network trained on syn-thetic data. ICES J. Mar. Sci. 2019; 76: 342349. 23) Taylor RB, Willis TJ. Relationships amongst length,
weight and growth of north-eastern New Zealand reef ˆshes. Mar. Freshwater Res. 1998; 49(3): 255260. 24) Yagi M, Yamada M, Shimoda M, Uchida J, Kinoshita T,
Shimizu K, Yamawaki N, Aoshima T, Morii Y, Kanehara H. Length-weight relationships of 22 ˆsh species from the East China Sea. J. Appl. Ichthyol. 2015; 31(1): 252254. 25) Harvey E, Fletcher D, Shortis M. Estimation of reef ˆsh
length by divers and by stereo-video: A ˆrst comparison on the accuracy and precision in the ˆeld on living ˆsh un-der operational conditions. Fish. Res. 2002; 57: 255263.
