1. はじめに
カキとは，軟体動物門二枚貝綱ウグイスガイ目イタ ボガキ科に属する二枚貝の総称である．カキは世界に 約200種類ほどを有し，日本近海にはその中の30種類前 後が生息すると考えられている[1]．カキの成長過程は 産卵期，卵，浮遊期，および成貝期に区分され，それ ぞれの生態や特性，環境との関係は緊密である．その 結果，カキの育成について，清浄度，プランクトン， 気象，海水温など様々な環境はカキの収穫に大きな影 響が出る．その要因に基づいてカキの収穫を予測する 研究は多く存在している．それらは関連研究の中で紹 介する． 一方で，近年，人工知能の発達により，画像解析の 技術は近年大きな発展を遂げてきている． 本研究では， 従来でのアプローチとは異なり，カキの生育状況を画 像により分析することを試みる． 近年，人工知能は多くの分野で広く利用されている が，水産物分野では研究成果があまり多くなく．その 主な理由の一つはデータセットの作成が困難であるこ とである．カキの場合，海中で生息しているカキのデ ータセットがない． 本実験の目的は，カキ生育予測のためのデータセッ ト作成の基礎検討を行う．提案手法はセマンティック セグメンテーションの技術を使う．そのため，セマン ティックセグメンテーションを作成するのに十分なデ ータ数が何枚必要かを，他のデータセットを対象にし たうえで，検討する．2. 関連研究
2.1 カキの成長に関するレビュー 環境要因によるカキの成長予測については，多くの 研究がある． 例えば，奥村の論文[2]では，生産性向上のため，カ キの摂餌量を基にした適正養殖量の算出の課題につい て検討した．この研究で，カキの成長モデルを作成す るにあたり，センサーを用いて水温やクロロフィル （Chl a）量を連続観測し，得られた蛍光 Chl a 値から， 1日ごとの平均値を求めてカキの個体成長モデルを作 成している[2]．また文献[3][4]では，成長モデルを改良 し，経時的なカキの重量変化（実測値）と比較するこ とで，モデルの適合性について検討した．また，その 改良された成長モデル季節ごとの摂餌量を算出するこ とで，摂餌量が最大となり餌不足となりやすい時期を 特定している． 文献[5][6]では，震災前後環境の変化を対象にカキの 成長や水揚げ量，水質へ及ぼす影響等について解析を 行っている．その結果，カキ養殖筏の台数を震災前の 1/3に削減することでカキの身入りや成長を速め，筏1 台当たりの水揚げ高が増加すること，海底へ沈降する カキ糞が減少することで海底付近での酸素消費が抑制 され，底層DOが1mg/l以上改善することを実証した． このように，多くの研究では，センサーを用いて水 温や水質などカキを取り巻く環境を観測し，そのデー タを用いて成長モデルを作成している．本研究では， これらと異なり，画像を用いることによりカキの成長 状態を予測する．画像を用いるメリットは，水質や温 度など間接的な情報から成長状態を因果関係により推セマンティックセグメンテーションによる牡蠣生育予測のための
データセット作成の基礎検討
Preliminary Investigation of Dataset Creation to Predict
Oysters Growth by Semantic Segmentation
大阪府立大学
○
梁志鵬 佐賀亮介Zhipeng Liang and Ryosuke Saga Osaka Prefecture University
Abstract－Regarding the breeding of oysters, various conditions such as cleanliness, plankton,
weather, seawater temperature as well as their forms have a great influence on oyster harvesting. As a result, predicting the number of oysters that can be harvested is difficult. This study tries to predict the number of oysters that can be harvested from the image of oysters based on Deep Learning, actu-ally, semantic segmentation. However, there is no dataset to learn the model for semantic segmenta-tion. Therefore, at first, this paper discusses dataset creation from the viewpoints of the amount of images and differences of features of semantic segmentation methods.
Key Words: Semantic Segmentation， Deep Learning， Data Mining in Marine
定せずとも，何よりも直接的に観測が可能である点で ある．特にロボット船が発達するにつれ，自動航行に よる自動観測が可能となり，従来と異なり水中の画像 も手に入りやすくなることもあり，画像を用いた分析 は現実味を持っている．この背景から，我々は画像解 析を元にカキの成長を予測しようと試みる． 2.2 提案アプローチ 本論文では，提案するアプローチは以下の通りであ る．まず，入力画像として水中カメラで撮影されたカ キの画像を入力する．その画像に対して，鮮明化やノ イズ除去などの前処理を含めて，Deep Learningを適用 し，カキの個体を認識する．具体的には，セマンティ ックセグメンテーションを行うことで，カキの個体の 大きさごとにクラス分けをする． 上記のことからも本研究においては，Deep Learning が重要な手法の一つである．しかしながら，それを適 用するためのデータセットがまだ存在していないため， そのデータセットを作成しなくてはいけない．本論文 では， Deep Learningについて議論した後，必要なデー タセットの規模について議論し，また実験にて必要な データセット量を求める
3. 機械学習と Deep Learning
3.1 機械学習 機械学習（Machine learning）とは，人工知能におけ る研究課題の一つで，人間が自然に行っている学習能 力と同様の機能をコンピュータで実現しようとする技 術・手法のことである[7]．機械学習ではセンサーやデ ータベースなどから，サンプルデータ集合を入力して 解析を行い，そのデータから有用な規則，ルール，知 識表現，判断基準などを抽出する[8]． 機械学習で用いられるアルゴリズムは，データが生 成された潜在的モデル（生成モデル）の特徴を捉え， パターンを識別する．続いて，その識別したパターン を用いて，新たなデータについて予測を行う．そして 学習によって得た知識を用いて，新たな入力データに ついて予測や分類，識別といったタスクに応じた処理 を行う． 機械学習は検索エンジン，医療診断，スパムメール の検出，金融市場の予測，DNA配列の分類，音声認識 や文字認識などのパターン認識，ゲーム戦略，ロボッ トなど，幅広い分野で用いられている．応用分野の特 性に応じて学習手法も適切に選択する必要があり， 様々な手法が提案されている[9]．これらの手法は，テ ストデータにおいての検出，予測性能において評価さ れる． 3.2 Deep Learning Deep Learningとは，多層のニューラルネットワーク による機械学習手法の一つである[10]．Deep Learning の登場以前，４層以上の深層ニューラルネットは，局 所最適解や勾配消失などの技術的な問題によって十分 学習させられず，性能も芳しくなかった．しかし，近 年，ヒントンらによる多層ニューラルネットワークの 学習，研究や，学習に必要な計算機の能力向上，およ び，Webの発達による訓練データ調達の容易化によっ て，十分学習させられるようになった．その結果，音 声・画像・自然言語を対象とする問題に対し，他の手 法を圧倒する高い性能を示している[10]． 3.3 セマンティックセグメンテーション セマンティックセグメンテーションは画像を画素レ ベルで把握することである[11]．つまり，画像内の各画 素をオブジェクトクラスに割り当てようとすることで ある．Fig. 1はセマンティックセグメンテーションの例 である．Fig. 1では，オートバイと，それに乗車してい る人物を分けて識別し，更に各オブジェクトの境界を 示す輪郭線を描いている．そのため，クラス分類とは 異り，モデルから画素単位の高密度な予測を行う． セマンティックセグメンテーションについては，近 年多くの研究が行われている．代表的な手法としてU-Net，SegNet，PSPNet [12][13][14]がある．U-Netは2015 年に発表されたセグメンテーションのためのencoder-decoderモデルで，医療用のセグメンテーション課題で 成果を出した．U-Netの特徴は，チャネルに対する連結 をしてるので，画素の位置情報(コンテキスト)を保つ ことができる．SegNetはケンブリッジ大学が提案した セマンティックセグメンテーション手法である．本モ デルは，交通シーンを対象に画素単位でセグメンテー ションを行っている．PSPNetは2016年に登場したピラ ミッド型モデルである．ピラミッド型モデルを用いる ことでコンテキストを集約することができ，局所的な 特徴と大域的な特徴を共に利用することができる．まLeft: Input image. Right: Result of semantic segmentation. Fig. 1: example of semantic segmentation
た，モデルの性質上，U-NetとSegNetと比べて，深いモ デルになっている． 第4章の評価実験では，我々は3つのモデルの精度と データ量の関係を実験的に分析する． 3.4 データセットとData Augmentation 機械学習においてデータセットは最も重要といって も過言ではない．データセットは学習プロセスにおい て，モデルのパラメータを改善するのに用いられる． そのため，十分なデータがしかしながら，このデータ セットを作成することは，場合によっては専門家に作 成してもらわなくてはならず，十分な学習に必要なデ ータ製作は高コストである． このデータセットの問題を解決する一つの手段とし て，Data Augmentation が有効である．Data Augmentation とは，訓練データの画像に対して移動，回転，拡大・ 縮小など人工的な操作を加えることでデータ数を水増 しするテクニックである，特に画像データに対して， 画像数は少ない時，認識精度が向上することが出来る．
4. 評価実験
4.1 目的 本実験では，セマンティックセグメンテーショの各 モデルの精度を比較することにより，学習に必要なデ ータセットの規模を推測する．本実験では，セマンテ ィックセグメンテーションとして，すでに紹介したU-Net，SegNet，PSPNetを用いる． 本実験では，データセットの規模を推定するために， ２つの実験を行う．１つ目は，訓練データ数を10枚か ら300枚までの区間で比較し，精度と効果の変化を検証 する．２つ目は各手法に対して，Data Augmentationを 用いてデータ量を増加させたときの精度に対して検証 する実験である．このとき，元画像10枚，20枚，30枚， 40枚からData Augmentationを使って，300枚，600枚， 900枚，1200枚の画像を生成し，これらを用いて学習を 行い，結果を比較する． 本実験で用いたデータセットはDaimler Pedestrian Segmentation Benchmarkから取得できる人物認識のデ ータセット[15][16]である，このデータセットには，300 枚の画像とそれに対応するセマンティックセグメンテ ーションの答えが含まれている． 4.2 実験結果1 つ目の実験結果を Fig. 2 と Fig. 3 で表示する．Fig. 2 は 10 枚から 300 枚まで，U-Net，SegNet，PSPNet に ついて，認識精度の変化である．訓練データとして 300 枚を用いた時，PSPNet の精度が一番高いことがわかる． しかし，データ量が減少すると，PSPNet の精度は著し く悪化している．一方で，訓練データ量が少ない時， U-Net は一番精度が良いモデルである．ただし，PSPNet のみが，訓練データとして 300 枚の画像を用いた時に 90％の精度を達成できていることがわかる．これらの ことから，Data Augmentation を用いない場合，90％以 上の高精度を達成するためには，画像数は少なく 300 枚が必要であるが，それに近い精度ならば，U-Net に よって 90 枚以上あれば達成できることがわかる．ま た，Fig. 3 は，各モデルにおいて訓練データの枚数を変 化させたときの予測結果のサンプルである．この図か らも，PSPNet では 100 枚程度の画像では十分な精度が 出ていないことがわかるが，U-Net や SegNet では 100 枚の学習でもそれなりの推測ができていることがわか る．
Data Augmentation を用いた結果を Fig. 4 に示す．Fig. 4 の横軸は，学習に用いた元画像の枚数を示している．
Fig. 3: Comparison among U-net, SegNet, and PSPNet
Fig. 2: Comparison among U-Net, SegNet, and PSPNet
Fig. 2 の結果から，30 枚の元画像があれば，Fig. 2 と同 等の精度が得られていることがわかる．特に SegNet に おいては，最も性能がよくなっており，Fig. 2 の結果と 比べて大幅にパフォーマンスが上がっている．一方で， U-Net，PSPNet は，元画像が 10 枚しか画像がないとき であっても，十分な結果が得られており，特に U-Net は，30 枚，40 枚と元画像が増えたときに，安定した精 度向上をもたらしている．PSPNet は，Fig. 2 のときと 比べて Data Augmentation により訓練の画像枚数を増 やすだけで，結果が大幅に良くなっていることがわか る．しかしながら，Fig.2 と同等の 90％の精度を満たす にはいたらなかった． 以上の結果をまとめると，３つのモデルを比べてオ リジナルの訓練データ量が充分あるならば PSPNet が 最も効果よいことがわかる．しかしながら，訓練デー タをこれから生成するならば，Data Augmentation の使 用の有無にかかわらず，U-Net が安定した精度を出し ている．これらから，達成するべき精度にもよるが， 90％近い精度を出すには，U-Net を用いた場合には少 なくとも訓練データ 30 枚を作成する必要がある．
5. おわりに
本稿では，画像を用いてカキの成長を分析・予測す るための深層学習に基づいたアプロートとそのための データセットの新しい手法を提案する． 以前の環境分 析方法とは異なり，この研究では異なる水や温度など は考慮されていないため，カキの写真から直接分析さ れ，適用範囲はより広範囲である． それはまた，IOT と養殖の組み合わせの議論でもある．学習するデータ セットはDeep Learningの結果に大きな影響を与え，そ して，水産物に関するデータセットは存在しないため， 本研究は水産物，特にカキのデータセットの作成を目 的としている． そして提案されたセマンティックセグ メンテーションに対して，3つの代表的なモデルがテス トされた． 今後の課題として，入力画像の前処理が挙げられる． 現在の状況は，海で撮影された写真（Fig.5）は非常に 濁っており，海洋動物や植物などのカキ以外のものが 写真に入る可能性が高い．従って，干渉を除去するた めに前処理が行われなければならない．しかし，海に 濁った写真の処理に関する既存研究はない． Deep Learningにより問題解決も可能ではあるだろうが，画 像の霧除去アルゴリズムなどを用いて処理することも 可能である．これらの適用可能性を調査していく．謝辞
本研究開発は総務省SCOPE(受付番号172107104)の 委託を受けたものです。参考文献
[1] 岡本： カキ浅海養殖(社団法人資源協会編著)， pp. 384-417 (1986) [2] 奥村，縄田，小野，伊藤，原素：宮城県荻浜湾 におけるカキ個体成長モデルについて，水環境学会誌， Vol. 40, No. 4, pp. 167-173 (2017) [3] 赤繁，高山：2003（平成 15）年度広島県水産試 験場事業報告，pp. 32-34 (2004) [4] 赤繁，平田，高山，空本：養殖マガキの酸素消 費量および濾過水量の季節変化，日本水産学会誌，Vol. 71，No. 5，pp. 762-767 (2005) [5] 山本，吉木，小松，佐々，濱名，村田，柳： 志津川湾におけるカキ養殖等の環境容量に関する数値 モデル解析 －震災前と現在の比較，土木学会論文集 B2(海岸工学), 73 巻, 2 号, pp. I_1339-I_1344 (2017) [6] 出村：宮城県におけるカキ養殖の震災被害と復 興状況，農林中金総合研究所 (2012) [7] 宮本：機械学習における特徴抽出と分類に関す る研究，人工知能学会誌，Vol. 16，No. 6，pp. 867 (2001) [8] 原田，機械学習の画像認識への応用， シミュレ ーション, Vol. 34, No. 4, pp. 240-246 (2015)Fig. 4: Comparison of Data Augmentation among U-Net, SegU-Net, and PSPNet
[9] 福島，藤巻，岡野原，杉山：ビッグデータ×機 械学習の展望：最先端の技術的チャレンジと広がる応 用，Joho Kanri /J Inf Proc Manage, Vol. 60, No. 8, pp. 543-554(2017)
[10] 麻生：多層ニューラルネットワークによる深 層表現の学習，人工知能学会誌, Vol. 28, No. 4, pp. 649-659 (2013)
[11] J. Shotton: Semantic texton forests for image cate-gorization and segmentation, 2008 IEEE Conference on Computer Vision and Pattern Recognition, pp. 24-26 (2008)
[12] O. Ronneberger, P. Fischer, and T. Brox: U-Net: Convolutional Networks for Biomedical Image Segmenta-tion, Medical Image Computing and Computer-Assisted In-tervention (MICCAI), Springer, LNCS, Vol.9351, pp. 234—241 (2015)
[13] V. Badrinarayanan, A. Kendall and R. Cipolla: Se-gNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 39, pp. 2481 – 2495 (2017)
[14] H. Zhao, J. Shi, X. Qi, X. Wang and J. Jia: Pyra-mid Scene Parsing Network, 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2017), https://arxiv.org/abs/1612.01105.
[15] T. Scharwchter, M. Enzweiler, U. Franke, and S. Roth: Efficient Multi-Cue Scene Segmentation, Lecture Notes in Computer Science (Proc. of the German Confer-ence on Pattern Recognition (GCPR)), Vol. 8142. pp. 434-435, Springer (2013).
[16] Daimler Pedestrian Segmentation Benchmark Da-taset, http://www.gavrila.net/Datasets/Daimler_Pedes- trian_Benchmark_D/Daimler_Pedestrian_Segmenta-tio/daimler_pedestrian_segmentatio.html
