NARO
※ 農研機構（のうけんきこう）は、国⽴研究開発法⼈ 農業・⾷品産業技術総合研究機構のコミュニケーションネーム（通称）です。 農研機構サイエンスカフェ 2020年2⽉15⽇AIを用いた病害虫識別技術の開発
農研機構農業環境変動研究センター 空間情報解析 岩崎 亘典 1本日の話題
•
自己紹介
• これまでの研究と今回の発表について•
デモンストレーション
• AIを使った病害虫識別•
アプリケーションができるまで
• データを集めましょう • 人工知能を作りましょう • アプリケーションを作りましょう•
おわりに
• 人工知能ができること、人がやること2
あなたは誰？
•
名前：岩崎亘典
（いわさきのぶすけ） • 神奈川県鎌倉市出身 • つくば市在住（2002～）•
主な研究テーマ
• 地理情報システム（GIS）を使った 土地利用変化の解明とその影響 の評価 • オープンデータの公開と活用の推進•
その他活動
• オープンソースGISの普及活動（OSGeo日本支部代表） つまり病害虫の専門家でも
AIの専門家でもありません (^_^;
3GISを使った研究
•
明治時代からの土地利用変化を研究
• 迅速測図という地図を使用 • 筑波山周辺は荒地・草地だらけ • 里山として使われていたため https://hgis.pref.miyazaki.lg.jp/hinata/hinata.html#DReZRPAQcynW https://habs.dc.affrc.go.jp/habs_point/#12.72/36.19699/140.102354
GISを使った研究の大変なところ
•
データの入力に労力がかかる→効率化したい！
• 解決方法1：オープンデータ！ • みんなで使えるデータを共有しよう！ • 解決方法2：深層学習による画像分類！ • 最新の人工知能を活用！ 5深層学習による地図分類
•
深層学習：特に最近、急激に進歩した人工知能
• 細かい説明はのちほど•
旧版地形図からの土地利用図作成に応用
• まだまだ完成してない 人が入力 人工知能作成6
そんなある日のこと。
•
農林水産省のプロジェクト研究が公募される
• ＡＩを活用した病害虫診断技術の開発 • 農林水産省が特に進めたい研究に資金を出す制度 • 農研機構を中心とした研究グループで応募 • AIやってるよね、オープンデータ(公知化)やってるよね • このような経緯で参加し、本日の発表に 7AIを用いた病害虫識別技術の開発
そもそも
人工知能って？
8
たとえば
⼈間のような知性を持ったコンピューター
⼈⼯知能
間違えではないが、全てではありません
9そもそも「人工知能（AI）」とは？
•
ダートマス会議（1956年）の提案で初めて使用
•
今は人間にしか解けない問題を機械で解くこと
https://www.aaai.org/ojs/index.php/aimagazine/article/download/1904/180210
そもそも「人工知能（AI）」とは？
•
「人間の
思考・推論能力を
機械に
模倣
」させる
• （三宅・森川（2016）絵でわかる人工知能） • 「知的能力を模倣」させるので、方法は色々 • エキスパートシステム、遺伝的アルゴリズム、マルコフモデル、ベ イジアンネットワーク、ニューラルネットワーク、etc… • 「知的能力を再現」ではない（あくまで、模倣） • 人と同じ方法で知的能力を発揮しなくてもいい•
研究分野
であり、かつ、
問題解決のツール
でもある
11そもそも「人工知能（AI）」とは？
•
強いAIと弱いAI
• 特定の問題の解決に特化したものが弱いAI • 知性を持ったといえるものが強いAI•
多くの人が想像するのは「
強いAI
」
•
今活用されているAIは「
弱いAI
」
• 特定の機能が得意 https://ja.wikipedia.org/wiki/強いAIと弱いAI12
そもそも「人工知能（AI）」とは？
•
人工知能研究の歴史
• 2度の冬の時代と3度のブーム。現在は3度目のブーム • 期待と失望が繰り返される • 深層学習（Deep Learning）の発展 Google画像検索での「⼈⼯知能+冬の時代」の検索結果 13深層学習（Deep Learning）とは
•
日々のニュースや、普段の生活にも、たびたび登場
Match 2 - Google DeepMind Challenge Match: Lee Sedol vs AlphaGo
https://www.youtube.com/watch?v=l-GsfyVCBu0&t=1212 Le et al. (2012) http://research.google.com/archive/un supervised_icml2012.pdf Googleが開発した⼈⼯知能が、 最も「ネコ」として反応する画 像。⼈の⼿を介さず、⼈⼯知能 ⾃体が抽出した特徴である。 Deep Mind者が開発したAlphaGO は、当時世界最強の囲碁棋⼠とい われた李世乭⽒との5番勝負に4対 1で勝利した 写真に何が写っているかを判断するAIも 実⽤化されている
14
深層学習（Deep Learning）とは
•
Office365でも使われてます
15深層学習（Deep Learning）とは
•
第3次AIブームのきっかけ
• “深い”ニューラルネットワークのこと • アルゴリズム的には、誤差逆伝搬とディープ・オートエンコーダ の開発により実用化 • 学習に必要なビックデータの収集と、GPUによる計算能 力の向上も要因Large Scale Visual Recognition Challenge (ILSVRC)誤判定率。 2012にDeep Learningが登場して以降、圧倒的正答率を⽰している。
16
深層学習（Deep Learning）とは
•
Deep Learningの位置づけ
機械学習のサブセットであるディープラーニングが、これまでにない破壊 的イノベーションを起こしています 出典：https://blogs.nvidia.co.jp/2016/08/09/whats-difference-artificial-intelligence-machine-learning-deep-learning-ai/ 17Deep Learning（深層学習）について
•
Deep Learningと機械学習の比較
• 従来の機械学習：人による特徴量の設定 • 利点：データが少なくとも可能、金銭的、計算能力的に安価、モデルを 解釈しやすい • Deep Learning：特徴量抽出、モデル構築、分類を自動化 • 分類精度が高い、データのスケールメリット、複雑な特徴選択が不要、 適応性、応用性が高い https://jp.mathworks.com/discovery/deep-learning.html ⼈による 特徴量設定 画像処理によ る特徴抽出 モデルによる 分類 学習⽤画像 の準備 AIによる特徴量の抽出 と画像の分類Deep Learning（深層学習）について
•
Deep Learningと機械学習の使いどころ
• 機械学習：データが少なく、特徴が明瞭な現象 • Deep Learning：データが多く、複雑な現象 • 1カテゴリー、最低でも1000サンプル • 目的に応じた使い分けが必要•
Deep Learningにも
様々な手法
がある
• CNN、RNN、GAN、DQN、etc… 国⽴遺伝学研究所神沼⽒作成スライド https://www.slideshare.net/ekaminuma/180126dstep http://cs229.stanford.edu/materials/CS229-DeepLearning.pdfDeep Learning（深層学習）について
•
畳み込みニューラルネットワーク（
CNN
）
• 「畳み込み」と「プーリング」を繰り返す • 画像の特徴量を抽出し、識別モデルを構築•
主に「
分類
」に使われる
• 写っているのが「犬」か「猫」かなど•
この
CNNで病害虫被害画像の識別
できないか！？
畳み込みニューラルネットワークの構造 http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf20
AIを用いた病害虫識別技術の開発
なぜ、Deep Learningを使って
病害虫識別をするの？
それのために何をすればいいの？
21日本農業の課題
•
人手不足
• 高齢化、非熟練農 業者の増加•
大規模化
• 一人当たりの作業 面積の増加•
様々な農業形態
• 多様な病害虫•
非熟練者でも可能
な、病害虫診断技
術の開発が必要
59.1 61.1 63.2 65.8 66.3 0 100 200 300 400 500 600 ’95 [414] ’00 [389] ’05 [335] ’10 [261] ’15 [209] 10 20 30 40 50 60 70 75歳以上 70-74歳 65-69歳 60-64歳 50-59歳 40-49歳 39歳以下 平均年齢 農業就業⼈⼝の平均 年齢 （歳） 農 業就業⼈⼝ （万⼈） コナジラミ類 アザミウマ類 黄化葉巻病 退緑黄化病 青枯病 センチュウ類 多様な営農形態、環境、病害⾍22
多くの人が簡便につかえるためには？
•
スマートフォンアプリとして開発
• スマートフォンの操作に習熟してないユーザーを想定 • 簡単であれば、だれでも使える • 必要かつ最低限の機能の提供が重要 • 「何でもできる」は「何もできない」のと同じ 22– 細かいボタンや操作は不得手
– 複雑な画面遷移だと混乱の恐れ
– 暗黙の操作ルールは通じない
⽇本農薬資料より作成 23スマフォアプリを作るために必要なこと
•
アプリケーションは出口
• 人工知能を学習しないとならない • 学習するための画像を集めないとならない•
すなわち
• 「学習データの収集」、「人工知能の学習」、「アプリの 開発」の3つテーマを行う 診断アプリ 識別AI 学習⽤データ24
AIを用いた病害虫識別技術の開発
研究の概要
25AI を活⽤した病害⾍診断技術の開発
•
「病害虫被害画像のデータベース化」、「人工知能の
学習」、「アプリの開発」のために、多くの機関が参画
• データ収集、技術開発・検証、普及・実用化まで一体で実施 • H29～33年まで、5ヶ年のプロジェクト26
病害虫被害画像のデータベース化
•
四作物の病害虫被害画像の収集とデータベース化
• トマト、イチゴ、キュウリ、ナスを対象 • 寒冷地から温暖地まで24府県で調査•
多様な環境・作物・病害虫
の画像を収集
⽇本国内における 主な野菜の⽣産額（単位・億円） 研究実施道府県および対象作物 27病害虫被害画像のデータベース化
•
接種試験による被害画像の収集
• 接種試験または同定を行い、被害画像を収集する • Deep Learningの学習では「正しい被害画像」が必要 • 誤った画像に基づく学習では「誤った結果」を正しく返す • 対象は各試験機関毎に約10種程度 • 4作目で約80種の病害虫が対象 • 被害発生初期から末期まで、時系列でデータを取得する • AIの学習に必要な多様な被害画像を収集する 農研機構撮影 ⾼知県撮影 農研機構撮影 キュウリへMYSVを接種した場合の初期から末期までの被害写真28
病害虫被害画像のデータベース化
•
撮影した画像の例：トマト
オオタバコガ （岩⼿県） 褐⾊輪紋病 （茨城県） うどん粉病 （新潟県） すすカビ病 （岐⾩県） オンシツコナジラミ （広島県） タバココナジラミ （九沖研） 29病害虫被害画像のデータベース化
•
撮影した画像の例：イチゴ
ナミハダニ （兵庫県） ワタアブラムシ （静岡県） うどんこ病 （⾹川県） うどんこ病 （⻑崎県） 萎⻩病 （宮城県） イチゴ炭疽病（萎凋症） （栃⽊県）30
病害虫被害画像のデータベース化
•
撮影した画像の例：キュウリ
ミカンキイロアザミウマ （愛知県） ナミハダニ （⻑野県） MYSV （⾼知県） べと病 （宮崎県） つる枯病 （福島県） うどんこ病 （埼⽟県） 31病害虫被害画像のデータベース化
•
撮影した画像の例：ナス
うどんこ病 （三重県） 健全株 （⼭梨県） トマトハモグリバエ （京都府） カンザワハダニ （中央農研） 半⾝萎凋病 （群⾺県） ⻘枯病 （富⼭県）32
病害虫被害画像のデータベース化
•
データベースへの登録
• 以下の項目についてメタデータを付与 • 多い方が望ましいが、撮影画像数が減少する懸念 • 下線が入力が必要な情報 メタ情報名 説明 備考 FileName ファイル名 試験IDと撮影⽇時等から⼀意的に⽣成 Model 撮影カメラ名 CreateDate 撮影⽇時 GPSLatitude 緯度 GPSまたは、QRコードにより付与 GPSLongitude 経度 GPSまたは、QRコードにより付与 CropName 対象作物名 ExaminationOrganization 試験実施機関名 ExaminationID 試験ID 接種試験毎に付与し、試験条件を実施機関で記録 ExaminationEnvironment 試験を⾏う環境。 露地、施設、グロースチャンバー ShootingPart 撮影対象となる部位 葉（表）、花、果実等 PestDiseaseClassification1 撮影対象の病害、⾍害、健全の区別 PestDiseaseName1 撮影した病害⾍名 PestDiseaseIdentification1 撮影した病害⾍診断の正確度 実験室で判定または簡易判定 CropDamageLevel1 病害⾍による作物の被害程度 4段階 PestBoddyPresence1 画像内の⾍体の有無 PestBoddyClassification1 ⾍体が写っている場合の区分 個体または群体 (2〜5まで⼊⼒可能） Copyright 撮影した写真の著作権者 試験実施機関とする。 License 利⽤許諾条件 標準的ライセンスであるCC BY 4.0を採⽤LicenseURL 利⽤許諾URL https://creativecommons.org/licenses/by/4.0/deed.ja
33
病害虫被害画像のデータベース化
•
メタデータの付与方法の検討
• 手入力は意図せぬエラーが生じる • 誤入力、用語の不統一、etc… • データ付与の効率化が必要 タグ 値 ファイル名 160002_20170906_155210_01.JPG 撮影カメラ等諸元 SO-03G 撮影⽇時 2017/09/06 15:52:10 緯度 36.6114747 経度 136.9584788 作物 ナス 試験機関 富⼭県 試験ID 160002 試験・⽣育環境 施設 撮影部位 葉（表） 病害虫区分１ 病害 病害⾍名１ ⻘枯れ病 同定区分１ 実験室による同定 程度区分１ 中 ⾍体の有無１ 無 ⾍体区別１ 無 著作権者 富⼭県 ライセンス CC BY 4.0 ライセンスURL https://creativecommons.org/licenses/by/4.0/deed.ja34
病害虫被害画像のデータベース化
•
専用アプリを用いたメタデータの付与
• データの手入力を避ける Androidアプリで メタデータを含む QRコードを⽣成 QRコードを画像と 同じフォルダに配置 CSVファイルを⽣成 QRコードをメタデータに 画像にメタデータを付与 35病害虫識別AIの開発
•
病害・虫害判別AIと診断サーバーの構築
• 病害・虫害で特徴が違うためそれぞれAIを開発 • 両者を横断利用できるサーバーを構築する • ユーザーやアプリ開発者の負担を軽減 病害診断 AI 害⾍・⾍害 診断AI 病害判別AIの開発 害⾍・⾍害判別AIの開発 病害⾍診断AI36
病害虫識別AIの開発
•
病害識別AIの開発 ～キュウリの病害の事例
• （主に）7種のウイルス病とべと病を対象に実施 • 各種1000枚ずつ、計9000枚 • 変形、ノイズを加えるなどしてデータを増加させ学習 法政⼤学資料より作成 学習に供した画像データの例 37病害虫識別AIの開発
•
8種の病気（ウイルス病7＋うどん粉病）と健全で、
平均93.6%の識別精度
を実現
法政⼤学資料より作成38
病害虫識別AIの開発
•
AIによる識別根拠の可視化
• Grad-CAMを用いて識別器が画像のどこに注目している かを可視化 Grad-CAMとは • CNNがどこに注⽬して識別しているかを可視化した画像を⽣成 • 畳み込み層の特徴量と各クラスの推論確率に基づき注⽬箇所を算出する (株)ノーザンシステムサービス資料より作成R. R.Selvaraju, A. Das, R. Vedantam, M. Cogswell, D. Parikh, and D. Batra. Grad-cam: Why did you say that? visual explanations from deep networks via gradient-based localization. arXiv:1611.01646, 2016.
39
病害虫識別AIの開発
•
識別感度99.6%のべと病識別器での注目個所
• べと病の病徴だけでなく背景や茎に反応•
過学習
と呼ばれる現象
Grad-CAMによる診断の可視化結果 法政⼤学資料より作成40
病害虫識別AIの開発
•
深層学習による病害虫識別の課題
• 識別したいもの同士が極めて似ている • 画像中の分類対象の特徴量が少ない • 背景、撮影条件等の影響を受けやすい 健全 トマト果実・健全（左）とミカンキイロアザミ ウマ被害中（右）の⽐較 ナス健全葉（左）とヨトウガの被害 （中）（右）の⽐較 キュウリ健全葉（左）とMYSV被害 （中）（右）の⽐較 イチゴ果実・健全（左）とハスモンヨトウ被害 中（⼤）の⽐較 41病害虫識別AIの開発
•
過学習が深刻な問題
になる
• 学習データへの過度の依存 • 学習データと評価用データが「潜在的」に似ている場合、識別 器の「精度」は大幅に向上する • For ex., 同じほ場で撮影した画像 • 現実のほ場では極端に精度が低下する • 現場でなく、「サンプル」による評価がほとんど • 本課題では「信頼性が高く・多様なデータ」と「病害虫 診断に最適化されたAI」で解決を目指す • 過学習の例：なすの葉画像（左）と、それを「うどんこ病」と診断した際の根拠を 可視化したもの。関係のない背景を病気の根拠として診断 • 学習データのうどんこ病画像に「メッシュの背景」を持つものが多かったためと考 えられる。42
病害虫識別AIの開発
•
頑健性の高い
識別器の開発
• モデルの改良+多様な学習データが必要•
全体で
80%の識別精度
を目指す
過去の識別率 （単独施設、約8,000枚、 識別精度約80%） べと病 38 褐斑病 18 うどんこ病 9 CCYV 62 MYSV 14 健全 66 法政⼤学資料より作成 学習データと撮影条件（場所、背景等）が全く異なる 約700枚に対する識別結果（％） 現在の識別率 （複数施設、約48,000枚, 識別精度約90%） 49 50 70 61 34 66 • モデルの改良 • 多様かつ⼤量の データ 着実な精度の 向上 43病害虫AI識別スマフォンアプリの開発
•
現場で利用可能な、スマートフォンアプリの開発
• 現在は識別機能のみ • 将来的には、識別結果に基づき農薬等の情報を提供 ⺠⽣⽤アプリケーションの社会実 装イメージ。診断結果とともに、 登録農薬情報を提供 ⽇本農薬資料より作成44
病害虫AI識別スマフォンアプリの開発
•
多くの人が簡便に使えるように
• スマートフォンの操作に習熟してないユーザーを想定 • 簡単であれば、だれでも使える • 必要かつ最低限の機能の提供が重要 • 「何でもできる」は「何もできない」のと同じ 44– 細かいボタンや操作は不得手
– 複雑な画面遷移だと混乱の恐れ
– 暗黙の操作ルールは通じない
⽇本農薬資料より作成 45病害虫AI識別スマフォンアプリの開発
•
画面デザインの例：メニュー
ボタンを
大きく示す
文字／アイコン／ 背景色により明瞭 に区分操作の説明は
できるだけ
行動を示す
⽇本農薬資料より作成病害虫AI識別スマフォンアプリの開発
•
これまでに開発した要素をWebAPIで接続
• WebAPI：インターネットを通じてデータをやり取りする • ルールを決めておけば、各要素の更新がすぐに反映 47病害虫AI識別スマフォンアプリの開発
•
WebAPIにより、デモ機開発の効率化
• 実際に利用するのが一番よいアプリケーションの利⽤と診断例
48
おわりに
49本発表のまとめ
• AIを用いた病害虫識別技術の開発 • 病害虫診断AIプロにおいて開発中 • 被害画像データベース構築、病害・虫害診断AI、アプリ開発 • 多様な被害画像を含むデータベースの構築 • 約50万枚の画像を収拾 • 病害虫診断AIの開発 • 診断精度は90％を達成 • 頑健な識別にはより大量の、そして多様なデータが必要 • 診断のためのスマホアプリの開発 • AIを簡便に、使い易くするためのアプリ • 認証システムにより利便性と安全性を両立 • 今後の課題 • 多くの方と情報共有をしつつ進めて行きたい • 特に画像データは、共有のための仕組みとルールが必要50
本発表のまとめ
•
データ公開用Webサイトの構築
• 既存ツールでWebページを作成 • https://www.naro.affrc.go.jp/org/niaes/damage/#!index.md•
“as is”での公開
• 公開にコストをかけない • 協調領域（オープン）と競争領域（クローズ）のバランス も考慮 サイトURL 51おわりに
•
AIは
問題を解決してくれない
• 今の深層学習は未知の現象はあつかえない • 限られた学習データに基づく判断（帰納法） • 人は未知の現象に対応できる • 様々な経験、知識を活用できる（演繹法）•
人とAIの得意な部分を
組みあわせる
• “The Glass Cage: Automation and Us”のよう な批判もある • 自動化による技能の喪失の恐れ • “Google Mapsを使うと方向音痴が治らない！”と いう批判は聞いたことがない • 適切な技術の活用が必要 • 「診断の自動化」は手段でしかない
52
おわりに
https://www.technologyreview.jp/s/109443/ai-cant-replace-doctors-but-it-can-make-them-better/ https://www.technologyreview.com/s/612277/ai-cant-replace-doctors-but-it-can-make-them-better/ 53おわりに
•
AIを活用して問題を解決する
• 人工知能は目的ではなく、回答を導くためのツール•
回答を導く
プロトコルの構築
が重要
• ICT技術はまだ数10年しかなくプロトコルが未成熟 ⾒たことない⾍が いるけど、どうす れば良い︖ ○○をしたら上⼿ くいった︕ 写真の撮影 識別結果 対策の決定 防除結果の確認 AI病害⾍診断 過去の防除履歴等を 確認 防除の実施54
