AI・IoTテクノロジー集団の全貌 〜若手エンジニアの成長戦略〜

Twitter: 山本大祐@dice_k_1125 please contact me!

Jetson Xavierがもたらす

ロボティックス界への

固定翼型ドローン

広域農地デジタルスキャン ＋

AIにより作付を自動判別

現状

Agli Field Manager

Agri Field Manager に地理情報データが入り、 地名地番 / 農業者名 / 作物名 の情報と共に表示 AIによる 作物の自動判別 確認調査：約1,360時間 営農計画書：約53,000筆 目標：業務時間の半減 営農情報の管理

H29年度ウンカ発生状況 （ドローン撮影） ドローンで撮影 水稲、麦等の画像 AIで収穫量を測定 ドローン空撮画像 AI解析結果 約400名の評価委員が現 地確認で収量予測 現状 ウンカ発生状況等をAIが早期に検知！ 被災予防の仕組みを構築 悉皆調査 抜取調査 実測データ値 を基準

500㎏/10a

基準収量

450㎏/10a

生産者Ａ

400㎏/10a

生産者Ｂ

300㎏/10a

生産者Ｃ 約2,500時間 目標：業務時間の半減

畦畔を復元して 貸し手に返却 ドローン による 現地測量 農地集約化の障壁 ※農水省資料より抜粋 目標：業務時間の半減 畦畔測量の経費 圃場境界への植樹 農地集約化（経営規模拡大） 作業効率化のため 畦畔除去

Agri Field Manager で 農地の境 界情報を閲覧、測量図面を作成

Twitter: 山本大祐@dice_k_1125 please contact me!

ドローンパイロット、整備士

が足りていない。

どこで依頼すればよいのかわからない。

C o p y r i g h t O P T i M C o r p o r a t i o n 2 0 1 8 . A l l R i g h t s r e s e r v e d 1212

ドローンパイロットシェアリングサービス

DRONE CONNECT（ドローンパイロット）

ドローンサービスで報酬を得る

登録は簡単です

パイロットの安全を守る

C o p y r i g h t O P T i M C o r p o r a t i o n 2 0 1 8 . A l l R i g h t s r e s e r v e d

サービス全体像

18 依頼・報酬 成果物 紹介・報酬*1 登録・利用 ・実行 実働・評価

依頼者

（農家・農業法人）

ドローン

パイロット

（パートナー企業様・個人） 報酬・評価

Drone Connect

Drone Pilot Sharing Platform Powered by OPTiM Cloud IoT OS

*1 弊社にて設定した手数料を引いた報酬額

DRONE CONNECT（依頼者：農家様）

ドローンによるスマート農業

あなたのためのパイロットです

依頼できる仕事

作業に最適なパイロットを自由に選ぶ

DRONE CONNECTには、さまざまなパイロットが在籍し最適なパイロットに安心して依頼できます

パイロットは総勢

100

名以上

Twitter: 山本大祐@dice_k_1125 please contact me!

Jetson Xavier

Twitter: 山本大祐@dice_k_1125 please contact me!

• オプティム 執行役員

• OPTiM Cloud IoT OS 事業責任者

• Spec

• Biz Dev: AI・IoT新規事業立ち上げ複数並列中 • Software Engineer: C++, Java, Python,

Ruby, Lua, ActiveBasic, Intel x86/x64 assembly

• 過去やってたこと

• IPA未踏ユース2005年度 スーパークリエイター • 統合開発環境「ActiveBasic」開発者

Twitterフォローお願いします！

“山本大祐@dice_k_1125”

空の玄関“羽田”、陸(新幹線)の玄関“品川・東京に近接の浜松町駅すぐ

浜松町

羽田空港 世界貿易センタービル オフィス 汐留ビルディング オフィス(東京本社)

東京本社

東京本社

コミュカフェ 会議室 (和室) リフレッシュルーム 会議室 (空中浜離宮庭園)

Twitter: 山本大祐@dice_k_1125 please contact me!

2018年 期初

開発人員数：232人

2018年 期末

開発人員数：

411

人月

（2018年３月期 オプティム通期決算短信 補足説明資料より）

（正スタッフ、契約スタッフ、業務委託等を含む）

AI・IoT・Robtics人材

179人増

(77%増)

ドローンラボ プレゼンテーションルーム オプティム・カフェ AI・IoTパビリオン(今夏予定)

ヘッドクオータービル

（佐賀本店）

Twitter: 山本大祐@dice_k_1125 please contact me!

Jetson Xavier

Twitter: 山本大祐@dice_k_1125 please contact me!

NVIDIA様

m(__)m

Twitter: 山本大祐@dice_k_1125 please contact me!

Twitter: 山本大祐@dice_k_1125 please contact me!

推論（実際の判定処理）の実行環境

X-Large Large Middle Small Micro

用途

(fpsはOPTiM参考値です) 高フレームレート(50fps) 高フレームレート(40fps) 通常フレームレート(30fps) 省力プラン(10fps) 省力プラン(5fps)

ハードウェア性 能

プロセッサ数 _{(Intel x86/x64)}1 _{(Intel x86/x64)}1 _{(Intel x86/x64)}1 _(ARM)1 _(ARM)1 メモリ 4GB - 128GB 4GB - 128GB 4GB - 64GB 16GB 8GB

ネットワーク 1Gigabit Ethernet 1Gigabit Ethernet 1Gigabit Ethernet 1Gigabit Ethernet 1Gigabit Ethernet

GPU _{Quadro P5000}NVIDIA _{Quadro P4000}NVIDIA _{Quadro P2000}NVIDIA _{Jetson Xavier}NVIDIA _{Jetson TX2}NVIDIA

(CUDA Cores) 2560 1792 1024 512 256

Twitter: 山本大祐@dice_k_1125 please contact me!

• GPU の世代も Volta に上がった

• CUDA コアが256→512に倍増している

• TensorRTを使うと更に高速に

• 開発者キットのインターフェースが、USB Type-C, eSATA,

PCIe x16 など新しくなっている

• メモリが 2 倍の 16GB になり，TX2 ではメモリ不足で動かせ

なかった大きめの物体検出のモデルなどが動かせるようになっ

た

• CPU も 8 cores 8 threads になったためデバイス上でコンパ

イルなどしても早い

Twitter: 山本大祐@dice_k_1125 please contact me!

• 物体検出 (RefineDet)

• 20 クラスの分類，入力画像の解像度: 512px x 512px

• PyTorch での推論: 2.75 FPS

• TensorRT (FP32) で推論: 6.259 FPS

• TensorRT (FP16) で推論: 12.491 FPS

• 姿勢推定 (OpenPose)

• 入力画像の解像度: 384px x 384px

• TensorRT (FP32) で推論: 2.791 FPS

• TensorRT (FP16) で推論: 11.319 FPS

Twitter: 山本大祐@dice_k_1125 please contact me!

• 姿勢推定 (PoseResNet)

• ResNet-50 と RefineDet の組み合わせ

• 入力画像の解像度: 256px x 192px (内部の物体検出部分では 512px x

512px)

• TensorRT (FP32) での推論: 5.079 FPS

• TensorRT (FP16) での推論: 12.376 FPS

• 姿勢推定 (PoseResNet) 入力解像度が少しい大きい版

• ResNet-50 と RefineDet の組み合わせ

• 入力画像の解像度: 384px x 288px (内部の物体検出部分では 512px x

512px)

• TensorRT (FP16) での推論: 9.301 FPS

Twitter: 山本大祐@dice_k_1125 please contact me!

• CUDA 10, TensorRT 5 など、コアモジュールが最新に

• Linux のディストリビューションが Ubuntu 18.04 に上がって

いたため Python 3 向けの環境構築が楽

農業・水産 病害虫検出（稲・大豆） 生育分析（NDVI・SPAD） 成熟度別カウント（トマト） 医療・介護 C/D比率算出 ベッド転落検出 小 売 空席検出 鉄 道 危険状態検出 異常行動 建 設 特殊車両検出 作業内容特定 林 業 樹木検出 緑内障などの病気を早期 発見することができます。 ベットの下に転落し動か ない場合にアラートを通 知します。 空席を検知します。 デジタルサイネージや メールで空き状況を通知 し、回転率の向上に役に 立ちます。 山や森の木が規定以上に 密集している個所を検知 します。 自然災害の防止になりま す。 線路転落や白線超えなど の危険状態をリアルタイ ムに検知し、管制室への 早期アラートを実現しま す。 電車に乗車しない、ふら つき、うずくまりなど検 知しアラートを通知しま す。 特殊車両を検知します。 乗り忘れの防止になりま す。 指定した車両が正しく稼 働しているか検知します。 ドローンの映像から、畑 の中の害虫を検出します。 ドローンの映像から、畑 の中の作物がどれくらい 成長したか検出します。 既定の完熟度になったト マトを検出します。

Darknet

OPTiM AI Models

オプティムの取り組み

「○○×IT」

農業 × IT 医療 × IT 建設 × IT 鉄道 × IT 水産 × IT コールセンター × IT 小売 × IT 介護 × IT

オプティムの取り組み

「○○×IT」

農業 × IT 医療 × IT 建設 × IT 鉄道 × IT 水産 × IT コールセンター × IT 小売 × IT 介護 × IT

自立飛行の実現 (ドローンによる空撮) ビッグデータ蓄積 領域抽出(ディープラーニング)による病害虫検出 NDVI・SPADによる 植生分析 ドローンによる ピンポイント農薬散布

ピンポイント農薬散布テクノロジー

～ 農薬使用量1/10以下、残留農薬不検出、収量品質同等を実現 ～ 農業 × IT 医療_× IT 建設 × IT 鉄道 × IT 水産 × IT コールセンター × IT 小売 × IT 介護 × IT

佐賀大学農学部、佐賀県との3者連携協定を中心とした推進

Twitter: 山本大祐@dice_k_1125 please contact me! 解像度 想定機体 2〜0.5m 圃場単位の確認 人工衛星 30mm 生産物の確認 固定翼 1.5mm 葉の観察 固定翼 マルチコプター 0. 125mm ６mm虫の防除 固定翼 マルチコプター 農地調査 生育調査 防除 地域調査 51 0. ８mm 病害の観察 固定翼＋ズーム ＋AI超解像技術 広域防除 500〜 800Km高度 100m高度 1600万画素 固定翼：１００ｍ高度 ８K画素 ﾏﾙﾁ：50m高度 4200万画素 固定翼：100m高度 1億画素 ﾏﾙﾁ：８〜１０ｍ高度 2400万画素 固定翼：100ｍ高度 ８K画素 ﾏﾙﾁ：５０～８０ｍ高度 4200万画素 高度と カメラ画素

Twitter: 山本大祐@dice_k_1125 please contact me! 農業・水産 病害虫検出（稲・大豆） 生育分析（NDVI・SPAD） 成熟度別カウント（トマト） ドローンの映像から、畑 の中の害虫を検出します。 ドローンの映像から、畑 の中の作物がどれくらい 成長したか検出します。 既定の完熟度になったト マトを検出します。 LAN上Edge推論 組込Edge推論 クラウド推論 回線コスト GPUコスト リアルタイム性 GPUコスト Wi-Fi電波距離 リアルタイム性

Twitter: 山本大祐@dice_k_1125 please contact me!

推論（実際の判定処理）の実行環境

X-Large Large Middle Small Micro

用途

(fpsはOPTiM参考値です) 高フレームレート(50fps) 高フレームレート(40fps) 通常フレームレート(30fps) 省力プラン(10fps) 省力プラン(5fps)

ハードウェア性 能

プロセッサ数 _{(Intel x86/x64)}1 _{(Intel x86/x64)}1 _{(Intel x86/x64)}1 _(ARM)1 _(ARM)1 メモリ 4GB - 128GB 4GB - 128GB 4GB - 64GB 16GB 8GB

ネットワーク 1Gigabit Ethernet 1Gigabit Ethernet 1Gigabit Ethernet 1Gigabit Ethernet 1Gigabit Ethernet

GPU _{Quadro P5000}NVIDIA _{Quadro P4000}NVIDIA _{Quadro P2000}NVIDIA _{Jetson Xavier}NVIDIA _{Jetson TX2}NVIDIA

(CUDA Cores) 2560 1792 1024 512 256

Twitter: 山本大祐@dice_k_1125 please contact me!

リアルタイム解析

• ドローンで作物を撮影した後、解析に時間を要する • ピンポイント散布作業までに若干のタイムラグが生じる • ドローン飛行中に推論及び、その場で農薬散布を行う

Jetson Xavierに期待できること

自律飛行

• 危険回避、状況に応じたルート補正の実装

筐体スリム化

• 「病害虫検出」「自律飛行」を一つの筐体への集約

Twitter: 山本大祐@dice_k_1125 please contact me!

ハウス情報管理サービス「Agri House Manager」

ハウスなどの建物内で栽培された作物を管理・分析を行うサービスです。施設内に設置されたセンサーが 集計したデータと、陸上走行型ロボット「OPTiM Crawler」の側面に装着したスマートフォンで連続撮影 を行った画像データを、AIを用いて分析し、作物の収量予測（個数カウント、収穫適期判定）を行います。

Twitter: 山本大祐@dice_k_1125 please contact me!

陸上走行型ロボット「OPTiM Crawler」

農地やハウス内の生育管理を効率化する、陸上走行型ドローン。生育観測が可能な様々なカメラ

デバイスを搭載し、自立運行を可能に。

AI Edge Computing Module

Multi Camera Capability

High Level Camera Stabilization

4WS/4WDDriving

Auto Driving System

360°GoProから産業用カメラまで幅広く サポート (1/4-20UNC x 4.5mm) 相対重量ウエイトジンバルに加え テレスコピックジンバルを搭載 OpenCL画像認識・ARMCore SoC Nvidia Jetson エッジコンピューティング ウエイポイントによる自動走行 場内レイントレーシング自動走行 APM Rover PX4 API

IoT Connected

920MHz telemetry

2018年度スマートアグリフードプロジェクト展開図（7/23時点）

[青森県]面積13ha、数量80t [佐賀県]面積11ha、 数量55t [福岡県]面積0.5ha、 数量2.5t [大分県]面積6.0ha、 数量30t [佐賀県]面積3ha、 数量5t [茨城県]じゃがいも、ブロッコリー、キャベツ 技術実証中

全国の生産者、続々ご参画準備中

全国各地のスマート農業の取組

北海道 大豆のピンポイント栽培（予定） 小麦の収量予測 青森県 ・水稲の病害虫検知 ・にんにく農園のGAP支援 ・ぶどうの病害虫検知 茨城県 ・キャベツのピンポイント栽培 ・ブロッコリーのピンポイント栽培 ・じゃがいものピンポイント栽培 静岡県 ・オリーブの生育分析 長崎県 ・アスパラガスの生育分析 ・たまねぎの生育分析 鹿児島県 ・お茶の生育分析（予定） 千葉県 ・水稲のピンポイント栽培 佐賀県 ・水稲のピンポイント栽培 ・大豆のピンポイント栽培 ・トマトの収量予測 ・きゅうりの遠隔作業支援 ・みかんの遠隔作業支援 大分県 ・水稲ピンポイント栽培（予定） 福岡県 ・水稲ピンポイント栽培（予定） 沖縄県 ・いちごの収量予測（予定） 福島県 ・茶豆の生育分析 山梨県 ・トマトの収量予測

18品目18都道府県（全国の1/3の地域が参加）

にてスマート農業の取り組みを推進中

石川県 ・水稲の生育分析（予定） 兵庫県 ・大豆のピンポイント栽培 ・玉ねぎの遠隔作業支援 滋賀県 ・柿の遠隔作業支援 徳島県 ・水稲、大豆ピンポイント栽培（予定） 宮崎県 ・根菜畑の圃場管理（GAP支援）

全国の圃場を一元管理

59 日本GAP協会推奨システム

農作業記録・GAP取得支援サービス

Powered by Agri Assistant

佐賀県 長崎県 福岡県 鹿児島県 沖縄県 石川県 滋賀県 兵庫県 徳島県 北海道 青森県 福島県 茨城県 千葉県 山梨県 静岡県 大分県 宮崎県

新しい農業へのチャレンジを！

ピンポイント農薬散布テクノロジー、

スマート農業ソリューション

を

用いて全国で生産された全米を

オプティムが

全量買取

ります

新しい農業へのチャレンジを！

世界初、

ピンポイント農薬散布テクノロジー、

スマート農業ソリューション

を

建設生産プロセス全体をつなぐ

新プラットフォーム「LANDLOG」

ディープラーニング(物体検出、領域抽出、キーポイント検出) による建機・車両・人の動きの可視化・状況分析 農業 × IT 医療 × IT 建設 × IT 鉄道 × IT 水産 × IT コールセンター × IT 小売 × IT 介護 × IT コマツとの合弁会社による取り組み

JR九州において

AI監視カメラサービスの実証実験を開始

農業 × IT 医療 × IT 建設 × IT 鉄道 × IT 水産 × IT コールセンター × IT 小売 × IT 介護 × IT

Twitter: 山本大祐@dice_k_1125 please contact me!

JR九州 香椎線和白駅、筑豊本線二島駅において

AI監視カメラサービス「AI Physical Security Service」

の実証実験を開始

Twitter: 山本大祐@dice_k_1125 please contact me!

JR東日本水戸支社管轄の常磐線 佐和駅にて

「AI Physical Security Service」の実証実験を実施、

実証実験目標の90%を上回り、96.2%の検知率を達成

(2017/10/6)

被災前状況 発生前後の画像比較 差分をAIが自動検知 災害発生 被災箇所把握 現状 ３次元化 点群データ化 被害額算定 図面作成支援 危険な被災現 場で職員、委 託業者が測量 大学生でも手軽に安全作業 被災箇所抽出 被害額推定 被災箇所の 把握に多く の時間 目標：業務時間の半減 災害発生 ・概算事業費 ・査定設計

1 2 3 P2 : 521.90 m P1 : 520.43 m P7 : 519.74 m P5 : 511.91 m P4 : 503.38 m P6 : 500.90 m P3 : 493.44 m P1～P3 水平距離 : 52.38 m 大量の土砂が水田に堆積 農道から斜面に沿って土砂が流出 斜面を伝って土砂が流出 崩落した農道（側面撮影） 被災エリアをドローンから撮影

OPTiM Cloud IoT OS（AI・IoTプラットフォーム）

IoT Explorer Insight Map Cloud Vision Code Store

農業・水産ソリューション 医療・介護ソリューション _{(現場管理支援サービス)}Smart Field AI Physical Security Service

(AI監視カメラサービス)

Smart Retail Management (店舗管理支援サービス) AI Call Center Service

(AIコールセンター支援サービス) AI Voice Analytics Service(AI音声解析サービス) AI Predictive Maintenance Service

(AI予知保全サービス) 小売 飲食 鉄道 製造 電力 医療 介護 建設 ビル・不動産 コールセンター 農業 水産 デバイス ネットワーク （佐賀県・佐賀大学との

産学官連携協定） （有明6者連携協定） （佐賀県・佐賀大学とのﾒﾃﾞｨｶﾙ・ｲﾉﾍﾞｰｼｮﾝ研究所） （織田病院 ﾒﾃﾞｨｶﾙﾍﾞｰｽｷｬﾝﾌﾟ在宅医療あんしんパック） （LANDLOG） （Remote Action）

どんな産業向けサービスでも必要なこと

デバイス 接続・監視

？

データ を見る

？

地理空間 マッピング

？

映像解析

？

アプリ追加

？

好きなように 拡張

？

IoT Explorer Insight Map Cloud Vision Store Code

機器の接続・管理や人工知能を用いた分析まで包括的に実現する

AI・IoT時代に最適化された次世代のクラウドサービス

Group Manager Account Manager Metrics Manager File Explorer Desktop

IDM Every Device Management OPTiM Apps

IoT Explorer Insight Map Cloud Vision Device Management (Optimal Biz) (役割) • 資産管理 • モニタリング • リモートコンフィグ • リモートアップデート • デバイスからのデータ取得 IoT PaaS Code 3rd Apps Open ID Connect OAuth2.0 SAML2.0 SCIM (特徴) • 階層型マルチテナント • ID/PASS認証 • 多要素認証

IoT Hub Datastore LAMBDA

・時系列データストレージ ・ファイルストレージ

OPTiM Cognitive Services

Vision APIs (視覚)

Speech APIs (会話)

Nature Language Processing APIs (自然言語処理) 農業・水産 （病害虫検知） 医療 （眼底診断） 物体検出、テキスト抽出、顔 認証 OPTiM Solutions 農業・水産業 建設（Apps） 店舗（無人・マーケティング） 故障・異音マネジメント フィジカルセキュリティマネジメント フィールドマネジメント コールセンターソリューション 医療(AI・遠隔・在宅) ドローンソリューション (Kernelの役割) • I/O制御（チャネル） • メッセージング • データストア • プロセス制御（ラムダ） • クラスタリソース管理 • タスクスケジューラー Developer Center

Cloud API Portal

OPTiM Store

デバイス IaaS / PaaS

Twitter: 山本大祐@dice_k_1125 please contact me! Agri Assistant センサ データ データ画像 病害虫 診断

Agri House Manager

栽培記録 _コスト生産 出荷量収量 売上

気象 データ

Agri Field Manager

連携 データ プラットフォーム アウトプット ターゲット 農作業 計画 ピン ポイント 農薬管理 GAP 管理 コスト 管理 施肥 診断 営農機能 収量 予測 自動飛行 データ作成機能 衛生 データ API サードパー ティ AP 圃場 分析 病害虫診断 圃場分析 施肥 診断 収量予測 自動走行 データ作成機能 ハウス制御連携 API API トマト 米 大豆 キャベツ 黒にんにく いちご 茶 みかん 玉ねぎ 病害虫デー タ アセットデータ じゃがいも デバイス スマホ ドローン 農機 センサ _カメラ定点 _サーバIoT パプリカ きゅうり WAGRI 連携 API AGRI EARTH powered by OPTiM Cloud IoT OS

小売 飲食 鉄道 製造 電力 農業 水産 医療 介護 建設 ビルメンテ コールセンター

×IT

• PaaSバックエンドエンジニア

• Web フロントエンドエンジニア

• アプリケーションエンジニア

• SRE

• インフラエンジニア

• 深層学習エンジニア

• 組み込みエンジニア

• AR/VRエンジニア

• ブロックチェーンエンジニア

• データサイエンティスト

• QA/テストエンジニア

• UIデザイン

• Webディレクター

• アートディレクター

• テクニカルサポート

Twitter: 山本大祐@dice_k_1125 please contact me!

1. AI・IoTを導入予定の企業の皆様

• 製造、電力、小売、飲食、農業、水産

• 医療、介護、建設、不動産、ｺｰﾙｾﾝﾀｰ、etc…

2. OPTiMのビジネス立上げに携わっていただける皆様

• デバイス パートナー

• アプリ パートナー

• インテグレーション パートナー

• プロジェクトマネジメント、新製品企画

• ソフトウェアベンダー

• 個人事業主

○○×IT の主人公になりましょう！

Twitter: 山本大祐@dice_k_1125 please contact me!

2018/9/11: NVIDIA Jetson Developer Day@東京 - 講演

2018/9/13: NVIDIA GTC Japan ロボティクストラック@グランドプリンスホテル新高輪- 講演 2018/9/26: DLLABイベント@東京 - 講演プロデュース

2018/10/16: CEATEC JAPAN 2018@幕張メッセ - 出展プロデュース 2018/10/XX: DLLABイベント@福岡 - 講演

2018/10/25: Japan IT Week 2018 秋 IoT/M2M展@幕張メッセ - セミナー 2018/10/27-28: 高専プロコン2018@徳島

Twitterフォローお願いします！

“山本大祐@dice_k_1125”