wp mv2nd jp スマートなワークプレイスの実現を目指すリコーのマシンビジョン2ndステージ

マートなワークプレイ の実現を目指す

リコーのマ ンビ ョン ^2nd テー

ン ン 通 分野 自動化/省力化 提供 ー

そ ン ー ワー 知 創造 空間 高 い 取 組 進

い 自律的 ー 生成 状況 把握 最適 方法 提示 働

人々 迅速 意思決定 促 っ賢い、 ン ン 人 ワー 協調 生

ー ワー 実現 目指

2017年 10 月 18 日 Version 1.1.0

White

Paper

1 © 2017 Ricoh Company, Ltd.

目 次

1. 知の創造 を通し ワー プ イ を変革 ... 2

2. _{マ ン} ョンをあ ゆ ワー プ イ へ ... 3

3. _{コーのマ ン} ョン2nd テー の取 組 ... 4

3.1. _{社会イン 分野 のマ ン} ョン 2nd テー ... 5

・ AI 用い 路面性状 ン ... 5

・球殻 ーン 用い 公共構造物点検 ... 9

・超広角 用い 3D ン 自動飛行 ーン 12 3.2. FA_{分野 のマ ン} ョン 2nd テー ... 14

・ 自動 ン ン ... 14

・機械学習 外観検査向 画像認識・解析技術 ... 16

3.3. _{物流分野 のマ ン} ョン 2nd テー ... 17

・ 用い 動線 ン ... 17

4. ープンイノベー ョン 挑 マ ン ョン2nd テー ... 19

2 © 2017 Ricoh Company, Ltd.

1. 知の創造 を通し ワー プ イ を変革

急速 変革 進展 人々 働 空間 ワー 大 変

わ う い 生産性 向上や 削減 業務 ー 向上 いう 及 そ 担う企業組織 あ うや そ 働 人々 意識 わ 数年 間 様変わ

変革 人々 時間的 物理的制約 解 放 新 価値創造 機会

そ 変革 波 一般 業種 現

場 わ 製造 物流 小売 教育 広 あ

動 加速 技術 一 現在大 関心 集 い 人工知能 Artificial Intelligence：AI あ 中 機械学習技術¹ 一 多層

ー ワー ー ー ン 応用 種々事例 登場 多

人々 AI 身近 認知 契機 機械

人間 う 知能 時代 や 知 い そ 期待 高

い

っ賢 、 備え う 人間 い あ い

人間 代行 可能 そ 端的 例

自動運転技術 う 運転者 負荷軽減 安全性

高 いう点 極 価値 あ 技術 いえ 照明や ン

ン ン 機能 人 動 応 ー消費量 自動制御 快

適 環境 出 取 組 進 い

単 っ賢 、 備え 導入 ワー 変革 成 遂

変革 価値判断や課題設定 い 知 創造 必要 い 優

AI いえ 代替 ワー そ 働 人々 絶え

知 創造 変革 新 価値 産 出 場 進化 っ賢い、

価値 人々 知 創造 寄与 決

1 _{大量 ー 中 反復学習 統計的処理 通 特徴的 ーン 見 出 手}

法

3 © 2017 Ricoh Company, Ltd.

ワー 知 創造 支援 人々 普段無意

識 行 い 一連 処理 有機的 連携 必要 ワー

知 創造 実現 入力 処理 出力 幅広い

技術 有 利用 や い ー ー ン 上

求

2. _{マ ン} ョンをあ ゆ ワー プ イ へ

ー 長年 わ 培 光学 画像処理 電子 技術 融合

新 価値提供 ン ン領域 取 組 進

生産自動化 FA 車載 流通 分野 重要

ン 占 い

そ ン 紹介 ワ ー ー ー 新世代 ン ン

中 ー 人 指示通 動 人 代わ 状況 迅速 把

握 上 的確 対応 ン ン 技術 目指 い

明

ー ン ン そ 視覚 捉え 可

視化 あ い 人手 頼 得 工程 自動化 い

容易 行え う そ 人々 い そう生産的 付加価値 高 い活動 携わ う い

可能 Capture Analytics Visualize 自律的 処理

っ賢い、 必要 ー ン ン

ン 2nd ー 捉え 取 組 進 い ン

通 取得 情報 最適 判断・行動 導 出 そ

4 © 2017 Ricoh Company, Ltd.

人々 分 や い 提示 う 自

学習 繰 返 提示 情報 精度 向上 い マ ン ョン 2nd テー の主 要素技術

Capture Analytics Visualize

・ 超広角含

・ 分光

・被写界深度拡大

・偏光・全天球

・画像処理

・音声処理

・自然言語処理

・ ー ン

・電子

・ ン ン

・表示 ・自律制御

・3D造形

2nd ー ン ン 単 人間 代替手段 人間 価値判 断や課題設定 質 高 高度 意思決定 可能 い そ 価 値判断や課題設定 行え う支援 ワー 知 創造 空間 変革

2nd ー 挑戦 い 対象分野 社会 ン

生産自動化 Factory Automation：FA 物流 多岐 わ

い 本 ワ ー ー ー ン ン 2nd ー 現況

取 組 生 出 価値 い 紹介い

3. _{コーのマ ン} ョン 2nd テー の取 組

ー ン ン 2nd ー 取 組 ー ワー

実現 考え い ー ン ン 2nd ー 応用

範囲 わ 広 多種多様 分野 ー ン 可能 今回

そ 中 社会 ン FA そ 物流分野 事例² 取 上

2 _{一部開発中 含}

5 © 2017 Ricoh Company, Ltd.

3.1. _{社会イン 分野 のマ ン ョン 2nd テー}

・ テ AIを用いた路面性状 ニ ン テ

道路 や歩行者 通行 確保 交通機能 有 社会経済活 動や地域生活 支え ン い 重要 役割 果 い

そ 道路 車両 走行荷重 路面 経時劣化や損傷 進行

い 放置 走行時 ン 交

通事故 可能性 あ そう 事態 未然 防 早期 路面性状 調査 わ 劣化・損傷 進行度合い 点検 そ 応 修繕対策 施 必要 あ

路面性状 割 率 わ 掘 量 平 性 縦断凹凸^う 量 ³要素

評価 そ 調査 ー ー計測器や 搭載

専用 大型測定車 用い い 測定専用車 費用面 負担 大 車両数 増や い 調査頻度 増 範囲 広

難 い 現状 道幅 狭い生活道路 入 い 十分 測定 行え い

ー 路面性状 ン 複数台 構成

路面性状 表 3 要素^●左 割 率 わ 掘 量 平 性

6 © 2017 Ricoh Company, Ltd.

ン 一般車両

搭載

測定専用車 比較 生活道路 測定 行え

撮影 調査結果作成 業務

自動化 可能

測定作業 負荷軽減 図

特長 路面性状 3 要素 調査 複数台

簡便 実施 あ ³ え 路面 生 舗装 亀裂 測

定 割 率 い 複数台 路面 撮影 画像

特徴点同士 結合 2次元画像 生成 割 率 自動 判定

自動判定 AI 人工知能 手法 一 あ 機械学習 ⁴ 用い い 生成 2次元画像 50 ン 角 状 処理 機械学習

割 本数 自動 判定 目視 判定工程

機械学習 置 換え 判定作業 効率 精度 大幅 向

上 可能

わ 掘 量 舗装路面 摩擦や路床 沈下 舗装材 変容

発生 走行位置 状態 掘 量 ー ン

3 _{使 路面性状 ン 様子 動画 覧い}

4 _{機械学習： ー 画像認識技術 高 要素開発 ー} 機械学習 研究や応用開 発 進 い

AI 割 率 判定

一般車両 搭載可能

路面性状 ン

7 © 2017 Ricoh Company, Ltd.

複数台 路面 走査 そ 画像 道幅

幅員 方向 自動結合 道路断面 3 次元形状 20 ー 走行 測定

平 性 縦断凹凸量 走行時 乗 心地 左右 舗装路面

凹凸量 ー ン 撮影 進行

方向 結合画像 連続的 ³ 次元形状 測定 測定 個別 計測器や装置 使い分 煩雑 車載

路面 走査 そ 性状 測定 可能

測定 路面性状 3 要素 い 総合的 評価 行い 舗装補修 要否 優先箇所 判断 必要 あ そ 評価指標 舗装 維 持管理指数 あ Maintenance Control Index MCI 値 ー ン 一回 撮影走行 3 要素 測定 MCI 値 一 度 算出

MCI値 路面性状 3 要素 総合的 評価 上 不可欠 測定専 用車 進入 目視測定 頼 い 生活道路 MCI 値 う 数値

化 ー 管理 い う 問題 解決

う

ー ン 測定結果 舗装 状態 ン

路面性状 可視化 可能 ン 画像 MCI 値 色 分 表示 舗装補修 迅速 判定 行え う

8 © 2017 Ricoh Company, Ltd. ー ン 使 2016年 7 月 国土交通省 秋 田県 仙北市 そ ー 参画 実証実験 行わ 実証実験 秋 田県仙北市 国道 県道 市道 計約 3 路面性状 降雪前 2016 年 11 月 降雪後 翌年 3 月 2回 わ 一般車両 測定 そ 結果 路面性状 表 3 要素 MCI 値 い 測定専用車 測定 遜色 い

結果 得 証明 割 率 い 機械学習 多

数 ン ー 学習 目視判定相当 高い精度 得

今回 実証実験 通 雪・凍結・除雪車 除雪作業 融 雪剤 融雪作業 路面舗装 与え 影響 確認

え 経時変化 定期的 把握 必要性 認 一般車両 測定 有効性 明

実証実験 結果や課題 い 2017年 8 月 4 日 路面性状 ン 実証

路面性状 ン ー ^●測定 ー MCI値別 色分 表示

9 © 2017 Ricoh Company, Ltd.

実験 ン ー ⁵ 最終報告会 仙北市市長 報告 ー

今後 技術的課題 克服 い そう簡便 高精度

ン 実用化 努 安心・安全 道路維持管理 実現 取 組 い

・球殻ド ーンを用いた公共構造物点検 テ

昨今 国や自治体 社会 ン 老朽化 大 問題 い 主 高度経済成長期 1960 年代 以降 整備 道路橋や ン 建造物 多 耐用年数 50年 越え 維持補修 時期 迎え い

対 内閣府 国家的 戦略的 ー ン創造

SIP ー 一 ン 維持管理・更新・ ン 技術

設 老朽化 ン 維持管理・更新・ ン 新 技

術開発 進 い

ー 支援

東北大学 ㈱千代田 ン ン (一財)航 空宇宙技術振興財団 東急建設㈱ 共同

橋梁 近接目視点検 支援 球殻 ー ン⁶ 点検調書作成 開発 取 組

い ーン 撮影装置

搭載 点検箇所 撮影 行い 現 在 人 行 い 点検作業 負荷 軽減

う いう試 現在 国内 全長 2 ー 以上 橋梁 そ 70 万橋あ

約 2 割近 建設後 50 年 経過 今後そ 割合 増加 一方

5 _{路面性状 ン 実証実験 ン ー} ：国土交通省 秋田県 仙北市 ー 立 上 路面性状 ン 実証実験 共同事業体

6 _{撮影装置 搭載 ーン 橋梁点検 利用 際 撮影対象 ーン 距離 一}

定 保 必要 あ 梁や添架物 橋 取 付 ー や照明 水道管

接触 避 狭所 侵入 内部 点検 そ ーン 直径約 1

ー 球殻 ー 覆い 点検個所 ー 接触 距離 保

ーン 衝突 防 う 東北大学 田所研究室 開発

球殻 ーン 利用 点検 様子

10 © 2017 Ricoh Company, Ltd. 2014_{年国土交通省道路局調 そ} 国土交通省 2014 年 7 月 各 自治体 対 ⁵年 一回 定期点検 義務 国土交通省令第 39 号

実施 あ 人員や予算面 負荷軽減 課題 い

橋梁 保守点検 現地 作業 作業 大別

現地 点検要員 近接目視 行い 損傷個所 目印 ー ン 写真撮影 共 実地調査 ー 野帳^{や う} そ 記録 残

そ 後 戻 野帳 記録 参照 ー 整理 損傷状態

関 詳細 調査報告書 作成 報告書 写真や 添付

工数 作業 上 作成者 報告結果 生

可能性 あ

橋梁点検作業 立地条件や橋梁 構造 困難 伴い 点検員 近寄

い橋梁 点検車 出動や 大 足場 必要 点

検要員以外 交通整理 行う人員 必要 交通規制 生 活や経済 影響 懸念 う 保守点検時 負荷 大幅 軽減 手段 ーン 撮影装置 搭載 橋梁 状態 確認 取 組

進 い ーン 利用 人員や 削減 安全面

確保 効果

橋梁点検

11 © 2017 Ricoh Company, Ltd. ー 橋梁点検支援 繁雑 多大 時間 費や い 損傷個 所抽出や報告書作成作業 い 最新 画像処理技術 駆使 大幅 負荷 低減 図 い わ 撮影 画像 接写画像⁷ 橋梁全体 展開 図 自動的 3 次元 3D 復元 点検 部分 俯瞰 展開画像

生成 損傷個所 特定 検出 損傷程度 判定 容易 そ 結果 国土交通省 点検要領 沿 報告書

ン 作成支援 ー 提供 報告書作成 自動化 作成作業 負

荷 軽減 報告品質 作業時間 大幅 削減

球殻 ーン 活用 橋梁 限 ン 公共構造

物や超高層建造物 ン 施設 人手 保守点検 難 い場所 安 全 利用 可能 ー 今後 多様 損傷 対 効率的 判定

報告書作成 自動化 進 い 構造物点検 ー ー ン 提供 目指 い

7 _{球殻 ーン 用い 橋梁点検 現場 い ーン 飛行 点検 い部分}

網羅 う 接写 撮影

撮影画像 損傷個所抽出 調査報告書作成

12 © 2017 Ricoh Company, Ltd.

・超広角 テ を用いた 3D ョン テ 自動飛行ド ーン

分野 ーン 利用 広 い そ 背景 機体 信頼性 や耐環境性 航法精度 急速 向上 あ 一方 ーン 本格運用

伴い 飛行空間 拡大 わ 目視外や全地球測位 GPS 範囲外 安定飛行 期待 高 い

現在 向 ーン 専門 ー ー 操縦 必要

い ーン利用 進展 伴い ー ー不足 懸念

い 上 飛行空間 拡大 図 い 自動飛行 ーン 登場

望 ーン 一般 GPS 搭載 い 数 ー 測

位特定誤差 あ 入 組 場所 飛行 難 特 施設内や ン 内 GPS信号 受信 不安定 あ い 受信 い場所 飛行

発生環境 飛行 不向

ー 東京大学 ー ー ン㈱ 共同開発⁸ 3D ン

ーン 自動飛行 う 課題 解決 超広角

構成 独自 3D ン 慣性測定装置 IMU⁹

組 合わ ー ー ーン 自動 障害物 回避

安定的 飛行 行え う 周囲 状態 捉え 広視野 目 飛行時 平衡感覚 保 三半規管 連動 非 GPS 環境下 ー ー

事前設定 経路 正確 自動飛行

自動飛行 ーン 飛行制御 い 東京大学 3D ン

10 _{い ー 開発 担当 い ーン 自己位置把握}

3D ン 超広角 広い視野 周囲 空間 測

距 そ 中 特徴的 ン そ 距離 自身 移動推定 行う 実 現 い 非 GPS 環境下 安定 自動飛行 可能

広視野角 飛行姿勢 変化 際 ン 見失わ

8 _{ニュース ース} 障害物を自動で回避できる小型無人航空機 ド ーン 自動飛行シス テ を開発

9 _{角速度 加速度 検出} ン ー Inertial Measurement Unit

10 RICOH 3D Vision System × Drone 動画 こち

13 © 2017 Ricoh Company, Ltd. 安定的 自身 移動推定 行う

ーン 自動飛行 際 ー ー 事前 経路 指定 経路上 予期 い障害物 存在 可能性 あ ^3D ン

移動推定 加え 飛行経路周辺 3D 生成 同時 行う 経路上 予期 障害物 出現 場合 そ や 検出 ーン 接触 自動回避

3D ン 撮像 自己位置推定 3D 生成

一連 内 処理¹¹ い 大

特長 あ 優 光学設計技術 高度 画像処理技術 精緻 制御 融合 生 新技術

ー 3D ン 屋内外 問わ ー ー

ーン 活用 う 障害物 自動 回避 自動飛行

可能 今後 3D ン っ賢 、 高

ー ーン利用 可能性 広 い

11 _{特徴点抽出 画像処理や 視差演算処理 設計目的 応 構成設定}

可能 集積回路 あ FPGA Field-Programmable Gate Array 実装 高速処理 実現 い

3D ン ーン 障害物自動回避 ー 図

14 © 2017 Ricoh Company, Ltd.

3.2. FA _{分野 のマ ン} ョン 2nd テー

・ テ 自動 ン ッキン テ

ー 処理速度 速 高精度 開発 主 産業分野向

提供 い 被写体 奥行 情報 取得 開発 高

度 ー ン技術 視差演算技術¹² 高精度 部品組立技術 求 わ 品質要求 厳 い産業分野向 ー 仕上 高い技術力 豊富 実績・ 必須 いえ

ー 1970 年代後半 自社生産設備 自動化 FA 取 組

分野 技術 蓄積 そ ン ン そ 成果

一端 社外 提供 共 FA ー ー 協業 進 複

合機 MFP や ン ー 生産性向上 OA 寄与 ー 実 FA 多 実績 上

FA化 進 生産分野 中 今 人手 頼 い 工程 一 積 工

程 ン ン あ 部品 ン 積 部

品供給装置 ー ー ー や組 立 ン 部品 載

内 あ 部品 状態 や 見極 効率的 把持 必要 位置 配列 い 必要 あ

従来 ン 自動化 複数 装置や 用い ー

効率 悪 削減 図 い いう課題 あ 撮像

多 2D 認識率 低 人手 代替手段 信頼性 十分 あ

そ 投影機 ー 組 合わ 3D ン

開発 い 装置 大型 上 処理時間 要 ¹³ 生産 ン 組 込 い面 あ

12 _ー ン 撮影対象物 検出・測定 調整機能 視差演算 撮影対象物

位置・形状 認識 処理

13 _3D計測法 一種 あ 位相 方式 用い い ー ーン投

影 点像 ー 処理 必要

15 © 2017 Ricoh Company, Ltd.

ー 産業用 RICOH SV-M-S1 _ン

RICOH RL _{ー 難題 解決 被写体 3D 座標}

捉え 特長 生 従来 ン

用 形や向 判別 い部品 や 認識

ン ー 協業実績 あ ー ー 連携 高

速・高精度 性能 最大限発揮 仕上 導

入 際 FA ン ー ー 豊富 実績 ー ン

ー ン ㈱ 客様 密接 連携 図 全体最

適 観点 効果的 提案 行い 複数 客様 生産

ン 導入 生産効率化 寄与 い

IoT時代 迎え あ 中

ン 求 機能 変わ う

い 製品 全体

一元的 管理 PLM Products Lifecycle Management 動 国際 進展

い ー ー ー 一括処理

従来 方法 ー 十分応え ー ン

ン 個々 部品 認識 う

高度 要求 柔軟 対応 ー FA化 伴

う 課題 解決 っ賢い、 技術 客様起点 立 ー

ン 提供 通 ー ン 貢献 い

ン

16 © 2017 Ricoh Company, Ltd.

・機械学習 外観検査向け画像認識・解析技術

生産 FA化 っ最後 難関、 い 部品 検査工程 近 年 撮像技術や画像認識技術 向上 ン ン 外観検査装置 利用 広 い 十分 効果 得 い い 現状 そ 要因 良品 欠陥品 見極 難 あ 損傷や欠陥 確認 多 種多様 条件 い 総合的 判定 求 上 良・不良 境界線 曖昧

場合 知見や経験 判別 必要 あ

一方 人手 頼 検査 生 や 部品 検査

要員 負荷 目 酷使や 重量物 移動 場合 あ 生産効率 向上や 削減 要員 活用 付加価値 高い業務 再配置 検査工 程 自動化 避 通 い課題 いえ そ 解決策 ー 機 械学習 外観検査向 画像認識・解析技術 研究開発 取 組 い

ー 画像認識技術 高 要素開発 ー 機械学習 研究 行 そ 一 半教師あ 学習法 用い 異常検知 あ

機械 正解 値 学習 判定 あ そ 以外 ー 含

い 場合 異常 検知 判定 繰 返 い 反

復学習 従 精度 高 一般的 用い 教師あ 学習 全

ー 付 ー 集合 用い 学習 比 学習 用い ー

量 ン 画像 数 少 いう特長 あ

ー 学習法 部品 撮像 ー 特徴量 算出 画像認識

14 _{応用 欠陥品 自動 見分 高精度 外観検査 開発}

進 い 画像認識 関 豊富 機械学習 精度向上 生 い 製造部品 良品 比 欠陥品 う 少 全 欠陥種類 い 学習 用い 欠陥品 ン 用意 困難 従 良品 特 徴量 ー 学習 い 手法 適 い 未知 欠陥 対応 可能 良品 形状 大 い部品 1 次加工段階 部品 検査

14 画像 特徴点 画像 境目や角 抽出 特徴量 回転や ー 照度 対 堅牢 情報 算出 行う SIFT Scale-Invariant Feature Transform SURF Speeded-Up Robust Features

17 © 2017 Ricoh Company, Ltd. 場合 高精度 判定 可能

半教師あ 学習法 外観検査向 画像認識・解析技術 公益社団法人 精 密工学会 画像応用技術専門委員会主催

外観検査 ン

2014年 2015 年 2 年連続 優秀賞

受賞 機械学習 分

野 応用 可能 ー 時

代 迎え そ 価値 い そう高 い 今後 ー 学習精度や処理速

度 向上 図 人間 判

断力 迫 高度 画像認識・解析技術 目指 い

3.3. _{物流分野 のマ ン} ョン 2nd テー

・ テ を用いた動線 ニ ン

ン ン 進展 分野 大量 画像情報 扱え う

反面 有用 情報 い 取得 いう課題 出 大量 情 報 必要 応 分析 そ 結果 視覚情報 提示 可視化 技術

解決 中 動的 情報 可視化 技術 迅速

意思決定 支援 目視や静止画像 気 新 知見 発見

外観検査 機能

検出結果例

外観 ン 2014

18 © 2017 Ricoh Company, Ltd. え 物流倉庫 収納棚 変更 行 際 そ 変更 適切 う 判断 人 動 動線 観察 い いう ー あ

ー 用い 動線 ン ¹⁵ 開発

Ricoh Europe SCM B.V. _{ン・ ・ ー ン 物流倉庫 最適} 配置 活用 い

複数 配置 倉庫内 搬送作業 状況 3D

観察 そ 結果 視覚的 表示 作業 ー

行わ い 流 い 人や荷 集中 場所 い

情報 濃淡 ー 分類表示 一目 状態 把握

取得 情報 観点 分析 効率的 作

業負担 少 い 割 出 可能

従来 う 動線 ン 定点観測 方法 用い

確認 時間 要 早送 見落 生 問

題 あ 対 ー 動線 ン 搭載

位置や流 情報 3D 精緻 捉え 見や 可視化

15 _ステ に る人 位置検出お び動作分析技術 , Ricoh Technical Report No.40 物流倉庫 動線可視化例 ー

19 © 2017 Ricoh Company, Ltd.

迅速 的確 意思決定 可能 可視化 画像

必要 応 条件 変え 多角的 分析 効率的 設計 導 出

動線 ン 活躍 場 物流倉庫 限 え

動線 対応 ー 制御 ー や 人 出入

伴う異常 検知 警告 い 応用 考え

ー 今後 利用範囲 い そう 拡大 図 共 ン 結果 自動解析 行え っ賢い、意思決定支援 発展 目指 い

4. ープンイノベー ョン 挑 マ ン ョン2nd テー

ー ン ン 2nd ー い 一部開発中 含 紹介

い い 単 自動化や省力化 い 人々

知的生産性 高 い いう 見据え 開発 い

っ賢い、 挑戦 実地

検証 重 着実 そ 性能 高 い 光学や画像処理 精密実

装 い 技術 ー 長年蓄積 多種多様 技術

今 破壊的 ー ン¹⁶ 時代 動 そう い

ー う 取 組 自社 行 う 考え い

今回 紹介 事例 あ 通 そ 開発 多 研究機関や複数企業 協 業 あ い 客様 協力 進 い ー 固有技術や

協業先や提携先 技術 知見 融合 ー ン

起 新 価値 創造 目指 い 今後 ー ワー

実現 目指 ー ン ー ン ー ン

ン 2nd ー 取 組 期待 い

16 _{革新的 技術 既存} や産業構造 劇的 変化

20 © 2017 Ricoh Company, Ltd. 改訂履歴

Ver1.0.0 2017/07/12 初版発行 Ver1.1.0 2017/10/16 改訂