パナソニックソリューションテクノロジー株式会社 AI がもたらす新たなECM の潮流～ 映像が持つ膨大な情報を利活用する ～

データアナリティクス部

AIがもたらす新たなECM

の潮流

〜 映像が持つ膨⼤な情報を利活⽤する 〜

P.1

弊社ご紹介

パナソニック株式会社

オートモーティブ＆インダストリアルシステムズ社

エコソリューションズ社

コネクティッドソリューションズ社

アプライアンス社

パナソニック ソリューションテクノロジー株式会社

働き方変革

変革を支える

ICTインフラ

○ワークプレイス変革

○健康経営支援

○ICT基盤

○IoT・AI基盤

○業務アプリケーション

製造・産業

ソリューション

○設計・開発・生産プロセス変革

○流通現場変⾰

Analytics/AI

活用によるビジネス創発

○データ分析

○ＡＩ

P.2

弊社のお役⽴ち

販売・サポート

インテグレーション

データ分析支援

製造業

ピック精度向上

故障予知

医療

早期診断

傾向分析

⾃動⾞

自動運転

保険最適化

ロボット

家事・介護

24/365サービス

公共

スマート監視

人物追跡

農業

自動仕分け

薬品最適化

ハードウェア

ソフトウェア

サービス

保守

ワンストップで、お客様の課題解決をご支援します

可視化

分析

AI Super computer

DGX-1

P.3

今回のサブタイトル

活用する

映像

情報

情報

情報

情報

情報

P.4

身近に映像があふれる時代

監視カメラの出荷台数 (

年次／国内

₎

インスタグラム利⽤者数

₍

累積／グローバル

₎

(百万人)

※ Instagram社公開値を元にグラフ化

2017.9

8億人

2016

年

P.5

「映像」の特徴 ：

⻑所

・ 短時間で空間的な視覚イメージを記録

・ 短時間で、第三者にもイメージを再現

情報

情報

P.6

「映像」の特徴 ： 弱点

・ 一覧性が悪い (何が、どの位置にあるか)

・

検索シーンやキーワードも

_あいまい

夫

妻

釣り

P.7

現在の「映像」の利⽤⽤途

映像が利⽤される２つのケース

最初から伝えたいストーリーがある

何かあった時のために

P.8

現在の「映像」利⽤の実体

交差点 大きなビル

⻘空

沢山の人

駅前

⾞

信号

犬の銅像 109の看板

00’00”

イメージ情報

交差点 大きなビル

⻘空

沢山の人

駅前

⾞

信号

犬の銅像 109の看板

様々な情報

P.9

映像内の情報を認識する技術

超⾼速並列演算

ディープラーニング

画像認識

_/

インデックス⽣成・管理

映像アノテーションシステム

ソフトウェア＆SI

P.10

電子的なメモ書きリスト

1’03”

道玄坂

：

3’54”

_富士山

：

5’31”

_東京駅

：

映像アノテーションシステム

…

1’03”

3’54”

…

…

検索を出来るようにするために、

_{シーンへタグ付け}

映像を構成する各フレーム(画像)には、

多くの情報が含まれる

P.11

キーワードリスト

インデックスデータ

検索キーワード設定までの流れ

ビデオ映像

映像認識

&

タグ付け

仮想リンク

お客様の映像資産

教師データ

(

静止画像

)

データベース

(

高速検索

)

フィルタリング

、

DB

に合せた

フォーマット編集

インデックス生成

(

ファイル名

,

時間

,

キーワード

)

検索

_“

イヌ

_”

03’24” dog 03’54” cat 05’30” dog ： ： 03’24.31” dog 03’24.64” dog 03’24.97” dog 03’25.31” dog ： : 03’54.21” cat 03’54.55” cat ： :

出現の先頭

をIN点とする

対象物を検出した最初の時間が、シーンの再生位置

①

①

②

②

③

③

検索のキーワード

P.12

システム全体運用イメージ (Before/After)

管理⽤

_DB

増え続ける

過去の映像資産

デジタル化

映像の目視確認

目視情報を元に

手作業で一覧表作成

HDD

目視でのタグ付けでは、

膨大なコンテンツに対応できない

秋田犬の映像を 集めといてくれ。

犬では分類していま すが、そこまでは。

全部⾒ないと・・・

新たな索引要望に対応できない

ディープラーニングによる

コンテンツの⾃動認識

アノテーション

静止画像(教師データ)

保存場所の

リンク情報

・対象物の再生時間

・ ファイル格納場所(URLなど) ・ 検索キーワード

タグ情報の登録

Index

Before

「秋田犬」 で検索

After

「秋田犬」のシーン一覧

P.13

画像

認識対象の間引き

“イヌ” が映っているシーン

シーン検索で欲しいタイミング

・・・

・・

・・・

1秒くらい手前？

キーワードリスト

インデックスデータ

03’24” dog 03’54” cat 05’30” dog

： ： 03’24.31” dog

03’24.64” dog 03’24.97” dog 03’25.31” dog

： : 03’54.21” cat 03’54.55” cat ： :

出現の先頭

をIN点とする

・・

・・

どこに(何秒に)

P.14

シーン検索 画⾯例

person

person

一覧(サムネイル)が表示

検索キーワード⼊⼒

人(person)

が映っているシーンを検索し、

その1つを再生する

一つを選択

該当シーンより再生

過去の映像資産が沢山あっても、

適切にタグ付けがされていれば

複数条件での絞り込みも可能

P.15

画像認識のイメージ

画⾯は、認識イメージであり、

タグ情報生成時に画面表示は

⾏わない。

ＡＩを用いると、多くの “モノ”

の認識が可能

P.16

検索キーワードの最新化

ニューラルネットワーク生成

HDD

教師データ

(静止画)

In

ディープラーニング

による機械学習

(ﾆｭｰﾗﾙﾈｯﾄﾜｰｸ生成)

_Out

検索⽤インデックス⽣成

HDD

・・・

検索⽤インデックス

生成対象の映像

In

Out

…

1’03” 3’54”

“イヌ”検知

画像認識

01’03” , イヌ 02’19” , ネコ 03’54” , イヌ 05’30” , イヌ ： ：

キーワードリスト

管理⽤

_DB

インポート

対象物の検索

検索

_“イヌ”

仮想リンク (URL)

特定対象物の認識

及び 検索⽤インデックス⽣成

ニューラルネットワーク

教師データ 作成

必要な “モノ” だけ

認識させ、繰り返しタグを⽣成

初期学習

追加要望発生

追加学習

キーワード更新

タグ付け

P.17

映像アノテーションのユースケース (放送業界)

インデックス

生成

事前

_の

タグ付け

配信

都度

のタグ付け

インデックス情報

事故発生！

番組制作

類似映像は？

視聴者投稿は？

映像利⽤

過去の利⽤素材は？

画像認識

記者取材映像

SNS投稿映像

映像ライブラリ

地方局提供映像

⼤量の映像素材

シーン検索したい

_“モノ”

P.18

映像に含まれる情報 (

例

₎

映像には、既に多くの情報が含まれている

2018.2.26, 8:35,

松下太郎

_,

笑顔

2018.2.26, 8:35,

⽥中⼀郎

_,

疲れ顔

2018.2.26, 12:06,

××交差点

⻄

_100m

コーン倒れ

P.19

109の隣の店は？

マルチモーダル？ 餅は餅屋？

「映像」 が得意とすること、「地図」 が得意とすること・・・

地図

映像

関連付け

P.20

情報同志が関連付いた例

既に

先⾏事例が・・・

P.21

映像アノテーション vs. Google Maps

タグは、映像と他の情報を関連付けるための情報

…

…

…

地図が主情報、画像(従情報)をマップに貼り付け

1’03”

映像

2’19”

地図

映像アノテーション

vs.

独⽴

_{した情報同志の関連付け}

01’03” , N35.659 E139.699 02’19” , N35.689 E139.698 03’54” , N35.672 E139.702 05’30” , N35.677 E139.706

： ：

再生時間 北緯 東経

タグ情報

画像

Google Maps

主情報

従情報

P.22

様々な 指標軸との関連付け

映像を様々な[情報軸]

に関連付けて管理する

…

1’03” 2’19”

01’03” , N35.659 E139.699 02’19” , N35.689 E139.698 03’54” , N35.672 E139.702 05’30” , N35.677 E139.706

： ：

再生時間 北緯 東経

映像

独⽴

_{した情報を関連付け}

タグ情報

空間軸

時間軸

XX軸

Shibuya-

2017

_.mp4

Shibuya-

2016

_.mp4

Shibuya-

2015

_.mp4

地図

予定表・年表

設定値. 条件･･

P.23

まとめ

1. AI

を使って、映像のシーンを検索・取り出し

映像

テキスト情報

地図

カレンダー

タグ情報

2. 映像には膨大な情報を含む (ビッグデータ)

Panasonic Solution Technologies Co.,Ltd.

映像アノテーションを実現するソリューション基盤

26

オフィスにあふれる紙⽂書・⽂書ファイル、画像、映像、デザインなどのデジタルファイルを統合的に管理できる「CrossLead」。社内に分散 するデータを全社で有効的に活用できます。

登録 管理 検索・参照

BPO 電子化 サービス

帳票OCR連携

オフィス文書

画像・映像・デザイン

文書ファイル

在宅

外出先

業務効率化

生産性向上

業務効率化

生産性向上 コスト削減 情報資源の無駄カット

コスト削減 情報資源の無駄カット ペーパーレス化

情報漏えい

リスク軽減

オフィス（本社）

オフィス（支社）

全 社 で 情 報 を 有 効 活 用

アーカイブ サービス

映像ファイル

さ ま ざ ま な フ ァ イ ル を 登 録