NTTデータイントラマート
デジタルビジネス事業推進室
高松 大輔
intra-martのAI基盤「IM-AI」新登場!
Copyright © 2017 NTT DATA INTRAMART CORPORATION
intra-martのAI基盤ご紹介
KNIMEについて
活用例のご紹介
今後の取り組み
まとめ
2
3
4
5
1
intra-martのAI基盤ご紹介
Copyright © 2017 NTT DATA INTRAMART CORPORATION
Accel
Platform
-システム共通
基盤-Accel-Mart
-クラウドサー
ビス-IM-BPM
-業務プロセス(BPM)-
業務システム
Accel Applications
-アプリケーション
シリーズ-パートナー
ソリューション
IM-AI基盤
DMP(データ・マネジメント・プラットフォーム)構想
パブ
リック版
IM-DMP
各顧客様に対してパーミッションを取得して個人情報以外のデータを集約する。
A社
B社
C社
D社
E社
F社
プライ
ベート版
IM-DMP
プライ ベート版 IM-DMP プライ ベート版 IM-DMP プライ ベート版 IM-DMP プライ ベート版 IM-DMP プライ ベート版 IM-DMPデータ提供者に、
パブリックデータを
用いたデータモデル
をフィードバック
Accel-Martを想定
Copyright © 2017 NTT DATA INTRAMART CORPORATION
(GUI開発機能)
IM-DMP
ソース
機械学習
処理
フロー
学習モデル
他の機械学習ツール
IM-IoT基盤
IM-LogicDesigner
intra-mart
アプリ
hadoop
Elasticsearch
KNIMEについて
Copyright © 2017 NTT DATA INTRAMART CORPORATION
KNIMEとは
KNIMEはドイツの Konstanz大のバイオ系の部門が開発した
OSSプラットフォームです。
EclipseベースでJavaで作られており、拡張プラグインで
Weka、R、Python などを呼び出して利用できます。
GUIベースでデータ読込みから、デプロイ、レポーティング
までEnd-To-Endな分析が可能になります。
KNIMEについて(2/7)
KNIMEの豊富な機能群
KNIMEでは、1000種を超えるノード群と豊富な分析アルゴリ
ズムが提供されており、まさに分析者にとって最適な統合環
境となります。
他にも多種のノードが
使用できます。
ファイル読み込み等
データ操作
分析アルゴリズム
Copyright © 2017 NTT DATA INTRAMART CORPORATION
KNIMEの豊富なサンプル・アクティブなコミュニティ
KNIMEを使った分析を円滑に進めるための豊富なサンプル、
ユーザー・開発者向けのフォーラムなど充実しています。
KNIMEについて(4/7)
KNIMEの拡張機能により、独自のプラグイン開発、大
規模データの分析が可能※
KNIME Analytics Platformを中心にスケーラビリティ・オプ
ションとコラボレーションツールなどの提供も行っています。
さらに独自の拡張機能を追加できるようなプラグインを作成
することができます。
生産性
コラボレーション
スケーラビリティ
独自拡張機能
※一部有償提供となります。
Copyright © 2017 NTT DATA INTRAMART CORPORATION
ElasticSearchへの読み書きを行う拡張機能
その他ロジックデザイナー連携部品や各種ユーティリティを
intra-martプラグインとして追加しております。
KNIMEについて(6/7)
Copyright © 2017 NTT DATA INTRAMART CORPORATION
分析対象となるデータを収集
します。教師あり学習を行う
場合は教師データも必要とな
ります。
5.チューニング
モデルの評価
を行います。
分析結果とモデルから指
標値を算出することで、
そのモデルの妥当性を定
量的に評価し次の分析時
のパラメータ設定などの
参考とします。
収集したデータを扱いやす
い形に加工します。「デー
タクレンジング」と呼ばれ
る作業もこのフェーズで行
われます。
4.機械学習
機械学習を行って分析を行
います。
基本的には学習データを用
いて機械学習モデルを作成
し、そのモデルを用いて予
測や分類など行うことにな
ります。
3.特徴抽出
データを機械学習で扱う
ことが可能な特徴ベクト
ルという形式に変換しま
す。
(様々な手法が存在しま
す。)
KNIMEについて(7/7)
Copyright © 2017 NTT DATA INTRAMART CORPORATION
連携パターン
詳細
活用例
IM-LogicDesigner
→KNIME呼び出し
IM-LogicDesignerから
KNIMEのフローを呼び出す
アドホックな機械学習
KNIME
→IM-LogicDesigner
呼び出し
KNIMEのフローから
Im-LogicDesignerを呼び出す
学習時の例外を通知
学習モデルの移送
KNIMEで作成した学習モデル
をIM-IoT基盤上で実行。
(Spark上でモデル利用)
高トラフィック環境で
の予測・異常検知
IM-IoT連携プラグイン
IM-IoT基盤と簡単に接続可能
なKNIMEノードを追加
IoTとの連携
IM-IoT基盤との関連
IM-AI基盤は大きく2種類のプラットフォームより構成されています。
KNIME:GUIでフロー作成、学習、予測を行うツール単体で利用できる。
IM-IoT基盤:大規模データ、ストリーミングデータに対する処理で利用できる
プラットフォーム・コンポーネントは共存可能で、それぞれ利用でき
るコンポーネントは以下の通りとなっています。
KNIME
IM-IoT基盤
KNIME-Executor
MLExecutor
MLExecutor+Spark
SparkMLlib
KNIME-SparkExecutor
Copyright © 2017 NTT DATA INTRAMART CORPORATION
回帰
線形
非線形
ノンパラメト リック分類
決定木
アンサンブルSVM
クラスタリングk-Means
ウォード法DBSCAN
…
…
…
教師あり
教師なし
活用例のご紹介
Copyright © 2017 NTT DATA INTRAMART CORPORATION
活用例① 作り方
データ収集
BPMで入力修正された項目を収集
特徴抽出
入力項目の修正率をユーザ毎に計算、One-To-Manyによる特徴ベクトル作成
アルゴリズム
コサイン類似度をユーザー間の類似度とみなして類似ユーザを決定、類似ユーザの入力
修正した項目を推薦
コサイン類似度の計算によって
類似するユーザを抽出するKNIMEワークフロー
Copyright © 2017 NTT DATA INTRAMART CORPORATION
日程自動調整機能と連動し、自動的に他メンバーを調整することもできる。
参加者は?
候補期間は?
会議室利用は?
確保時間は?
曜日指定は?
日時
会議室
制約
選択
4/24(月)
13:00-14:00
A会議室
(10名)
田中さんが出席
できません
4/26(水)
11:00-12:00
B会議室
(12名)
なし
5/8(月)
15:00-16:00
C会議室
(8名)
会議室が少し狭
いです。
…
(仮)調整中
(仮)スケジュール
Xxxさんが調整中のスケジュールです。
調整メール用テンプレート
以下の日程候補でいかがでしょうか。
1.4/26(水) 11:00~12:00 弊社(B会議室)
2.5/8(月) 15:00~16:00 弊社(C会議室)
レ
レ
候補を選択すると、日程候補を自動設定、メールテンプレを作成
活用例② 作り方
スケジュール重要度判断機能、キーマン判断機能
データ収集
intra-mart Accel Collaboration スケジュール情報
(スケジュールコード、タイトル、参加者)
特徴抽出
データ変換(One-To-Many、Min-Max)
アルゴリズム
K-Means法(クラスタリング)
K-Means法によって
クラスタリング数を決定する
KNIMEワークフロー
Copyright © 2017 NTT DATA INTRAMART CORPORATION
機械学習結果のサジェストに利用
プラグインで任意の画面に追加できる。
アイコンは差し替え可能。
今後の進め方
Copyright © 2017 NTT DATA INTRAMART CORPORATION
IM-AI基盤上で動作するアプリの拡充
プロセスの自動作成
パーソナルサジェスト
年内はPoCを中心に実施
機械学習を活用した予測・兆候分析
データマイニング
トレンド分析
マーケティング分析
まとめ
Copyright © 2017 NTT DATA INTRAMART CORPORATION