会社概要日本 Global 2015 年売上高 31.6 億米ドル顧客満足度 No.1 ( 外部評価 ) 名称 SAS Institute Japan 株式会社 SAS Institute Inc. 設立 1985 年 1976 年所在地東京大阪米国ノースカロライナ州キャリー代表者堀

(1)

戦略的データ活用の勘所

～アナリティクスのためのデータマネジメント～

2016/10/12

SAS Institute Japan株式会社

ソリューションコンサルティング本部情報基盤イノベーショングループ

山本慎一

Gartner Symposium 2016

(2)

日本

名称

SAS Institute Japan株式会社

Global

SAS Institute Inc.

設立

所在地

1985年

1976年

東京、大阪

米国ノースカロライナ州キャリー

代表者

堀田徹哉

Dr. James Goodnight

（CEO,創設者)

オフィス所在国

日本

59カ国

（米国、カナダ、中南米等）

従業員数

約257名

（2016年2月現在）

約14,000名

SAS Institute Inc.の業績

ビジネス・アナリティクス(BA)ソフトウェアとサービスのリーディング・カンパニー

年間売上31.6億米ドル（2015年）

－前年比2.3％増

1976年以来連続して

増収増益

を達成

R&D投資率：売上高の

平均24％

※大手ソフトウェア企業平均の

約2倍を継続投資

2015年売上高

31.6億米ドル

顧客満足度No.1

(外部評価)

業界トップのR&D投資率

会社概要

2

(3)

０．はじめに

１．データマネジメントがボトルネック

２．アナリティクスのためのデータマネジメント

３．データマネジメントへの取り組み

４．データガバナンス

５．はじめの一歩

アジェンダ

3

(4)

“In the new world, it is not the big fish which eats the

small fish, it’s the fast fish which eats the slow fish”

“世の中は、大きな魚が小さな魚を食べるのではなく、

動きの速い魚が遅い魚を食べる時代

になった”

Klaus Schwab

Founder and Executive Chairman

世界経済フォーラム

迅速で的確な経営判断（意思決定）が求められる

新たな競争原理

(5)

5 結果の

適用

洞察

データを

準備

データマネジメント

アナリティクス

ビジネス価値

1

2

3 情報資産であるデータを迅速に価値に変える下記ステップ

が必要

(6)

6 発見

適用

一番のボトルネック「データ準備」が成功の鍵を握る

データを価値に変える仕組み＝“アナリティクスライフサイクル”

の確立、繰り返し運用が必要

(7)

本セッションのテーマ

7 昨今、ディープラーニング、AI、機械学習などのアナリティクスに関

心が持たれていますが、本セッションでは、

“アナリティクスは、ボトルネックであるデータ準備（データマネ

ジメント）の改善無しでは、本来の目的（迅速で的確な意思

決定）を達成することができない”

という地道なお話をさせて頂きます。

(8)

１．データマネジメントがボトルネック

(9)

例えば、分析レポートを依頼した場合を想像してください

9 • 迅速に結果を受け取れますか？

• その内容は納得できるものですか？

(10)

ビジネス課題

意思決定

課題解決のための準備時間

課題解決に

あてる時間

データ準備がなかなか進まない

Excelで無理やり加工するしかない。。。

分析結果

実際の依頼後のプロセス

10

(11)

なぜ、分析レポート作成に時間がかかるのか

11 Analytics

20%

Data Management

80%

“分析作業の80％は、データマネジメント作業

に費やされる”と言われています。

・必要なデータは分散されている

・データ項目の定義が不明、あるいはメンテされていない

・コード体系が異なり結合できない

・・・

分散データ

低いデータ品質

コード体系不一致

(12)

目に見える取り組み:

隠れている様々な課題:

（見たくない部分）

BI、分析ツール利用

散在したデータの統合

データ管理者不在

データ標準(ガイドライン)の策定

法規制の遵守

変更管理

低いデータ品質

マスタ統合

分析手法

アナリティクス

データマネジメント

さらに、データマネジメントには様々な課題が存在

12

(13)

世の中の企業のうち

57%

もの企業が、

自社の正確な顧客リストを作成するのに

まる

２日間以上

かかってしまう

米国調査会社Forrester Research

顧客の定義とは？

顧客マスタは複数ある？

メンテナンスされている？

皆さんの会社はいかがでしょうか？

13

(14)

２．アナリティクスのためのデータマネジメント

(15)

レポートのためのデータマネジメント

ビジネスユーザ

は、

仕様を決める

IT

は、仕様に従って

データを作成

アナリティクスのためのデータマネジメント

IT

は、分析が行える

データ基盤を構築

ビジネスユーザ

は、分析への

必須作業として、反復型

データ加工が必要

ビジネスユーザ、IT間の

繰り返しが発生

ビジネス(分析)ユーザが、セルフサービスで

試行錯誤的にデータ加工できる環境が必要

アナリティクスのためのデータマネジメントとは、

15

(16)

€

$ ¥

ビジネス（分析）ユーザが作成したいデータとは、

16

(17)

IT

ストリーミングデータ

Hadoop

EDW

ETL

基幹側データマネジメント

分析のためのデータ準備

Data mart

高度な分析

業務、基幹

データソース

In-Hadoop Data Management &

Analytics

ビジネスユーザ

データ探索とデータ準備

ビジネスユーザ

非構造データ

センサー,

スマートメーター

IoT

ウェブ &

ソーシャルメディア

データソース～分析まで

収集/統合

品質

セルフサービス

分析

17

(18)

SASは、IT向けのデータマネジメント環境に加えて、分析ユーザ向けにもセルフサービスのデータマネジメント・テクノロジー

を提供します。

データマネジメント

IT部門

ユーザ部門

売上データ

顧客データ

商品データ

DWH/

統合DM

ユーザ

データ

ユーザ

データ

ユーザ

データ

データ加工

アナリティクス / レポーティング

1次ETL

分析モデル

構築

Excel

レポート作成

Web

レポート作成

データ準備

分析

モデル

Excel

レポート

Web

レポート

DM

2次ETL

データ活用プラットフォームのイメージ

18 収集/統合

品質

セルフ

サービス

(19)

３．データマネジメントへの取り組み

(20)

第1要素



ビッグデータへの対応



分散されたデータ



リアルタイムデータ



パフォーマンス



セキュリティ、コンプライアンス

など

収集/統合

“収集/統合”の考慮すべき点

分析

収集/統合

品質

セルフサービス

20

(21)

クエリー

システム

ユーザ

“まず蓄積して、その後クエリ”

情報の価値はクエリー時に

はじめて判明します。

データ統合

データの変換

データの標準化

ビッグデータ時代においては、この

アプローチだけではやがて限界を

迎えるでしょう。

一般的なビッグデータへのデータマネジメント戦略

21

(22)

1. 受け取り

2. 必要かどうかを判断

3. 分別

ゴミ箱

一時置き場

よく使う場所

倉庫

日常生活におけるデータ管理

（少し見方を変えて。。。）

22

(23)

• 多くの企業が、これらのテクノロジーが混在した環境と格闘しています

• このような環境の中で、データガバナンス、データ品質やセキュリティの取り組みが見過ごされているケースもしばしば

見受けられます

• SASは、お客様がこれらの異なる様々なテクノロジー環境においてもデータマネジメントプロセスを構築支援

Hadoop

ローコストストレージを

生かして全てを蓄積

Data Federation

& Virtualization

データ移動の最適化

In-Database

アドホック・非定型処理

のための構造的管理

Event Stream

Processing

ストリーミング処理

ビッグデータの収集・管理・活用を支えるテクノロジー

DWH

アプライアンス

23

(24)

Data Federationとは、データ統合パターンの一つであり、異なる多様なデータソースを、それぞれのデータソースの独立性や

データソース間の整合性を保ちつつ、あたかも一つのデータソースであるかのように参照し操作することを可能にするテクノロジー。

データフェデレーション（仮想統合）



異種DBの仮想統合

（データソースから最小限の移動）



データ管理、設定の集中化



データ仮想層によるデータ要件変更への迅速な対応

/コスト削減



セキュリティ、監査ログの集中化



最適なパフォーマンス



各アプリケーションへ統合された1データソースとして提供

SAS

®

_{Federation Server}

(25)

et

wo

rk

SAS E

VENT

S

TREAM

P

ROCESSING

E

NGINE

ESP

Adapter

ESP

Adapter

ESP

Connecter

ESP

Connecter

ESP

Adapter

ESP

Adapter

ESP

データベース

アプリケーション

各種デバイス

Publish

Subscribe

ESP

Connecter

アプリケーション

ストリーミングデータソース

SAS Event Streaming Process Server

ターゲットアプリケーション

各種SAS製品

Subscribe

ストリーミングデータのよ

うな高速で、膨大な

データを処理して、リア

ルタイムなアクションやア

ラートのトリガーになる

ストリームデータに対して検知、抽

出、集計、結合といった操作を通

じてノイズの中から信号を見つける

イベントに対する分

析処理、特にパ

ターンを識別し検

知する

et

wo

rk

ストリーミング処理

SAS

PROCESSING

®

EVENT STREAM

(26)

第2要素



データプロファイリング



データクレンジング



名寄せ



モニタリング

など

品質

“品質”の考慮すべき点

分析

収集/統合

品質

セルフサービス

26

(27)

顧客データやその他のデータに対して、プロファイリング、クレンジング、拡張や統合を実施し、データの品質を改善することで、

分析の精度や意思決定の精度を高めることができます。

•データ品質を定量的に評価し、改善を必要とする表記ゆれ、不整

合、不正確さを特定するために、データの値を網羅的に調査し特徴

付けるプロセス

プロファイリング

•データの標準化を実施し、必要に応じてデータを取捨選択、修正、

補完を実施する。

クレンジング

•異なるシステム間で保持する同じ顧客データを識別し、１レコード

に統合する

統合（名寄せ）

•データ品質度合いを指標として設定し、レポート表示、アラートによ

る継続的なモニタリング可能

モニタリング

データ品質改善プロセス

主なタスク

データ品質

27

(28)

値の分布リスト

パターン分析

テーブルプロファイリングとビジュアライゼーション

プロファイリング

(29)

あらかじめ定義されている標準化定義を使用して表記を統一

パース後のデータ

入力データを意味のあるトークン（都道府県、市区町村、苗字などの単位）に分割

入力データ

パース後のデータ

不完全な住所データ

パース(データ分割）

データ標準化（表記ゆれの補正）

クレンジング

29

(30)

入力データ（氏名）

感度90-100

感度85-89

感度80-84

田中サチコ

1

1 田中ｻﾁｺ

1

1 田中さちこ

2

1

1 斉藤二郎

3

2

2 斎藤二郎

4

2

2 伊藤三郎

5

3

3 伊東三郎

6

4

3 いとう三郎

7

5

3 感度90-100

カタカナの半角全角揺れは同一とみなす

感度85-89

上記に加え、旧字、カタカナ、ひらがな、ローマ字の揺れは同一とみ

なす

感度80-84

上記に加え、苗字について読みが同じ漢字の場合も同一とみなす

項目ごとの曖昧マッチングをSensitivity（感度）パラメータでコントロールします。初期設定の感度の定義をカスタマイズ可能

曖昧マッチング

統合（名寄せ）

30

(31)

PLANフェーズで定義あるいは、プロジェクト中に再定義されたビジネスルールを使用して、データ品質度合いを継続的にモニタリング可能

指標をレポート表示するだけでなく、ルール違反のレコードを記録したり、よりクリティカルなルールについては、担当者へメール送信など様々なアラート

方法を提供

モニタリングレポート・アラート

モニタリング

31

(32)

第3要素



容易なデータアクセス



GUIによるデータ加工



試行錯誤



加工後データに対する分析ツールとの連携

など

セルフサービス

“セルフサービス”の考慮すべき点

分析

収集/統合

品質

セルフサービス

32

(33)

分析ユーザは、ユーザ自身が

様々なデータ加工処理に加えて、加工後データに対する分析（統計処理）、結果表示

としての集計表作成やグラフ作成などのレポーティングを実施します。

それら要件をカバーするアドホック性の高いセルフサービスツールが必要となります。

分析プロセスフロー図

分析フローの設計/管理及びストア

ドプロセスの登録

結果ウィンドウ

分析結果の表示やデータのレ

ビューの実施

分析タスクリスト

クエリーや集計、予測などのSASの

高度な分析機能をメニューから選択

し実行

• データ加工処理

• レポート作成

• アドホック・クエリ

• ストアドプロセス作成

• 分析プロセスフロー共有

• 統計手法を活用した高度分析

• 予測シミュレーション

• ・・・

主な機能

必要な条件を満たすセルフサービスツールとは、

33

(34)

レポーティング

高度な分析

データ加工

データ抽出

データ準備、分析プロセスは可視化されるため、処理が分かり易く、属人化を防止し、共有化を促進します。

プロセスフローは、どの中間データからでも派生してデータ加工できるため、試行錯誤にも適しています。

プロセスフロー

34

(35)

ポイント &

クリック

Hadoopスキルが不要

セルフサービス型

HTML 5 インターフェース

Hadoop環境にあるデータ管理のセルフサービス化を実現

Hadoop向けセルフサービスツール

35

(36)

定型レポート

Hadoop上のデータに対してメモリ（LASR）にロードすることでレポート、分析が容易に実現

Hadoopデータの活用

様々な分析

36

(37)

４．データガバナンス

(38)

REGULATOR

S

CUSTOMERS

VENDORS

OPERATION

S

IT

BUSINESS

データ品質に責任を持っ

ているのは誰ですか？

分析に使用すべき／

使用できるデータは

どこにありますか？

過去の知見を再利

用する方法は？

データをどのように

保護していますか？

データをセキュリ

ティを保持しな

がらどのように

チームで共有し

ていますか？

データマネジメントの課題として、「組織、ルールの問題」が

あります

38 システムの責任者はいてもデータの責任者が不在

(39)

「組織、ルール

の問題」

全部門を通じて、

信頼できるデータ

であるという

共通理解

を確立

するために、

組織

と

テクノロジー

によって、構造化および非構造化

データ資産が定められた

ルールに基づいて管理

され、保護される

プロセス

39 データガバナンス

(40)

データ資産の管理を統制

・データ資産の価値の把握

・

データに関する標準、

ポリシー、手続きの評価

・コンプライアンスの評価

・リスクの管理など

Consensus

Collaboration

Transparency

ビジネス用語定義

データ品質チェック

レポート＆ダッシュボード

データマネジメントプロセス

ビジネスルール

役割と責任

オーナーシップ, スチュワードシップ

業務

システム

必要な要素

40

(41)

エグゼクティブスポンサーシップ

データガバナンス

データマネジメント

データ

要件

アーキテクチャ

データ

メタデータ

管理

データ

品質

データ

管理

セキュリティ

権限管理

ガバナンスプログラムと資産

を保護し、価値を高めリソー

スを割り当てる

プログラムの監視、リスクの管

理、コンプライアンスの評価

業務部門：業務プロセスに

精通しており、業務ポリシー、

業務ルール、業務指針につい

て把握している

システム部門：個別のソース

データシステムの知識

定められた指針と標準に基づ

いて資産を開発・管理する

業務

と

システム部門

のコラボレーション

データスチュワードシップ

業務

システム

業務部門とシステム部門の協力（スチュワードシップ）

41

(42)

５．はじめの一歩

(43)

いきなり始めると失敗します。データマネジメント自身は目的にはなりません。

• 目的は何ですか？

• 誰・何のためですか？

• ゴールはどこですか？将来のロードマップは？

• 経営戦略に直結したデータマネジメント戦略がありますか？

結果を分けるスタートライン

43

(44)

データ品質改善活動の計画を策定するために、まず業務データの分析、把握をすることが必要です。

• 定量的分析(プロファイリング)と類似性解析プロセス(マッチング)により発見したデータ品質の問題

• データ品質改善のためのデータ変換やクレンジングの候補抽出

会社概要 日本 Global 2015 年売上高 31.6 億米ドル 顧客満足度 No.1 ( 外部評価 ) 名称 SAS Institute Japan 株式会社 SAS Institute Inc. 設立 1985 年 1976 年 所在地 東京 大阪 米国ノースカロライナ州キャリー 代表者 堀

戦略的データ活用の勘所

～アナリティクスのためのデータマネジメント ～

2016/10/12

SAS Institute Japan株式会社

ソリューションコンサルティング本部 情報基盤イノベーショングループ

山本 慎一

Gartner Symposium 2016

日本

名称

SAS Institute Japan株式会社

Global

SAS Institute Inc.

設立

所在地

1985年

1976年

東京、大阪

米国ノースカロライナ州キャリー

代表者

堀田 徹哉

Dr. James Goodnight

（CEO,創設者)

オフィス所在国

日本

59カ国

（米国、カナダ、中南米等）

従業員数

約257名

（2016年2月現在）

約14,000名

SAS Institute Inc.の業績

ビジネス・アナリティクス(BA)ソフトウェアとサービスのリーディング・カンパニー

年間売上31.6億米ドル（2015年）

－ 前年比2.3％増

1976年以来連続して

増収増益

を達成

R&D投資率：売上高の

平均24％

※大手ソフトウェア企業平均の

約2倍を継続投資

2015年売上高

31.6億米ドル

顧客満足度No.1

(外部評価)

業界トップのR&D投資率

会社概要

2

０．はじめに

１．データマネジメントがボトルネック

２．アナリティクスのためのデータマネジメント

３．データマネジメントへの取り組み

４．データガバナンス

５．はじめの一歩

アジェンダ

3

“In the new world, it is not the big fish which eats the

small fish, it’s the fast fish which eats the slow fish”

“世の中は、大きな魚が小さな魚を食べるのではなく、

動きの速い魚が遅い魚を食べる時代

になった”

Klaus Schwab

Founder and Executive Chairman

世界経済フォーラム

迅速で的確な経営判断（意思決定）が求められる

新たな競争原理

5

結果の

適用

洞察

データを

準備

データマネジメント

アナリティクス

ビジネス価値

1

2

3

情報資産であるデータを迅速に価値に変える下記ステップ

会社概要日本 Global 2015 年売上高 31.6 億米ドル顧客満足度 No.1 ( 外部評価 ) 名称 SAS Institute Japan 株式会社 SAS Institute Inc. 設立 1985 年 1976 年所在地東京大阪米国ノースカロライナ州キャリー代表者堀

～アナリティクスのためのデータマネジメント～

ソリューションコンサルティング本部情報基盤イノベーショングループ

山本慎一

堀田徹哉

－前年比2.3％増

一番のボトルネック「データ準備」が成功の鍵を握る