Copyright (C) 2015 FUJIFILM ICT SOLUTIONS CO.,LTD All Rights Reserved.
平成27年10月15日
富士フイルムICTソリューションズ株式会社
システム事業部 IT企画部 兼 ITインフラ部 部長
柴田英樹
富士フイルムにおける
ビッグデータ分析・活用基盤構築事例
EMC FORUM 2015
1
会社概要
2
中期経営計画とグローバルIT戦略
3
テクノロジートレンドとIT価値の変化
4
ビッグデータの活用の狙い
5
データ分析基盤の整備方針
6
データ分析基盤の目指す姿
7
データ分析基盤の整備ステップ
目次
8
データ分析基盤の仕組み
9
データレーク基盤のシステム構成
10
まとめ
# 3
Copyright (C) 2015 FUJIFILM ICT SOLUTIONS CO.,LTD All Rights Reserved.
1. 会社概要 ①
273社
(2015年3月末現在)
連結会社数
79,235人
(2015年3月末現在)
連結従業員数
連結営業利益
(2014年度)
1,724億円
(2015年度予想)
1,900億円
(2014年度)
2兆4,926億円
(2014年4月~2015年3月)
(2015年度予想)
2兆5,800億円
(2015年4月~2016年3月)
連結売上高
中 嶋 成 博
代表取締役社長・
COO
古 森 重 隆
代表取締役会長・
CEO
1934年
(昭和9年)
創
立
事業会社
(2015年3月末現在)
シェアードサービス会社
100%
関係会社
持株会社
75%
関係会社
100%
関係会社
66%
1. 会社概要 ②組織・体制
# 5
Copyright (C) 2015 FUJIFILM ICT SOLUTIONS CO.,LTD All Rights Reserved.
戦略
技術
ソリューション
システム
情報
社名
富士フイルムICTソリューションズ株式会社
設立
1998年7月(富士写真フイルムのIT部門が機能分社)
所在地
東京都港区(本社)、米国NewYork、ドイツ
Düsseldorf
、
中国上海、シンガポール
従業員数
約160名
役割
富士フイルムグループの情報戦略の策定・推進
-基幹業務に関わるアプリケーション・インフラ
-国内・海外の拠点を結ぶネットワーク
-情報システムの安全性や機密性を保持する
セキュリティマネジメント
事業内容
・IT戦略策定・推進、ITガバナンス整備
・ システム構想・企画、構築・導入
・ システム保守・運用管理
1. 会社概要 ②IT部門
産業機材
電子材料
オフィスドキュメント
関連事業
産業用途・
ライフサイエンス事業
写真関連事業
医薬
ライフサイエンス
メディカルシステム
フラットパネル
ディスプレイ材料
グラフィックシステム
記録メディア
フォトイメージング
デジカメ
光学デバイス
1. 会社概要 ③全事業
# 7
Copyright (C) 2015 FUJIFILM ICT SOLUTIONS CO.,LTD All Rights Reserved.
日本
41.2
%
米州
18.7
%
欧州
11.6
%
アジア他
28.5%
2014年度
仕向地別
連結売上高
構成比
1. 会社概要 ④グローバル展開
2. 中期経営計画とグローバルIT戦略 ①
(指数)2000年総需を100とした場合の指数
中期経営計画 VISION2016
# 9
Copyright (C) 2015 FUJIFILM ICT SOLUTIONS CO.,LTD All Rights Reserved.
ITの価値は「工数の提供」から「ビジネス価値の提供」にシフト
ビジネス価値=スピード・変革・差別化
■IT部門が直面する課題
9
ドライビング・フォース:オープン化、スマート化、サービス化
テクノロジー:IoT、ビッグデータ、人工知能など
市場環境:グローバル化、不確実性増大、ビジネス・スピード加速
環
境
変
化
の
圧
力
開発工数の削減
顧客資産の削減
スピードと変化への対応
ビジネス・ユーザーの期待に応えるためには
「何でもできます」、「何でもやります」は、差別化にならない。
グローバルに踏み出せなければ、成長のチャンスを失う。
クラウド・ネイティブのノウハウなくして、チャレンジ・チャンスは生まれない。
サブスクリプションや成果報酬
社内特区やクラウドファースト
外部との異文化交流
どのような対策を取るべきか
3.テクノロジートレンドとIT価値の変化①
頻度
量
業務処理
分析処理
ビッグ
データ
データが増大し
ビッグデータになった
モバイル
ソーシャル
クラウド
利用技術の進化
大規模処理アルゴリズム、人工知能、
小型センサ・プロセッサ、近接通信など
新たなニーズや適用領域
を生みだした
4.ビッグデータの活用の狙い ①
■なぜ、いまビッグデータなのか
# 11
Copyright (C) 2015 FUJIFILM ICT SOLUTIONS CO.,LTD All Rights Reserved.
11
ソーシャル・メディアWebサイト
業務システム
IoT/センサー
非構造化データビックデータ
経営戦略や経営計画の立
案
事業部門への指示と実行
月次などで行う経営会議で
のモニタリングと問題点の分
析の指示
問題点の分析と問題点を修
正するための意思決定と指
示
全社の戦略に沿った部門別
の計画立案
ー部門での業務実行
日々のモニタリング
問題点の分析と上位部門へ
の報告や修正
リポーティング
OLAP分析
データマイニング
プランニング
問題の兆候を発見する
問題の要因を検証する
対処のヒントを得る
計画の根拠を得る
集計、推移、比較、内訳、順
位、関係、シグナル表示
多次元データベース、スライ
シング、ドリルダウン&ドリ
ルアップ、ドリルスルー
クロス分析、相関分析、回帰
分析
モデリング、シミュレーショ
ン
Webリポート(リポートを Webページなどで多数のユー ザーに公開) ダッシュボード(複数のリ ポートを単一の画面で表示) 大量の分析元データの処理 最新の分析元データの共有 大量の分析元データの処理 より高度なマイニングアルゴ リズムの利用 多くの部署から収集された計 画データの統合DWH
構造化データ経営層の目的
現場部門の目的
BA:Business
Analytics
BI:Business Intelligence
BI
Business Intelligenceアナリティクス
Analysis4.ビッグデータの活用の狙い ③
膨大なデータに内在する相互の関係や構造を分析・整理し
わかりやすく表現して、事実に基づく意思決定を支援すること
営業戦略
マーケティング戦略
製造の効率化
製品開発
カスタマー・サポート
売り上げの増大
企業経営の最適化
事業活動の最適化
EPM
Enterprise Performance Management
企業価値の向上
コスト削減
競争力強化
顧客満足の向上
「何かが起こってから変わる企業」から「何かが起こる前に変わる企業」へ
経験や勘ではなく、事実に基づいて、ビジネス上の判断をできるようにすること
4.ビッグデータの活用の狙い ④
# 13
Copyright (C) 2015 FUJIFILM ICT SOLUTIONS CO.,LTD All Rights Reserved.
+Hadoop環境
情報収集/蓄積/探して活用
+将来予測分析
因果関係把握/メカニズム検知
+リアルタイム/データサイエンス
新ビジネスモデルの創出
Analytics Engines
Big Data Infrastructure
•
加速するビッグデータ時代の対応
–
Volume(容量)
:技術革新に伴う処理量の増加
–
Variety(種類)
:音声/画像/センサー/ログ等の非構造データ
–
Velocity(頻度)
:データ生成/分析の高速化
音声
ファイル
ファイル
映像
画像
ファイル
ログ
Webコンテンツ
•
市場やビジネスの急激な変化対応
–
商材やビジネス・スキームが変化
–
新たなマーケットや販売手法の迅速な対応
–
分析や利活用により新たな経済的な価値が発生
Analytic Productivity Platform
Agile Process & Tools
Big Data Enabled Apps
従来型
BI/DWH
BIを使って現在の
ビジネス状況を見る
ビジネス監視
ビジネス洞察力
未対応・対応可能な物事を予測分析で見つけ、
既存報告機会に組込む
ビジネス最適化
予測分析によって、ビジネスオペレーション
を最適化するプロセスに組込む
全体的な新しいビジネスモデルを創造
するために顧客の利用パターンと市場
のトレンドに影響力を持つ
新しいビジネスモデルの創出
•
迅速なビジネス展開
–
新たな売り上げ機会を創出
–
アジャイル開発とデータサイエンスの融合
・ビッグデータ活用以前の問題として、
既存DBシステムに様々な課題が
- 性能の劣化
- 高い導入コスト
- 維持・管理コスト増大
- チューニング
- 拡張時のコスト
これらの課題を解決しながら、今後
のビジネス展開を見据えた拡張性を
担保できるデータ分析環境が必要
5.データ分析基盤の整備方針 ①
■阻害要因の明確化:3つの力のどこが不足しているのか
• ビジネス上の問題とコンテキストを理解する能力
• ビジネス部門の利害関係者と共同作業を行う能力
•統計やマーケティング
に関する知識
•分析ツールやツールで
提供される関数の知識
•複数のデータ間の
関係性を発見し、
モデル化する能力
•最新のテクノロジを
適材適所で活用する能力
(インメモリ、Hadoop、
クラウド、etc)
•多様な分析ニーズに
応え得るデータ処理基盤
•分析に使用する
関連データセットを
構成する能力
ビジネス
分析
データ
5.データ分析基盤の整備方針 ②
# 15
Copyright (C) 2015 FUJIFILM ICT SOLUTIONS CO.,LTD All Rights Reserved.
BAaaS(Business Analytics as a Service)
ビジネス市場/顧客
Big Data
ONE FUJIFILM BAaaS
定型分析
予測分析
Hadoop基盤
HDFS
アクセスログ
オンライン注文履歴
BUクラウド
SNS
グローバル統合DWH
データロード
富士フイルム
ユーザー
エンタープライズ・ビジネス・インテリジェンス
•定期的な定型レポート提供
•グローバル/リアルタイムでの個別サービス
•一部セルフサービス化
•ユーザー自身で
のアドホック分析
•レポート閲覧
•カスタムレポート
依頼
カスタム分析
売上データ
顧客データ
マシンデータ
モバイルデータ
新データ分析基盤
Data Lake
意思決定・
ビジネスへの反映
頻度に応じて 定型サービス化6.データ分析基盤の目指す姿
SAP BWを集約
SAP基幹のグローバルDWH
集約
統一されたマスターDB化に
よる効率的なBI分析
✓
✓
1
SAP BWを分散RDB
(TeraData)に集約
ビジネス・ドメインにおける
分析環境を迅速に提供
3
非構造化データ分析
ニーズの対応
分散RDB+Hadoop技術による
データレーク基盤の構築
2
検索とETL処理の
Hadoopへのオフロード
次世代データ分析基盤の拡張
ビジネス・ドメインを超えた分析
4
事業部固有のDWH
を取り込み
One FUJIFILMにおける
データレーク基盤のベース構築
分散RDB環境のリソースを
分析処理に集中
将来的な容量枯渇を解決
✓
✓
✓
分析制限の緩和により、多種
多様な分析ニーズ対応
✓
センサーデータ
Webログ/SNS
アクセスログ/テキスト
画像/音声
セキュリティ
共通のデータ蓄積基盤
✓
ビジネスの変化に伴う、迅速
な分析環境を提供
✓
個別DWH(構造化デー
タ)の取り込み
✓
様々なデータを連携させ分析
ビジネス・コラボレーション
✓
顧客マスターの共有参照
✓
データサイエンティストから製品/
アプリケーション開発への融合
5
ビジネス戦略に密接した
役割に進化
分析~仮説~検証~実装サ
イクルをアジャイルに実現
✓
リアルタイム分析における
In-Memory技術の活用
✓
データ収集の仕組みと戦略を
密結合
✓
用途にあわせたBI/BAツール
と連携した分析
✓
7.データ分析基盤の整備ステップ ①
# 17
Copyright (C) 2015 FUJIFILM ICT SOLUTIONS CO.,LTD All Rights Reserved.
I
T
部
門
富士フイルムグループ
HDFS
Pig
MapReducePivotalHD
グローバル統合
DWH
バッチ処理
ソート処理
アドホック検索
全件検索
個別分析要件
蓄積基盤による
データ連携分析
非構造化データ
多種多様なデータ
ERP-1
ERP-2
ERP-3
音声 ファイル ファイル映像 画像 ファイル ログ WebコンテンツSAP BW
の集約
1日4サイクルの
ETLローディング
個別データ分析
基盤の集約
集約
Teradata
クレンジング
コード変換
etc
レポート生成
定型
分析
非定型
分析
高速分析
定型分析
データ蓄積
非定型分析
データ
ロード
主要分析以外の負荷と
容量をオフロードすることで
快適な分析を実現
:施策実現
の為の新しい
仕組み
8.データ分析基盤の仕組み
9.データレーク基盤のシステム構成 ②
MapReduce
結果
分析
Isilon
OneFS
Isilonによる
Hadoop環境
Hadoop用ストレージ
HDFS
HDFS
12 Data Servers
20TB * 4Nodes
# 19
Copyright (C) 2015 FUJIFILM ICT SOLUTIONS CO.,LTD All Rights Reserved.