DataWarehouseの
【御参考資料】
構築と活用につきまして
ＩＴライブラリーより （pdf １００冊）
http://itlib1.sakura.ne.jp/
一般社団法人
情報処理学会 正会員
腰山 信一
本資料の関連資料は下記をクリックして
ＰＤＦ一覧からお入り下さい。
ＩＴライブラリー （pdf １００冊）
http://itlib1.sakura.ne.jp/
リスク管理の徹底 顧客・商品別の採算管理 収益管理 一取引毎の損益分析 顧客を巻き込んだエキストラネットの強化 顧客への情報開放と受注処理の自動化 情報システムへの効果的投資 増大するサーバ群、業務システムの統合 ナッレジの共有 知識・情報を個人所有から会社所有へ 戦略的営業の更なる強化 顧客の要望する情報を即座に提供
目的
手段
業務シェアの更なる拡大 ＩＴをフル活用した新商品への対応DataW
arehou
se
の
戦
略
的
活
用
ITビジネスの推進 リスク管理 グループウェアの構築 管理会計 実績把握 客先情報配信 取引履歴の集約 月残推移の把握 顧客情報管理 社員知識の集約 データマイニング（採掘） 多次元分析 汎用検索 取引履歴の分析 新商品への対応 業務システムの統合 売上分析 収益管理 付加価値の創造 （in 営業現場） 協力企業も巻き込んだ ナレッジの共有 全社的コストの削減 収益管理 出力帳票の電子化 DataWarehouseの構築 自由帳票の作成 商品別売上推移 顧客別資金需要予測
戦略的DataWarehouseの構築
DataWarehouse の戦略的活用利用形態の変化
● 貯めることが中心のデータ・ウェアハウスからデータを利用する ことを中心にしたデータ・ウェアハウスの構築（一般論）。
－ データ活用の高度化
－ B I（ Business Intelligence ) ツールの高度な活用
● 二階層モデル/三階層モデルからWebの活用へと進化。
－ セントラルデータウェアハウス
－ 部門データマート／ＯＬＡＰデータマート／マイニング・データマート
－ Internet、Intranet
● スクラップ＆ビルド型データマートの構築。
－ 多様なユーザニーズへの対応
－ ユーザニースの変化への対応
● データウェアハウスを中心とした他ソリューションとの
連携
－ ＣＲＭ、ＣＴＩ、ＳＦＡ、ERP、Internet／Intranet
企業内に蓄積されたデータを経営資源として位置づけ
全社的に活用できるデータとして最適化・一元的管理
●データウェアハウス構築
●データマート構築
データを積極的に活用する為の方法と関連する技術
●OLAP分析
●Webレポーティング
●データマイニング
蓄積したデータを情報に変えて戦略的に活用する
ことにより企業の競争力を強化する
データの統合と情報活用（ＤＷＨ）
基 幹 業 務 デ ー タ
ニーズと問題点
●業務単位のＤＢ構築 ⇒データ項目の属性に整合性がない ●データは最新状態を反映 ⇒過去の履歴データは基本的 限られた期間しか持つたない ●データは業務処理を最優先した 形式でしかも明細は大量 ⇒ユーザへの開放は困難 ●必要最小限データ ⇒他部門のサーバからのデータ 収集が必要!
?
!
CRM Windows 基幹シス テム Webアプ リケー ション グループ ウエアせっかくの貴重なデータを活用できていない
ユ ー ザ の 不 満 （ 一 般 論 ） ○最新データはオンライン検索できるが、過去データはレポー トを集めて再編集が必要。 ○ホスト、サーバ、個人ＰＣとデータが散在しているため集める のに手間がかかる。 ○ＳＱＬ、コマンド、スクリプトを習得しないとホストやサーバか らデータが抽出できない。 ○システム間でデータ項目のタイプやフォーマットが異なるた めデータを簡単に加工できない。 ○大量データを扱うため分析に時間がかかる。 ○レポートを作成しても頻繁に仕様が変る。販売管理 顧客情報 製品情報 部材情報 生産管理 受注管理 部門別 （主題志向） データウェアハウス アプリケーション 中心 業務データ 変換 加工 全社共通の統一データ （統合化） 各業務毎のデータ 履歴データ （時系列） 5～10年 最新データ MAX2年 データの 追加／更新／削除 検索のみ （確定）
データウェアハウスの特徴と効果
部門別 ： 情報の存在場所が明確になり、活用が容易になる。 統合化 ： データ（マスターのコードなど）を全社共通のクリーンなデータにすること で１つの情報をいろいろな角度でまたは、複数の情報を一緒に分析でき るようになります。 ⇒受注と販売のデータを「顧客」という視点で合わせて参照するこ とができる。 時系列 ： 過去からの傾向を分析や、過去のある時点のデータ分析が可能となる。 確定 ： 更新処理との競合を意識する必要が無く、検索効率を上げられる。 データ統合のメリット
OLAP（Online Analytical Processing） 商 品 軸 店舗軸 組織軸 商品体系別 での視点 顧客体系別 での視点 時間 特定期間別 での視点 （自由条件検索）アドホック での視点 売上データ 取引データ 財務データ 地 域 統合データベースの活用方法 スライシング（キューブの断面を見る）やダイシング （分析視点の切り替え）の手法を用いて様々な視点 でデータを検索/分析
データマイニング( Data Mining )
Microsoft Decision Trees Example
全顧客データ 100,000件 購入あり:28,350件 購入なし:71,650件 年収500万以上 47,625件 購入あり:17,662件 購入なし:29,963件 年収500万以下 52,375件 購入あり:10,688件 購入なし:41,687件 既婚 35,207件 購入あり:11,642件 購入なし:23,565件 未婚 12,418件 購入あり:6,020件 購入なし:6,398件 既婚 15,207件 購入あり:3,276件 購入なし:11,931件 未婚 37,168件 購入あり:7,412件 購入なし:29,756件 購入者33% 購入者48% 購入者22% 購入者20%
統合データベース構築のアプローチ
クラスタ分析や相関分析などの手法を 持ちいてデータに潜む未知の規則やパ ターンを発見( データの中から一定のパ ターンや関係を発見 ）２．結果表示 １で指定した範囲の検索結果を もとに自由に加工・表示 ３．様々な視点からの分析 分析軸は科目 … 比較軸は年度 分析軸は科目 比較軸は店所 視点変更 分析軸は科目 比較軸は年度 分析軸は科目 比較軸は店所 表示変更 表示変更 … 業務統合ＤＢ 抽出データ項目 検索条件 ﾃﾞｰﾀ項目一覧 １．検索に必要なデータ項目指定 検索に必要なデータ項目を指定 １ 選択ﾃﾝﾌﾟﾚｰﾄ プレビュー ﾃﾝﾌﾟﾚｰﾄ一覧 １．出力に必要なテンプレートを指定 出力に必要なﾃﾝﾌﾟﾚｰﾄを指定 ２ ﾃﾝﾌﾟﾚｰﾄの選択 レポート作成 ２．結果表示 利用シーンの考察 １． 抽出データ項目を自由に選択 → 分析の視点は利用者が自由に設 定／様々な視点からの分析が可能 ２． 出力に必要なﾃﾝﾌﾟﾚｰﾄを選択 → 呼び出されたﾃﾝﾌﾟﾚｰﾄを加工して帳票を作成 「見たい情報を見たい時に」を実現 利用者が自由な 視点で表を加工し 分析することが可能
基幹ｼｽﾃﾑ ・大量ﾃﾞｰﾀの保管 ・統合ﾃﾞｰﾀﾍﾞｰｽとの 連携 源泉データ 過去N年分 分析・予測 ｼｭﾐﾚｰｼｮﾝ 定型検索自由検索 エンドユーザ （営業部門、バックオフィス部門） マーケティング部門 経営企画部門 リスク管理部門 ・ﾕｰｻﾞｰﾆｰｽﾞへ の 対応 ・鮮度/精度維持 ・ﾊﾟﾌｫｰﾏﾝｽ維持 ・ｾｷｭﾘﾃｨ維持 ・障害対策 各種業務ﾃﾞｰﾀ 目的別データ 明細データ 多次元キューブ 統合データベース 統合データベース構築の要件 ～効果的なデータの保持～ 統合業務システム ・各種業務データ 各業務データ即日反映 蓄積 蓄積 集約データ 統合ﾃﾞｰﾀﾍﾞｰｽはこれら種々の要求に耐えうる、 精度が高く鮮度の良いﾃﾞｰﾀを大量に蓄積し、
統合データベース構築の要件 ～効果的なデータの保持～ データウェアハウス構築の一つのポイントとして、様々なユーザの検索ニーズにいかに 柔軟に応えられるか、という点が挙げられます。たとえば経営層が経営目標に対する モニタリングを行なう時と、リスク管理部門が全社的なリスク・収益を管理する時、そし て営業現場で各営業担当が顧客データや取引情報を参照にする時では、それぞれ必 要とするデータが違います。これらの多様なニーズに応えるには、精度が高く鮮度の 良いデータを大量に蓄積し、さらにそのデータをいかに見せるか、という点を考慮する 必要があります。
●明細データ 日々のビジネス活動の最前線で発生するデータをそのまま生データ（明細データ）と して蓄えます。 これらのデータは以降の分析などに実体を反映した情報として 利用されます。 ●集約データ 明細データでは情報が細かすぎて傾向やトレンドなどを一目で把握しづらく、また量 も多いため、大きな傾向を把握するために種々の集約項目に沿ってあらかじめデー タを集約しておきます。 ■
様々な検索要求に応えられる情報の蓄積
●目的別データベース（データマート） 主にパターン化した定型検索などでその目的に合致したデータベースをあらか じめ 作成しておきます。また、WAN経由などの場合、一定のレスポンスを確保するため に各検索拠点に配置することもあります。 ●多次元キューブ 分析／予測／シミュレーションなどを効果的に行なうため、組織、商品、顧客、時 系列など想定 される視軸に沿った多次元データベースを作成します。これらはド リルダウンやスライス＆ダイ スなどの分析手法に使用されます。
●ビジネスインテリジェンス（効果と課題）
EAI データ蓄積／活用 ポータル（ＥＩＰ） ・アプリケーション連携 ・システム統合 ・データ統合 ・データ一元管理 ・データ分析 ・情報共有、情報提供 ・Webによる再構築 ・企業ポータル ・情報共有 ・NW集中化 ・TCO削減 ・オープン化 ・既存資産継承 ・TCO削減 ・全社データの整合性 ・企業戦略、経営指標 ・TCO削減 ・既存資産継承 ・新技術導入情報共有とビジネスインテリジェンス
DWHとビジネスインテリジェンスの連携
● データの統合と情報活用（データから価値ある情報へ） ポータル Webレポート 分析・OLAP データﾏｲﾆﾝｸﾞ ビジネスインテリジェンス・プラットフォーム DWH DM DM キューブ キューブ レガシー システムERP POS SCM SFA CTI 外部 データ 分析結果 に基づき 行動を 起こす BIツールで データを分析し ビジネスを 見直す 様々な情報源 からデータを 集約し DWHやDM を構築する レポーティング ビジネス インテリジェンス 情報活用 レポーティング ポータル 業務系 データベース 外部 DWH・DMの 構築 全社 ETL（抽出・変換・ロード）
情報の可視化
と
情報共有
レポーティング ビジネス インテリジェンス 情報活用 レポーティング ポータル 業務系 データベース 外部 データ DWH・DMの 構築 全社 ポータル●全社ポータル 全社レベルの共有情報を格納、伝達 ・ 全社スコアカード、全社戦略マップ ・ 関連ニュース、文書 ・ 統合検索機能 ●部門別ポータル･機能別ポータル 部門レベルの共有情報を格納、伝達 ・ 部門スコアカード ・ 商品/サービス別スコアカード ・ ドリルダウン分析機能 ●チームサイト 部や課、バーチャルチームの共有情報を格納 ・ チームスコアカード ・ 特定 KPI のシグナル ・ グループウェア機能 （予定表や連絡メモ、行き先管理など） 利用者によって欲しいポータル情報は異なります ニーズに合った情報を如何に使いやすく見やすい環境 で提供するかが重要
組織ごとの情報ポータルサイト
●目的別ポータルの連携による、情報ネットワーク
部門ポータル コラボレーション ポータル チームサイト 個人用サイト より詳細なスコアカードへの展開 情報共有のためのグループウェア バーチャルチームでの情報共有 個人のデスクトップ／プロフィール 全社ポータル データ分析・検索 機能別サイトポータル ネットワーク
経営層からの 要求に応えたい 顧客／利用者の 期待に応えたい 顧客／利用者の 満足を得たい 不足している知識 を身に付けたい 成功事例の 横展開 情報鮮度のアップ ■部分的な検討による拡張性のないアーキテクチャの構築 ■必要がない機能を数多く実装 ■情報共有の仕組み（ビジョン・目的の共有）が不十分 ■導入の評価基準が曖昧 ■情報の鮮度を保ち続ける仕組みが不十分 ■情報の公開基準、セキュリティ基準の検討が不十分 ■情報公開に対する動機付けがない 利用者／システム部門 の主なニーズ ニーズと課題の関係
企業情報ポータルに対するニーズと課題
データ統合
と
情報活用
レポーティング ビジネス インテリジェンス 情報活用 レポーティング ポータル 業務系 データベース 外部 データ DWH・DMの 構築 全社 ポータルデータウェアハウス構築におけるアプローチ
ＤＷＨ計画 業務要件分 析 データモデル 分析 ソースデータ 分析 ＤＷＨ 設計 構築 テストと検証 適用 レビュー と評価 保守サイクル 繰り返しによる改善・成長開発方式のポイント
