Windows Azure
ＩＴライブラリー （pdf １００冊）
http://www.geocities.jp/ittaizen/itlib1/
ビッグデータと
一般社団法人
情報処理学会
正会員
腰山
信一
[email protected]
本資料の関連資料は下記をクリックして
ＰＤＦ一覧からお入り下さい。
ＩＴライブラリー （
pdf １００冊
）
http://www.geocities.jp/ittaizen/itlib1/
目次番号
４５４番
８８０番 他
2
データ爆発
とどまるところを知らない
ライフログ 画像・動画 Webサイト 携帯電話の出荷数 国内：3328万台 全世界：約13億台 GPSデータ センシングログ スマートメーター （利用履歴） 非接触IC-R/W 音声 ユーザー数5億人以上全世界 1日に3億のつぶやき ソーシャルメディア （投稿情報/人間関係） ユーザー数10億 人以上1日に 10TBずつ増加 1日86万件以上の投稿 ビッグデータ 文字 2015年の 世界のデータ量 1.8ゼッタバイト
（1.8兆GB）
（閲覧履歴 ） POS・自販機・各種カード （購買履歴） 電話・コールセンター （通話履歴） 4ビッグデータ
収集・蓄積等が可能・容易になる多種多量のデータ（ビッグデー
タ）を活用することにより、異変の察知や近未来の予測等を通じ
、利用者個々のニーズに即したサービスの提供、業務運営の効率
化や新産業の創出等が可能。
5ソーシャルメディアデータ
ソーシャルメディアにお いて参加者が書き込むプロフィ
ールコメント等
カスタマーデータ
CRMシステムにおいて管理等される
DM等販促デー タ、会員カードデー
タ等
オフィスデータ
業務の各システムや、グループウエア
から提供される膨大なデータ群
CRM Flat Files Legacy Systemsマルチメディアデータ
Web上の配信サイト等 において提供等される音声、 動画等
Websiteデータ
ECサイトやブログ等において蓄積等される購入履歴、
センサーデータ
GPS、ICカードやRFID等 において検知等される位置
、 乗車履歴、温度、加速度等 のセンサーデータ。
ログデータ
Web Server等において 自動的に生成等される
オペレーションデータ
販売管理等の業務システム において生成等されるPOS
データ、取引明細等のデータ
センサー単体の活用
百葉箱 体温計 ＡＴＭ 自動水洗 エアコン、冷蔵庫 人感センサ付照明 水道、ガス、電力メータ 自動改札、ＥＴＣゲートネットワークで情報収集
交通渋滞情報配信（カーナビ等） 車両運行支援 アメダス 震度情報ネットワーク・システム 土砂災害警戒システム 河川情報システム 15情報分析、情報配信、自動制御
在庫管理・補充員派遣（自動販売機等） 工場・プラント制御（製造業・ 農業） 異常監視・対策（トンネル） 交通管制（信号機、標示板等） 端末情報管理（スマートフォン等） ファームウェア更新（自動車、家電 等）Ｍ２Ｍ通信サービス（例）
自動販売機、エレベーター、プラント設備、橋梁等の様々な領域において、
Ｍ２Ｍ通信 （Ｍａｃｈｉｎｅ to Ｍａｃｈｉｎｅ通信：人が介在せず、ネット
ワークに繋がれた機器同士が相互に情報交換等を行う機器 間通信）サービス
を提供。
17ライフログ 付加情報 関係性・分析情報 他者との関係（ 絆）・評判・信 用情報 提供・利用 することに 応じて記録 される情報 利用履歴分析など 行動情報 利用履歴 購買履歴、移動履歴 ロケーション、写真 基本属性 住所、クレジットカード 番号、趣味、所属企業、役職 ＩＤコード （識別子/ｸﾚﾃﾞﾝｼｬﾙ ） 提供・利用 する上で必 要な情報 付加情報 関係性・分析情報 他物との関係・性能情報 トラッキング履歴分析な ど 行動情報 利用履歴 機械・器具、車両・信号など の動作トラッキング履歴、 IDコード （識別子/ｸﾚﾃﾞﾝｼｬﾙ） 動植物データ 日記、つぶやき 基本属性 製造年月日、製造場所 製造環境、など 天候など環境 データ センシングログ （マシン） 18
Big Data のビジネス活用への課題
Big Data のビジネス活用へのアプローチ
ソーシャル メディア & 調査研究データ
システム、デバイス、センサー 等
1
00111
Windows Azure における
Big Data 活用基盤
Hadoop connector for
Hadoop on
SQL Server
/ Parallel Data Warehouse
Hadoop on
社内の Big Data（構造化データ）
StreamInsight 2.0
ERP CRM LOB
PowerView
Analysis Services Reporting Services
SQL StreamInsight
Integration Services
ベネフィット
重要
な
特徴
Fast Track forDell Parallel Data Warehouse HP Enterprise Data Warehouse Dell Quickstart Data Warehouse HP Business Data Warehouse
StreamInsight 2.0 SQL StreamInsight ベネフィット 重要 な 特徴 33
ベネフィット
Windows Azureは Apache Hadoop™ をベースとした Windows Server 及び Windows Azure Platform 向けのディストリビューションを強化。
これらをデータ ウェアハウス ソリューションと統合することによって、 エンタープライズ 領域における Hadoop の積極的活用。
Windows Azureにおける Big Data へのアプローチ
エンドユーザー、IT プロ、開発者に Hadoop に対する幅広いアクセスを提供
高いパフォーマンス、容易な管理性、堅牢なセキュリティを備えた、
Enterprise 向け Hadoop ディストリビューションの提供
PowerPivot for Excel や PowerView による使いやすさの提供
SQL Server 及び SQL Server Parallel Data Warehouse 用の
Hadoop connector を無償で提供
Hadoop をベースとした Windows Server 及び Windows Azure Platform
向けのディストリビューション
ベネフィット 重要 な 特徴 Excel 向けの Hive アドイン Hadoop 上の非定型データの参照と分析に 操作に習熟したアプリケーションを利用 37
ベネフィット
重要
な
特徴
Hive ODBC ドライバが Hadoop と SQL Server Analysis Services, PowerPivot, Power View を統合 セルフサービス型 BI ツールを使った OLAP 分析サービスの活用
ベネフィット
重要
な
特徴
ソーシャル メディア サイトの公開済データの 積極活用モデルの確立 ベネフィット 重要 な 特徴
ベネフィット 重要 な 特徴 JavaScript による MapReduce プログラミング 簡素化された プログラミング JS サポート対象の全てのデバイスの Web ブラウザから、JavaScript で 作成された Hadoop ジョブ を展開 簡素化された MapReduce ジョブ の展開 41
ベネフィット
重要
な
BI ツール：迅速、広範、安価に展開できる Big Data ソリューション 容易なオペレーション セルフ サービス モバイル 分析と結果の予測 リアルタイム 共同作業を支援 共有と統治 新しい発見と推奨 変換とクレンジング データ ウェアハウス：ソース横断的な統合によるデータ価値の向上 非構造化データ
