ビッグデータに対する日立ソリューションズの取組み

(1)

Prowise Business Form in Tokyo 第58回

【日立ソリューションズセッション１】

株式会社日立ソリューションズ

技術開発本部オープンソース技術開発センタ 2012/04/19

吉田行男

ビッグデータに対する

日立ソリューションズの取組み

～ Enterpriseで活用するビッグデータ～

(2)

１. ビッグデータを取り巻く環境

２. 日立ソリューションズの取り組み３. Enterpriseへの適用に向けて

• 「ユーザ企業」におけるビッグデータの対応状況

22.9% 17.7% 4.9% 42.5% 11.5%

0% 20% 40% 60% 80% 100%

非ベンダ企業

「ビッグデータ(大量データ)」を既に保有し、業務に利活用している

「ビッグデータ(大量データ)」を既に保有しているが、有効に利活用できていない

「ビッグデータ(大量データ)」が業務で発生しているが、保有・蓄積できていない

「ビッグデータ(大量データ)」と呼べるだけのデータが業務でデータが発生していないその他

分からない

まだまだ発展段階

出典：IPA発行「くらしと経済の基盤としてのＩＴを考える研究会報告書」

(6)

１-２大量データ利用の目的

大量データ(ビッグデータ)利用の目的

事業成果への直接的な向上・改善を目的としたものが上位に

分析手法が不十分？

(7)

１-３課題

6 課題となる要因

順位課題、必要性

１大量データを分析する人材不足

２社内、団体内において大量データを処理するためにシステム基盤の強化３大量データを利用・活用する際の権利関係について明確な規定がない４大量データを管理するために運用負荷の増大

５社内、団体内において高度な分析を実現するためのマイニングシステムなどを未導入

６社内、団体内において取得するデータ精度向上の必要性

要員の確保・育成が急務

出典：IPA発行「くらしと経済の基盤としてのＩＴを考える研究会報告書」

(8)

１-４ベンダの取り組み状況（ソリューション編）

年月社名内容

2 0 1 1 年

9月日本IBM Webベースの分析用画面「BigSheets」を標準実装したHadoopベースの大容量データ活用プラットフォームの新版「IBM InfoSphere Biginsights Enterprise Edition V1.2」を提供開始。

EMCジャパン Hadoop互換の大容量データ活用プラットフォーム「EMC Greenplum HD Enterprise Edition(EE)」をリクルートに先行導入。

日立製作所国立遺伝学研究所においてHadoopを使った大量ゲノムデータの分散処理環境を試作し、従来システムの約２０％のコストで同等性能を達成。

１０月米オラクル Hadoopやオラクルデータベースとの連携機能を実装したアプライアンス製品「Oracle Big Data Appliance」を発表

米マイクロソフト米ホートンワークスとの連携により、Windows AzureとWindows Server向けのHadoopディストリビューションを提供することを表明。

１２月日本HP HadoopとHadoop用のデータベース「HBase」、Hadoopの監視機能等を実装したシステムを提供する

「HP Hadoop HBaseサービス」を発表。

2 0 1 2 年

１月 EMCジャパン Hadoop互換の大容量データ活用プラットフォーム「EMC Greenplum HD EE」の国内販売を開始ノーチラス・テク

ノロジーズ

EMCジャパンと協業し、Hadoop互換の「Greenplum HD EE」と「Asakusa Framework」を組合せた高速バッチ処理ソリューションを販売

NEC システム設計から構築、運用までを支援する「OSSミドルウェアサポートサービス」の対象にHadoopを追加

富士通 Hadoop等をコア機能として備えるPaaS「データ活用基盤サービス」の提供を開始。

２月日立製作所ブレードサーバへのHadoopへの導入や設定を手掛ける「インストールサービス for Hadoop」「プラットフォーム設定サービス for Hadoop」を開始

クラウデラ日本法人の設立を発表。

３月日立製作所ビッグデータの利活用に関する基盤技術群を「Field to Future Technology」として新たに体系化。

(9)

１-５ベンダの取り組み状況（組織編）

8 • ビッグデータ専任組織

社名人数内容時期

NEC ５０営業、研究開発部門から要員を選抜。育成などを通じ、今後３年間で要員を200人に増やす予定。

2012/2 NTTデータ９０数理システムを買収し、データ分析要員を拡充。

２０１２年度は１０人程度の要員を育成。

2012/2 CTC １５エンジニア及びデータ分析要員で推進部門を発

足。海外ベンダへの派遣などで、要員の育成を予定。

2011/1 2

日本オラクル非公開営業、製品部門の要員を中心に構成。コンサルティング部門に対する教育を実施。

2011/1 2

日本HP 非公開コンサルティング、エンジニア、データ分析要員で構成

2011/1 1

新日鉄ソリューションズ

６０コンサルティング、エンジニア、研究開発部門の要員で構成

2011/7 日立２００超ビッグデータの利活用に関する専門家、データ分

析に関する研究者、コンサルタント及びSEで構成

2012/3

(10)

１-６ OSS最新動向調査（①）

Linux Foundation SI Forumが実施した

2010年度オープンソースソフトウェア導入実績調査から

① 調査概要

 調査期間：2011/3 ～ 2011/4

 調査対象期間：2010年度(2010/4～2011/3)

 参加企業(７社) ：

•

ＮＥＣソフト株式会社

•

株式会社ＮＴＴデータ

•

デル株式会社

•

東芝ソリューション株式会社

•

株式会社日立製作所

•

富士通株式会社

(11)

１-７ OSS最新動向調査(②)

10

② 結果

分野結果

仮想化・ＫＶＭの躍進！(前回：ランク外→今回：「検証実績多数」)

・ディストリビューションのサポート向上

・様々な周辺ツールが利用可能に。(Virt-Manager, libvirt等) セキュリティ・SpamAssasin,Nessus等が検証フェーズから導入フェーズへ。

ネットワーク・Asteriskの導入事例が出てきた。

・その他のネットワークツールは定番化。

運用管理・昨年まで導入実績のなかったツールの導入実績が多数に。

(Hinemos, Groundwork, MondoRescue, SyslogNG等) ＤＢ・関連ツール・HadoopやCassandraに導入や検証実績が！

→ ビッグデータ関連ビジネスへの予感

Web・APサーバ・moodle, lighthttpd, Plone, XOOPS cubeが、『検証実績あり』から『導入実績あり』へ。

・変化の早いWebの世界に対応するためにOSSツールの変化も早くなっている。

(12)

１-８ OSS最新動向調査(③)

③ 考察

 OSSの成長とビジネスモデルの変化

•

OSSの信頼性の向上

→ 基幹系システムでのOSS活用へ

•

フロントエンド系OSSのユーザビリティの向上

→ CMS、Blogツールなどは、エンドユーザが自ら導入へ

 ビッグデータビジネスの予感

•

大規模データ処理や検索に用いられるツールは既に導入フェーズに。

2009 2010

Hadoop 検証実績多数 → 導入実績あり Lucene データなし → 導入実績多数 Cassandra データなし → 検証実績多数

ビッグデータとOSSは

密接な関係

(13)

２ . 日立ソリューションズの取り組み

ビッグデータに対する日立ソリューションズの取組み

(14)

２-１「ビッグデータ」とは？

 ３つのV(ガートナー社による定義)

Volume

Variety

Velocity

構造化されたデータと非構造化データの複雑な組合せ

ゼタ・バイトスケールのデータに加えて桁違いの計算量

これまでにない高頻度で発生し

流れる大量のデータ

(15)

２-２既存技術の限界

14

 従来のRDBMSの限界

全世界の情報量が年間５９％のペースで増大。(米Gartner)

データ量、多様さ、分析処理のスピードが課題。

「ビッグデータ」適用技術の出番！

(「列指向データベース」と「Hadoop」)

(16)

２-３「ビッグデータ」に関する取組み

 日立ソリューションズの取組み

Volume

Variety

Velocity

多様なデータ形式に対する取組み

2011/01 :Apache Hadoop基盤導入・構築サービス提供開始

高速バッチ基盤に対する取組み大量データ処理に対する取組み

(株)ノーチラステクノロジーと連携し、「Asakusa Framework」を活用したソリューションの提供 (2011/12：セミナーにてご紹介済)

(17)

16 取組み（1）

大量データ処理に対する取組み

(18)

■Hadoopを導入する際の開発/実行環境パラメタ設計やチューニング、環境構築作業、

アプリケーション開発支援を実施します。

■お客さまから構築したいシステムの構成をヒアリングし、各種設定パラメタの設計、

インストール及び動作環境構築を行います。

■お客さまの業務/ユースケースをヒアリングし、アプリケーション開発や運用設計、

チューニングのご支援を致します。

•

社内にデータがたくさん溜まっているが、データをうまく活用できていない。

•

Hadoopなど新しい大量データ処理技術などの新技術を利用してシステム構築をしたいが、

システム環境や運用の設計ノウハウがなく不安。

ポイント

 インストール

 インフラ構築

 アプリ開発支援

 パラメタ設計

 リソース設計

 運用設計

 チューニング

専門技術者がお客様に代わって、環境設計/構築します。

パラメタ設計書/環境構築手順書をご提供します。

テスト

設計開発構築運用

２-４ Hadoop基盤導入・構築サービス

現状分析

導入に関するコンサル、技術支援

検証環境のカスタマイズ支援

 テスト計画策定支援

 テスト実施支援

Hadoop導入支援

(19)

18 取組み（2）

多様なデータ形式に対する取組み

(20)

２-５ OSS俯瞰図

運用管理

SAN

LAN 構造化データ

ストレージ

非構造化データストレージ

汎用サーバ用途別サーバ

(21)

２-６ OSSスタック(構造化データ/汎用サーバ)

20

ミドルウェ

ア（DBMS）

従来型レガシー／エッジサーバ

ミドルウェア

（APサーバ）

実行基盤(言語) OS

仮想化ソフトウェア(Hypervisor)

クラウド基盤(クラウド運用・監視・管理)

業務業務業務業務

特定用途ユーティリティアプリ開発／ランタイム

通信基盤 (VPN) 連携基盤

(ESB)

ユーザ管理・認証基盤 (LDAP,SSO)

開発環境運用監視・構成管理

OpenVPN OpenSSL Apache AXIS MuleESB OpenLDAP

OpenAM(GnuPG) ZABBIX

heartbeat

MySQL PostgreSQL Struts

Spring Framework iBATIS/myBatis

Apache HTTP Samba

postfix BIND

OpenPNE

namazu

Eclipse SubVersion ant, JUnit

Apache Tomcat JBoss AS

OpenJDK RHEL KVM

OpenStack

(22)

２-７ OSSスタック(非構造化データ/用途別サーバ)

ディスクファイルシステム

構造化/～Middle Size Data 非構造化/BigData/

局所的トランザクション/結果整合性

分散ファイルシステム

NoSQL

RDBスケール技術

BigData バッチ処理

分散処理フレームワーク

BigData ストリーム処理

バッチ処理ストリーム処理

参照性能向上

参照更新性能向上

バッチ処理/オンライン処理オンライン処理

セッション管理アクセス履歴管理ログ蓄積・一元管理

データストレージ情報共有ノンコア

（blog,CMS）

決済処理

（カード、EC等）

決算処理集計処理

（業務データ等）

ログ分析・画像分析実験データ分析

検索Index作成

レコメンド

personalize検索広告カードの不正利用検知

KVS

カラム志向ドキュメント志向、他

memcached,

pgpool-II,slony

postgreSQL-XC, VoltDB

XFS,ext4,ZFS Hadoop HDFS,

Redhat Global File System Hadoop Hbase, Cassandra

CouchDB, MongoDB okuyama,

Memcached, membase, Tokyo

Cabinet/Tyrant, ROMA,Flare, Kai・・・

Hadoop MapReduce,

qizm S4

(23)

22 取組み（3）

高速バッチ基盤「Asakusa Framework」に対する取組み

(24)

２-８何故 Asakusa Framework ？

 普通の企業でも適用可能

– 多くの企業に業務バッチ処理は必ずある。

 効果が分かりやすい

 業務バッチ処理が早くなれば、嬉しいことも想像し易い。



夜間バッチの対応要員コストとか…

 Hadoopを知らなくても開発可能

 Hadoopエンジニアは不足している。

 業務バッチ処理の書き換えを行う人材を確保しやすい。

 安心して使える（？）

 国内に開発者が居るので、素早い対応が期待できる。

 Hadoop APIがバージョンアップしても大丈夫（？）。

（Asakusa Frameworkが対応してくれれば）

(25)

２-９-１公開（2011/3）当初の評価

24  良い点

– 開発は楽、テスト・デバッグも楽。

•

Map/ReduceやHDFS

^※1

等のHadoopの知識は一切不要。

(※１: Hadoop Distributed File System )

•

基本的にEclipseでJava開発の経験があれば、そのまま生かせる。

– 処理速度の高速化も確認（後述）

 悪い点/懸念点

 DB関連で厳しい制限や制約



MySQL必須/基本MySQLが対象

・・・

 情報不足



ドキュメントが不十分、ML等が無い

・・・

 実行管理が問題



Monkey Magic（現Tengine framework）のみ対応

 商用サポートが無い

(26)

２-９-２現時点でかなり改善

 良い点

 開発は楽、テスト・デバッグも楽。



Map/ReduceやHDFS等のHadoopの知識は一切不要。



基本的にEclipseでJava開発の経験があれば、そのまま生かせる。

 処理速度の高速化も確認（後述）

 悪い点/懸念点

 DB関連で厳しい制限や制約



MySQL必須/基本MySQLが対象

・・・

 情報不足



ドキュメントが不十分、ML等が無い

・・・

 実行管理が問題



Monkey Magic（現Tengine framework）

のみ対応

 商用サポートが無い

ドキュメントが拡充 WebサイトやMLも開設

商用サポート開始

YAESS ^※2 により、

JP1/AJS ^※3 等との連携が容易に

※2 Yet

Another Experimental Shell Scriptの略。Asakusa Frameworkで開発したバッチを実行するためのツール。

DMDL及びWindGate

^※1

により、

MySQL不要/他DBも対応可能に

※1 バッチに対するデータの外部入出力を行うモジュールで、

DBMS固有の機能に依存せず、標準SQL/JDBCインターフェース

のみを使用した実装を提供。

(27)

２-９-３処理速度の評価環境

26 Name Node / Job Tracker

Hadoopマスタ

評価用バッチ処理

（試作物）

Data Node/Task Tracker

Hadoopノード

DBMS

処理対象テーブル

DBサーババッチ実行管理サーバ

Asakusa F/W

・・・

Data Node/Task Tracker

Hadoopノード

処理結果テーブル

YAESS

WindGate

Asakusa F/W YAESS

WindGate

Import File

Export File

バッチ処理

CPU : Intel(R) Core(TM) i5 Memory : 4GB

HDD : 500GB

Hadoopクラスタ

2～10ブレード 1ブレードに同居

主な利用ソフト・アプリ



CDH3u2

(Cloudera's Distribution including Apache Hadoop 3 update 2)



Asakusa FW 0.2.3-RC



MySQL 5.1.52

①

②

③

④

(28)

２-９-４試作した処理の概要

顧客ID 登録店ID … 000001 001 … 000002 002 …

… … …

顧客ID 取引店ID ポイント … 000002 005 507 … 000011 010 225 … 000002 087 729 …

… … … …

登録店ID 利用顧客数総ポイント数

001 6782 11907010

002 4878 48270920

… … …

顧客テーブル

（主キー：顧客ID）

履歴テーブル

結果テーブル登録顧客数

一千万件

履歴数一億件

登録店数百店

mysqlbenchを一部改造して生成したデータ

（HDFS上に展開して4GB程度）

CREATE TABLE 結果テーブル

( SELECT 顧客テーブル.登録支店 AS 登録店ID ,

COUNT(TMP.顧客ID) AS 利用顧客数 , SUM(TMP.ポイント和) AS 総ポイント数 FROM 顧客テーブル,

( SELECT 顧客ID ,SUM(ポイント) AS ポイント和 FROM 履歴テーブル GROUP BY 顧客ID ) AS TMP WHERE TMP.顧客ID = 顧客テーブル.顧客ID

GROUP BY 登録店ID );

(29)

２-９-５評価概要

28  評価・開発方針

 MySQLもHadoopも特別なチューニングをしない



MySQLは、huge用のサンプル設定をベース



Hadoopの設定は、最低限の設定のみ

 DBに対する入出力ともWindGateを利用



入出力するMySQL上のテーブルは変更を加えず

 開発量

 実装



Java ： 10ファイル、222ステップ



DMDL

^※

： 6ファイル、153ステップ

 自動生成



Java ： 28ファイル、2231ステップ

 主にフロー処理部分から生成：4ファイル、230ステップ

 主にデータモデルから生成：24ファイル、2001ステップ

開発はこれだけ！

MapReduceやHDFSを知らなくても開発できた！

※ Data Model Definition Languageの略で、

Asakusa Frameworkで利用可能なデータモデル

を定義するための言語。

(30)

２-９-６処理時間の測定結果

0 10 20 30

DB 2ノード 6ノード 10ノード

DB処理

Map/Reduce処理 Import/Export処理

Import/

Export処理

Map/

Reduce処理合計効果

全体

Map/Reduce処理のみ

DB ーー約29分ー

1ノード約10分約14分約24分約17％減約52％減

6ノード約10分約6分約16分約45％減約79％減

10ノード約10分約4分約14分約52％減約86％減

特にチューニングしなくても処理時間を削減できている！

MySQL側（巨大テーブル＆カーソル）の問題？

WindGate側のチューニング不足？

(31)

３. Enterpriseへの適用に向けて

ビッグデータに対する日立ソリューションズの取組み

(32)

３-1 Enterpriseにあるビッグデータ

 ふたつのビッグデータ

データタイプ

典型的ビッグデータ

規模

既存システムとの連携必要性

OSSの必要性典型的テクノロジ

新しいビッグデータ非構造化中心

Webログ

ソーシャルグラフマルチメディア数100～数1000

小

大

自社開発基盤、

Hadoop、NoSQL、

RDBMS(商用＋OSS)

既存のビッグデータ構造化中心

トランザクション履歴ドキュメント

e-Mail 数10～数100

大中

RDBMS(商用)＋Hadoop

(33)

３-１-２情報システムの歴史的な変遷

32 出典：IPA発行「非機能要求グレード利用ガイド［解説編］」

情報システムの利用者

一般消費者

社外企業

社内全員

基幹業務担当者

ITと業務の関係技術変化

システムの大規模化・複雑化 (各種製品の種類・数の広がり)

社会活動・ビジネスへ情報システムが直結 (情報システムの社会基盤化と高度化) システムの影響が増大

(利用者の範囲・数の広がり)

多様な利用環境で、

高度で複雑なシステム要素が連携し、安定的にサービス提供できる

ことがより重要に！

社外利用／企業間接続

全社員PC／社内システム

コンピュータセンタバックオフィス

数台～数百台数百台～数千台数千台～数万・数十万台

ビジネスの一部を代替メインフレーム

日常のビジネス支援

オープン化(複数ベンダ製品化)

IT前提でビジネスネットワーク化

(34)

３-１-３情報システムに求められるもの

情報システムに対する要求

「機能要求」「非機能要求」

営業情報をシステム上で共有し把握したい受発注情報に連動した在庫管理を行いたい

システムダウン時は３時間以内に復旧して欲しい

レスポンスは３秒以内であって欲しい

ユーザとベンダ

でギャップ発生

の可能性大！

(35)

３-１-４非機能要求グレードの６大項目(1)

34

非機能要求大項目

説明要求の例実現方法の例

可用性システムサービスを継続的に利用可能とするための要求

・運用スケジュール(稼働時間・停止予定など)

・障害、災害時における稼働目標

・機器の冗長化やバックアップセンターの設置

・復旧・回復方法および体制の確立

性能・

拡張性

システムの性能、

及び将来のシステムに関する要求

・業務量及び今後の増加見積り

・システム化対象業務の特性(ピーク時、通常時、縮退時など)

・性能目標値を意識したサイジング

・将来へ向けた機器・ネットワーク等のサイズと配置＝

キャパシティ・プランニング運用・

保守性

システムの運用と保守のサービスに関する要求

・運用中に求められるシステム稼働レベル

・問題発生時の対応レベル

・監視手段及びバックアップの確立

・問題発生時の役割分担、体制、訓練、マニュアルの整備

出典：IPA発行「非機能要求グレード利用ガイド［解説編］」

(36)

３-１-５非機能要求グレードの６大項目(２)

非機能要求大項目

説明要求の例実現方法の例

移行性現行システム資産の移行に関する要求

・新システムへの移行期間及び移行方法

・移行対象資産の種類及び移行量

・移行スケジュール立案、移行ツール開発

・移行体制の確立、移行リハーサルの実施

セキュリティ情報システムの安全性の確保に関する要求

・利用制限

・不正アクセスの防止

・アクセス制限、データの秘匿

・不正の追跡、監視、検知

・運用員などでの情報セキュリティ教育

システム環境・エコロ

ジー

システムの設置環境やエコロジーに関する要求

・耐震／免震、重量／

空間、温度／湿度、騒音など、システム環境に関する事項

・CO2排出量や消費エネルギーに関する事項

・規格や電気設備に合った機器の選別

・環境負荷を低減させる構成

(37)

３-２エンタープライズでの適用に向けて

36 ◆エンタープライズで求められる要件

観点内容

可用性サービス停止時間の短縮化、データ破壊対策

性能処理性能、チューニング

拡張性規模拡大への対応、(スケールアウト・スケールアップ)

運用性運用・監視、バックアップ等

機密性セキュリティの確保、監査等

連携性他システムとの連携等

移植性既存システムからの移行

その他技術者育成、OSSサポートなど。

(38)

３-３ＯＳＳの発展パターン

 商用ソフトウェアのコモディティ化

 OS, RDBMS, 業務AP,運用管理等

(コスト削減、ベンダーロックイン回避等を実現可能に)

OSSの発展のパターン

 新しいイノベーションの誕生

 ビッグデータ/クラウド関連技術(分散処理基盤、KVS等)

(OSSでコモディティ化したハードウェア資源を有効活用)

(39)

３-４今後の期待

38  イノベーションと既存技術の融合

 分散基盤を活用したバッチ処理の高速化 (Hadoop+Asakusa, OpenCOBOL等)

 ＫＶＳを活用したＲＤＢＭＳに代わる新しいデータ管理の適用

今後の期待

 次世代システム基盤へのOSSの積極適用

 UNIXからのマイグレーションでシステム基盤

統一にOSSを積極的に適用

(40)

技術開発本部オープンソース技術開発センタ

～ Enterpriseで活用するために～

日立ソリューションズにおけるOSS－DBに対する取組みのご紹介

2012/04/19

吉田行男

END

(41)

ビッグデータに対する日立ソリューションズの取組み

Prowise Business Form in Tokyo 第58回

【日立ソリューションズ セッション１】

吉田 行男

ビッグデータに対する

日立ソリューションズの取組み

～ Enterpriseで活用するビッグデータ～

１. ビッグデータを取り巻く環境

２. 日立ソリューションズの取り組み ３. Enterpriseへの適用に向けて

Contents

ビッグデータに対する日立ソリューションズの取組み

０ 自己紹介

2

 現在特にフォーカスしている領域

 クラウド

 クラウドの運用自動化 （CloudStack, OpenStack, …）

 仮想デスクトップ （VERDE, RHEV-D ※ ,…）

 既存COBOL資産の活用 （OpenCOBOL）

 ビッグデータ関連

 Hadoop導入支援、ベンチマーク

 KVS,NoSQL関連評価

 業務バッチ処理の高速化 （Asakusa Framework）

 役割/活動内容

※ Red Hat Enterprise Virtualization for Desktops

 OSSを活用するビジネスのための支援

 主に新しい技術/OSSの発掘・評価検証

 ビジネス・ソリューションの立ち上げ支援

１ . ビッグデータを取り巻く環境

ビッグデータに対する日立ソリューションズの取組み

１-１ 「ユーザ企業」におけるビッグデータの対応状況

4

• 「ユーザ企業」におけるビッグデータの対応状況

まだまだ発展段階

１-２ 大量データ利用の目的

大量データ(ビッグデータ)利用の目的

事業成果への直接的 な向上・改善を目的と したものが上位に

分析手法が不十分？

１-３ 課題

6

課題となる要因

要員の確保・育成が急務

１-４ ベンダの取り組み状況（ソリューション編）

2 0 1 1 年

9月 日本IBM Webベースの分析用画面「BigSheets」を標準実装したHadoopベースの大容量データ活用プラット フォームの新版「IBM InfoSphere Biginsights Enterprise Edition V1.2」を提供開始。

EMCジャパン Hadoop互換の大容量データ活用プラットフォーム「EMC Greenplum HD Enterprise Edition(EE)」をリク ルートに先行導入。

日立製作所 国立遺伝学研究所においてHadoopを使った大量ゲノムデータの分散処理環境を試作し、従来システ ムの約２０％のコストで同等性能を達成。

１０月 米オラクル Hadoopやオラクルデータベースとの連携機能を実装したアプライアンス製品「Oracle Big Data Appliance」を発表

米マイクロソフト 米ホートンワークスとの連携により、Windows AzureとWindows Server向けのHadoopディストリビュー ションを提供することを表明。

１２月 日本HP HadoopとHadoop用のデータベース「HBase」、Hadoopの監視機能等を実装したシステムを提供する

「HP Hadoop HBaseサービス」を発表。

2 0 1 2 年

１月 EMCジャパン Hadoop互換の大容量データ活用プラットフォーム「EMC Greenplum HD EE」の国内販売を開始 ノーチラス・テク

ノロジーズ

EMCジャパンと協業し、Hadoop互換の「Greenplum HD EE」と「Asakusa Framework」を組合せた高速 バッチ処理ソリューションを販売

NEC システム設計から構築、運用までを支援する「OSSミドルウェアサポートサービス」の対象にHadoopを 追加

富士通 Hadoop等をコア機能として備えるPaaS「データ活用基盤サービス」の提供を開始。

２月 日立製作所 ブレードサーバへのHadoopへの導入や設定を手掛ける「インストールサービス for Hadoop」「プラット フォーム設定サービス for Hadoop」を開始

クラウデラ 日本法人の設立を発表。

３月 日立製作所 ビッグデータの利活用に関する基盤技術群を「Field to Future Technology」として新たに体系化。

１-５ ベンダの取り組み状況（組織編）

8

• ビッグデータ専任組織

１-６ OSS最新動向調査（①）

Linux Foundation SI Forumが実施した

2010年度オープンソースソフトウェア導入実績調査から

① 調査概要

 調査期間：2011/3 ～ 2011/4

 調査対象期間：2010年度(2010/4～2011/3)

 参加企業(７社) ：

•

•

•

•

•

•

•

１-７ OSS最新動向調査(②)

10

② 結果

１-８ OSS最新動向調査(③)

【日立ソリューションズセッション１】

吉田行男

２. 日立ソリューションズの取り組み３. Enterpriseへの適用に向けて

０自己紹介

 クラウドの運用自動化（CloudStack, OpenStack, …）

 仮想デスクトップ（VERDE, RHEV-D ^※ ,…）

 既存COBOL資産の活用（OpenCOBOL）

 業務バッチ処理の高速化（Asakusa Framework）

１-１「ユーザ企業」におけるビッグデータの対応状況

１-２大量データ利用の目的

事業成果への直接的な向上・改善を目的としたものが上位に

１-３課題

１-４ベンダの取り組み状況（ソリューション編）

9月日本IBM Webベースの分析用画面「BigSheets」を標準実装したHadoopベースの大容量データ活用プラットフォームの新版「IBM InfoSphere Biginsights Enterprise Edition V1.2」を提供開始。

EMCジャパン Hadoop互換の大容量データ活用プラットフォーム「EMC Greenplum HD Enterprise Edition(EE)」をリクルートに先行導入。

日立製作所国立遺伝学研究所においてHadoopを使った大量ゲノムデータの分散処理環境を試作し、従来システムの約２０％のコストで同等性能を達成。

１０月米オラクル Hadoopやオラクルデータベースとの連携機能を実装したアプライアンス製品「Oracle Big Data Appliance」を発表

米マイクロソフト米ホートンワークスとの連携により、Windows AzureとWindows Server向けのHadoopディストリビューションを提供することを表明。

１２月日本HP HadoopとHadoop用のデータベース「HBase」、Hadoopの監視機能等を実装したシステムを提供する

１月 EMCジャパン Hadoop互換の大容量データ活用プラットフォーム「EMC Greenplum HD EE」の国内販売を開始ノーチラス・テク

EMCジャパンと協業し、Hadoop互換の「Greenplum HD EE」と「Asakusa Framework」を組合せた高速バッチ処理ソリューションを販売

NEC システム設計から構築、運用までを支援する「OSSミドルウェアサポートサービス」の対象にHadoopを追加

２月日立製作所ブレードサーバへのHadoopへの導入や設定を手掛ける「インストールサービス for Hadoop」「プラットフォーム設定サービス for Hadoop」を開始

クラウデラ日本法人の設立を発表。

３月日立製作所ビッグデータの利活用に関する基盤技術群を「Field to Future Technology」として新たに体系化。

１-５ベンダの取り組み状況（組織編）

２-１「ビッグデータ」とは？

構造化されたデータと非構造化データの複雑な組合せ

ゼタ・バイトスケールのデータに加えて桁違いの計算量

２-２既存技術の限界

全世界の情報量が年間５９％のペースで増大。(米Gartner)

２-３「ビッグデータ」に関する取組み

高速バッチ基盤に対する取組み大量データ処理に対する取組み

導入に関するコンサル、技術支援

検証環境のカスタマイズ支援

運用管理

非構造化データストレージ

汎用サーバ用途別サーバ