●ﾊﾟﾀｰﾝ②

20user[25%]

10user[12%]

●ﾊﾟﾀｰﾝ③ ●ﾊﾟﾀｰﾝ④ 離脱系

80

user

40

user

45

user

12

user

15

user

15

user

23

sec

10

sec

52

sec

11

sec

9

sec

9

sec

通信機器からの大量ログを長期間確実に 保持したい

- 毎時250GBを4ヵ月

保管した大量ログの検索・マッチングを高速 に実施したい

- 最大1PBytes

４．７ Hadoopの活用事例 ～個別事例②～

４． Hadoop動向と活用事例

 通信事業での事例

背景 対応

日立ソリューションズの技術

 Hadoopを多クラスタ構成で構築、運用

 JP1を利用したジョブ制御、稼働監視 などの運用管理

 国内トップクラスの大規模クラスタ構築

Hadoopを大規模ストレージとして利用し データの冗長性を担保

Hadoopの多クラスタ構成により、障害時も24 時間365日の確実なデータ保管を実現 240nodes/ｸﾗｽﾀ(1,000nodes超/全ｸﾗｽﾀ) の超大規模な並列分散処理環境により高速 処理を実現

【参考：処理時間】

15TBのログ全件検索と50GBのログマッチング：40分 技術的ポイント

 100nodes以下でも、パラメタ設計な どは独特の技術やノウハウが必要

 100nodesを超えると、システム設計

にまで及ぶ課題やノウハウが出現

オープンソースビジネス推進協議会 Copyright©2013 OBCI All rights reserved.

セキュリティ事故防止のため、インターネット 接続先サイトの規制を行っているが、各種の 見直しをしたい

- ネット情報利用の重要性・利便性と セキュリティ規制のバランス確保 - 運用部門と実利用部門のコスト低減

 日立社内活用例

背景 対応

利用状況を分析し、規制解除の自動化、適正な 判断をスピーディに実現

【利用者部門】

 情報量増加による業務効率改善

 規制解除などの事務作業低減

【運用部門】

 自動化による人為的ミス解消

 規制解除に関する各種事務作業の低減 分析データを利用した、情報漏洩事故やコンプラ イアンス違反の検知・予兆の実現

膨大なデータに含まれる、様々なノイズを Hadoopで高速にクレンジングすることで、分析 精度を向上

膨大なデータ蓄積・集計基盤としてHadoopを 活用

【参考：処理時間】

数十台のWebサーバのアクセスログ 1週間分を 60分以内にクレンジング／集計

利用側

蓄積 集計 分析 分析 見直し

ﾚﾎﾟｰﾄ 状況 収集

運用側

サイト 利用

42

４．９ Hadoopの活用事例 ～その他～

４． Hadoop動向と活用事例

 Cloudera Manager関連

 Hadoopクラスタの新規構築・スケールアウト、運用で非常に便利

 長時間画面を眺めての作業、１台１台の操作からの解放

 設定・変更時のヒューマンエラーを解決

 GUIならではの可視性の高い性能／稼働監視、容易な操作性

 使いこなすにはコツとノウハウが必須！

 機能追加・改善ペースが速い

 豊富な機能 ≒ 多くのパラメタと設計が必要

日立ソリューションズの技術

 実運用レベルでの利活用実績と経験

 Cloudera Manager V4.1.2の全パラメタ(約800項目)調査による裏付けある活用

 Free版/Enterprise版のリソース設計、システム設計のノウハウ

ノーチラス・テクノロジーズ社「Asakusa Framework」によるバッチ高速化

 Asakusa Frameworkは、ノーチラス・テクノロジーズ社が開発するオープンソースで、

Hadoopを利用したバッチ開発向けの「開発フレームワーク」

 バッチ処理に特化した機能・ツールが一体となり、バッチ開発の敷居を下げ、

開発効率を容易に向上可能

 データモデル設計／データ・処理フロー設計／RDB連携ツール

 バッチ処理向けの各種テンプレート、テスト支援ツール 等

 日立ソリューションズでは、

2013年3月にノーチラス・テクノロジーズ社と販売代理店契約を締結。

<Asakusa Frameworkの位置付け>

業務バッチ向け

AsakusaFW

バッチ開発

フレームワーク

Hadoopコア (実行基盤)

統計・分析向け

Hive SQL

系

Pig

ｽｸﾘﾌﾟﾄ系

MapReduce(

並列実行

FW) HDFS(分散ファイルシステム)

 Hadoop基盤活用で、I/O分 散や並列処理を実現

 複雑なMapReduceをJava

でフル開発をせず業務

バッチ実装が可能

４．１１ Asakusa Framework概要

４． Hadoop動向と活用事例

Asakusa Frameworkの機能と特長

 現バッチサーバ上の特定の長時間ジョブを短時間化する事に最適

 バッチシステム刷新に比べ低コスト、最小限の影響範囲で導入可

 並列処理可能なバッチ、且つRDBMSでI/Oネックの場合に効果大

 Hadoopの理解、複雑なMapReduce開発が不要

<Asakusa FW利用時の一般的システム構成例>

【Hadoop】

分割ファイル

【Hadoop】

Masterﾉｰﾄﾞ AsakusaFW

[実行エンジン]

ﾊﾞｯﾁ実行ｻｰﾊﾞ

DBｻｰﾊﾞ

ドキュメント内 自己紹介 経歴 入社当時は 金融端末のソフトウェア開発に従事 2000 年頃より Linux/OSS のビジネス開発を担当 2012 年より オープンソース技術開発センタセンタ長 現在の業務 OSS を活用するビジネスのための支援 新しい技術 /OSS の発掘 評価検証 ビジネス ソリューションの立 (ページ 41-46)