Microsoft PowerPoint - 【イベント】SMFセッション資料I：101130：松倉.pptx

(1)

2010/11/30 System Management Forum 2010 Autumn

Hadoop ^{が切り拓く}

企業のデータ活用

代表取締役社長江戸達博

株式会社スカイアーチネットワークス

(2)

アジェンダ

1. 注目の技術Hadoop 2. Hadoopの魅力

–

株式会社リッテル

–

取締役最高技術責任者清田陽司

3. Hadoopサービスのご紹介

(3)

自己紹介

氏名江戸達博（えどたつひろ）

役職 (株)スカイアーチネットワークス代表取締役社長

生年月日 1976年1月16日(34歳) twitter @kururimoge

趣味子育て、旅行、スポーツ

経歴 1998年、大学卒業後、SIer企業に入社営業、技術、サービス企画などの職を経験 2001年、スカイアーチネットワークス設立

(4)

会社

概要

(5)

会社概要

社名所在地設立代表社員数資格

株式会社スカイアーチネットワークス

（英文社名：

Skyarch Networks Inc.

）

港区南麻布４－１１－２１ラウンドクロス南麻布４Ｆ２００１年７月１２日

代表取締役社長江戸達博５６名

ISO/IEC 20000 ISO/IEC 27001 プライバシーマーク

マイクロソフト認定パートナー

(6)

事業内容

クラウドホスティング

フルマネージドサービス他社提供

レンタルサーバーハウジング

■ データセンター運用代行

環境設備：お客様用意

■ レンタルサーバー運用代行

■ クラウド運用代行

■ フルマネージド・ホスティング

環境設備：スカイアーチネットワークス

(7)

サポート範囲

クラウド（IaaS）クラウド運用代行

コアビジネス

ビジネスプロセス

コンテンツプロバイダーコンテンツプロバイダーコンテンツ

インフラ

アプリケーション

コンテンツプロバイダー

（プログラマーが兼任など）

ミドルウェア

スカイアーチＯＳ

ハードウェア

クラウド事業者クラウド事業者ネットワーク

データセンター

最も注力したい部分

(8)

運用実績

z

取引社数１５０社

z

ウェブサービス系

z

基幹系

株式会社講談社株式会社博報堂

株式会社スクウェア・エニックス株式会社トーセ

–

ＥＣサイト

–

オンラインゲーム

–

待ち受け画像

–

占い

–

動画・メール配信

–

着メロ/着うた

–

デコメール

–

キャンペーンサイト

–

予約システム

–

ブログ

–

ＳＮＳ

–

コーポレートサイト

–

グループウェア

–

情報ポータルサイト

–

予約システム等

–

Active Directory

–

Log

–

Internet Information Services

–

ＤＨＣＰ

–

ＤＮＳ

–

ファイルサービス

–

セキュリティ制御

–

運用管理サービス等

(9)

注目の技術

Hadoop

(10)

肥大化する企業データ

z

企業のデータの増加率は、年間「約５７％」

×１.５

時間データ容量

バッチ処理の時間は長くなるばかり

…

この大量のログを活用できないのかなぁ

…

［引用］IDC Japan Directions 2007 Tokyo

(11)

世界が「Hadoop」に注目！

z

分散処理技術「Hadoop」

z

検索数が上昇

［引用］Google トレンド: hadoop（2010/11/29時点）

(12)

–サイト概要

•９１５万人／月のユーザーが利用

•３０代女性の３人に１人 –処理

•検索データを地域別、週別、月別で見れる

劇的な効果！

z

［処理時間］７,０００時間３０時間

(13)

有名企業が続々採用！

z

「Hadoop」採用企業

国内海外

(14)

「What’s Hadoop？」

(15)

Hadoopのエキスパートに聞いてみましょう

z

［株式会社リッテル］

–

東京大学産学連携ベンチャー企業

–

日本語で初めてHadoopセミナーを実施

–

Hadoopに関する執筆記事多数

z

最高技術責任者

東京大学情報基盤センター学術情報研究部門特任講師清田陽司氏

(16)

Hadoopの魅力

(17)

Hadoop の魅力

株式会社リッテル最高技術責任者清田陽司

( 兼東京大学情報基盤センター学術情報研究部門特任講師 )

Twitter: @kiyota_yoji

System Management Forum 2010 Autumn

2010

年

11

月

30

日

(18)

自己紹介

清田陽司 ( きよたようじ ) Twitter: @kiyota_yoji

2004

年京都大学大学院情報学研究科博士課程修了その後、東京大学情報基盤センターにて情報検索ア

プリケーションに関する研究に取り組む

2007

年より株式会社リッテルの設立に参画し、テキストマイニング、インターネットサービス、図書館向け検索サービスなどの研究開発に携わる

2007

年頃より研究用途での大量データ処理に

Hadoop

を利用し、そのノウハウを生かした活動を行っている

(19)

Copyright© 2010 Littel corporation. All Rights Reserved. 19 19 Copyright© 2010 Littel corporation. All Rights Reserved.

株式会社リッテル（http://www.littel.co.jp/)

■所在地東京都文京区本郷7-3-１

東京大学アントレプレナープラザ405

■創立 2007年（平成19年）4月2日

■資本金１億円

■役員代表取締役会長水谷治朗代表取締役社長和田憲治

専務取締役中塚寛幸

取締役CTO 清田陽司

監査役奥村眞吾

■取引銀行三菱東京UFJ銀行本郷支店

■所属団体 (社)日本図書館協会

■主な取引先東京大学・東京電機大学

同志社大学・東邦大学・郵便局

株式会社電通・株式会社野村総合研究所 NTTデータほか

Copyright© 2010 Littel corporation. All Rights Reserved. 19

会社概要

平成２２年

東京都信用金庫協会主催の

優良企業として表彰

(20)

Agenda

• What’s Hadoop

• Hadoop の使いどころ

– RDBMS

、分散

KVS

との使い分け

• 導入の壁

• 解決策

(21)

Hadoop とは

ファイルシステムとバッチ処理システムの

統合に価値がある！

分散ファイルシステム

分散バッチ処理システム

(22)

Hadoop が解決する課題 (1)

• HDD 転送速度

HDD

の容量増加

>>

読み書き速度の増加

• 2TBytes

の読み出しに数時間

→大量の

HDD

を並べて処理

• サーバ間のデータ共有

ストレージ

(NFS

や

SAN)

がボトルネックになる

→データは動かさず、処理プログラムをコピー

(23)

Hadoop が解決する課題 (2)

• 障害発生率

サーバの数が増えるほど障害発生率は上昇

• 1000

台のクラスタの障害発生率は？

→ソフトウェア的に障害発生に対処する仕組み

(24)

Hadoop を理解するポイント

インフラとして理解する

• シンプルなインタフェース＋複雑な中身

–

ブラックボックスとしてとらえる

• なくてはならない存在

–

なぜ必要とされているかを理解する

• 現実的な「割り切り」

–

○○という機能がない理由を理解する

(25)

ひねる

水が出る

水を捨てる課金

蛇口

流し請求書

(26)

ひねる

水が出る

水を捨てる課金

蛇口

流し

請求書メータ

検針料金集計

システム

メータ水道管配水施設浄水施設取水施設

河川

ダム水漏れの

防止

水質の管理水位の管理水圧の

コントロール

水利権の調整渇水への対処発電・治水との

調整など

インタフェース中身

マンホール

下水

管沈砂池沈殿池

河川詰まりの防止

メンテナンス

除砂

汚泥処理

消毒施設

水質の管理

(27)

Hadoop

スレーブサーバ

#N Hadoop

#2 Hadoop

#1

Hadoop

マスタサーバ

HDFS

API

Map Reduce

API

NameNode

デーモン

JobTracker

デーモン

DataNode

デーモン

TaskTracker

デーモン

子JVM map/reduce

HDFS

ストレージファイルの

書き込みファイルの読み込みファイルの管理

(

複製、移動、

削除、

…)

DataNode

デーモン

TaskTracker

デーモン

子JVM map/reduce

HDFS

ストレージ

DataNode

デーモン

TaskTracker

デーモン

子JVM map/reduce

HDFS

ストレージ

・・

・

バッチ処理ジョブの投入バッチ処理ジョブの状態取得バッチ処理ジョブの管理

(

キャンセル、

優先度設定、

…)

インタフェース中身

データブロックの送受信

NameNode

への状態通知

HDFS

の全体統括

データブロックの管理異常発生時の復元処理

Map

タスク

/Reduce

タスクの起動

JobTracker

への状態通知

バッチ処理ジョブの進行状況管理

Map

タスク

/Reduce

タスクの割り振り異常発生時のバックアップタスク実行指示

Hadoop のインタフェースと中身

(28)

ブラックボックスとしてとらえる

• インタフェースはシンプル

–

ファイルシステム系

(HDFS) –

ジョブ管理系

(MapReduce)

• 中身はイメージで理解する＆伝える

–

ファイルシステム系とジョブ管理系が複雑にからみあっている

•

お互いが連携していることが

Hadoop

の価値

– 1

台のマスタサーバ＋多数台のスレーブサーバ

(29)

なぜ必要とされているか

• 定型処理 → 非定型処理への流れ

–

処理すべきデータ量の増大

–

スケール・アウトが必然

• 存在の「空気」化

–

水道や電気を使っていることを普段から意識している人はいない

(30)

Hadoop の使いどころ

• Hadoop は何ができて、何ができないのか？

• RDBMS との使い分けは？

(31)

情報インフラとしての RDBMS

• ブラックボックス化

–

あらゆるデータ操作を

SQL

で標準化

• トランザクション処理

–

複数ユーザによる読み書きが発生する環境でデータの矛盾発生を防ぐ

cf.

銀行口座間の資金移動

• インデックス

–

指定されたデータを一瞬で検索

(32)

RDBMS の課題

• データ処理のニーズの変化

–

定型処理から非定型処理へ

• スケールアウトしづらい

– CAP

定理

(33)

定型処理と非定型処理

•

定型処理

–

給与計算、売上集計、伝票処理など

–

人間が介在しない完全な自動化が可能

–

厳密さが求められる

–

データ量はせいぜい

Gbytes

オーダー

•

非定型処理

–

統計データ作成、検索、データ・マイニングなど

–

人間の介在が必要

–

厳密さよりカバレッジ重視

(

データ量が重要

)

–

データ量は

Tbytes

～

Pbytes

オーダーになり得る

(34)

ブリュワーの CAP 定理

Eric Brewer ＠ UCB が 2000 年に提唱

以下の 3 つのシステム要件を同時に満たすのが不可能であることを証明

• C: Consistency ( 一貫性 ) → トランザクション

• A: Availability ( 可用性 ) → 耐障害性

• P: Partition Tolerance ( 分割耐性 ) → スケール・

アウト性

RDBMS: CA を満たすが P を満たさない

Hadoop, 分散 KVS: AP を満たすが C を満たさない

(35)

Hadoop

クラスタ（バッチ処理）

RDBMS

分散

KVS

アプリケーションサーバ（リアルタイム処理）

分散ファイル・システム

(HDFS)

スレーブ・サーバーのハードディスクを束ねて構成

ログファイル

ユーザインタフェース

リアルタイム処理要求応答

外部入力ファイル外部出力ファイル

(36)

Hadoop が効果を発揮する用途例

• 検索インデックスの生成

• 大量のテキストデータの継続的解析

–

ブログからの急上昇ワード抽出

• 時空間上のバスケット解析

– Web

アクセスログを用いたマイニング

–

地図情報マイニング

(37)

ブログからの急上昇ワード抽出

• クローリングしたブログを 1 時間ごとに解析し、

急上昇ワードを抽出

• 変化率を計算するため、莫大なデータを毎時処理する必要がある

• Hadoop クラスタ規模

– DataNode 3

台

(QuadCore CPU)

• 数十 Gbytes のデータを 20 分ほどで解析

(38)

Trend Navigator

(39)

時空間上のバスケット分析

( 例 1) あるキーワードで検索してから 10 分以内に訪れた URL を抽出

キーワード検索

ページ訪問

(40)

時空間上のバスケット分析

( 例 2) A 社のコンビニから半径 500m 以内にある他社のコンビニを全て抽出

( 例 3) 都内で開催されたコンサート会場近辺で携帯からサイトにアクセスした顧客を抽出 RDBMS では処理が難しい

→ MapReduce で効率的に処理可能！

(41)

Hadoop 導入の壁

• Hadoop クラスタ運用のノウハウ

–

ハードウェア選定

–

ネットワーク構成

–

メンテナンス

• MapReduce ロジック開発のコスト

• 効果が出るかどうかわからない

(42)

処理ロジックの実装

• MapReduce の直接実装

–

習熟するまでが大変

–

コスト高

–

自由度が大きい

• Hive などのメタ言語利用

–

習熟は楽

–

コスト安

–

自由度が小さい

(43)

解決策

• Hive による開発

– SQL

とほぼ同様の言語でロジック記述可能

• クラウドサービスによるお試し運用

– Amazon EC2

– Hadoop

データセンター

(44)

HadoopDVD 教材

•

満員御礼となった第

1

回「実践

Hadoop

セミナー」を収録した

DVD

を販売しております。

•

約

5

時間にも及ぶ映像では、初歩的なクラウドコンピューティングの概念から、企業に導入する際のシステム設計まで網羅した

初めて

Hadoop

に触れる方でも理解できる充実した内容となって

おります。

•

特典として、ネームノード・データノードの各

VM

イメージが付属しているので、すぐに

Hadoop

分散環境を構築する事ができます。

• 2010

年

6

月

18

日

「東京大学アントレプレナープラザ」にて収録

•

講習

DVD

：

3

枚組

特典

DISC

：

Name Node

、

Data Node

各

VM

イメージセミナーで使用したスライド（

PowerPoint

ファイル）

•

価格：

98,000

円（税込）

(45)

•

第

2

回「

Hadoop

実践セミナー」では、

Hive

の登場した背景や

Hive

の特性といった解説や、簡単な

HiveQL

により実習など、実務指向のセッションで構成する予定です。

•

また、セミナー終了後に懇親会を企画しております。当日スピーカーを担当した者や、弊社で実際に

Hive

と格闘している技術者も出席いたしますので、奮ってご参加ください。

•

日程：

12

月

10

日（金）

13

：

00

～

17

：

30

場所：東京大学産学連携プラザ

2

階会議室

•

講師：最高技術責任者清田陽司、

専務取締役中塚寛幸

…

他若干名

•

参加費：

52,500

円（税込）（同一企業

2

人目からは

31,500

円）

※前回のセミナーに参加された方は、

31,500

円（税込）

※「

Hadoop

セミナー

DVD

」をご購入された方は、

31,500

円（税込）

懇親会に参加される方は別途

5,000

円

～

Hadoop

クラスタの真価を引き出す

DWH

ミドルウェア

Hive

のエッセンス～

(46)

まとめ

• Hadoop のメリット

–

新しいインフラなのでわかりにくくて当然！

–

詳しい仕組みよりも、具体的な利用方法を

• できることとできないことをきちんと区別する

–

他のソリューションで十分なケースもたくさんある

–

既存手法と組み合わせることで問題解決可能

• 埋もれているニーズはまだたくさんある

– Hive

の活用はニーズの掘り起こしにつながる

(47)

Hadoopサービス

(48)

Hadoopサービス一覧

1. 検証 Hadoop 無料コンサルティング

Hadoop データセンター

( Coming Soon… )

2. 導入理解 Hadoop DVD

トレーニング Hadoop プライベートセミナー 3. 調達外部構築 Hadoop Rack

( Coming Soon… )

プライベートクラウド構築自社構築 Hadoop DVD

レンタル Hadoop データセンター

( Coming Soon… )

Hiveロジック設計 Hadoop コンサルティング

4. 運用クラウド運用代行

z

Hadoop活用をワンストップで対応

(49)

z

Hadoop活用をワンストップで対応 Hadoopサービス一覧

1. 検証 Hadoop 無料コンサルティング

Hadoop データセンター

( Coming Soon… )

2. 導入理解 Hadoop DVD

トレーニング Hadoop プライベートセミナー 3. 調達外部構築 Hadoop Rack

( Coming Soon… )

プライベートクラウド構築自社構築 Hadoop DVD

レンタル Hadoop データセンター

( Coming Soon… )

Hiveロジック設計 Hadoop コンサルティング

4. 運用クラウド運用代行

(50)

「Hadoopデータセンター」概要

z

Hadoop環境のタイムシェアリングで効果を検証

z

共同サービス

(51)

「Hadoopデータセンター」特徴

z

安価

–

開発・調達・サポートコスト不要

–

タイムシェアリング

z

簡単

–

開発不要

–

ＳＱＬライクなＨｉｖｅ採用

(52)

「Hadoopデータセンター」検討中のお客様

z

アクセス解析ＡＳＰ

–

アクセスログ解析

z

マーケティング会社

–

ＰＯＳデータ

z

レコメンデーションエンジン提供

–

アクセスログ解析

z

情報通信技術の研究開発

–

ログデータ

(53)

「Hadoopデータセンター」利用フロー

z

お申込みから１週間程度で利用可能

お申込み無料コンサルティングＮＤＡ締結データ受領データ処理完了連絡／ご確認

(54)

「Hadoopデータセンター」無償利用

パイロットユーザー募集（サポート込み）

z

費用：無償

z

利用期間：１ヶ月程度

z

募集期限：１２月末まで

z

募集要件

–

ヒアリング、導入事例にご協力いただける企業様

–

大規模データをお持ちの企業様

スカイアーチ

詳しくは、

^検索

(55)

ご静聴ありがとうございました

Microsoft PowerPoint - 【イベント】SMFセッション資料I：101130：松倉.pptx

2010/11/30 System Management Forum 2010 Autumn

Hadoop が切り拓く

企業のデータ活用

–

–

会社

概要

Skyarch Networks Inc.

z

z

z

–

–

–

–

–

–

–

–

–

–

–

–

–

–

–

–

–

–

–

–

–

–

–

注目の技術

Hadoop

z

×１.５

×１.５

×１.５

時間 データ容量

…

…

［引用］IDC Japan Directions 2007 Tokyo

z

z

［引用］Google トレンド: hadoop（2010/11/29時点）

–サイト概要

•９１５万人／月のユーザーが利用

•３０代女性の３人に１人 –処理

•検索データを地域別、週別、月別で見れる

z

z

「What’s Hadoop？」

z

–

–

–

z

Hadoopの魅力

Hadoop の魅力

株式会社リッテル 最高技術責任者 清田 陽司

( 兼 東京大学情報基盤センター 学術情報研究部門 特任講師 )

Twitter: @kiyota_yoji

System Management Forum 2010 Autumn

2010

11

30

自己紹介

清田 陽司 ( きよた ようじ ) Twitter: @kiyota_yoji

2004

2007

2007

Hadoop

Copyright© 2010 Littel corporation. All Rights Reserved. 19 19 Copyright© 2010 Littel corporation. All Rights Reserved.

Copyright© 2010 Littel corporation. All Rights Reserved. 19

Agenda

• What’s Hadoop

• Hadoop の使いどころ

Hadoop ^{が切り拓く}

時間データ容量

株式会社リッテル最高技術責任者清田陽司

( 兼東京大学情報基盤センター学術情報研究部門特任講師 )

清田陽司 ( きよたようじ ) Twitter: @kiyota_yoji

ファイルシステムとバッチ処理システムの