「クラウド」と「ビッグデータ」での ＯＳＳ最新動向と活用について
2015年1月27日 日本OSS推進フォーラムクラウド技術部会 高橋 千恵子
（日本電気株式会社）
「クラウド」時代におけるOSSの価値と課題、そして解決策はなにか
Copyright 2015 Japan OSS Promotion Forum
本日の内容
2012年5月、IT Leaders で 「OSS鳥瞰図」 が公開され ました。
クラウド技術部会では、今回 この「OSS鳥瞰図」をベースに、「クラ ウド」関連の最新の使えるOSSを追加しました。
また、「ビッグデータ」に関しては、「OSS鳥瞰図」への追加はできて いませんが、関連する多数のOSSを整理して、 「OSS俯瞰図」 とし てまとめました。
本日は、その内容をご紹介いたします。
本題に入る前に「OSSの変遷」を簡単にまとめてみました。
ＯＳＳによる新しいソフトウェア製品のデリバリ
商用ソフトで不可能な圧倒的な開発スピードや コストメリットを実現
＜オープンソース＞ ＜商用ソフト＞
ユーザコミュニティ
開発コミュニティ 開発/発売元
ユーザ ユーザ ユーザ ユーザ
セールス＆マーケ、サポート部門 改善要求,
コードの寄贈 βリリース
ブラックボックス
製品リリース
ここの 「規模」 がポイント
短期間/低コストで製品の完成度が高まっていく。 利用者の声は、まずセールス＆マーケ、サポート部 門へ届き、そのあと開発/発売元へ。
Copyright 2015 Japan OSS Promotion Forum 2
2005年から2012年までのOSS変遷をみてみると
2005年：
Linux OSが主だが、システム監視、ミドル、アプリなどのOSSが登場
2007年：
LAMP/LAPP、OSS増加、裾野拡大。買収/協業なども進行
アプリ系でコラボレーティブ領域にWiki/BlogなどEnterprise2.0関係OSS増加
2009年：
著名OSSの買収が進行
2010年：
SaaS型のWeb型アプリケーションが増加/著名OSSの有償サポート(含非OSS 化)も進む
2012年：
仮想化やクラウド基盤関係のOSSが注目される/システム、ネット管理OSSの 伸びがある。ソフトウェア分類を越えた統合的な著名OSSの伸びがある
ＯＳＳの変遷
インフラ領域のOSSは IaaSや運用管理など基本的なものがでそろった。
アプリケーション開発やいわゆるアプリケーションのOSSが伸びあり。
クラウドではPaaS、SaaS、XaaSが今後のターゲットか。
2005年
2007年
2013年
Copyright 2015 Japan OSS Promotion Forum 4
ＯＳＳ情報の最新化
いわゆる「OSS」については様々なところで、情報発信がされている。
「OSS鳥瞰図」なるものが2012年にITLeaders殿で作成され、公開 されたが、このような情報の最新版、特に「クラウド」や「ビッグデー タ」のキーワードでのOSSの最新情報があるとよいのではないか。
対応方針
クラウド/ビッグデータについて、現状の「OSS鳥瞰図」で表 現されていない領域を重点的に調査
クラウドについては、「OSS鳥瞰図の最新化」実施
ビッグデータに関しては、データを扱うという観点で、データ
フローがわかる「俯瞰図」を作成
Copyright 2014 Japan OSS Promotion Forum 6
ＯＳＳ鳥瞰図 【2012年度ベースのITLeaders公開】
出典：IT Leaders 2012年05号「特集：企業ITに浸透するOSS」より
ＯＳＳ鳥瞰図【仮想化】
仮想化カテゴリを詳細化
Copyright 2015 Japan OSS Promotion Forum 8
ＯＳＳ鳥瞰図【仮想化】
仮想化
KVM Xen
VirtualBox LXC
Proxmox VE Jail (FreeBSD)
サーバ仮想化
GlusterFS Ceph
OpenStack (Swift) Riak CS
ストレージ仮想化
OpenDaylight OpenContrail Trema
OpenStack (Neutron)
ネットワーク仮想化
ＯＳＳ鳥瞰図【クラウド】
クラウドカテゴリを詳細化
Copyright 2015 Japan OSS Promotion Forum 10
ＯＳＳ鳥瞰図【クラウド】
クラウド
OpenStack(Nova) CloudStack
Eucalyptus OpenQRM Wakame Proxmox VE Docker Vagrant
Infrastructure as a Service (IaaS)
Cloud Foundry OpenShift
Platform as a Service (PaaS)
Liferay openMosix Beowulf cluster
Software as a Service (SaaS)
Compute as a Service (CompaaS)
Communications as a Service (CaaS)
Data Storage as a Service (DSaaS)
Network as a Service (NaaS)
OpenStack(Trove) OpenStack(Sahara)
Database as a Service (DBaaS)
Desktop as a Service (DaaS)
Email as a Service (EaaS)
Identity as a Service (IDaaS)
Management as a Service (MaaS)
Security as a Service (SECaaS)
参考：ISO/IEC 17788:2014 Information technology — Cloud computing — Overview and vocabulary Cloud service categories Emerging cloud service
categories
ＯＳＳ鳥瞰図【その他】
Chef Puppet Ansible Salt Vargrant
構成管理
Apache Commons Apache PDFBox blueonyx
Drupal
CMS・ポータル
Apache Cassandra Redis
Key Value Store
parallel ssh rsyslog
simpleSAMLphp (SSO/認証系) Xymon
(旧 hobbit) Nagios
Himemos Zabbix Hobbit Cacti MRTG
運用監視
Riak MongoDB
NoSQL
OpenLDAP OpenDJ ApacheDS 389ds
ディレクトリサービス
OpenIDM ID管理
OpenAM OpenIG Shibboleth Samba4
(ActiveDirectory) 認証・アクセス管理
nkf
FreeType2 ImageMagick MyBatis OpenMQ Apache POI
開発補助
Nginx
Webサーバ・プロキシ・ファイアウォール
Monitering and reporting
Authorization and
Security policy Management Development Support
Copyright 2015 Japan OSS Promotion Forum 12
デスクトップ・業務アプリケーション
運用管理
検索、分散処理
セキュリティ
ファイルサーバー、メールサーバーなど Web/AP サーバー、データベース
Webサイト構築 開発支援
OS、仮想化、クラウド Firefox
GNOME KDE Thunderbird
デスクトップ
JasperSoft Pentaho SpagoBI
BI
Adempiere Apache OFBiz Compiere ERP5
FrontAccounting GnuCash Openbravo ERP
ERP
LibreOffice OpenOffice.org
オフィススイート
Blender BRL-CAD graphviz Jgraph mxGraph white_dune 専門ソフトウェア(CADなど)
OpenPSA SugarCRM Tine
CRM
TUTOS Aipo Enterprise CRM and Groupware System Open-Xchange Thetis Zimbra
グループウェア
MosP TimeTrex
人事・給与
Asterisk NOC OTRS
オペレーション、製造管理
Alfresco Drupal GateIn Joomla!
Liferay Moodle Movable Type NetCommons OpenPNE Plone Wordpress XOOPS
Apache Commons Apache PDFBox blueonyx
CMS・ポータル
Apache Lucene Ludia
検索エンジン EC-CUBE
Interchange eコマース
Apache Hadoop Condor FreeIPMI Ganglia GNU Parallel
分散処理
Apache Ant Apache Maven Autotools Eclipse GCC GDB NetBeans
統合開発環境/ビルド支援
Apache Subversion Bazaar
Git Mercurial ViewVC
バージョン管理
Apache Logging Log4j Apache Struts Hibernate MyBatis (旧iBATIS) JBoss Seam Midgard PhoneGap Qt
Ruby on Rails Seasar2 Spring Framework Struts
Titanium_Mobile ZK nkf
FreeType2 ImageMagick OpenMQ Apache POI
開発フレームワーク
DataVision iReport JasperReports
帳票ツール
PHP Java
OpenGL Shading Language Perl Python Ruby Scala
開発言語
Achievo Atlassian JIRA BugZilla Mantis OpenProj Redmine TaskJuggler Trac
プロジェクト管理
Apache HTTP Server Apache Tomcat Apache Tomcat Connector GlassFish JBoss Application Server Jetty
JOnAS lighttpd Zend Platform
Web/AP サーバー
Apache Axis2 Talend
EAI/ESB
Firebird MariaDB MUSCLE MySQL
Oracle Berkeley DB Postgres Plus PostgreSQL SQLite
データベース
MySQL Cluster pgpool-II Slony-I
DBクラスタリング
phpMyAdmin phpPgAdmin DB管理
Interleave JBoss jBPM ProcessMaker
BPM
Apache Cassandra Kyoto Cabinet Kyoto Tycoon memcached Redis
KVS
Riak MongoDB
NoSQL
Apache SpamAssassin Clam AntiVirus MailScanner Nessus Rootkit Hunter Samhain
アンチウィルス/ 脆弱性管理
Ettercap OSSIM prelude IDS Snort
IDS/IPS/SIEM
OpenSSH OpenSSL OpenVPN strongSwan stunnel
SSL/VPN/SSH
FirewallBuilder IPCop Firewall iptables/ip6tables Nginx
Squid
プロキシ/ ファイアウォール CAS FreeRADIUS GnuPG Kerberos LDAP Account Manager OpenAM OpenDS OpenSSO PacketFence pam TOMOYO Linux Webmin/usermin WiKID Strong Authentication System
OpenIG Shibboleth Samba4 (Active Directory)
認証・アクセス管理
389 Directory Server OpenLDAP OpenDJ ApacheDS
ディレクトリサービス OpenIDM
ID管理
Amanda Bacula Clonezilla Disk ARchive G4L Mondo Rescue rdiff-backup
ストレージ・バックアップ
DRBD Heartbeat Pacemaker
HAクラスタ
Groundwork Monitor Hinemos Xymon (旧 hobbit) Nagios Pandora FMS Zabbix parallel ssh rsyslog simpleSAMLphp (SSO/認証系) 運用監視
AWStats Cacti GKrellM Kismet MRTG Munin Net-SNMP Nmap Pmacct RRDtool Vyatta Wireshark
ネットワーク・モニタリング
BalanceNG Linux Virtual Server Pound
UltraMonkey
負荷分散 Chef
Puppet Ansible Salt
構成管理
BIND djbdns Dnsmasq ISC DHCP pdnsd
DNS/DHCP
Filezilla ProFTPD vsFTPD
FTPサーバー
S3QL FreeNAS NASLite OpenAFS
ファイルサーバー
Courier-IMAP Cyrus IMAP Dovecot Exim fml Postfix qmail sendmail SquirrelMail
POP/IMAP/MTA Android
CentOS
Debian GNU/Linux Fedora
FreeBSD openSUSE Red Hat Enterprise Linux Scientific Linux SUSE Linux Enterprise Server Ubuntu
OS
KVM Xen VirtualBox LXC Proxmox VE Jail (FreeBSD)
サーバー仮想化
GlusterFS Ceph
OpenStack(Swift) Riak CS
ストレージ仮想化
OpenDaylight OpenContrail Trema
OpenStack(Neutron )
ネットワーク仮想化
OpenStack(Nova) CloudStack Eucalyptus OpenQRM Wakame Docker Vagrant
Infrastructure as a Service (IaaS)
Cloud Foundry OpenShift
Platform as a Service (PaaS)
openMosix Beowulf cluster
Software as a Service (SaaS)
Compute as a Service (CompaaS)
Communications as a Service (CaaS)
Data Storage as a Service (DSaaS)
Network as a Service (NaaS)
OpenStack(Trove) OpenStack(Sahara)
Database as a Service (DBaaS)
Desktop as a Service (DaaS)
Email as a Service (EaaS)
Identity as a Service (IDaaS)
Management as a Service (MaaS)
Security as a Service (SECaaS)
*1
*1：Cloud service categories
*2：Emerging cloud service categories
参考：ISO/IEC 17788:2014 Information technology
— Cloud computing — Overview and vocabulary
*2
ＯＳＳ鳥瞰図
Copyright 2014 Japan OSS Promotion Forum 14
調査の背景
ここ数年、ビックデータ・Hadoopといったキーワード で盛り上がりをみせているが、Hadoopは分散処理 基盤であるためシステムとして単体で閉じるもので はない。
「Hadoopはビッグデータ処理のOSカーネル」(Doug Cutting氏講演 in Hadoop Conference Japan
2014)
Hadoopの周辺にさまざまなOSS・商用製品が現れ たり、連携したりしている。
ビッグデータシステムとしてHadoop以外に何が必要なのか
全体像を俯瞰し、整理する必要性がある
調査の位置づけと目的
利用用途においてどのようなOSSが必要かを洗 い出し、整理する
ビッグデータサービス提供者やSEがシステムを構 築する際に必要な機能やそれを実現するための OSSを選択する判断材料を提供する
採用を検討している対象のOSSが 「本当に使え るか？」の判断材料を提供する
ビッグデータシステム企画時のOSS使用の判断材料
Copyright 2015 Japan OSS Promotion Forum 16
ＯＳＳによるビッグデータシステム
データの発生からそのデータがビジネス価値を生 み出すまでの流れを表示
データがビジネス価値を生み出すまでの流れの中 から必要な機能を洗い出す
各機能を実現するOSSを洗い出し、そのOSSの中 から主要なものを抽出し、ビッグデータ俯瞰図の機 能の中にマッピングを行う
OSS抽出基準としては、ビッグデータ分野での知名 度、実績、注目度、システム構築上の要素となり 得るもの、サポートベンダーの有無などを総合的に 判断のうえ抽出
ビッグデータシステムをビッグデータ俯瞰図として整理
Copyright 2015 Japan OSS Promotion Forum 17
資料は日本OSS推進フォーラムクラウド技術部会の下記 URLにて公開中。
http://ossforum.jp/cloud_tech OSSによるビッグデータシステム
～動向調査と選定方針について～（発表スライド）
こちらは2014年9月16日に実施しました「今使える “オ ープンソースソフトウェア” の 最新動向」セミナーでの発 表資料になります。
OSSによるビッグデータシステム
～動向調査と選定方針について～
こちらは今回の調査の詳細な情報がすべて入っている 資料になります。
Copyright 2015 Japan OSS Promotion Forum 18
ビッグデータ関連ＯＳＳシステム俯瞰図の全体像
ビッグデータ関連OSSシステム俯瞰図は複数の機能コンポーネントが組み合わさっている
リレーショナル データベース NoSQLと呼ばれる領域
知識、ルールなどを導出
データソース
分析結果を可視化
非構造化 データ
データ蓄積部分への データのロード
ビッグデータ蓄積・貯蔵・その他 データ分析
発生したデータを リアルタイム処理
データ収集・検知
システムログ 音声 画像 センサデータ 売上情報など
データ蓄積基盤
データ蓄積ファイルシステム
CEP
定型業務RDB BIツール
インメモリDG/分散KVS
機械学習
高速化キャッシュ/スケールアウト
分析用データ
解析ツール Webデータ
Webデータ収集 クローラ
データ蓄積基盤への セキュリティ・認証 セキュリティ/認証 ※ データロード
稼働監視・性能監視・ジョブ管理 などの管理系機能
運用管理・監視
アドホッククエリ 準リアルタイムクエリ
データ蓄積基盤から RDBへのデータロード データロード
メモリ上でのデータ管理
分析のためのデータ倉庫 並列分散処理基盤
並列分散処理
構造化データ (業務RDB)
データ集合に対して統計
※データ蓄積ファイルシステムに対するセキュリティ/認証であるため ビッグデータ蓄積・貯蔵・その他のカテゴリに分類
ビッグデータからビジネス価値を生み出す流れ
非構造化データの収集 収集
分析/可視化ツール
インメモリDB
DWH・マートレスDB
統計解析
ビッグデータ関連ＯＳＳのシステム俯瞰図
MySQL PostgreSQL Cassandra
MongoDB Infinispan
Mahout
Fluentd Flume データソース
Pentaho JasperReports
非構造化 データ
Sqoop Talend
データ分析
Storm Apache S4 Jubatus Esper
Drools Fusion データ収集・検知
システムログ 音声 画像 売上情報など
Hadoop HDFS Lustre
CEP 収集
定型業務RDB BIツール
インメモリDG/分散KVS
機械学習
高速化キャッシュ/スケールアウト
分析用データ
解析ツール
分析/可視化ツール Webデータ
ManifoldCF Nutch
クローラ
MIT Kerberos OpenLDAP セキュリティ/認証 データロード
Hinemos Zabbix
運用管理・監視
Drill Hive Impala
準リアルタイムクエリ
Sqoop データロード
VoltDB インメモリDB
Redis Riak HBase
OSSで著名なものはない DWH・マートレスDB
対応するOSSをマッピングしたシステム俯瞰図
上記システム俯瞰図は商用OSSディストリビューションを除いて記載。
なお、上記記載のOSSはそのカテゴリの中で著名でかつ今回詳細情報を調査したもののみであり、上記以外の OSSもある。
構造化データ (業務RDB)
Hadoop MR Hadoop YARN Spark
並列分散処理 ビッグデータ蓄積・
貯蔵・その他
センサデータ
GlusterFS Ceph
データ蓄積ファイルシステム R言語
統計解析
Copyright 2015 Japan OSS Promotion Forum 20
ビッグデータ関連ＯＳＳシステム俯瞰図
MySQL PostgreSQL (PowerGres, EnterpriseDB) Cassandra
(DataStax Enterprise) MongoDB
(MongoDB Enterprise) Infinispan
(JBoss Data Grid)
Mahout(CDH, HDP)
Fluentd Flume(CDH，HDP)
データソース
Pentaho JasperReports
非構造化 データ
Sqoop(CDH，HDP) Talend(Talend Open Studio for Big Data)
ビッグデータ蓄積・貯蔵・その他 データ分析
Storm Apache S4 Jubatus Esper
Drools Fusion(JBoss BRMS)
データ収集・検知
構造化データ (業務RDB)
システムログ 音声 画像 センサデータ 売上情報など
データ蓄積ファイルシステム
CEP 収集
並列分散処理
定型業務RDB BIツール
インメモリDG/分散KVS
機械学習
R言語
統計解析
高速化キャッシュ/スケールアウト
分析用データ
解析ツール
分析/可視化ツール Webデータ
ManifoldCF Nutch
クローラ
MIT Kerberos OpenLDAP
セキュリティ/認証 データロード
Hinemos
Zabbix(MIRACLE ZBX)
運用管理・監視
Drill
Hive(CDH、HDP) Impala(CDH)
準リアルタイムクエリ
Sqoop(CDH、HDP)
データロード
VoltDB
インメモリDB
Redis
Riak(Riak Enterprise)
HBase(CDH, HDP) OSSで著名なものはない
DWH・マートレスDB
商用ディストリビューションを追記したシステム俯瞰図
Hadoop HDFS(CDH，HDP) Lustre(Intel Enterprise Edition for Lustre Software)
GlusterFS(Red Hat Storage Server) Ceph(INKTANK CEPH ENTERPRISE)
Hadoop MR(CDH，HDP) Hadoop YARN(CDH，HDP) Spark(CDH)
