はじめに本資料は日本 OSS 推進フォーラムビッグデータ部会にてビッグデータ基盤を実現するオープンソースソフトウェアの動向を調査したものです本調査は Web などから一般的に収集可能な情報を元に最近の傾向を把握する事を目的としています本調査結果のみを元に各ソフトウェアの良し悪しを論じるもの

(1)

2016年度版

ビッグデータ関連ソフトウェアの動向調査

2017年2月15日

日本OSS推進フォーラム

ビッグデータ部会

発表者：富士通株式会社野山孝太郎（

[email protected]

）

(2)



本資料は、日本OSS推進フォーラムビッグデータ部会にて、

ビッグデータ基盤を実現するオープンソースソフトウェアの動向を調査したものです。



本調査は、Webなどから一般的に収集可能な情報を元に最近の傾向を把握する

事を目的としています。

本調査結果のみを元に

各ソフトウェアの良し悪しを論じるものではありません

。

はじめに

(3)

皆さんは

オープンソースの

流行り廃りを

(4)

Google Trendsで検索？

(5)

(6)

ビッグデータ部会では昨年に引き続き

オープンソースの最近の動向を

様々な視点（数値）で調査しました

最近の傾向を把握する一つの目安として

軽い気持ちで聞いて下さい

＃この結果のみをもって各ソフトウェアの良し悪しを

＃論じているわけではありません！

(7)



様々なデータを「

収集・検知

」する機能、収集・検知したデータを「

蓄積・貯蔵

」する

機能、蓄積・貯蔵したデータを「

分析

」する機能にソフトウェアを分類した上で

黒字・赤字（昨年調査から追加したもの）を対象に調査

調査対象のソフトウェア

データソース データ収集・検知 ビッグデータ蓄積・貯蔵・その他 高速化キャッシュ/スケールアウト データ分析 分析用データ解析ツール

Apache Hadoop MapReduce Apache Hadoop YARN Apache Mesos Apache Spark Apache Tez 並列分散処理 Apache ManifoldCF Apache Nutch クローラ Apache Sqoop Talend データロード Apache Flume Apache Kafka Fluentd 収集 Apache S4 Apache Spark Streaming Apache Storm Esper Drools Fusion CEP Apache Hadoop HDFS Ceph GlusterFS Lustre データ蓄積ファイルシステム Mlib_Jubatus Hivemall 機械学習 R言語統計解析 Pentaho JasperReports BI/BAツール Hinemos Zabbix 運用管理/監視 MySQL PostgreSQL 定型業務RDB ※OSSで著名なものはない DWH/ﾏｰﾄﾚｽDB Webデータ売上情報などセンサデータシステムログ音声画像構造化データ（業務RDB）非構造化データ Apache Sqoop データロード VoltDB インメモリDB

Apache Cassandra MongoDB Apache Hbase Redis

Infinispan Riak Neo4j インメモリDG/分散KVS/グラフDB ElasticSearch 全文検索エンジン MIT Kerberos OpenLDAP セキュリティ/認証 Apache Drill Apache Hive Apache Spark SQL Impala 準リアルタイムクエリディープラーニング Caffe Chainer CNTK Deeplearning4j DSSTNE PredictionIO TensorFlow Theano Torch7 （※）灰色のソフトウェアは今回の調査対象からは除外

(8)



該当ソフトウェアの約3/4はApache License 2.0を採用



Apache Software Foundationが管理するソフトウェアが多い事が理由の一つ



Impala、Hivemall、PredictionIOなどもApacheのIncubator Projectに認定

採用しているオープンソースライセンス

Apache License 2.0

72.7%

GNU

General Public License

GNU

Lesser General Public License

_その他

11.4%

73.7%

13.2%

9.1%

6.8%

7.9%

5.3%

内側：昨年調査

外側：今年調査

(9)



最も利用されている言語は「Java」（48.4%）。



次いで「C++」（16.7%）、「Python」（8.9%）、「C言語」（6.5%）と続く。

どの様なプログラミング言語で開発されているか？

Java

48.4%

C++

16.7%

C

6.5%

Scala

6.1%

Python

8.9%

Other

13.4%

Apache Mesos,

Caffe, Ceph,

CNTK, DSSTNE,

Jubatus, MongoDB

Chainer, Theano

GlusterFS, Redis

Apache Spark,

Apache PredictionIO

(10)



以下の4つの視点で調査

調査観点

開発の活性度

そのソフトウェアは活発に開発されていますか？

ビジネスの活性度

そのソフトウェアはビジネスで活用されていますか？

技術者の注目度

そのソフトウェアはどれくらい注目されていますか？

技術情報の充実度

そのソフトウェアの情報はどれくらい豊富にありますか？

(11)

開発の活性度

(12)



開発者数



2016年に開発リポジトリ（GitHubなど）にCommitした人数



および 2015年からの増加率



開発量



2016年に開発リポジトリ（GitHubなど）にCommitした数



および 2015年からの増加率



活動日



全開発期間におけるCommitされた日の割合



開発者向けメーリングリストの流量



2016年に開発者向けメーリングリストに投稿されたメールの量



イシュー解決率



全イシューにおけるクローズされたイシューの割合



今回の調査ではプライオリティ（など）による絞込みは行っていない

「開発の活性度」の調査項目

(13)

開発者数（Committer）

0 20 40 60 80 100 120 140 160 2 0 0 1 /0 1 2 0 0 1 /0 5 2 0 0 1 /0 9 2 0 0 2 /0 1 2 0 0 2 /0 5 2 0 0 2 /0 9 2 0 0 3 /0 1 2 0 0 3 /0 5 2 0 0 3 /0 9 2 0 0 4 /0 1 2 0 0 4 /0 5 2 0 0 4 /0 9 2 0 0 5 /0 1 2 0 0 5 /0 5 2 0 0 5 /0 9 2 0 0 6 /0 1 2 0 0 6 /0 5 2 0 0 6 /0 9 2 0 0 7 /0 1 2 0 0 7 /0 5 2 0 0 7 /0 9 2 0 0 8 /0 1 2 0 0 8 /0 5 2 0 0 8 /0 9 2 0 0 9 /0 1 2 0 0 9 /0 5 2 0 0 9 /0 9 2 0 1 0 /0 1 2 0 1 0 /0 5 2 0 1 0 /0 9 2 0 1 1 /0 1 2 0 1 1 /0 5 2 0 1 1 /0 9 2 0 1 2 /0 1 2 0 1 2 /0 5 2 0 1 2 /0 9 2 0 1 3 /0 1 2 0 1 3 /0 5 2 0 1 3 /0 9 2 0 1 4 /0 1 2 0 1 4 /0 5 2 0 1 4 /0 9 2 0 1 5 /0 1 2 0 1 5 /0 5 2 0 1 5 /0 9 2 0 1 6 /0 1 2 0 1 6 /0 5 2 0 1 6 /0 9

Apache Cassandra Apache Drill Apache Flume Apache Hadoop Apache HBase Apache Hive Apache Kafka Apache ManifoldCF Apache Mesos Apache Nutch Apache S4 Apache Spark Apache Sqoop Apache Storm Caffe

Ceph Chainer CNTK Deeplearning4j Drools Fusion DSSTNE Elasticsearch Esper Fluentd GlusterFS Hivemall Impala Infinispan Jubatus Lustre MongoDB PredictionIO Redis Riak TensorFlow Theano Torch7 VoltDB

Ceph

TensorFlow

Apache Spark

(14)

月平均の開発者数ランキング

TensorFlow

（105）

1位

10位

３位

CNTK

（33）

Elasticsearch

（53）

2位

Apache Spark

_（101）

4位

MongoDB

_（49）

7位

Apache Hive

（35）

6位

Apache Kafka

_（38）

7位

Apache Cassandra

_（35）

7位

Apache Mesos

（35）

Apache Spark

（121）

1位

2位

３位

Elasticsearch

（52）

MongoDB

（43）

4位

Apache Hadoop

_（40）

5位

GlusterFS

（40）

6位

Apache Mesos

_（38）

7位

Apache Cassandra

_（33）

7位

VoltDB

（33）

5位

Apache Hadoop

（41）

10位

VoltDB

_（33）

9位

Apache Hive

（32）

10位

Theano

_（27）

TensorFlow

（5）

26位

13位

Apache Kafka

（22）

17位

CNTK

_（15）

12位

GlusterFS

_（32）

14位

Theano

（27）

2016年

2015年

(15)

Apache Cassandra Apache Hadoop Apache HBase

Apache Hive Apache Kafka

Apache Mesos Apache Spark CNTK Elasticsearch GlusterFS MongoDB TensorFlow Theano VoltDB 0 25 0 20 40 60 80 100 120

開発者数［横軸］と成長率［縦軸］

(16)

開発量（Commit）

0 200 400 600 800 1000 1200 1400 1600 1800 2 0 0 1 /0 1 2 0 0 1 /0 5 2 0 0 1 /0 9 2 0 0 2 /0 1 2 0 0 2 /0 5 2 0 0 2 /0 9 2 0 0 3 /0 1 2 0 0 3 /0 5 2 0 0 3 /0 9 2 0 0 4 /0 1 2 0 0 4 /0 5 2 0 0 4 /0 9 2 0 0 5 /0 1 2 0 0 5 /0 5 2 0 0 5 /0 9 2 0 0 6 /0 1 2 0 0 6 /0 5 2 0 0 6 /0 9 2 0 0 7 /0 1 2 0 0 7 /0 5 2 0 0 7 /0 9 2 0 0 8 /0 1 2 0 0 8 /0 5 2 0 0 8 /0 9 2 0 0 9 /0 1 2 0 0 9 /0 5 2 0 0 9 /0 9 2 0 1 0 /0 1 2 0 1 0 /0 5 2 0 1 0 /0 9 2 0 1 1 /0 1 2 0 1 1 /0 5 2 0 1 1 /0 9 2 0 1 2 /0 1 2 0 1 2 /0 5 2 0 1 2 /0 9 2 0 1 3 /0 1 2 0 1 3 /0 5 2 0 1 3 /0 9 2 0 1 4 /0 1 2 0 1 4 /0 5 2 0 1 4 /0 9 2 0 1 5 /0 1 2 0 1 5 /0 5 2 0 1 5 /0 9 2 0 1 6 /0 1 2 0 1 6 /0 5 2 0 1 6 /0 9

Apache Cassandra Apache Drill Apache Flume Apache Hadoop Apache HBase Apache Hive Apache Kafka Apache ManifoldCF Apache Mesos Apache Nutch Apache S4 Apache Spark Apache Sqoop Apache Storm Caffe

Ceph Chainer CNTK Deeplearning4j Drools Fusion DSSTNE Elasticsearch Esper Fluentd GlusterFS Hivemall Impala Infinispan Jubatus Lustre MongoDB PredictionIO Redis Riak TensorFlow Theano Torch7 VoltDB

Ceph

MongoDB

TensorFlow

CNTK

Elasticsearch

(17)

月平均の開発量ランキング

TensorFlow

（1,002）

1位

2位

３位

CNTK

（635）

Elasticsearch

（513）

4位

Apache Spark

_（362）

5位

Chainer

（336）

6位

MongoDB

_（330）

7位

Theano

_（276）

7位

Apache Mesos

（276）

9位

VoltDB

（269）

10位

Apache Cassandra

_（228）

Elasticsearch

（605）

1位

2位

３位

Apache Spark

（419）

Theano

（371）

4位

VoltDB

_（361）

5位

MongoDB

（352）

6位

Apache Cassndra

_（326）

8位

Apache Hadoop

_（253）

7位

Apache Mesos

（280）

9位

Chainer

（247）

10位

CNTK

_（243）

TensorFlow

（44）

22位

12位

Apache Hadoop

（208）

2016年

2015年

(18)

Apache Cassandra Apache Hadoop Apache HBase

Apache Hive Apache Kafka

Apache Mesos _{Apache Spark} Apache Storm Chainer CNTK Deeplearning4j Elasticsearch Fluentd GlusterFS Impala Infinispan MongoDB TensorFlow Theano VoltDB 0 200 400 600 800 1000 1200 0 20 40 60 80 100 120

開発者数［横軸］と開発量［縦軸］

(19)

活動日

0.05 0.19 0.24 0.24 0.27 0.28 0.29 0.29 0.29 0.36 0.42 0.49 0.53 0.55 0.55 0.55 0.60 0.60 0.62 0.65 0.67 0.70 0.70 0.70 0.72 0.73 0.75 0.76 0.78 0.80 0.81 0.81 0.82 0.83 0.85 0.85 0.90 0.91 0.98 0.00 0.20 0.40 0.60 0.80 1.00 1.20 Apache S4 Apache Sqoop Apache Nutch Esper Torch7 DSSTNE Apache Flume Hivemall Riak Jubatus Fluentd Apache ManifoldCF PredictionIO Apache Drill Apache Kafka Redis Apache Tez Ceph Apache Mesos Caffe Drools Fusion Neo4j Apache Storm Infinispan Apache Hive Impala Apache Spark Theano GlusterFS Apache Hadoop Apache HBase VoltDB CNTK Apache Cassandra MongoDB Deeplearning4j Elasticsearch Chainer Tensorflow

週休1日

週休2日

週休3日

(20)

開発者向けメーリングリストの流量推移

0 1000 2000 3000 4000 5000 6000 7000 2 0 0 5 /0 2 2 0 0 5 /0 5 2 0 0 5 /0 8 2 0 0 5 /1 1 2 0 0 6 /0 2 2 0 0 6 /0 5 2 0 0 6 /0 8 2 0 0 6 /1 1 2 0 0 7 /0 2 2 0 0 7 /0 5 2 0 0 7 /0 8 2 0 0 7 /1 1 2 0 0 8 /0 2 2 0 0 8 /0 5 2 0 0 8 /0 8 2 0 0 8 /1 1 2 0 0 9 /0 2 2 0 0 9 /0 5 2 0 0 9 /0 8 2 0 0 9 /1 1 2 0 1 0 /0 2 2 0 1 0 /0 5 2 0 1 0 /0 8 2 0 1 0 /1 1 2 0 1 1 /0 2 2 0 1 1 /0 5 2 0 1 1 /0 8 2 0 1 1 /1 1 2 0 1 2 /0 2 2 0 1 2 /0 5 2 0 1 2 /0 8 2 0 1 2 /1 1 2 0 1 3 /0 2 2 0 1 3 /0 5 2 0 1 3 /0 8 2 0 1 3 /1 1 2 0 1 4 /0 2 2 0 1 4 /0 5 2 0 1 4 /0 8 2 0 1 4 /1 1 2 0 1 5 /0 2 2 0 1 5 /0 5 2 0 1 5 /0 8 2 0 1 5 /1 1 2 0 1 6 /0 2 2 0 1 6 /0 5 2 0 1 6 /0 8 2 0 1 6 /1 1

Apache Cassandra Apache Drill Apache Flume Apache Hadoop Apache HBase Apache Hive Apache Kafka Apache ManifoldCF Apache Mesos Apache Nutch Apache S4 Apache Spark Apache Sqoop Apache Storm Apache Tez Hivemall Impala Lustre PredictionIO

Apache Hadoop

Apache Hive

Apache

Storm

Apache

Kafka

（※）メールの流量のみ。

（※）近年はGoogle Groupsなどメール以外の媒体で

議論するケースも多い為、メール流量＝議論の活発度にはならない。

(21)

イシュー解決率

13.0 43.4 55.6 62.3 62.6 64.4 65.6 67.3 68.4 70.3 72.1 72.6 73.5 73.7 74.6 75.5 77.3 78.1 79.8 80.2 82.1 82.7 83.5 85.2 85.2 86.2 89.3 90.1 91.5 91.8 95.6 0 20 40 60 80 100 120 GlusterFS PredictionIO CNTK Redis Apache Drill Apache Storm Chainer Apache Mesos Riak Theano Apache Flume Apache Kafka Apache Hive Apache Tez DSSTNE Apache Sqoop Torch7 Deeplearning4j Neo4j Caffe Apache Nutch Tensorflow Apache Hadoop Esper Apache HBase Apache Spark Apache Cassandra Jubatus Elasticsearch Fluentd Apache ManifoldCF

（※）今回の調査ではイシューの種類や

プライオリティに対する絞込みは未実施。

（※）本結果は全イシューに対するクローズの割合。

(22)

Apache Cassandra Apache Drill Apache Flume Apache Hadoop Apache HBase Apache Hive Apache Kafka Apache ManifoldCF Apache Mesos Apache Nutch Apache S4 Apache Spark Apache Sqoop Apache Storm Apache Tez Caffe Ceph Chainer CNTK Deeplearning4j

Drools Fusion _DSSTNE

Elasticsearch Esper Fluentd GlusterFS Hivemall Impala Infinispan Jubatus MongoDB Neo4j PredictionIO Redis Riak _Tensorflow Theano Torch7 VoltDB 0.0% 10.0% 20.0% 30.0% 40.0% 50.0% 60.0% 70.0% 80.0% 90.0% 100.0% 0.0% 10.0% 20.0% 30.0% 40.0% 50.0% 60.0% 70.0% 80.0% 90.0% 100.0%

Top1［横軸］とTop5［縦軸］までの開発比率

(23)

「開発の活性度」ランキング

1位

Elasticsearch

2位

Apache Spark

3位

※各ソフトウェアの各調査項目に対する偏差値を比較したランキング

MongoDB

4位

5位

CNTK

TensorFlow

(24)

ビジネスの活性度

(25)



利用企業数



StackShare（

https://stackshare.io/

）に登録されている利用企業数（Stacks）



求人数



StackShare（

https://stackshare.io/

）に登録されている求人数（Jobs）



StackOverflow（

http://stackoverflow.com/

）に

登録されている求人数（Jobs）

(26)

利用企業数（StackShare）

0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 2 2 17 20 28 32 55 61 93 152 224 261 333 362 1,840 3,160 3,460 0 500 1,000 1,500 2,000 2,500 3,000 3,500 4,000 Apache Flume Apache Hive Apache ManifoldCF Apache Nutch Apache S4 Apache Sqoop Apache Tez Caffe Ceph Chainer CNTK Deeplearning4j Drools Fusion DSSTNE Esper GlusterFS Hivemall Infinispan Jubatus Lustre Riak Theano Torch7 Apache Drill VoltDB PredictionIO Impala Fluentd Tensorflow Apache Storm Apache HBase Apache Mesos Neo4j Apache Spark Apache Kafka Apache Hadoop Apache Cassandra Elasticsearch MongoDB Redis

(27)

求人数（StackShare）

0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 2 2 3 12 13 30 47 135 138 193 510 523 535 546 582 640 798 0 100 200 300 400 500 600 700 800 900 Apache Flume Apache Hive Apache ManifoldCF Apache Nutch Apache S4 Apache Sqoop Apache Tez Caffe Ceph Chainer CNTK Deeplearning4j Drools Fusion DSSTNE Esper GlusterFS Hivemall Infinispan Jubatus Lustre Riak Theano Torch7 Fluentd PredictionIO VoltDB Apache Drill Neo4j Tensorflow Impala Apache HBase Apache Mesos Apache Storm Apache Kafka Apache Cassandra Apache Spark Elasticsearch MongoDB Apache Hadoop Redis

(28)

求人数（StackOverflow）

0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 2 2 3 4 6 7 7 13 28 30 34 40 46 48 61 0 10 20 30 40 50 60 70 Apache Drill Apache ManifoldCF Apache Nutch Apache S4 Apache Sqoop Apache Tez Chainer CNTK Deeplearning4j Drools Fusion DSSTNE Esper Fluentd GlusterFS Hivemall Infinispan Jubatus Neo4j PredictionIO Riak Torch7 VoltDB Apache Flume Caffe Theano Ceph Impala Lustre Tensorflow Apache Storm Apache HBase Apache Mesos Apache Hive Apache Kafka Apache Cassandra MongoDB Redis Elasticsearch Apache Spark Apache Hadoop

(29)

「ビジネスの活性度」ランキング

1位

MongoDB

2位

Elasticsearch

3位

※各ソフトウェアの各調査項目に対する偏差値を比較したランキング

Apache Hadoop

4位

5位

Apache Spark

Redis

(30)

技術者の注目度

(31)



注目している人の数



GitHub（

https://github.com/

）のスター数



Twitter（

https://twitter.com/

）のフォロワー数



Qiita（

http://qiita.com/

）のフォロワー数



StackShare（

https://stackshare.io/

）のファン数



検索されている数



Google Trends（

https://www.google.co.jp/trends/

）の値



全世界と日本



Node.jsと比較した相対値

(32)

スター数（GitHub）

22 34 38 132 212 267 481 524 619 750 787 850 923 1,004 1,022 1,073 1,198 1,749 2,118 2,702 2,832 2,855 2,873 3,262 3,460 3,591 3,884 4,536 4,930 5,390 5,603 6,310 9,460 9,955 11,591 15,779 20,658 21,670 44,995 0 5,000 10,000 15,000 20,000 25,000 30,000 35,000 40,000 45,000 50,000 Lustre Apache S4 Apache ManifoldCF Apache Tez Esper Apache Sqoop Hivemall Infinispan Jubatus Apache Drill Drools Fusion Apache Flume VoltDB GlusterFS Apache Nutch Apache HBase Apache Hive Impala Chainer Riak Apache Hadoop Ceph Apache Mesos Apache Cassandra Neo4j DSSTNE Apache Storm Apache Kafka Fluentd Deeplearning4j Theano Torch7 CNTK PredictionIO Apache Spark Caffe Elasticsearch Redis Tensorflow

(33)

フォロワー数（Twitter）

10 42 45 54 236 454 979 985 1,072 1,079 1,499 1,579 1,591 2,669 3,616 4,003 5,906 6,001 6,807 9,038 14,631 15,420 18,097 20,789 29,685 38,226 39,518 260,668 0 50,000 100,000 150,000 200,000 250,000 300,000 Apache Sqoop GlusterFS Hivemall Apache ManifoldCF Apache Tez Apache Nutch Apache Storm Jubatus Apache Hive Infinispan Fluentd Chainer Elasticsearch Neo4j Apache Drill PredictionIO Ceph VoltDB Apache HBase Tensorflow Redis Apache Kafka Apache Spark Deeplearning4j Apache Hadoop Apache Cassandra Apache Mesos MongoDB

(34)

フォロワー数（Qiita）

0 0 0 0 0 0 0 0 1 2 5 5 5 6 8 8 11 12 13 19 21 25 31 31 41 43 69 72 73 84 90 108 361 362 414 533 656 657 1,413 4,885 0 1,000 2,000 3,000 4,000 5,000 6,000 Apache ManifoldCF Apache Nutch Apache S4 Esper Infinispan Lustre PredictionIO Torch7 Apache Sqoop Hivemall Apache Flume Drools Fusion VoltDB DSSTNE Apache Drill CNTK Apache Tez Ceph Impala GlusterFS Deeplearning4j Apache Mesos Apache Storm Jubatus Apache HBase Theano Riak Apache Kafka Apache Cassandra Neo4j Apache Hive Caffe Apache Spark Apache Hadoop Redis Fluentd Chainer Elasticsearch Tensorflow MongoDB

(35)

ファン数（StackShare）

0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 7 7 24 25 25 43 57 63 118 181 209 282 317 356 1,700 2,960 3,110 0 500 1,000 1,500 2,000 2,500 3,000 3,500 Apache Flume Apache Hive Apache ManifoldCF Apache Nutch Apache S4 Apache Sqoop Apache Tez Caffe Ceph Chainer CNTK Deeplearning4j Drools Fusion DSSTNE Esper GlusterFS Hivemall Infinispan Jubatus Lustre Riak Theano Torch7 Apache Drill VoltDB Impala Fluentd PredictionIO Tensorflow Apache HBase Apache Storm Apache Mesos Neo4j Apache Spark Apache Kafka Apache Hadoop Apache Cassandra Elasticsearch MongoDB Redis

(36)

Google Trends（全世界）

0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 2 2 2 3 3 3 3 4 5 5 6 8 8 8 10 16 18 20 43 48 87 0 10 20 30 40 50 60 70 80 90 100 Apache ManifoldCF Apache Mesos Apache Nutch Apache S4 Apache Tez Deeplearning4j DSSTNE Hivemall Jubatus PredictionIO Torch7 Apache Drill Apache Flume Apache HBase Apache Sqoop CNTK Infinispan Riak VoltDB Chainer Esper Fluentd Apache Cassandra Apache Hive Apache Kafka Apache Storm Theano GlusterFS Lustre Drools Fusion Apache Hadoop Ceph Neo4j Caffe Apache Spark Tensorflow Impala Redis Elasticsearch MongoDB

(37)

Google Trends（日本）

0 0 0 0 0 0 0 0 0 1 2 2 2 2 3 3 3 3 4 4 4 4 4 5 5 5 5 6 7 7 7 10 15 21 38 41 52 54 59 63 0 10 20 30 40 50 60 70 Apache Flume Apache HBase Apache ManifoldCF Apache Nutch Apache S4 Apache Sqoop Apache Tez DSSTNE Hivemall PredictionIO Apache Mesos Deeplearning4j Infinispan VoltDB CNTK Esper Jubatus Riak Apache Cassandra Apache Drill Apache Kafka Drools Fusion Torch7 Apache Hive Apache Storm Impala Lustre Apache Hadoop GlusterFS Neo4j Theano Ceph Apache Spark Caffe Chainer Fluentd Tensorflow Elasticsearch MongoDB Redis

(38)

Apache Spark Caffe Ceph Chainer Elasticsearch Fluentd Impala MongoDB Redis Tensorflow 0 10 20 30 40 50 60 70 0 10 20 30 40 50 60 70 80 90 100

Google Trends 全世界［横軸］と日本［縦軸］

(39)

「技術者の注目度」ランキング

1位

Redis

2位

Elasticsearch

3位

※各ソフトウェアの各調査項目に対する偏差値を比較したランキング

Tensorflow

4位

5位

Caffe

MongoDB

(40)

技術情報の充実度

(41)



書籍数



Amazon（

https://www.amazon.com/

）で購入可能な書籍数



洋書と和書



勉強会／セミナーの数



Connpass（

https://connpass.com/

）に登録されている勉強会／セミナーの数



プレゼンテーション数



SlidShare（

http://www.slideshare.net/

）に登録されている日本語スライド数



技術Q&Aの数



StackOverflow（

http://stackoverflow.com/

）に登録されている技術Q&Aの数



以下のサイトに登録されている技術Q&Aの数



QA@IT（

http://qa.atmarkit.co.jp/

）



teratail（

https://teratail.com/

）



スタック・オーバフロー（

http://ja.stackoverflow.com/

）



技術記事の数



Hacker News（

https://news.ycombinator.com/

）に

登録されている技術記事の数



Qiita（

http://qiita.com/

）に登録されている技術記事の数



利用者向けメーリングリストの流量



2016年に利用者向けメーリングリストに投稿されたメールの量

(42)

書籍数／洋書（Amazon）

0 0 0 0 0 0 0 1 1 1 2 2 2 2 2 3 3 4 4 5 6 7 7 7 8 8 9 9 10 15 18 19 23 31 34 35 39 62 128 239 0 50 100 150 200 250 300 Apache ManifoldCF Apache S4 CNTK DSSTNE Hivemall PredictionIO VoltDB Caffe Chainer Deeplearning4j Apache Drill Apache Tez Fluentd GlusterFS Infinispan Esper Jubatus Apache Nutch Lustre Torch7 Apache Flume Apache HBase Apache Mesos Drools Fusion Apache Sqoop Impala Ceph Riak Apache Kafka Apache Storm Tensorflow Apache Hive Neo4j Theano Elasticsearch Apache Cassandra Apache Spark Apache Hadoop MongoDB Redis

(43)

書籍数／和書（Amazon）

0 0 0 0 0 0 0 0 0 0 1 1 1 2 2 2 3 3 3 4 4 5 5 5 6 6 7 9 9 10 11 16 19 23 24 26 38 43 67 83 0 10 20 30 40 50 60 70 80 90 Apache ManifoldCF Apache S4 CNTK DSSTNE Esper Hivemall Lustre PredictionIO Torch7 VoltDB Deeplearning4j GlusterFS Impala Apache Drill Apache Tez Infinispan Apache Nutch Drools Fusion Jubatus Apache Storm Riak Apache Flume Apache HBase Ceph Apache Kafka Apache Sqoop Apache Mesos Apache Hive Theano Fluentd Caffe Elasticsearch Apache Cassandra Chainer Neo4j Apache Spark Apache Hadoop Tensorflow MongoDB Redis

(44)

勉強会／セミナー数（Connpass）

0 0 0 0 0 0 0 1 1 1 1 1 1 2 2 2 3 3 4 5 6 6 7 9 12 12 13 15 16 23 23 30 34 35 42 44 54 57 69 198 0 50 100 150 200 250 Apache Flume Apache ManifoldCF Apache S4 Apache Storm Apache Tez Esper VoltDB Apache Nutch Apache Sqoop Drools Fusion DSSTNE Lustre PredictionIO Deeplearning4j Hivemall Infinispan Apache Drill Apache Mesos Apache HBase Torch7 Apache Hive Impala Theano GlusterFS CNTK Jubatus Apache Kafka Caffe Ceph Apache Hadoop Redis Neo4j Fluentd Apache Cassandra MongoDB Elasticsearch Apache Spark Riak Chainer Tensorflow

(45)

プレゼンテーション数（SlideShare）

0 2 4 4 4 5 6 9 9 12 14 17 30 32 36 38 40 44 49 56 57 58 60 63 70 71 73 82 112 121 176 180 223 224 320 338 380 455 1,063 0 200 400 600 800 1,000 1,200 PredictionIO DSSTNE Apache ManifoldCF CNTK Drools Fusion Deeplearning4j Infinispan Lustre VoltDB Apache Nutch Esper Hivemall Torch7 Apache Tez Apache Sqoop Apache Mesos Theano Neo4j GlusterFS Tensorflow Riak Caffe Apache Flume Apache Kafka Ceph Apache Drill Chainer Impala Apache Storm Jubatus Apache Cassandra Elasticsearch Fluentd Apache HBase Apache Spark Apache Hive Redis MongoDB Apache Hadoop

(46)

技術Q&A数（StackOverflow）

0 0 2 11 57 61 78 185 195 244 277 279 286 289 324 365 405 474 551 792 916 991 1,286 1,328 1,669 1,769 1,833 2,231 3,445 4,224 5,681 5,702 6,802 7,700 14,070 29,524 30,172 39,594 50,838 76,817 0 10,000 20,000 30,000 40,000 50,000 60,000 70,000 80,000 90,000 Chainer DSSTNE Jubatus Hivemall Apache S4 Apache ManifoldCF Apache Tez Torch7 Lustre Deeplearning4j CNTK VoltDB Apache Sqoop PredictionIO Apache Mesos Ceph GlusterFS Apache Drill Apache Flume Fluentd Apache Nutch Apache Storm Apache HBase Apache Kafka Apache Hive Impala Infinispan Riak Caffe Theano Apache Hadoop Drools Fusion Apache Spark Esper Tensorflow Neo4j Apache Cassandra Redis Elasticsearch MongoDB

(47)

技術Q&A数（スタック・オーバフローなど）

0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 2 2 2 2 2 3 4 4 5 7 8 12 15 21 30 34 38 48 56 76 78 83 182 0 20 40 60 80 100 120 140 160 180 200 Apache Hive Apache S4 Apache Storm Apache Tez DSSTNE Esper Infinispan Lustre Apache Drill Apache ManifoldCF Apache Nutch Apache Sqoop CNTK Deeplearning4j GlusterFS Hivemall PredictionIO Apache Mesos Drools Fusion Jubatus Neo4j VoltDB Apache Flume Impala Torch7 Apache Kafka Apache HBase Riak Ceph Theano Apache Cassandra Caffe Fluentd Apache Spark Chainer Apache Hadoop Tensorflow Elasticsearch Redis MongoDB

(48)

技術記事数（Hacker News）

0 3 3 3 7 11 28 29 30 31 42 59 72 74 79 79 100 115 119 129 187 200 203 220 221 277 331 333 353 384 570 623 680 775 1,293 1,824 2,236 4,283 13,350 14,322 0 2,000 4,000 6,000 8,000 10,000 12,000 14,000 16,000 Apache ManifoldCF Apache S4 Hivemall Jubatus Apache Tez Apache Sqoop Apache Flume Infinispan DSSTNE Apache Nutch Chainer Caffe Apache Drill CNTK Apache Hive Esper PredictionIO Torch7 Apache HBase Drools Fusion Deeplearning4j Lustre Apache Storm Fluentd Apache Mesos Apache Cassandra GlusterFS Impala Apache Kafka VoltDB Apache Hadoop Theano Ceph Apache Spark Neo4j Tensorflow Riak Elasticsearch Redis MongoDB

(49)

技術記事数（Qiita）

0 0 0 0 1 2 2 3 3 3 4 4 5 6 7 8 10 11 13 14 17 24 28 37 38 53 53 62 78 93 116 117 334 347 358 486 548 667 698 776 0 100 200 300 400 500 600 700 800 900 Esper Infinispan Lustre Torch7 Apache S4 Apache Nutch Drools Fusion Apache ManifoldCF Apache Sqoop VoltDB CNTK DSSTNE Hivemall PredictionIO Apache Drill Apache Tez Apache Flume Ceph Impala Deeplearning4j Apache Mesos GlusterFS Apache Storm Apache HBase Theano Apache Cassandra Jubatus Apache Kafka Riak Caffe Apache Hive Neo4j Chainer Apache Hadoop Apache Spark Redis Fluentd Elasticsearch Tensorflow MongoDB

(50)

利用者向けメーリングリストの流量推移

0 500 1000 1500 2000 2500 3000 2 0 0 5 /0 3 2 0 0 5 /0 6 2 0 0 5 /0 9 2 0 0 5 /1 2 2 0 0 6 /0 3 2 0 0 6 /0 6 2 0 0 6 /0 9 2 0 0 6 /1 2 2 0 0 7 /0 3 2 0 0 7 /0 6 2 0 0 7 /0 9 2 0 0 7 /1 2 2 0 0 8 /0 3 2 0 0 8 /0 6 2 0 0 8 /0 9 2 0 0 8 /1 2 2 0 0 9 /0 3 2 0 0 9 /0 6 2 0 0 9 /0 9 2 0 0 9 /1 2 2 0 1 0 /0 3 2 0 1 0 /0 6 2 0 1 0 /0 9 2 0 1 0 /1 2 2 0 1 1 /0 3 2 0 1 1 /0 6 2 0 1 1 /0 9 2 0 1 1 /1 2 2 0 1 2 /0 3 2 0 1 2 /0 6 2 0 1 2 /0 9 2 0 1 2 /1 2 2 0 1 3 /0 3 2 0 1 3 /0 6 2 0 1 3 /0 9 2 0 1 3 /1 2 2 0 1 4 /0 3 2 0 1 4 /0 6 2 0 1 4 /0 9 2 0 1 4 /1 2 2 0 1 5 /0 3 2 0 1 5 /0 6 2 0 1 5 /0 9 2 0 1 5 /1 2 2 0 1 6 /0 3 2 0 1 6 /0 6 2 0 1 6 /0 9 2 0 1 6 /1 2

Apache Cassandra Apache Drill Apache Flume Apache Hadoop Apache HBase Apache Hive Apache Kafka Apache ManifoldCF Apache Mesos Apache Nutch Apache S4 Apache Spark Apache Sqoop Apache Storm Apache Tez Hivemall Impala PredictionIO Riak

Apache Hadoop

Apache Spark

Apache Nutch

Apache Cassandra

(51)

「技術情報の充実度」ランキング

1位

Redis

2位

TensorFlow

3位

※各ソフトウェアの各調査項目に対する偏差値を比較したランキング

Elasticsearch

4位

5位

Apache Hadoop

MongoDB

(52)

(53)

総合ランキング

1位

2位

3位

※各ソフトウェアの各調査項目に対する偏差値を比較したランキング

4位

Elasticsearch

5位

Apache Spark

Tensorflow

Redis

(54)

Top3の内訳

開発の活性度

ビジネスの活性度

技術者の注目度

技術情報の充実度

MongoDB

開発の活性度ビジネスの活性度技術者の注目度技術情報の充実度

Redis

開発の活性度ビジネスの活性度技術者の注目度技術情報の充実度

Tensorflow

56.0

75.0

94.7

80.8

76.6

68.0

65.7

46.7

80.7

68.9

75.5

86.9

46.8

64.6

64.7

(55)



この様な感じでした

(56)

今年のマッピング

Apache Cassandra

Apache Hadoop

Apache Kafka

Apache Spark

Elasticsearch

MongoDB

Redis

Tensorflow 40.0 90.0 30.0 90.0

エンタープライズ適用領域

先行検討/アーリーアダプト領域

新技術

ウォッチ領域

(57)

最後に

ご興味を持って頂けた方がいらっしゃいましたら

ぜひ一緒にやりましょう！

2016年度版

ビッグデータ関連ソフトウェアの動向調査

2017年2月15日

日本OSS推進フォーラム

ビッグデータ部会

発表者：富士通株式会社 野山孝太郎（

[email protected]

）



本資料は、日本OSS推進フォーラム ビッグデータ部会にて、

ビッグデータ基盤を実現するオープンソースソフトウェアの動向を調査したものです。



本調査は、Webなどから一般的に収集可能な情報を元に最近の傾向を把握する

事を目的としています。

本調査結果のみを元に

各ソフトウェアの良し悪しを論じるものではありません

。

はじめに

皆さんは

オープンソースの

流行り廃りを

Google Trendsで検索？

ビッグデータ部会では昨年に引き続き

オープンソースの最近の動向を

様々な視点（数値）で調査しました

最近の傾向を把握する一つの目安として

軽い気持ちで聞いて下さい

＃この結果のみをもって各ソフトウェアの良し悪しを

＃論じているわけではありません！



様々なデータを「

収集・検知

」する機能、収集・検知したデータを「

蓄積・貯蔵

」する

機能、蓄積・貯蔵したデータを「

分析

」する機能にソフトウェアを分類した上で

黒字・赤字（昨年調査から追加したもの）を対象に調査

調査対象のソフトウェア



該当ソフトウェアの約3/4はApache License 2.0を採用



Apache Software Foundationが管理するソフトウェアが多い事が理由の一つ



Impala、Hivemall、PredictionIOなどもApacheのIncubator Projectに認定

採用しているオープンソースライセンス

Apache License 2.0

72.7%

GNU

General Public License

GNU

Lesser General Public License

その他

11.4%

73.7%

13.2%

9.1%

6.8%

7.9%

5.3%

内側：昨年調査

外側：今年調査



最も利用されている言語は「Java」（48.4%）。



次いで「C++」（16.7%）、「Python」（8.9%）、「C言語」（6.5%）と続く。

どの様なプログラミング言語で開発されているか？

Java

48.4%

C++

16.7%

C

6.5%

Scala

6.1%

Python

8.9%

Other

13.4%

発表者：富士通株式会社野山孝太郎（

本資料は、日本OSS推進フォーラムビッグデータ部会にて、

_その他

_（101）

_（49）