Indexer Bullet によるビッグデータ解析
IIJ Technical WEEK Indexer Bullet によるビッグデータ解析
... n 辞書本文は Mediawiki フォーマット（<TEXT>でタグ付け） n 様々な収録データの組み合わせでファイルを公開している l 我々が使っているのは jawiki-<date>-pages-articles.xml.bz2 n jawiki-20131005 （ 2013/10/05のスナップショット） ...
39
MATLAB®によるビッグデータ解析
... Hive ™ : Facebookによって開発されたデータウェアハウス Pig ™ : Yahoo!によって開発されたデータフロー言語および実行環境 HBase ™ : GoogleのBigtableを参考にした列指向の分散データベース Cassandra ™ : Facebookによって開発された列指向の分散データベース ...
26
ビッグデータ時代の到来
... 費用配分を最適化したりすることも可能にな る。（図 1 参照） 行動履歴から顧客を理解 現在、マーケティング関係者から最も注目 されているビッグデータは、Twitter（短文 投稿サイト）やFacebook（ソーシャルネッ トワーキングサービスの 1 つ）といったソー シャルメディアへの書き込みである。従来の ようにアンケートを実施しなくても、書き込 みを適切に分析することにより、顧客が自社 ...
24
HOKUGA: 経営科学とOR のためのWeb プログラミングによる窓口サービスのデータ解析
... のように，DOM の getElementById メソッ ドを使って，ID 名”result”の部分を参照し， result.innerHTML=出力結果; によって，ID 名”result”の部分に出力するの である。このような方法によって，データ解 析結果を，入力テキストボックスや Canvas と同じページに出力することができる。 ...
11
ビッグデータ時代の情報活用
... ● 情報活用のプロセス 次に，戦略展開・施策立案に情報活用を定着さ せるための，WSをとおした情報活用のプロセスに ついて述べる。情報を可視化した消費行動の解析 において，重要なことはグループ化とセグメンテー ションを繰り返すことである。消費行動というの は一人十色であり，様々な場面で，多様なチャネ ルが利用されるため，一人ひとりを理解すること は難しい。様々な場面における消費行動の類似性 ...
7
HOKUGA: 経営科学とOR のためのWeb プログラミングによる需要予測のデータ解析
... 析ができるようになれば，インターネット上 のどこでも Web サービスとして回帰分析を 行って需要予測ができるようになる。 本稿では，特別なソフトを必要とせずに， ブラウザ上でデータを入力するだけで自動的 に回帰分析ができるプログラムを作成する。 また，回帰分析を行う際には，説明変数と目 的変数（被説明変数）との間の関係を散布図 に表すことが有益であるので，自動的に散布 図を作成するプログラムも作成する。Web ...
15
ビッグデータ利活用入門
... 3.2. 度数分布とヒストグラム 度数分布とは データを一定のルールで整理し、データがどのような値を中心にし てどのようなばらつき方をしているのかを調べることで、全体データ の特徴や性質などを理解する手法です。 ...
74
次世代IT と呼応する宇宙ビッグデータ・ビジネス－「宇宙産業ビジョン2030」による加速－
... ている。つまり、この流れは他産業にとって も新しいビジネスに取り組むチャンスとなっ ている。 「宇宙利用産業」の視点でみると、 「衛星デ ータ×次世代 IT」におけるもう一つの大きな 変化が見られる。かつては、宇宙産業という と、図表５のとおり、衛星製造、打ち上げ、 衛星運用・データ配信等のハード産業ばかり が注目されたが、近年は、衛星データ解析、 統合ソリューション、エンドユーザー利用等 ...
11
経営を変えるビッグデータ活用.indd
... デジタルマーケティングへの関心は高いが、その推進を妨げる問題が、①分析のための分析をしてしまう、②関連部門が非常に多い、③経 営陣の理解を得られない、④プロジェクトの進捗が遅い、の4点である。 これらを解決するための施策として、溝畑氏は「必要メンバーを最小限に絞り、トライアルを経て、どのような結果が得られるかを経営陣 ...
8
Rによる計量分析：データ解析と可視化 - 第3回 Rの基礎とデータ操作・管理
... ▶ 「政府の補助金政策の効果で，地域経済が活性化した」 ▶ 「マンションの高層階に住むと，妊娠しにくくなる」 ▶ 出所：伊藤 公一朗「 Google 検索の『青色』に隠された最強の分析力：世界の勝 ち組企業はビッグデータをこう使う」 ...
34
ビッグデータの活用と分析に至るプロセス
... 【出所】IBM Data Engine for Hadoop and Spark（P4）［IBM］ http://www.redbooks.ibm.com/abstracts/sg248359.html • 様々な組織が公表する資料によっては、「価値あるデータ」（Value）を加えて「5つのV」としているケース、10以上のVではじまる英単語を列挙して ...
23
時系列データ解析による予測と最適化 ～エネルギー需要、発電、価格のモデリング～
... まとめ 時系列データ解析 一変量 多変量 非定常 確率微分方程式 回帰分析 ※ NARX 機械学習 決定木など ニューラルネットワーク RNN 重回帰分析 ※ 定常 ARIMA GARCH VAR ※エラーが正規分布している場合 黒：Financial Toolbox.[r] ...
27
HOKUGA: 情報教育のためのWeb プログラミングによるアンケート作成とデータ解析について
... ⚑．は じ め に 最近の AI（Artificial Intelligence）やビッ グデータ，IoT（Internet of Things）のブーム の影響で，情報教育にプログラミング教育を 積極的に導入する動きが活発化している。中 教審の特別部会が平成 28 年⚘月⚑日に示し た次期学習指導要領の全体像となる審議まと め案では，小中高でプログラミング教育を導 入する。小学校では，自分の意図を実現させ ...
10
無料セミナー資料：ビッグデータ管理基盤ソフトウェアHadoop入門
... Map/Reduce：収集した膨大なドキュメントを解析し、検索インデックスを構築す るための分散処理基盤 ▌ Doug Cutting氏らにより、GFSとMap/Reduceのオープンソースクローン が開発される⇒ Hadoop ...
25
Oracle Advanced Analytics ビッグ・データと分析をシンプルに
... ナリストは不正パターンをほぼ即座に検出可能00 「TurkcellはOracle Exadata上で100テラバイトの圧縮データ（非圧縮状 態では1ペタバイトの生データ）を管理しています。Oracle Advanced AnalyticsオプションのコンポーネントであるOracle Data Miningを使用 することで、他のどんなツールよりも迅速かつ容易に大量の顧客デー ...
72
Pwrake/Gfarmによる ビッグデータ解析
... -T, --tasks [PATTERN] Display the tasks (matching optional PATTERN) with descriptions, then exit. -v, --verbose Log message to standard output.[r] ...
46
プログラミングによるビッグデータの分析（R）
... Excelから取り込んだ全てのデータは、データフレーム「 elec_weather 」に入っていますが、日時のデータおよび回帰 分析の対象とする地域のデータをデータフレーム「 elwe 」へと抽出します。 • 他の地域に関する分析を参照する場合は、コード内の（東京電力, 東京_）の部分を(北海道電力, 札幌_) （東北電力, 仙台_）（中部電力, ...
30
PythonとTwitterAPIによるビッグデータ事始め
... 5. 今後の課題 本研究は， Python とMeCab を使って，「コーデ」を含むツイートの分析を試みた．その結果，「コーデ」およ びそれと一緒に用いられる言葉の時間的な変化をとらえることができた． しかし， 本研究には様々な問題点がある． 第 1 に，本研究が対象とした時間は短い．そのためその変化の多くは，言語使用の変化をとらえるのには不十分で ...
4
目次 生命科学系の研究分野において主にゲノムデータ解析用の プラットフォームとして使われている Galaxy について オンデマンドクラウド機能を活用して解析環境を提供する 事例をご紹介します 1. データ解析プラットフォーム Galaxy とは 2. Galaxy によるNGSデータ解析について
... 事業内容 ソフトウェアの受託開発 ソフトウェアに関するコンサルテーション 主な開発実績 ‐ 並列スーパーコンピュータOS開発 ‐ 仮想化データセンター運用基盤開発 ‐ 商用IaaS型クラウドサービス基盤開発 ...
26
カーネル法による 非線形データ解析法
... カーネルCCAによるネットワーク推定 タンパク質ネットワークの推定（ Yamanishi et al. 2004 ） 複数の遺伝情報からグラム行列を構成し、逆にネットワークを推定する yeast (Saccharomyces cerevisiae) Gene expression data Æ K X,1 Two-hybrid systems Æ K X,2 Protein localization data Æ K ...
40