上半期事例（ビッグデータ分析）
プログラミングによるビッグデータの分析（R）
... • Excelファイル内の分析用データは1行目に変数名、2行目以降に一行ずつ個別の標本のデータが入っている形式にしておきます。 • ファイル名が日本語だと取り込む際にエラーになることがあるので、半角英数字のファイル名にしておくと、読み込み時のエラーの心配がありません。一方、 ...
30
ビッグデータ時代の情報活用
... ま え が き モバイルデバイスやセンサーなど，データを生 成し収集する機器が増加している。これらの機器 によって収集された膨大なデータをうまく分析す ることで，今まで企業が知り得なかった消費者の 行動や関心が明らかになり，顧客の効率的な獲得 や育成といった施策などのマーケティングに活用 する期待が大きくなってきている。しかしその反 ...
7
経営を変えるビッグデータ活用.indd
... 「今後は多様なリアルタイムのデータとスマートデバイスによって、デジタル領域とリアル領域の融合が急速に進展します」（松尾氏） 具体的にマネタイズのアプローチを考えてみる。他社にマーケティング支援を提供するケースの場合、通常はマネタイズ領域を「顧客にデ ータを提供する」「顧客のマーケティング分析を代行する」「顧客の販売促進を代行する」といった視点で考える。が、これは間違いとは言え ...
8
ビッグデータ社会におけるプライバシー～「個人情報」から「プライバシー」保護へ～
... Netflix（全米最大のオンライン映画配信・DVDレンタル事業者）の事例 z 2006年にNetflix社は、顧客の嗜好に合わせて、映画をお勧めする同社のアルゴリズムの精度を向上 させることを目的に、100万ドルの懸賞金を掲げたコンテストを実施。同社のアルゴリズムよりも１０％ 以上 推薦精度を向上させた応募者が 懸賞金を獲得できるというルール ...
41
Microsoft PowerPoint - ビッグデータ研修内容（募集添付用）.ppt [互換モード]
... 概要 各企業で莫大なデータ（ビッグデータ）をビジネス活用し、新たなサービスを創造することが注目されています。 本コースでは、ビッグデータを活用するために必要な「データの見方」や「データ分析」などの最低限知っておくべき内容や仕組み ...
7
PythonとTwitterAPIによるビッグデータ事始め
... 5. 今後の課題 本研究は， Python とMeCab を使って，「コーデ」を含むツイートの分析を試みた．その結果，「コーデ」およ びそれと一緒に用いられる言葉の時間的な変化をとらえることができた． しかし， 本研究には様々な問題点がある． 第 1 に，本研究が対象とした時間は短い．そのためその変化の多くは，言語使用の変化をとらえるのには不十分で ...
4
ビッグデータ時代の到来
... 分析の精度向上や分析結果を生かしたプロモ ーションなどへの活用が期待できる。 有効活用のためにはIT部門との連携が必要 野村総合研究所（NRI）は、テキストマイ ニングツール「TRUE TELLER」、マスメデ ィアへの消費者の接触と購買との関連を測る 「INSIGHT SIGNAL」、ID連携を可能にする 「Uni-ID」など、個別のソリューションは以 前から提供している。これらのソリューショ ...
24
アジェンダ No-NoSQLによるアプローチ Hadoop ビッグデータ活用の課題 PostgreSQL Inter-Analyticsとは なぜPostgreSQL + Hadoopか Webログ分析の例 まとめ 課題と次のステップ 2
... + '-param GET_GROUP="' + str(get_group) + '" ' ¥ + '-param DELIMITER="' + esc_delimiter + '" ' ¥ （PathMatchesストアド関数一部） ストアド関数の引数を、pigの実行パラメタとして指定 Pigで参照するデータ項目をストアド関数のパラメタで指定 ...
32
ビッグデータ利活用入門
... せっかくデータ分析を行ったとしても、「あたりまえ」や「想定範 囲内」というような反応を受けることがあります。 そのような場合は、「想定範囲外」となった値に着目して、その 値の背景となる事象をとらえることで、新たな仮説を導き出す ことにつながることがあります。 ...
74
海事分野におけるビッグデータ活用の最新動向
... 研究所はヘルシンキの Azipod 工場の隣に設置され、自動化システム、遠隔制御システム、 推進システム、統合航海システム、廃熱回収システムを含む ABB マリンの全ての主要技術 を支援する。将来、研究所がシミュレーターとしての機能を果たす可能性もある。 研究所は「統合航海」概念を採用する。これは、本船上の操作を陸側オペレーションと連 結するものであり、ABB の「モノ、サービス、人のインターネット」に対する高い関心を ...
80
本日の内容 1 概要 2 事例 1 DNA 自動解析装置の品質管理 3 事例 2 進化系統樹の作成の最適化と生物種の識別 4 事例 3 精神神経系疾患の診断系確立 5 事例 4 人材育成 情報処理学会ビッグデータ活用実務フォーラム
... クオリティデータの数値変換 無作為に抽出したデータを perlのスクリプトを使用して数値データ に変換 得られたクオリティの数値データから各リードのクオリティの平 均値を計算し、それを基にヒストグラム、密度推定、ヒートマッ プを作製し、クオリティデータを評価した。 ...
70
TC-01 ビッグデータだけじゃない! Amazon DynamoDB の活用事例 Cassandra から DynamoDB への移行で見えたその特徴 サイバーエリアリサーチ株式会社中西健
... 「ビッグデータ」との比較 「ビッグデータ」 SURFPOINT レコード数 データ量 レコード数は巨大 増大し続けるデータ レコード数は巨大 データ量の変化は小 Write 常に書き込みが発生 定期的・比較的少量 Read 複雑なクエリや分析 クエリは単純 １レコードを返信 コスト↓ コスト↓.. コスト比較[r] ...
49
IIJ Technical WEEK Indexer Bullet によるビッグデータ解析
... n パラメータとして変動周期（24 or 168）を設定 u 関数 decompose(): 時系列データを要因ごとに分解する n トレンド（ Trend）、季節要因（seasonal）、ノイズ（random） l 移動平均法による → 時系列解析としては古典的な手法 ...
39
ビッグデータアナリティクス - 第3回: 分散処理とApache Spark
... データを処理するための戦略 小さなデータを処理するためには R や Excel で十分 一つのサーバ，一つのメモリで事足りるとき Excel は最大 105 万行くらいしか扱えない 今回のデータは 2650 万行以上あるので扱えない ...
32
ＩＴ運用とビッグデータの意外な関係とは
... Macys.com 自社のeコマースのインフラをプロアクティブに監視・分析 数ヶ月かかったダッシュボード作成を1ヶ月かからず実装。Splunkでシステム全体を 見通す事ができるようになり、100%の稼働時間を達成。全IT部門で100ユーザー 以上が、役割毎にダッシュボードを作成して管理。インシデントあたり3000万円の チャンスロスを回避。 ...
24
時系列ビッグデータの解析と予測
... Figure 7はRegimeCastに基づいて開発したリアルタイ ム予測システムの出力結果である。実験データとして モーションセンサデータを用いており，Figure 7（a）の 上段はオリジナルのデータストリーム，Figure 7（a）下 段は100から120時刻先をリアルタイムかつ継続的に予 測した結果である。事前学習なしに様々なパターンを高 精度に予測していることが分かる。Figure 7（b-1）から ...
7
アジェンダ Ã ビッグデータ活 に必要なプラットフォーム Ã 事例紹介 Ã ユースケース紹介 Ã Hortonworks の紹介 2 Hortonworks Inc All Rights Reserved
... システム統合プロジェクトに伴うデータ分析基盤の刷新 Hadoop の活⽤で住環境の「安⼼・安全・快適」を⽬指す Ã 5 社システムの統合 Ã 基幹システムと情報システムの連携 Ã 住宅IoTデータへの対応 ...
32
Oracle Advanced Analytics ビッグ・データと分析をシンプルに
... 複雑なセグメント化の問合せを数週間から数分間に短縮 — 競争上の強みを獲得 目的 世界をリードする顧客科学会社 Oracle Advanced Analyticsとサード・パーティ製ツールを使用して、分 析をほぼリアルタイムで実行可能なまでに短縮し、スマートフォンの ような新しいソースの非構造化ビッグ・データを分析 ...
72
労働投入の減少傾向口減少国内需要の縮小懸念第 1 章 ICT によるイノベーションと経済成長 特集部 ( 第 1 章 ~ 第 4 章 ) のテーマとして IoT ビッグデータ AI ~ネットワークとデータが創造する新たな価値 ~ を設定 サイバー空間 AI データを基に分析 データを送信 データの変
... 我が国の ICT 政策の最新動向を、総務省の取組を中心に紹介。 IoT・ビッグデータ・AI 等新たな ICT による経済成長への貢献経路について、供給面と 需要面から整理し、それぞれの経路について事例や企業の取組状況等を交えながら、ICT が経済成長に与える潜在的効果を定量的に検証。また、ICT がもたらす非貨幣的価値（消 費者余剰等）についても考察。 ...
6
プロダクトシート Syncsort DMX-h ビッグデータの統合をシンプルに モダンデータアーキテクチャの目標 データウェアハウスおよびメインフレームは従来のデータアーキテクチャにおける中核であり 現在でも重要な役割を担っています しかし データ量の急増に対処したり 企業で分析が必要な多くの新しい
... アクセスと、ビッグ データ リポジトリ への収集。どんなに複雑でも、企業内のあらゆるソースからローデー タを集めます。 モダン データ アーキテクチャの中心にあるのは、データ レイクまた はエンタープライズ データ ハブです。これにより企業は、非常にスケ ーラブルかつコスト効率に優れた方法で、より多くのソースから、より ...
6