分析&ビッグデータ統合
プログラミングによるビッグデータの分析（R）
... • Excelファイル内の分析用データは1行目に変数名、2行目以降に一行ずつ個別の標本のデータが入っている形式にしておきます。 • ファイル名が日本語だと取り込む際にエラーになることがあるので、半角英数字のファイル名にしておくと、読み込み時のエラーの心配がありません。一方、 ...
30
IIJ Technical WEEK Indexer Bullet によるビッグデータ解析
... n 『データの抽出・加工』工程の多段化により時間的効率がアップ u ビッグデータ解析の作業過程を外部より参照できる n 外部アプリケーションにはキャッシュドプロキシーとして動作 n 『データの抽出・加工』工程で生成された中間データも任意に参照可能 ...
39
ＩＴ運用とビッグデータの意外な関係とは
... Macys.com 自社のeコマースのインフラをプロアクティブに監視・分析 数ヶ月かかったダッシュボード作成を1ヶ月かからず実装。Splunkでシステム全体を 見通す事ができるようになり、100%の稼働時間を達成。全IT部門で100ユーザー 以上が、役割毎にダッシュボードを作成して管理。インシデントあたり3000万円の チャンスロスを回避。 ...
24
地域医療ビッグデータに触ってみよう ほぼハンズオンマニュアル
... 完成品。県名ラベルを付け青森県、沖縄県、茨城県、徳島県、愛媛県等でプレゼンテーション データソース：人口動態統計（厚生労働省大臣官房統計情報部） 出典：国立がん研究センターがん情報サービス「がん登録・統計」、 部位別75歳未満年齢調整死亡率（1995年～2015年） ...
40
ビッグデータアナリティクス - 第3回: 分散処理とApache Spark
... データを処理するための戦略 小さなデータを処理するためには R や Excel で十分 一つのサーバ，一つのメモリで事足りるとき Excel は最大 105 万行くらいしか扱えない 今回のデータは 2650 万行以上あるので扱えない ...
32
無料セミナー資料：ビッグデータ管理基盤ソフトウェアHadoop入門
... GFS（Google File System）：クローラが収集したドキュメントを格納するための 分散ストレージ Map/Reduce：収集した膨大なドキュメントを解析し、検索インデックスを構築す るための分散処理基盤 ▌ Doug Cutting氏らにより、GFSとMap/Reduceのオープンソースクローン が開発される⇒ Hadoop GFS Map[r] ...
25
海事分野におけるビッグデータ活用の最新動向
... ソフトウェアを使って、何週間、何ヶ月も前から装置の故障を予測する。資産の状態及 び性能に関するリアルタイムデータを複数のユーザーにその場で提供することができる。 • Vessel Performance Analyzer：これは造船所や船舶オペレーターが設計段階で複数の機器 (スラスタ、推進系、電気系)の組み合わせを比較することができるようにするリアルタ ...
80
Spark と大規模データ処理 - NAISTビッグデータアナリティクス 第2回
... 誰でも使える実装として Hadoop が作られる 分散ファイルシステム Google File System の出現 多くのサーバにデータを分散して配置 いくつかディスクやサーバが壊れてもデータは無事 GFS は Google 以外では利用できない ...
39
時系列ビッグデータの解析と予測
... た ，50種を超える疫病の感染者数のデータに対する解 析結果の様子である。 より具体的には，Figure 5（a）において灰色の丸印は 1928年から1982年までの，はしかの感染者数を示して おり，実線は考案手法の学習結果を示している．シーケ ンスは年の周期性があり，そして数年ごとに大規模な感 染と小さな波が現れている。また，感染者数は 1965年 において急激に減少しており，これはワクチン接種が 1963 ...
7
PythonとTwitterAPIによるビッグデータ事始め
... そのため，現在でもさまざまな観点から，言葉の変化を捉える手段として， Twitter が分析の対象として用いら れている．例えば，五味・辰巳・新田 (2012)は，「違う」の形容詞化について調査し，後に続く語としては「違わ ない・違 (う)くない」と続く場合の形容詞化率が最も高いことを指摘した．また，全く別の種類の研究として，保 田・岡本・荒牧 ...
4
社会システム分析のための統合化プログラム２
... 新しい分析の開発以外にも我々はプログラムに細かな修正を加えている。特に多変量解析では 結果の連携の重要性を考えるようになった。例えば、因子分析の因子得点を他の分析で使用し、 クラスター分析の分類を使って分散分析を行うなどすることで応用範囲は拡がってくる。そのた ...
18
PDFファイル 2E4OS25a オーガナイズドセッション「OS25 ビッグデータとAI 」
... The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014 - 1 - ビッグデータ解析と社会イノベーションに向けた取り組み Big Data Analytics and its Application toward Social Innovation 池田 尚司 *1 ...
1
次世代IT と呼応する宇宙ビッグデータ・ビジネス－「宇宙産業ビジョン2030」による加速－
... ている。つまり、この流れは他産業にとって も新しいビジネスに取り組むチャンスとなっ ている。 「宇宙利用産業」の視点でみると、 「衛星デ ータ×次世代 IT」におけるもう一つの大きな 変化が見られる。かつては、宇宙産業という と、図表５のとおり、衛星製造、打ち上げ、 衛星運用・データ配信等のハード産業ばかり が注目されたが、近年は、衛星データ解析、 統合ソリューション、エンドユーザー利用等 ...
11
ビッグデータ時代に求められるデータアーキテクチャ DWH からビッグデータ さらにビジネスインテリジェンス (BI) というように データ活用のステージが変化してきている この流れの中で求められているデータアーキテクチャの方向性として Syncsort の日本法人であるシンクソート ジャパン 代表の
... 同社の主要製品群を見ていこう。 1. DMExpressを代表とするデータ統合 「DMExpress（以 下、DMX）」は 高 速 デ ー タ 処 理 を 実 現 す る ツ ー ル で あ り、GUI（グ ラ フ ィ カ ル ユ ー ザ ー インタフェース）ベースでジョブの設定が簡単に完了する。一般的にはBIツールを利用する際、DWH内に、分析用に ...
5
労働投入の減少傾向口減少国内需要の縮小懸念第 1 章 ICT によるイノベーションと経済成長 特集部 ( 第 1 章 ~ 第 4 章 ) のテーマとして IoT ビッグデータ AI ~ネットワークとデータが創造する新たな価値 ~ を設定 サイバー空間 AI データを基に分析 データを送信 データの変
... 第 1 章：ICT によるイノベーションと経済成長 第 2 章：IoT 時代における ICT 産業動向分析 経済成長への貢献が期待される ICT 産業について、IoT の進展を踏まえた上で全体構造の 整理を行い、ICT 機器・サービスの各市場規模や成長性、競争環境等について定量的に検証。 ...
6
AWSビッグデータソリューション Amazon Redshift, Amazon EMR, Amazon DynamoDBご紹介
... ETL済みデータ USER1: { Interest: [ ʻ‘Carʼ’, ʻ‘Homeʼ’ ], ... } USER2: { Interest: [ ʻ‘Dogʼ’, ʻ‘Catʼ’ ], … } EMR 処理理済みデータ S3 ユーザーごとにログを集計して興味分野を ...
101
ビッグデータ社会におけるプライバシー～「個人情報」から「プライバシー」保護へ～
... 「AppLog」が組み込まれたアプリの利用開始時には、端末の情報の送信をして「広告配信の最適化などに 利用 するという説明が表示され 拒否も可能 利用」するという説明が表示され、拒否も可能。 しかし、導入済みのすべてのアプリに関する情報を取得することや、性向の分析に利用されることは、ミログ 社のプライバシーポリシーを読み込まないとわかりにくい。 ...
41
Microsoft PowerPoint - ビッグデータ研修内容（募集添付用）.ppt [互換モード]
... 概要 各企業で莫大なデータ（ビッグデータ）をビジネス活用し、新たなサービスを創造することが注目されています。 本コースでは、ビッグデータを活用するために必要な「データの見方」や「データ分析」などの最低限知っておくべき内容や仕組み ...
7
データ収集システム統合ソフトウエア DAQWORX
... 時系列変化， データのカウント 数などのトリガ条件成立により， データロギングを開始/停止します。データ収集ソフトウエアが動作してい るPCとAddTriggerが動作しているPCをイーサネット上に配置します。イーサネットを通して， AddTriggerと データ収集ソフトウエアを接続します。データ収集ソフトウエアがレコーダなどから収集している測定デ ータを， ...
29
アジェンダ No-NoSQLによるアプローチ Hadoop ビッグデータ活用の課題 PostgreSQL Inter-Analyticsとは なぜPostgreSQL + Hadoopか Webログ分析の例 まとめ 課題と次のステップ 2
... + '-param GET_GROUP="' + str(get_group) + '" ' ¥ + '-param DELIMITER="' + esc_delimiter + '" ' ¥ （PathMatchesストアド関数一部） ストアド関数の引数を、pigの実行パラメタとして指定 Pigで参照するデータ項目をストアド関数のパラメタで指定 ...
32