分析・ビッグデータ
プログラミングによるビッグデータの分析（R）
... • Excelファイル内の分析用データは1行目に変数名、2行目以降に一行ずつ個別の標本のデータが入っている形式にしておきます。 • ファイル名が日本語だと取り込む際にエラーになることがあるので、半角英数字のファイル名にしておくと、読み込み時のエラーの心配がありません。一方、 ...
30
時系列ビッグデータの解析と予測
... 130 基礎心理学研究 第35巻 第2号 ユーザアクテビティの分析が盛んであり，一部の研究で はソーシャルメディアのダイナミクスをとらえるために 非線形モデルが用いられている。特に，著者らは非線形 モデルとテンソルを統合した非線形テンソル解析技術を 考案した。非線形テンソル解析は計算機科学において世 界で初めての取り組みであり，各時系列データに対し 個々の独立したモデルを当てはめるのではなく，時系列 ...
7
ＩＴ運用とビッグデータの意外な関係とは
... • プロダクションシステムおよび開発テストの両方に利用 • 証明書の配信事業の障害状況を分析、トラッキング時間が90%削減 • アプリケーションのトラブルシューティング、性能の監視、サービス レベルの監視、レポーティング • 大規模な性能テストに活用 ...
24
無料セミナー資料：ビッグデータ管理基盤ソフトウェアHadoop入門
... GFS（Google File System）：クローラが収集したドキュメントを格納するための 分散ストレージ Map/Reduce：収集した膨大なドキュメントを解析し、検索インデックスを構築す るための分散処理基盤 ▌ Doug Cutting氏らにより、GFSとMap/Reduceのオープンソースクローン が開発される⇒ Hadoop GFS Map[r] ...
25
海事分野におけるビッグデータ活用の最新動向
... デジタル化は船舶保守サービスのあり方を根底から変えている。バルチラはビッグデータ と高度なデータ分析を利用して企業の業務効率改善と資産のパフォーマンス最適化を助け る新しい種類のサービスを開発する戦略をとっている。 バルチラグループの補修・保守・アフタサービス事業が占める売上及び利益の割合はここ しばらく一貫して上昇傾向を示しており、過去 2 年間のグループの売上高に占める割合は ...
80
PythonとTwitterAPIによるビッグデータ事始め
... そのため，現在でもさまざまな観点から，言葉の変化を捉える手段として， Twitter が分析の対象として用いら れている．例えば，五味・辰巳・新田 (2012)は，「違う」の形容詞化について調査し，後に続く語としては「違わ ない・違 (う)くない」と続く場合の形容詞化率が最も高いことを指摘した．また，全く別の種類の研究として，保 田・岡本・荒牧 ...
4
ビッグデータ社会におけるプライバシー～「個人情報」から「プライバシー」保護へ～
... 「AppLog」が組み込まれたアプリの利用開始時には、端末の情報の送信をして「広告配信の最適化などに 利用 するという説明が表示され 拒否も可能 利用」するという説明が表示され、拒否も可能。 しかし、導入済みのすべてのアプリに関する情報を取得することや、性向の分析に利用されることは、ミログ 社のプライバシーポリシーを読み込まないとわかりにくい。 ...
41
経営を変えるビッグデータ活用.indd
... 「今後は多様なリアルタイムのデータとスマートデバイスによって、デジタル領域とリアル領域の融合が急速に進展します」（松尾氏） 具体的にマネタイズのアプローチを考えてみる。他社にマーケティング支援を提供するケースの場合、通常はマネタイズ領域を「顧客にデ ータを提供する」「顧客のマーケティング分析を代行する」「顧客の販売促進を代行する」といった視点で考える。が、これは間違いとは言え ...
8
SOMPOデータ・プラットフォーム－グループにおけるビッグデータへの取り組み－
... • 約３か月間の集中育成プログラムでは、ディープラーニングなどＡＩに必須のコ ンテンツを準備する予定であるほか、一流メンターの助言のもと、ＳＯＭＰＯ ホールディングスが実際に保有する自動車の走行データや健康関連データなどの ビッグデータを利用し、実践的なデータ分析からデータ活用ビジネスの企画 提 案まで行います。 ...
24
Microsoft PowerPoint - ビッグデータ研修内容（募集添付用）.ppt [互換モード]
... 概要 各企業で莫大なデータ（ビッグデータ）をビジネス活用し、新たなサービスを創造することが注目されています。 本コースでは、ビッグデータを活用するために必要な「データの見方」や「データ分析」などの最低限知っておくべき内容や仕組み ...
7
ビッグデータ時代の情報活用
... きた。それに対し，サプライチェーンの領域では データの網羅性が要求されるため，依然として基 幹システムのデータが活用されており，ビッグデー タ活用が進まない要因になっている。つまり，ビッ グデータはその特性上，母集団の特性を代表的に 抽出したデータを活用し，構成要素を分析してい くことに活用されているのである。今後は，サプ ...
7
労働投入の減少傾向口減少国内需要の縮小懸念第 1 章 ICT によるイノベーションと経済成長 特集部 ( 第 1 章 ~ 第 4 章 ) のテーマとして IoT ビッグデータ AI ~ネットワークとデータが創造する新たな価値 ~ を設定 サイバー空間 AI データを基に分析 データを送信 データの変
... 第 1 章：ICT によるイノベーションと経済成長 第 2 章：IoT 時代における ICT 産業動向分析 経済成長への貢献が期待される ICT 産業について、IoT の進展を踏まえた上で全体構造の 整理を行い、ICT 機器・サービスの各市場規模や成長性、競争環境等について定量的に検証。 ...
6
PDFファイル 2E5OS25b オーガナイズドセッション「OS25 ビッグデータとAI 」
... パラダイムにおいて個別に収集され分析されていた様々な科学 データを集約し，それらを分析することで新たな科学的知見を 発見するという考えは，増大する今日の計算資源によって実現 が可能となった新しい科学的探求として今後発展していくと考 えられる．一方で観測された科学データの共有や再利用，その ためのメタデータ定義，さらにはデータの蓄積，参照方法など ...
4
次世代IT と呼応する宇宙ビッグデータ・ビジネス－「宇宙産業ビジョン2030」による加速－
... 一例として、養殖業ベンチャーであるウ ミトロンは、リモセン衛星から得られるマ クロ海洋環境データを、いけすの環境デー タや魚の生育状況データ等、他のリソース から得られるデータと統合して分析するプ ログラムを開発している。同社はこれによ り、養殖事業者に対して餌付けのタイミン グと餌の量の最適化のガイドラインを提供 することを目指している。また、サービス ...
11
ビッグデータ時代に求められるデータアーキテクチャ DWH からビッグデータ さらにビジネスインテリジェンス (BI) というように データ活用のステージが変化してきている この流れの中で求められているデータアーキテクチャの方向性として Syncsort の日本法人であるシンクソート ジャパン 代表の
... 同社の主要製品群を見ていこう。 1. DMExpressを代表とするデータ統合 「DMExpress（以 下、DMX）」は 高 速 デ ー タ 処 理 を 実 現 す る ツ ー ル で あ り、GUI（グ ラ フ ィ カ ル ユ ー ザ ー インタフェース）ベースでジョブの設定が簡単に完了する。一般的にはBIツールを利用する際、DWH内に、分析用に ...
5
プロダクトシート Syncsort DMX-h ビッグデータの統合をシンプルに モダンデータアーキテクチャの目標 データウェアハウスおよびメインフレームは従来のデータアーキテクチャにおける中核であり 現在でも重要な役割を担っています しかし データ量の急増に対処したり 企業で分析が必要な多くの新しい
... モダン データ アーキテクチャの中核 Apache™ Hadoop はモダン データ アーキテクチャの中心的存在で あり、 Apache™ Spark はさまざまな種類のワークロードに対応する 単一のコンピューティング フレームワークになる可能性を秘めてい ます。ワークロードには、ディープ ラーニング、高度な分析、バッチ デ ータやストリーミングデータのパイプラインが含まれます。こうした複 ...
6
アジェンダ No-NoSQLによるアプローチ Hadoop ビッグデータ活用の課題 PostgreSQL Inter-Analyticsとは なぜPostgreSQL + Hadoopか Webログ分析の例 まとめ 課題と次のステップ 2
... • regex: マッチング及び返り値を定義する為に使用する文字列 (正規表現) • get_group: 返り値として取得したいグループの番号 グループは括弧で囲われた文字列（注）Pigのデータ表現。番号は先頭括弧の出現順 • delimiter: 入力データのデリミタ(区切り文字) ...
32
IIJ Technical WEEK Indexer Bullet によるビッグデータ解析
... n パラメータとして変動周期（24 or 168）を設定 u 関数 decompose(): 時系列データを要因ごとに分解する n トレンド（ Trend）、季節要因（seasonal）、ノイズ（random） l 移動平均法による → 時系列解析としては古典的な手法 ...
39
HPE Moonshot System ～ビッグデータ分析＆モバイルワークプレイスを新たなステージへ～
... インテル ® Xeon® プロセッサー E3-1500 v5 製品ファミリー インテル ® Iris™ Pro グラフィックス P580 搭載のインテル ® Xeon® プロセッサー E3-1500 v5 製品ファミリーのグラ フィックス性能なら、クラウドでの HD および UHD ビデオ配信でも、安全なデータセンターからの複雑な 3D アプリ ...
6
ビッグデータ利活用入門
... 5.3. 回帰分析と重回帰分析 回帰分析とは 「原因となる数値」と「結果となる数値」の関連性を、統計的手法を用いて調べる 方法のことです。原因となる数値（説明変数）の変化によって、結果となる数値 （目的変数）が変化するこ とを推測できます。 これによって仮説を立てることが可 能になります。 式 Y ＝ a + bX ...
74