SNS dataに対するビッグデータ分析
プログラミングによるビッグデータの分析（R）
... • Excelファイル内の分析用データは1行目に変数名、2行目以降に一行ずつ個別の標本のデータが入っている形式にしておきます。 • ファイル名が日本語だと取り込む際にエラーになることがあるので、半角英数字のファイル名にしておくと、読み込み時のエラーの心配がありません。一方、 ...
30
PythonとTwitterAPIによるビッグデータ事始め
... そのため，現在でもさまざまな観点から，言葉の変化を捉える手段として， Twitter が分析の対象として用いら れている．例えば，五味・辰巳・新田 (2012)は，「違う」の形容詞化について調査し，後に続く語としては「違わ ない・違 (う)くない」と続く場合の形容詞化率が最も高いことを指摘した．また，全く別の種類の研究として，保 田・岡本・荒牧 ...
4
海事分野におけるビッグデータ活用の最新動向
... デジタル化は船舶保守サービスのあり方を根底から変えている。バルチラはビッグデータ と高度なデータ分析を利用して企業の業務効率改善と資産のパフォーマンス最適化を助け る新しい種類のサービスを開発する戦略をとっている。 バルチラグループの補修・保守・アフタサービス事業が占める売上及び利益の割合はここ しばらく一貫して上昇傾向を示しており、過去 2 年間のグループの売上高に占める割合は ...
80
時系列ビッグデータの解析と予測
... 参考文献 Matsubara, Y., & Sakurai, Y. (2016) Regime shifts in streams: Real-time forecasting of co-evolving time sequences. Pro- ceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data ...
7
IIJ Technical WEEK Indexer Bullet によるビッグデータ解析
... n パラメータとして変動周期（24 or 168）を設定 u 関数 decompose(): 時系列データを要因ごとに分解する n トレンド（ Trend）、季節要因（seasonal）、ノイズ（random） l 移動平均法による → 時系列解析としては古典的な手法 ...
39
経営を変えるビッグデータ活用.indd
... 「今後は多様なリアルタイムのデータとスマートデバイスによって、デジタル領域とリアル領域の融合が急速に進展します」（松尾氏） 具体的にマネタイズのアプローチを考えてみる。他社にマーケティング支援を提供するケースの場合、通常はマネタイズ領域を「顧客にデ ータを提供する」「顧客のマーケティング分析を代行する」「顧客の販売促進を代行する」といった視点で考える。が、これは間違いとは言え ...
8
SOMPOデータ・プラットフォーム－グループにおけるビッグデータへの取り組み－
... • 約３か月間の集中育成プログラムでは、ディープラーニングなどＡＩに必須のコ ンテンツを準備する予定であるほか、一流メンターの助言のもと、ＳＯＭＰＯ ホールディングスが実際に保有する自動車の走行データや健康関連データなどの ビッグデータを利用し、実践的なデータ分析からデータ活用ビジネスの企画 提 案まで行います。 ...
24
ビッグデータ時代の情報活用
... ま え が き モバイルデバイスやセンサーなど，データを生 成し収集する機器が増加している。これらの機器 によって収集された膨大なデータをうまく分析す ることで，今まで企業が知り得なかった消費者の 行動や関心が明らかになり，顧客の効率的な獲得 や育成といった施策などのマーケティングに活用 する期待が大きくなってきている。しかしその反 ...
7
無料セミナー資料：ビッグデータ管理基盤ソフトウェアHadoop入門
... GFS（Google File System）：クローラが収集したドキュメントを格納するための 分散ストレージ Map/Reduce：収集した膨大なドキュメントを解析し、検索インデックスを構築す るための分散処理基盤 ▌ Doug Cutting氏らにより、GFSとMap/Reduceのオープンソースクローン が開発される⇒ Hadoop GFS Map[r] ...
25
アジェンダ No-NoSQLによるアプローチ Hadoop ビッグデータ活用の課題 PostgreSQL Inter-Analyticsとは なぜPostgreSQL + Hadoopか Webログ分析の例 まとめ 課題と次のステップ 2
... + '-param GET_GROUP="' + str(get_group) + '" ' ¥ + '-param DELIMITER="' + esc_delimiter + '" ' ¥ （PathMatchesストアド関数一部） ストアド関数の引数を、pigの実行パラメタとして指定 Pigで参照するデータ項目をストアド関数のパラメタで指定 ...
32
PDFファイル 2E5OS25b オーガナイズドセッション「OS25 ビッグデータとAI 」
... パラダイムにおいて個別に収集され分析されていた様々な科学 データを集約し，それらを分析することで新たな科学的知見を 発見するという考えは，増大する今日の計算資源によって実現 が可能となった新しい科学的探求として今後発展していくと考 えられる．一方で観測された科学データの共有や再利用，その ためのメタデータ定義，さらにはデータの蓄積，参照方法など ...
4
PDFファイル 2E4OS25a オーガナイズドセッション「OS25 ビッグデータとAI 」
... The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014 - 1 - ビッグデータ解析と社会イノベーションに向けた取り組み Big Data Analytics and its Application toward Social Innovation 池田 尚司 *1 ...
1
次世代IT と呼応する宇宙ビッグデータ・ビジネス－「宇宙産業ビジョン2030」による加速－
... 一例として、養殖業ベンチャーであるウ ミトロンは、リモセン衛星から得られるマ クロ海洋環境データを、いけすの環境デー タや魚の生育状況データ等、他のリソース から得られるデータと統合して分析するプ ログラムを開発している。同社はこれによ り、養殖事業者に対して餌付けのタイミン グと餌の量の最適化のガイドラインを提供 することを目指している。また、サービス ...
11
RIETI - 高失業率に対する人口移動の反応：日本の市区町村データを用いた空間計量経済分析
... panel data in Japan”をもとに，独立行政法人経済産業研究所で行われた研究成果を踏まえ，新たに加 筆・修正をしたものである．本稿の執筆にあたり，各務和彦氏，浜口伸明氏，森川正之氏から特に有益なコメントを 頂いた．また，小西葉子氏，竹内惠行氏，福重元嗣氏，藤田昌久氏，難波明生氏をはじめ，第 25 回応用地域学会研究 発表大会，2011 年度・2014 年度関西計量経済学研究会，慶應義塾大学で行われた ...
27
HOKUGA: 社会指標値（量的データ）と実態調査（質的データ）の比較分析 : 従来のエリア・マーケティングに対する問題点の一検討
... 5.2 残された検討課題 本研究で残された検討課題は２つとしてい る。一つは，調査 析技法に関することであ り，調査都市の選定，アンケート回収数，標 本数， 析方法等については，より一層の検 討を加えていく必要がある。特に，これから の高齢社会の進展との関連研究 析は欠かせ ない。もう一つは，本研究のような数値デー タによる 析と意識調査による数量化データ による関係 析から次のステップへの問題で ...
24
ビッグデータアナリティクス - 第3回: 分散処理とApache Spark
... ここには mandara のホームディレクトリが見える． 今回利用するデータを準備する．データが大きいので，見るだけ． データを見る $ cat /project/bigdata-lab/bda/tweet_20171004.json |head [Tue Oct 03 20:40:40 JST 2017]Establishing connection. [Tue Oct 03 20:40:42 ...
32
Microsoft PowerPoint - ビッグデータ研修内容（募集添付用）.ppt [互換モード]
... 各企業で莫大なデータ（ビッグデータ）をビジネス活用し、 新たなサービスを創造することが注目されています。 本コースでは、ビッグデータを活用するために必要な 「データの見方」や「データ分析」などの最低限知っておく べき内容や仕組みを理解していただきます。また、多くの ...
7
ビッグデータ社会におけるプライバシー～「個人情報」から「プライバシー」保護へ～
... 「AppLog」が組み込まれたアプリの利用開始時には、端末の情報の送信をして「広告配信の最適化などに 利用 するという説明が表示され 拒否も可能 利用」するという説明が表示され、拒否も可能。 しかし、導入済みのすべてのアプリに関する情報を取得することや、性向の分析に利用されることは、ミログ 社のプライバシーポリシーを読み込まないとわかりにくい。 ...
41
ＩＴ運用とビッグデータの意外な関係とは
... Splunkの活用により 〜機会損失を防ぎ、効果的なインフラ投資に役立てる〜 • 課題／背景 – 見込み客管理システムでのパフォーマンス劣化へのピンポイント解析 (数百社、数千カスタムアプリ) – 利用者が感覚的に感じている不満を数値として分析出来ていなかった ...
24
ビッグデータの活用と分析に至るプロセス
... ビッグデータには、その特性とされる「3つのV」のVariety（バラエティ）、Volume（ボリューム）、Velocity （ベロシティ）のいずれかを持っていることが挙げられます。 【出所】Deja VVVu: Others Claiming Gartner’s Construct for Big Data［Gartner | Doug Laney］ ...
23