大規模データの保管と大規模データの分析
PostgreSQL10 を導入! 大規模データ分析事例からみる DWH としての PostgreSQL 活用のポイント 2017/12/5 株式会社 NTT データ 2017 NTT DATA
... • 近年のPostgreSQLは、パラレルクエリをはじめとして、大量 データに対して分析クエリを流すようなDWHとしての用途で活 用できる機能が強化されています。 • 本講演では、DWHとしてPostgreSQLを扱うときに、 ...
40
大規模データを対象とした分析処理の高速化に関する取り組み Papers & Presentations Onizuka Laboratory
... User Program worker worker Input Data fork fork fork Master worker assign map assign reduce Output File 0 Output Split 1 Split 0 Split 2 Split 3 worker worker worker [r] ...
89
大規模データベースを用いた信用リスク計測の問題点と対策(変数選択とデータ量の関係)
... 本研究では， 「ステップワイズ法」を試みた．変数選択の基本的な方法としては，適当な基準によ り説明変数を１つずつ加えていく「変数増加法」と，逆にすべての説明変数を用いた分析から１つ ずつ変数を減らしていく「変数減少法」がある．変数増加法では，一度取り込んだ変数は，新たな ...
44
マイクロソフトと大規模データ処理
... Sqoop Hadoop 上で大規模な機械学習を行うためのライブラリ 典型的には、ネットワーク経由で収集される大量のデータを基に、 レコメンデーション エンジンの作成や評判分析に利用される。 ...
57
様々な多重代入法アルゴリズムの比較～大規模経済系データを用いた分析～
... に大きな差が見られた。Amelia と SAS は、シミュレーションデータにおいても、経済センサ ス‐活動調査の速報データにおいても、十分な性能を発揮することが分かった。Norm は 27 万×3 変量のデータセットを分析することができず、大規模データセットの多重代入には向 ...
44
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... LIN と比較して計算量を減らす手法である．計算量 を比較すると， BB LIN が 2 部グラフの 2 つの頂点群のうち要素が少ない頂点集合（ L と 定義する）の要素数の 3 乗の計算量がかかるのに対し， FSU では計算量は L の 2 乗となり， ...
12
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... を replicated 次 元 分 割 比 較 エ メ ネ あ る replicated 通 信 タ ー シ 理 論 値 を 算 出 モ ネ ゙ ヤ ン ケ 実 装 ， タ ー シ い 部 分 ゠ メ ー 計 測 こ ろ あ る Simple テ ー チ 数 を 大 く る ベ ペ モ 不 足 ゠ メ ー り ， Replicated-csr Scale 32 validation ゠ メ ー り ， Scale 33 ...
8
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... あら 大規模 成長 続 るエメネ構 を持 タヴシを， モ゚ャシ゜ヘ性を考慮 効率よ 解析 る ， タヴシ ケダモヴヘ処理を用い ゜ンェモベンシャエメネ処理を提案 る． 計算ペタャ Incremental GIM-V を提案 ，タヴシ ケダモヴヘ処理系 IBM System S を用い 実装 評価を行い， より効率的 適用範 広いタヴシケダモヴヘエメネ処 理 向 議論 る．人工タヴシ よる PageRank ...
6
大規模動的ネットワークに特化した グラフデータ格納基盤
... • ソーシャルネットワークデータに対する解析 ：動的な重要度、影 響度の判定。各点の周辺、及び広域内における影響（情報の 伝播力)を推定する • その他：疫病の拡散、人口の増減、経済動向等の分析。ライフ ライン等の基盤計画（電力、水、食料）。生命科学系（創薬、遺 ...
37
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング IC2010 ueno
... 変化点検知アルゴリズム SST *1 *1 Tsuyoshi Ide, et al, Knowledge Discovery from Time-series Data using Nonlinear Transformations, The 4th Data Mining Workshop of JSSST 2004 SVD （特異値分解）を 計算し、時系列データ の特徴を抽出 ...
20
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... E-mail: [email protected], [email protected] あ 本 研 究 ， 々 刻 々 流 計 算 処 理 操 作 を 行 う 出 来 処 理 処 理 系 を 用 い 並 列 音 声 識 を 実 装 ． 処 理 系 記 述 力 音 声 識 並 列 散 ， 処 理 拡 張 容 易 行 え を 示 ， 識 処 理 を 4 16 構 成 散 並 列 環 境 ン 比 較 、 ...
9
PDF Graph500 への挑戦 鈴村研究室 大規模データ処理・ストリームコンピューティング
... を増しており、Graph500ベンチマークが広がりを見せている。Graph500 のリファレンス実装は、使用されているアルゴリズム の問題により、分散メモリ環境で大規模にスケールさせることができなかった。そこで、大規模にスケール可能な２次元分割に ...（Graph500 のScale 36）のBFS(幅優先探索 ...
4
1B2-1 大規模学術論文データの共著ネットワーク分析に基づく萌芽領域の 中心研究者予測に関する研究
... 特に，経営戦略の立案，技術経営，イノベーション政策の点 から重要な点の一つは，現時点では未成熟で産業応用に制約が 大きいが，関心を集め急速に立ち上がりつつある研究領域，萌 芽領域，を早期に特定することである．萌芽領域は，技術シー ズ発展のＳ字カーブ論でいう初期ステージにある技術群に当た り，こうした領域の中に，将来，経済・社会的に高い価値を生 ...
2
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング StreamGPU 20120516
... 5 万個 のセンサーがあるとする 4node(16 コア ) で分散処理しても、 SST で各センサーからの入 力データを 1 つ 処理するのに、 10 分 かかる IKA-SST *1*2 (SST の近似を高速に求めるアルゴリズム ) で計算し ...
45
食料品アクセス問題と健康・栄養 －大規模個票データを用いた分析－
... ８ 対象を 65 歳以上に限定し，独立した 2 群の t 検定を行う。サンプルサイズを勘案し所得階層別には分類して いない。検定に当たり三大栄養素の摂取割合は対数変換した。 ９ 目標量はひとつの値ではなく，範囲であるため中央値を用いる。それぞれの栄養素の目標量の範囲は以下の ...
12
大規模データの匿名加工処理を高速化する技術を開発
... 進んでいます。 データの匿名加工処理においては、例えば同じ属性を持つデータが一定数以上存在 するようにデータを変換し、個人が特定される確率を低減するといった措置を行います。 しかし、このような匿名加工処理の過程では情報が失われる可能性があり、有用な情報 量を確保するためには、データの抽出範囲や加工単位などを細かく調整しながら、デー ...
6
中心市街地の大規模駐車場の費用便益分析
... 場均衡条件か ら従業員賃金 Glお よび商業床 のレン ト 11の 費用は上昇す る。一方、郊外商業施設 にお ぃては、商業販売額の便益 F3が 減少す る一方で従 業員賃金 Gl、 床 レン ト 12の 費用 も減少す る。消 費者の購買額の総合計が変わ らない ものと仮定すれ ば、商業主体に帰属す る便益は相殺 されゼロとなる。 ディベ ロッパーの利潤は式 (16)[r] ...
12
大規模データ天文学の進展
... リダクションソフトの管理を一元化。過去バージョ ンのソフトによる再リダクションをサポート。 請求の多い処理済みデータはアーカイブに蓄積。同 じリダクションを繰り返さない。 ...
33
Learning Bayesian Network from data 本論文はデータから大規模なベイジアン ネットワークを構築する TPDA(Three Phase Dependency Analysis) のアルゴリズムを記述 2002 年の発表だが 現在も大規模用 BN モデルのベンチマークと
... ● 確率伝播法（ノードを辿って確率が伝播する） 風が吹けば桶屋が儲かる式の知識発見ができる 2. データから確率分布のパラメータ推定 ● 本論ではデータの頻度で確率を計算するので言及せず ...
18
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング IC2010 ueno paper
... 知 大 対 規模 計算 繰 返 場合 多 GPGPU 手法 高 速化 ． GPU 並列 高速化 提案 ．変化 検知 １ あ 特異 変換 計算 多 特異値 解 占 い 特異値 解 計算 う 二 対角化 GPU 並列 実装 行列 320 数 256 CPU 1 対 17.22 倍 高速 ...
8