大規模データ処理の抱える問題点
大規模データの匿名加工処理を高速化する技術を開発
... 進んでいます。 データの匿名加工処理においては、例えば同じ属性を持つデータが一定数以上存在 するようにデータを変換し、個人が特定される確率を低減するといった措置を行います。 しかし、このような匿名加工処理の過程では情報が失われる可能性があり、有用な情報 ...
6
PDF Graph500 への挑戦 鈴村研究室 大規模データ処理・ストリームコンピューティング
... 2-2 分散 BFS アルゴリズム Graph500 のリファレンス実 装には、OpenMPで書かれた実 装や、 MPIで書かれた実装、Crayの共有メモリ型プログラミング環境用の 実装、など複 数の種 類が用意されている。TSUBAME2.0 で分 散 実 行するには，MPIで書かれた実装を使 用する。MPIで書かれた実装 には、さらにアルゴリズムや実装方法の異なる ...
4
大規模データ天文学の進展
... リダクションソフトの管理を一元化。過去バージョ ンのソフトによる再リダクションをサポート。 請求の多い処理済みデータはアーカイブに蓄積。同 じリダクションを繰り返さない。 ...
33
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング StreamGPU 20120516
... 万個 のセンサーがあるとする 4node(16 コア ) で分散処理しても、 SST で各センサーからの入 力データを 1 つ 処理するのに、 10 分 かかる IKA-SST *1*2 (SST の近似を高速に求めるアルゴリズム ) ...
45
SENAC Vol. 52, No. 2( ) 37 [ 大規模科学計算システム ] アプリケーションサービスの紹介 情報部情報基盤課共同利用支援係 はじめに 本センター大規模科学計算システムでは 分子軌道計算 数式処理 データ処理等の各アプリケーションソフトウェアをサービスしています
... 並列コンピュータへの初回ログイン時には公開鍵と秘密鍵のペアを作成する必要があります。鍵ペアの作成 方法については本誌 30 ページの「SSH アクセス認証鍵生成サーバの利用方法」をご参照ください。 なお、他人名義の利用者番号でのシステム利用は禁止します。パスワード、秘密鍵およびパスフレーズの使い ...
15
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... 4.2 最適化問題 定式化 以 ン 経済的 ー 最適 化問題 定式化 い 述 本研究 問題 VM ン ン 起動数 線形計画問題 解く方 針 定 式 化 主 旨 [16] 用 い い SDAR(Sequentially Discounting AR Model) 利用 未来 ...
2
PDF 本研究室志望者へ 鈴村研究室 大規模データ処理・ストリームコンピューティング
... この処理方式 処理方式 処理方式 処理方式で で で で困難 困難 困難 困難なことは なことは なことは？ なことは ？ ？ ？ – データソースの データソース データソース データソース の の増加 の 増加に 増加 増加 に に従 に 従 従って 従 って って ...
42
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... 本稿 用い タヴシケダモヴヘ処理 よるエメネ処理 計算ペタャ ある， Incremental GIM-V い 説明 る． Incremental GIM-V 大筋 枠組 Incremental PageRank 同様 ， 頂 を 3 集合 (V Q , V b , V u ) る． れら う ， V Q い GIM-V 計算を再度行う必要 ある ， V b ， V u い ...
6
大規模データを対象とした分析処理の高速化に関する取り組み Papers & Presentations Onizuka Laboratory
... User Program worker worker Input Data fork fork fork Master worker assign map assign reduce Output File 0 Output Split 1 Split 0 Split 2 Split 3 worker worker worker [r] ...
89
PDF 本研究室志望者へ 鈴村研究室 大規模データ処理・ストリームコンピューティング
... - 情報爆発時代における一つの解決策 情報爆発時代における一つの解決策 情報爆発時代における一つの解決策 情報爆発時代における一つの解決策 動いているデータをリアルタイムに分析 ストリーミング・データ 動いている構造化データや非構造化データのストリーム ストリーム・コンピューティング ...
17
食料品アクセス問題と健康・栄養 －大規模個票データを用いた分析－
... 第１図 食料品アクセスに関する設問 資料：『平成 23 年度国民健康・栄養調査』． 本稿では該当する質問が複数回答可であることを考慮し，上述した食料品アクセスに関 する選択肢のいずれかのみを回答した回答者を「食料品アクセス困難者」と定義する。これ により「価格が高い」のような経済的事由を除去した，食料品アクセス困難であることが健 ...
12
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング IC2010 ueno
... GPU タスク並列の実現方法 既存ライブラリはタスク並列非対応 カーネル関数を書き換える必要あり CULA, CUBLAS などのライブラリはカーネル関数を隠蔽してし まっているので、利用できない ...
20
Spark と大規模データ処理 - NAISTビッグデータアナリティクス 第2回
... データベースの ACID 特性 データベースは，以下の四つの性質を満たしている必要が ある． Atomicity （原子性）: トランザクション処理はすべて実行 されるか，全く実行されない状態かのいずれかで終わる Consistency（一貫性）: トランザクション処理の前後で データに矛盾を生じない ...
39
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... ， 大 規 模 エ メ ネ 処 理 要 ゚ ハ モ ォ ー ク ョ ン り あ り ， よ う 中 ，ケ ド カ ン エ メ ネ 処 理 性 能 を 測 定 る ， Graph 500 [1] い う 新 い パ ン ス ブ ー ェ 場 ， 注 目 を 集 い る Graph 500 ， ケ ド カ ン 通 信 性 能 や ， エ メ ネ タ ー シ を 格 納 る ベ ペ モ 大 さ や ， ベ ペ モ メ ...
8
メモリ階層構造を考慮した大規模グラフ処理の高速化
... 入力パラメータ SCALE, edgefactor(= 16) で, 点数 n = 2 SCALE , 枝数 m = edgefactor ·n を決定. 各 BFS の終了時に, 計算結果である BFS 木を用いて検証を行い, TEPS 値を算出する. 現在のルールでは, 64 回中 Medial の TEPS 値で評価を行い, 高い方がより高い順位となる. GreenGraph500 ...
23
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... あ ． 異常検知 い 多様 入力 柔 軟 扱 え 変 化 点 検 出 求 処理 蓄積 く 処理 いう新 い 計算 あ ． 変化点検知 SST(Singular Spectrum Transformation) 使 異常検知 処理 一辺 長 500 行列 演算 必要 ． GPU ...
8
大規模データベースを用いた信用リスク計測の問題点と対策(変数選択とデータ量の関係)
... 種や規模が信用リスクに与える影響を考慮する場合，データセグメント法を用いることが多い． データセグメント法では，セグメントにおけるデータが減少し，推定精度が悪化する場合があ る．また，推定精度がよくなる場合には，オーバーフィッティングがおきて不安定な推定結果を 得ることが多い．そこで，データ数とそれに含まれるデフォルト数を変化させて，そのデータ ...
44
マイクロソフトと大規模データ処理
... RDBMS と HDFS の間で、双方向のバルクデータ転送を行う仕組み SQL Server-Hadoop Connector も Sqoop を利用しています。 複数のコンピューターからなる分散システムで、ノードのメンバー シップの管理、分散ロック、構成情報の同期といった、 ...
57
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... Dynamic-Split 処理は入力エッジを基準にマイグレー ションを行っているため SemiDynamic-Split 処理ほどの速度低下は見られなかった．いず れにしても， METIS によるマイグレーションがボトルネックとなり速度低下が発生してい るが， Dynamic-Split 処理を使用した実装ではグラフ分割数 16 において線形以上の高速化 ...
12
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... ElasticStream シ ス テ ム の 実 装 構 成 に つ い て 述 べ る。 図 2 は、 今回実装した ElasticStream システム のコンポーネント図である。 基盤となるデータスト リーム処理系には System S を、 System S に無い ...
8