典型的な大規模データ処理
マイクロソフトと大規模データ処理
... Sqoop Hadoop 上で大規模な機械学習を行うためのライブラリ 典型的には、ネットワーク経由で収集される大量のデータを基に、 レコメンデーション エンジンの作成や評判分析に利用される。 ...
57
大規模グラフ処理 鈴村研究室 大規模データ処理・ストリームコンピューティング
... Communication Data Size at Each Level Figure 16 compares the reference implementations, R-CSR and R- CSC, with U-BFS in terms of the execution time at each level of the level-synchron[r] ...
12
PDF Graph500 への挑戦 鈴村研究室 大規模データ処理・ストリームコンピューティング
... 次元メッシュ（mesh）に配置する。このメッシュの行を「プロセッサ 行」、列を「プロセッサ列」と呼ぶことにする。隣接行列を図 4 のよ うにR*C個の行とC個の列に分割し、プロセッサ（i, j）は、隣接行列の A_(i,j)^((1) )~A_(i,j)^((C) )のCブロックを担当する。頂点は、R x C 個のブロックに分割し、プロセッサ（I, j）は、j*R+I 番目のブロックを担 ...
4
PDF 本研究室志望者へ 鈴村研究室 大規模データ処理・ストリームコンピューティング
... パーソナルゲノム医療に向けた次世代 パーソナルゲノム医療に向けた次世代 パーソナルゲノム医療に向けた次世代 パーソナルゲノム医療に向けた次世代 DNA シーケンサーの高速処理 シーケンサーの高速処理 シーケンサーの高速処理 シーケンサーの高速処理 次世代 DNA シーケンサーによってもたされるライフサイエンス界の ...
17
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング IC2010 ueno paper
... 知 大 対 規模 計算 繰 返 場合 多 GPGPU 手法 高 速化 ． GPU 並列 高速化 提案 ．変化 検知 １ あ 特異 変換 計算 多 特異値 解 占 い 特異値 解 計算 う 二 対角化 GPU 並列 実装 行列 320 数 256 CPU 1 対 17.22 倍 高速 ...
8
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング VCTL Perf IISWC2011
... We use three different stream programs (Application- Specific Benchmarks) which are are used for different pur- poses such as Call Detail Record Processing (CDR), Volume Weighted Average [r] ...
1
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング IC2010 ueno
... タスク数に比例して、条件分岐や引数の数が増えるという問題がある GPU を使った行列計算の高速化に関する研究 ほとんどの研究は非常に大きな行列を対象としている 小さい行列の並列処理に関する研究はない ...
20
大規模グラフ処理 鈴村研究室 大規模データ処理・ストリームコンピューティング
... Hirundo analyzes, identifies the structure of a stream program, and transforms it to many different sample programs with same semantics using the no- tions of Tri-Operator Transformation[r] ...
12
StreamGPU プロジェクト 鈴村研究室 大規模データ処理・ストリームコンピューティング StreamGPU HiPC2012
... Since CUDA can execute many thread-block in parallel, single kernel can proces. s multiple matrices[r] ...
19
大規模データの匿名加工処理を高速化する技術を開発
... 進んでいます。 データの匿名加工処理においては、例えば同じ属性を持つデータが一定数以上存在 するようにデータを変換し、個人が特定される確率を低減するといった措置を行います。 しかし、このような匿名加工処理の過程では情報が失われる可能性があり、有用な情報 ...
6
Hadoop とは 大規模なデータを並列分散処理を行うフレームワークを提供 Google による MapReduce および Google File System(GFS) の論文をベースに開発された Apache プロジェクトの OSS MapReduce MapReduce 分散処理フレームワー
... ● ある TaskTracker が明らかに遅い場合、同じタスクを別の TaskTracker に依頼 ● 処理の完了が早かった TaskTracker の結果を採用する ● 一定期間応答のない TackTracker は強制終了され、同じタスクが別のTaskTracker に割り振られる ...
39
SENAC Vol. 52, No. 2( ) 37 [ 大規模科学計算システム ] アプリケーションサービスの紹介 情報部情報基盤課共同利用支援係 はじめに 本センター大規模科学計算システムでは 分子軌道計算 数式処理 データ処理等の各アプリケーションソフトウェアをサービスしています
... アプリケーションを利用したファイル転送 ファイル転送を行う代表的な GUI アプリケーションは Linux では「gftp」、Windows では「WinSCP」、macOS では「 FileZilla」などです。利用方法についてはそれぞれのマニュアルをご参照ください。アプリケーションの設 定において、転送プロトコルは SSH2 を選択してください。通信経路上は暗号化されます。 ...
15
様々な多重代入法アルゴリズムの比較～大規模経済系データを用いた分析～
... Balanced k-nearest Neighbor Imputation (Hasler and Tille, 2013) 概要：ランダム補定は、確率的補定や撹乱的補定とも呼ばれ、補定値の分布を維持しやす いため、項目非回答への対処法として頻繁に使われる。ランダム補定の手法の中でも、ラ ンダムホットデックには、補定値は実際の観測値であるという重要な特性がある。本研究 ...
44
PDF 本研究室志望者へ 鈴村研究室 大規模データ処理・ストリームコンピューティング
... SPADE: S S S Stream tream tream tream P P P Processing rocessing rocessing A rocessing Application A A pplication pplication D pplication D D Declarative eclarative E eclarative eclarative E E Engine ngine ngine ngine – ...
42
大規模データ天文学の進展
... リダクションソフトの管理を一元化。過去バージョ ンのソフトによる再リダクションをサポート。 請求の多い処理済みデータはアーカイブに蓄積。同 じリダクションを繰り返さない。 ...
33
大規模データを対象とした分析処理の高速化に関する取り組み Papers & Presentations Onizuka Laboratory
... User Program worker worker Input Data fork fork fork Master worker assign map assign reduce Output File 0 Output Split 1 Split 0 Split 2 Split 3 worker worker worker [r] ...
89
Graph500 への挑戦 鈴村研究室 大規模データ処理・ストリームコンピューティング
... OpenMP, If the vertex exists in CQ , then it finds a set of local vertices adjacent to the global vertex in CQ. The local vertex is added to NQ[r] ...
39
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング StreamGPU 20120516
... ゴリズム SST の GPU による性能最適化」電子情報通信学会技術研究報告 既存ライブラリを使った高速化 2010 年 10 月 上野晃司 , 鈴村豊太郎 . データストリーム処理における GPU タスク並 ...
45
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... あ ． 異常検知 い 多様 入力 柔 軟 扱 え 変 化 点 検 出 求 処理 蓄積 く 処理 いう新 い 計算 あ ． 変化点検知 SST(Singular Spectrum Transformation) 使 異常検知 処理 一辺 長 500 行列 演算 必要 ． GPU ...
8
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... きる． 5.4 グラフ分割ライブラリ METIS グラフ分割ライブラリ METIS 15) ではエッジカットを最小にしつつグラフを同じ大きさの k 個のサブグラフに分割するアルゴリズム Multi Level Recursive Bisection 法 (MLRB) 16) を グラフの縮小復元を用いて効率的に行っている． MLRB 法の計算量を下げるために METIS では分割を 3 フェーズに分け，第 1 ...
12