大規模データ処理システム
大規模グラフ処理 鈴村研究室 大規模データ処理・ストリームコンピューティング
... Communication Data Size at Each Level Figure 16 compares the reference implementations, R-CSR and R- CSC, with U-BFS in terms of the execution time at each level of the level-synchron[r] ...
12
PDF Graph500 への挑戦 鈴村研究室 大規模データ処理・ストリームコンピューティング
... 2-2 分散 BFS アルゴリズム Graph500 のリファレンス実 装には、OpenMPで書かれた実 装や、 MPIで書かれた実装、Crayの共有メモリ型プログラミング環境用の 実装、など複 数の種 類が用意されている。TSUBAME2.0 で分 散 実 行するには，MPIで書かれた実装を使 用する。MPIで書かれた実装 には、さらにアルゴリズムや実装方法の異なる 4 種類の実装が用意 ...
4
PDF 本研究室志望者へ 鈴村研究室 大規模データ処理・ストリームコンピューティング
... 動的負荷分散によって計算資源を効率的に運用 動的負荷分散によって計算資源を効率的に運用 動的負荷分散によって計算資源を効率的に運用 動的負荷分散によって計算資源を効率的に運用 負荷変動が激しくデータレートが予測不可能なデータストリーム処理と、 長期の計算時間が必要なバッチ処理が混在するクラスタ環境において、 ...
17
SENAC Vol. 52, No. 2( ) 37 [ 大規模科学計算システム ] アプリケーションサービスの紹介 情報部情報基盤課共同利用支援係 はじめに 本センター大規模科学計算システムでは 分子軌道計算 数式処理 データ処理等の各アプリケーションソフトウェアをサービスしています
... 表 2. 計算機システムと日本語環境 システム ホスト名 OS 日本語環境 並列コンピュータ LX 406Re-2 front.cc.tohoku.ac.jp Linux UTF-8 SSH は通信路上のデータを暗号化することで安全性を高めたプログラムです。利用している端末が Linux, macOS の場合は SSH ...
15
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング IC2010 ueno paper
... 知 大 対 規模 計算 繰 返 場合 多 GPGPU 手法 高 速化 ． GPU 並列 高速化 提案 ．変化 検知 １ あ 特異 変換 計算 多 特異値 解 占 い 特異値 解 計算 う 二 対角化 GPU 並列 実装 行列 320 数 256 CPU 1 対 17.22 倍 高速 ...
8
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング VCTL Perf IISWC2011
... We use three different stream programs (Application- Specific Benchmarks) which are are used for different pur- poses such as Call Detail Record Processing (CDR), Volume Weighted Average [r] ...
1
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング IC2010 ueno
... データは 64byte 幅で Partition に振り分けられる ある Partition にアクセスが集中すると、その Partition がボトルネッ クとなり速度が低下 行列サイズ 256,512 などの切りのいいサイズで発生しやすい ...
20
Graph500 への挑戦 鈴村研究室 大規模データ処理・ストリームコンピューティング
... OpenMP, If the vertex exists in CQ , then it finds a set of local vertices adjacent to the global vertex in CQ. The local vertex is added to NQ[r] ...
39
StreamGPU プロジェクト 鈴村研究室 大規模データ処理・ストリームコンピューティング StreamGPU HiPC2012
... Since CUDA can execute many thread-block in parallel, single kernel can proces. s multiple matrices[r] ...
19
大規模グラフ処理 鈴村研究室 大規模データ処理・ストリームコンピューティング
... Hirundo analyzes, identifies the structure of a stream program, and transforms it to many different sample programs with same semantics using the no- tions of Tri-Operator Transformation[r] ...
12
大規模データの匿名加工処理を高速化する技術を開発
... 1. 大規模データに対する匿名加工処理の高速化技術の開発 東大生研と日立は、大規模データの解析問合せにおいて高速性を発揮してきた非順 序型実行原理を、新たに匿名加工処理に適用しました。 これまで匿名加工処理には専用ソフトウェアを用いるのが一般的であり、データベ ...
6
大規模データ天文学の進展
... リダクションソフトの管理を一元化。過去バージョ ンのソフトによる再リダクションをサポート。 請求の多い処理済みデータはアーカイブに蓄積。同 じリダクションを繰り返さない。 ...
33
情報処理学会研究報告 IPSJ SIG Technical Report Vol.2013-DBS-158 No /11/26 データ共有型マルチデータベースシステムにおけるクエリ効率化手法 齋藤和広 渡辺泰之 小林亜令 近年, データの大規模化やデータ利用の多様化に対応するために, 単
... システム構成は Data Node, Task Tracker, Impalad が稼働す るスレーブノードが 3 台，Name Node, Job Tracker, Impala Statestore が稼働するマスタノードが 1 台，Hive Server, Hive Metastore, 提案手法を導入したデータ共有型マルチデータ ...
8
ILASデータ処理運用システム
... ● データ処理アルゴリズムの概要 （1） レベル１処理とレベル２処理 処理は大別してレベル１処理とレベル２処理に分けら れる。レベル１処理は，NASDA/EOCを経由して受信 したILASの観測データであるレベル０データを処理し， ...
11
高性能，高生産性を実現する 大規模メモリ・並列処理システムソフトウエアの研究
... クラスタ向けTransactional Memory APIの検討 担当者： 飯田凌大，二間瀬悠希，小林龍之介，川口優樹，津邑公暁（名工大） 赤黒木による評価 K-Meansによる評価 逐次プログラムから の容易な変更で記述可能， ...
10
PDF 本研究室志望者へ 鈴村研究室 大規模データ処理・ストリームコンピューティング
... © International Business Machines Corporation 2008 31 サイバーセキュリティ 様々なセンサー（ビデオ、電話通話記録、音声）を複合的に利用した監視システム 受信するデータストリームは巨大だが、“異常値”を示すデータはほとんどないというのが 特徴的 - 前処理で処理することに大いに意味がある ...
42
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... Also we change the input data rate of Twitter streams from low data rate to high data rate, or burst data rate in order to check the validity of the time-series prediction a[r] ...
9
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... FSU は，グラフのランダムウォーク法 Random Walk with Restart(RWR 法 ) を用いた 2 部グラフの関連性解析アルゴリズム BB LIN 4) を差分更新可能とすることによって，毎回 すべての要素を計算し直している BB LIN と比較して計算量を減らす手法である．計算量 を比較すると， BB LIN が 2 部グラフの 2 つの頂点群のうち要素が少ない頂点集合（ L と 定義する）の要素数の 3 ...
12
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング StreamGPU 20120516
... ゴリズム SST の GPU による性能最適化」電子情報通信学会技術研究報告 既存ライブラリを使った高速化 2010 年 10 月 上野晃司 , 鈴村豊太郎 . データストリーム処理における GPU タスク並 ...
45
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... Westmere EP, ， 6 カ ゚ ， 256-KB L2 キ ホ ッ ク ュ , 12-MB L3) ， NVIDIA M2050 GPU (Fermi) ， 48GB ベ ペ モ 搭 載 さ れ い る 通 信 ， 各 テ ー チ Infiniband QDR モ ン ェ 使 用 可 能 ， 合 計 80Gbps 通 信 ト ン チ 幅 を 備 え い る 暷 大 512 テ ー チ 使 用 実 験 ， GPU ...
8