大規模のファイルや、データ
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... L の 2 乗となり， 計算量を劇的に減らすことに成功している．これは大規模 2 部グラフのバッチ処理の実行 時間を低減させるという点では非常に大きな意味を持つが， L が増加すると各処理の計算量 が 2 乗に増加する欠点がある．このアルゴリズムを逐次に実行することによってデータス ...
12
大規模データの匿名加工処理を高速化する技術を開発
... 1. 大規模データに対する匿名加工処理の高速化技術の開発 東大生研と日立は、大規模データの解析問合せにおいて高速性を発揮してきた非順 序型実行原理を、新たに匿名加工処理に適用しました。 これまで匿名加工処理には専用ソフトウェアを用いるのが一般的であり、データベ ...
6
マイクロソフトと大規模データ処理
... Sqoop Hadoop 上で大規模な機械学習を行うためのライブラリ 典型的には、ネットワーク経由で収集される大量のデータを基に、 レコメンデーション エンジンの作成や評判分析に利用される。 ...
57
様々な多重代入法アルゴリズムの比較～大規模経済系データを用いた分析～
... 72 7 結語 本稿では、様々な多重代入法アルゴリズムのメカニズムを示し、それらの性能を比較検証 した。補定の精度という点では、わずかながらに SOLAS が優れていたものの、概ね、アルゴ リズム間に決定的な差はなかったと言える。一方、計算効率という点では、アルゴリズム間 に大きな差が見られた。Amelia と SAS は、シミュレーションデータにおいても、経済センサ ...
44
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング IC2010 ueno
... ブロックサイズは CUDA との相性から 32 とした warp が 32 スレッドなので *1 Jaeyoung Choi, Jack J. Dongrra, David W. Walker. The design of a parallel dense linear algebra software library: Reduction to Hessenberg, tridiagonal and ...
20
StreamGPU プロジェクト 鈴村研究室 大規模データ処理・ストリームコンピューティング StreamGPU HiPC2012
... Since CUDA can execute many thread-block in parallel, single kernel can proces. s multiple matrices[r] ...
19
大規模データ天文学の進展
... • データ移動を極力避ける解析システム 望遠鏡・観測装置の大型化、高機能化 • 高品質なデータ、取得のコストの増大 科学成果の最大化 • 取得したデータを 速やかに解析 できる環境の構築 ...
33
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング StreamGPU 20120516
... ゴリズム SST の GPU による性能最適化」電子情報通信学会技術研究報告 既存ライブラリを使った高速化 2010 年 10 月 上野晃司 , 鈴村豊太郎 . データストリーム処理における GPU タスク並 ...
45
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング ipdps 2012
... – Dynamic load balancing unit and time series prediction algorithm are built on System S. – System S can import C++ or Java code as a user defined operator and modularize it[r] ...
20
大規模動的ネットワークに特化した グラフデータ格納基盤
... • 演算はレジスタで行われる – メインメモリへのアクセスはコスト大 → キャッシュメモリで改善 メモリアクセスに必要な電力 >> 演算に必要な電力 • １個のデータ移動に必要な電力は、１個のデータの演算に必要な電力の１ ００倍になることもある。 ...
37
Imperva Incapsula DDoS Protection データシート 大規模で高度な DDoS 攻撃も自動的に緩和 Imperva Incapsulaは ビジネスへの影響を最小限に抑えながら ネットワークやプロトコル そしてアプリケーションレベルの攻撃など 大規模で高度なDDoS 攻撃か
... DDoS攻撃を受けている間、トラフィックはIncapsula経由で流れます。BGPアナウンスメントは、保護対象サブネットを Incapsula経由でルーティングし攻撃を緩和するために使用されます。 IPアドレス向けのインフラ保護 お客様は、Incapsulaから保護IPアドレスを受け取り、その後はIncapsulaが全ての着信トラフィック ...
5
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング IC2010 ueno paper
... 知 大 対 規模 計算 繰 返 場合 多 GPGPU 手法 高 速化 ． GPU 並列 高速化 提案 ．変化 検知 １ あ 特異 変換 計算 多 特異値 解 占 い 特異値 解 計算 う 二 対角化 GPU 並列 実装 行列 320 数 256 CPU 1 対 17.22 倍 高速 ...
8
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング VCTL Perf IISWC2011
... We use three different stream programs (Application- Specific Benchmarks) which are are used for different pur- poses such as Call Detail Record Processing (CDR), Volume Weighted Average [r] ...
1
PDF 本研究室志望者へ 鈴村研究室 大規模データ処理・ストリームコンピューティング
... ずしもすべてのデータ データを データ データ を を保存 を 保存 保存する 保存 する する する必要 必要はなし 必要 必要 はなし はなし（ はなし （ （ （例 例 例 例： ： 連続 ： ： 連続 連続 連続データ データ データ データ） ） ） ） – 到達する 到達 到達 到達 する ...
42
大規模データベースを用いた信用リスク計測の問題点と対策(変数選択とデータ量の関係)
... 種や規模が信用リスクに与える影響を考慮する場合，データセグメント法を用いることが多い． データセグメント法では，セグメントにおけるデータが減少し，推定精度が悪化する場合があ る．また，推定精度がよくなる場合には，オーバーフィッティングがおきて不安定な推定結果を ...
44
PDF 本研究室志望者へ 鈴村研究室 大規模データ処理・ストリームコンピューティング
... - 情報爆発時代における一つの解決策 情報爆発時代における一つの解決策 情報爆発時代における一つの解決策 情報爆発時代における一つの解決策 動いているデータをリアルタイムに分析 ストリーミング・データ 動いている構造化データや非構造化データのストリーム ストリーム・コンピューティング ...
17
食料品アクセス問題と健康・栄養 －大規模個票データを用いた分析－
... ８ 対象を 65 歳以上に限定し，独立した 2 群の t 検定を行う。サンプルサイズを勘案し所得階層別には分類して いない。検定に当たり三大栄養素の摂取割合は対数変換した。 ９ 目標量はひとつの値ではなく，範囲であるため中央値を用いる。それぞれの栄養素の目標量の範囲は以下の ...
12
大規模データを対象とした分析処理の高速化に関する取り組み Papers & Presentations Onizuka Laboratory
... User Program worker worker Input Data fork fork fork Master worker assign map assign reduce Output File 0 Output Split 1 Split 0 Split 2 Split 3 worker worker worker [r] ...
89
PDF Graph500 への挑戦 鈴村研究室 大規模データ処理・ストリームコンピューティング
... を増しており、Graph500ベンチマークが広がりを見せている。Graph500 のリファレンス実装は、使用されているアルゴリズム の問題により、分散メモリ環境で大規模にスケールさせることができなかった。そこで、大規模にスケール可能な２次元分割に ...（Graph500 のScale 36）のBFS(幅優先探索 ...
4
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... を replicated 次 元 分 割 比 較 エ メ ネ あ る replicated 通 信 タ ー シ 理 論 値 を 算 出 モ ネ ゙ ヤ ン ケ 実 装 ， タ ー シ い 部 分 ゠ メ ー 計 測 こ ろ あ る Simple テ ー チ 数 を 大 く る ベ ペ モ 不 足 ゠ メ ー り ， Replicated-csr Scale 32 validation ゠ メ ー り ， Scale 33 ...
8