大規模データをエッジで処理するこ
各タスクは, 自身の全ての先行タスクの処理が終了してからでなければ, 処理を開始することができない. また, エッジで結ばれたタスク i とその先行タスクであるタスク j が異なる PE に割り当てられた場合は, 通信遅延 (Communication Overhead) を考慮し, エッジに付加さ
... 最適なタスクの割り当てを決定し処理パフォーマンスを最 大限に引き出す技術である．このタスクスケジューリング は，組み合わせ最適化問題の計算複雑度のクラスの中で強 NP 困難というクラスに属する[1]．この強 NP 困難に属する 問題は，問題の規模が大きくなるほど，最適解を得るのに ...
6
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... ) を用いた 2 部グラフの関連性解析アルゴリズム BB LIN 4) を差分更新可能とすることによって，毎回 すべての要素を計算し直している BB LIN と比較して計算量を減らす手法である．計算量 を比較すると， BB LIN が 2 部グラフの 2 つの頂点群のうち要素が少ない頂点集合（ L と ...
12
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... クラウド上の計算資源をその間だけ追加 することで、 計算資源の構成を弾力的に、 すなわち データストリーム処理を用いたリアルタイム性の高いアプリケーションを運用する場合、デー タレートの増大に対して、レイテンシの発散を抑えることが重要である。しかし現実的には、計 ...
8
大規模データの匿名加工処理を高速化する技術を開発
... 3 ■原田 博司プログラム・マネージャーのコメント■ 本研究開発プログラムは、現状のビッグデータ規模を遙かに凌ぐ「超 ビッグデータ」時代に向けて、広域通信ネットワークと超高速データベー ス処理の 2 柱を統合した基盤技術を世界に先駆けて確立するとともに、 この基盤技術により、国民（ヒト）と生産現場（工場）の健全性維持のため ...
6
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... を replicated 次 元 分 割 比 較 エ メ ネ あ る replicated 通 信 タ ー シ 理 論 値 を 算 出 モ ネ ゙ ヤ ン ケ 実 装 ， タ ー シ い 部 分 ゠ メ ー 計 測 こ ろ あ る Simple テ ー チ 数 を 大 く る ベ ペ モ 不 足 ゠ メ ー り ， Replicated-csr Scale 32 ...
8
PDF 本研究室志望者へ 鈴村研究室 大規模データ処理・ストリームコンピューティング
... この処理方式 処理方式 処理方式 処理方式で で で で困難 困難 困難 困難なことは なことは なことは？ なことは ？ ？ ？ – データソースの データソース データソース データソース の の増加 の 増加に 増加 増加 に に従 に 従 従って 従 って って ...
42
PDF Graph500 への挑戦 鈴村研究室 大規模データ処理・ストリームコンピューティング
... が有名だが、近年、大規模グラフ処理が、重要性 を増しており、Graph500ベンチマークが広がりを見せている。Graph500 のリファレンス実装は、使用されているアルゴリズム の問題により、分散メモリ環境で大規模にスケールさせることができなかった。そこで、大規模にスケール可能な２次元分割に ...
4
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング IC2010 ueno
... ブロック化して実装 Householder 変換による二重対角化にはブロック化 *1 が有効 ブロック化は実装コストが高いため、最初はブロック化なしで実装 しかし、ブロック化した方が速いことが判明 ...
20
Spark と大規模データ処理 - NAISTビッグデータアナリティクス 第2回
... CPU を有効に活用できていない 結局 1 個の CPU だけしか活かせていない データの読み出し速度が遅い ハードディスクからデータを読み出す速度はシーケンシャル で 200MiB/s，ランダムで 380 IOPS (SAS 15000rpm) ...
39
PDF 本研究室志望者へ 鈴村研究室 大規模データ処理・ストリームコンピューティング
... 異常検知の実現」 情報処理学会 SACSIS 2010, to be submitted 2. 松浦紘也、鈴村豊太郎 「データストリーム処理とバッチ処理における動的負荷分 散」 情報処理学会 SACSIS 2010, to be submitted 3. 森田康介、高橋俊明、鈴村豊太郎 「データストリーム処理による変化点検知の実 ...
17
Hadoop とは 大規模なデータを並列分散処理を行うフレームワークを提供 Google による MapReduce および Google File System(GFS) の論文をベースに開発された Apache プロジェクトの OSS MapReduce MapReduce 分散処理フレームワー
... ● Key-Value のリストを入力として受け取る ● Key の値に関してデータの集計を行い、Key-Value ペアを出力 – 例） 《単語，行番号のリスト》 ⇒ 《単語、行番号リスト（カンマ区切り）》 例） 転置インデックス ...
39
高性能，高生産性を実現する 大規模メモリ・並列処理システムソフトウエアの研究
... TSUBAME3.0における大規模並列計算アプリケーション実行時の電力消費の評価・分析を行い，アプリ実行 性能を保ちつつシステムの消費電力を削減するmSMSランタイムについて検討することが目的である．今年 度は，高性能計算に欠かせないマルチノード・マルチGPU実行におけるGPU消費電力を計測し，そのばらつ ...
10
SENAC Vol. 52, No. 2( ) 37 [ 大規模科学計算システム ] アプリケーションサービスの紹介 情報部情報基盤課共同利用支援係 はじめに 本センター大規模科学計算システムでは 分子軌道計算 数式処理 データ処理等の各アプリケーションソフトウェアをサービスしています
... (csh を利用する場合、センターの規定値) または .login ファイル（sh を利用する場合）に、センターで用意 している初期設定ファイル /usr/skel/Cshrc または/usr/skel/Login を読み込む設定となっていることを確認して ...
15
大規模データ天文学の進展
... リダクションソフトの管理を一元化。過去バージョ ンのソフトによる再リダクションをサポート。 請求の多い処理済みデータはアーカイブに蓄積。同 じリダクションを繰り返さない。 ...
33
対して,DB ベクトルが 1 億個の場合の最近傍探索処理を 1 秒以内に処理することを目指す. 2. 従来技術と課題 2.1 従来技術 DB 中の画像群が大規模化すると,DB ベクトル群が大規模化する. 大規模化した DB ベクトル群を想定し, クエリベクトル数を 1000 個,DB のベクトル数を
... 奥村昌和 † 山室雅司 † 局所特徴量を用いた物体認識処理での高次元ベクトル群の最近傍探索処理にお いて，ベクトル間のユークリッド距離計算が行われている．データベース中のベ クトル数が大規模になると，最近傍探索の処理時間は膨大になる．本検討では， kd-tree によるデータ構造化と GPU ...
8
StreamGPU プロジェクト 鈴村研究室 大規模データ処理・ストリームコンピューティング StreamGPU HiPC2012
... Since CUDA can execute many thread-block in parallel, single kernel can proces. s multiple matrices[r] ...
19
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... 作 を 行 う 出 来 処 理 処 理 系 を 用 い 並 列 音 声 識 を 実 装 ． 処 理 系 記 述 力 音 声 識 並 列 散 ， 処 理 拡 張 容 易 行 え を 示 ， 識 処 理 を 4 16 構 成 散 並 列 環 境 ン 比 較 、 ...ッ を 大 保 ， 識 精 度 を 過 度 い う ， 音 声 ...
9
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... あら 大規模 成長 続 るエメネ構 を持 タヴシを， モ゚ャシ゜ヘ性を考慮 効率よ 解析 る ， タヴシ ケダモヴヘ処理を用い ゜ンェモベンシャエメネ処理を提案 る． 計算ペタャ Incremental GIM-V を提案 ，タヴシ ケダモヴヘ処理系 IBM System S ...
6
StreamGPU プロジェクト 鈴村研究室 大規模データ処理・ストリームコンピューティング
... Task parallelism, where multiple tasks are computed simultaneously, must be used when a stream computing application requires relatively small computations for large[r] ...
10
マイクロソフトと大規模データ処理
... Sqoop Hadoop 上で大規模な機械学習を行うためのライブラリ 典型的には、ネットワーク経由で収集される大量のデータを基に、 レコメンデーション エンジンの作成や評判分析に利用される。 ...
57