大規模データ分散処理技術
対して,DB ベクトルが 1 億個の場合の最近傍探索処理を 1 秒以内に処理することを目指す. 2. 従来技術と課題 2.1 従来技術 DB 中の画像群が大規模化すると,DB ベクトル群が大規模化する. 大規模化した DB ベクトル群を想定し, クエリベクトル数を 1000 個,DB のベクトル数を
... 2．分散探索ノードへクエリベクトル群を送信する． 各分散探索ノード： 3．ホスト側で，クエリベクトル群を受信する． 4．ホスト側で， 2 つの木構造化された DB 側のベクトル群に対して ，kd-tree の探 索アルゴリズムに従って，各クエリベクトルは，葉ノードに到達する． 5．ホスト側で，各クエリベクトルが到達した葉ノードの ID とクエリベクトル群を GPU デバイス側に転送する． ...
8
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング IC2010 ueno
... データは 64byte 幅で Partition に振り分けられる ある Partition にアクセスが集中すると、その Partition がボトルネッ クとなり速度が低下 行列サイズ 256,512 などの切りのいいサイズで発生しやすい ...
20
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... ド間やプロセス間の通信や，デーモンの立ち上げなどを意識することなくプログラミングが 可能である．広範な処理に適用可能な汎用の組み込みオペレータを持つため，単純な処理な らば組み込みオペレータにパラメータを設定するだけで実装できる．汎用オペレータだけで は不十分な場合は， C++ や Java を用いたユーザ定義の独自のオペレータや関数の作成も サポートされている． SPADE ...
12
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... すなわち データストリーム処理を用いたリアルタイム性の高いアプリケーションを運用する場合、デー タレートの増大に対して、レイテンシの発散を抑えることが重要である。しかし現実的には、計 算資源は有限であるため、データレートが一定以上になった場合に、レイテンシが発散すること は避けられない。本研究ではそのような状況下で、クラウド環境上に処理を委譲することで、レ ...
8
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... 動的 並列処理 実現 4. 最適 VM 数 計算手法 4.1 対象 ー ョン 分類 ElasticStream 対象 ー ョン ー 並列型 ー ョン 並列型 ー ョン 種類 分類 ー 並列型 ー ョン 計算 処理 負荷 軽く 入力 ー ー 量 多い ...
2
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... E-mail: [email protected], [email protected] あ 本 研 究 ， 々 刻 々 流 計 算 処 理 操 作 を 行 う 出 来 処 理 処 理 系 を 用 い 並 列 音 声 識 を 実 装 ． 処 理 系 記 述 力 音 声 識 並 列 散 ， 処 理 拡 張 容 易 行 え を 示 ， 識 処 理 を 4 16 構 成 散 並 列 環 境 ン 比 較 、 ...
9
ビッグデータ分析を高速化する 分散処理技術を開発 日本電気株式会社
... 各MapReduceは、その入力がハードディスクに保存されていることを仮定 一部サーバが故障したら、 保存されている入力を用いて、 故障したサーバの計算を 再度実行 ▌ 今回の高速化技術では、メモリ経由でデータを受け渡すため、この仕組みは 使えない ...
17
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング StreamGPU 20120516
... 5 万個 のセンサーがあるとする 4node(16 コア ) で分散処理しても、 SST で各センサーからの入 力データを 1 つ 処理するのに、 10 分 かかる IKA-SST *1*2 (SST の近似を高速に求めるアルゴリズム ) で計算し ...
45
PDF Graph500 への挑戦 鈴村研究室 大規模データ処理・ストリームコンピューティング
... リファレンス実装のsimpleを参考に掲載した。リファレンス実装で、 データがない部分はエラーなどで計測できなったところである。 ２次元分割の実装は、リファレンス実装のsimpleの２倍程度の速 度が出ている。これは、送信処理と受信処理の並列化や、OpenMPに よるプロセス内の並列化の効果によるものである。２次 ...
4
PDF 本研究室志望者へ 鈴村研究室 大規模データ処理・ストリームコンピューティング
... 動的負荷分散によって計算資源を効率的に運用 動的負荷分散によって計算資源を効率的に運用 動的負荷分散によって計算資源を効率的に運用 動的負荷分散によって計算資源を効率的に運用 負荷変動が激しくデータレートが予測不可能なデータストリーム処理と、 長期の計算時間が必要なバッチ処理が混在するクラスタ環境において、 ...
17
PDF 本研究室志望者へ 鈴村研究室 大規模データ処理・ストリームコンピューティング
... ずしもすべてのデータ データを データ データ を を保存 を 保存 保存する 保存 する する する必要 必要はなし 必要 必要 はなし はなし（ はなし （ （ （例 例 例 例： ： 連続 ： ： 連続 連続 連続データ データ データ データ） ） ） ） – 到達する 到達 到達 到達 する するデータ ...
42
大規模データを対象とした分析処理の高速化に関する取り組み Papers & Presentations Onizuka Laboratory
... User Program worker worker Input Data fork fork fork Master worker assign map assign reduce Output File 0 Output Split 1 Split 0 Split 2 Split 3 worker worker worker [r] ...
89
MapReduce における RDF-DB処理に適したデータ分散格納方法の提案
... B）動的な問合せ・解析処理の最適化手法 → Pig/Hadoop での実装，実際的な評価 － 従来困難であった規模のデータ処理を可能にした － 分散ストレージと MapReduce を用いた先駆的な成果 ...
23
マイクロソフトと大規模データ処理
... RDBMS と HDFS の間で、双方向のバルクデータ転送を行う仕組み SQL Server-Hadoop Connector も Sqoop を利用しています。 複数のコンピューターからなる分散システムで、ノードのメンバー シップの管理、分散ロック、構成情報の同期といった、 ...
57
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... [10] 高 田 美 , 木 村 欣 司 , 岩 崎 , 中 村 佳 , 高 速 特 異値分解 開発 , 情報処理学会論 文 誌 ン ン , 47(SIG_7(ACS_14)), pp.81-90, 2006. [11] ATLAS. http://math-atlas.sourceforge.net/. [12] LAPACK. http://www.netlib.org/lapack/. ...
8
Spark と大規模データ処理 - NAISTビッグデータアナリティクス 第2回
... ビッグデータとは今までと何が違うのか 何も違わない（バズワード）という批判 基盤となる技術は既存のものと同じ データ工学，情報検索，データマイニング，機械学習など 色々なデータを混ぜ合わせ一つの知見を得たい ...
39
大規模データの匿名加工処理を高速化する技術を開発
... 進んでいます。 データの匿名加工処理においては、例えば同じ属性を持つデータが一定数以上存在 するようにデータを変換し、個人が特定される確率を低減するといった措置を行います。 しかし、このような匿名加工処理の過程では情報が失われる可能性があり、有用な情報 量を確保するためには、データの抽出範囲や加工単位などを細かく調整しながら、デー ...
6
Hadoop とは 大規模なデータを並列分散処理を行うフレームワークを提供 Google による MapReduce および Google File System(GFS) の論文をベースに開発された Apache プロジェクトの OSS MapReduce MapReduce 分散処理フレームワー
... ● Key-Value ペアからなるレコードを入力として受け取る ● 新しく Key-Value ペアを生成して出力 （中間データ） – 例） 《行番号，テキスト》 ⇒ 《単語，行番号》 ● Shuffle & Sort ...
39
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... ， 大 規 模 エ メ ネ 処 理 ， 要 性 を 増 り ， Graph500 パ ン ス ブ ー ェ 広 り を 見 い る Graph500 モ ネ ゙ ヤ ン ケ 実 装 ， 使 用 さ れ い る ゚ ャ ガ モ ゲ ヘ 問 題 よ り ，分 散 ベ ペ モ 環 境 大 規 模 ケ ォ ー ャ さ る こ こ ，大 規 模 ケ ォ ー ャ 可 能 次 元 分 割 注 目 本 論 文 ， ...
8
ビッグデータアナリティクス - 第3回: 分散処理とApache Spark
... ここには mandara のホームディレクトリが見える． 今回利用するデータを準備する．データが大きいので，見るだけ． データを見る $ cat /project/bigdata-lab/bda/tweet_20171004.json |head [Tue Oct 03 20:40:40 JST 2017]Establishing connection. [Tue Oct 03 20:40:42 ...
32