研究データ処理の⾼度化
0 スペクトル 時系列データの前処理 法 平滑化 ( スムージング ) と微分 明治大学理 学部応用化学科 データ化学 学研究室 弘昌
... スペクトル・時系列データの前処理 平滑化 (スムージング) • スペクトル・時系列データを “均す (ならす)” ことで ノイズを低減 する • やりすぎて極大値・極小値の 情報が消えないように注意 する ...
21
PDF 本研究室志望者へ 鈴村研究室 大規模データ処理・ストリームコンピューティング
... 動的負荷分散によって計算資源を効率的に運用 動的負荷分散によって計算資源を効率的に運用 動的負荷分散によって計算資源を効率的に運用 動的負荷分散によって計算資源を効率的に運用 負荷変動が激しくデータレートが予測不可能なデータストリーム処理と、 長期の計算時間が必要なバッチ処理が混在するクラスタ環境において、 ...
17
働き方の効率化のためのライフログの処理技術に関する研究
... セージの受け手と送り手を推定し，メッセージの種類に 応じた分析結果を DB へ格納する．可視化ツールは分析 結果をもとに web ベースで関係図を可視化する． 可視化ツールによって生成された関係図の可視化サ イトを図４に示す．関係図は感謝のやり取りによる人間 ...
3
PDF 本研究室志望者へ 鈴村研究室 大規模データ処理・ストリームコンピューティング
... この処理方式 処理方式 処理方式 処理方式で で で で困難 困難 困難 困難なことは なことは なことは？ なことは ？ ？ ？ – データソースの データソース データソース データソース の の増加 の 増加に 増加 増加 に に従 に 従 従って 従 って って ...
42
顔画像美観化処理システムの開発 研究シーズ | 明治大学
... 研究目的 顔画像を美観化し 表示す 画像処理を行う 研究内容 テレビ電話 デ プレ 上 表示さ 顔画像やデ タル メラ ビデ 等 撮影さ た顔画像を美観化す 画像処理 テム 提案を行 う こ 肌 皺し ...
1
PDF Graph500 への挑戦 鈴村研究室 大規模データ処理・ストリームコンピューティング
... 2-2 分散 BFS アルゴリズム Graph500 のリファレンス実 装には、OpenMPで書かれた実 装や、 MPIで書かれた実装、Crayの共有メモリ型プログラミング環境用の 実装、など複 数の種 類が用意されている。TSUBAME2.0 で分 散 実 行するには，MPIで書かれた実装を使 用する。MPIで書かれた実装 には、さらにアルゴリズムや実装方法の異なる ...
4
大規模グラフ処理 鈴村研究室 大規模データ処理・ストリームコンピューティング Graph500 HPDC2012
... BFS with 2D partitioning and we proposed some optimization meth ods such as communication compression and vertex sorting. Our implementation can solve BFS of large-scale graph with 6[r] ...
44
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... In Deltarser, each parse event and its corresponding byte- sequence are stored in one edge of an automaton. This au- tomaton has two major characteristics: 1) it can directly process byt[r] ...
10
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... By making use of these features and eliminating the redundant processing, we propose a new deserialization mechanism that reuses matching regions from the previously deserialized appl[r] ...
8
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... We previously proposed an XML parser based on the notion of differential processing under the hypothesis that XML documents are similar to each other, and in this paper we enhance this[r] ...
12
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... 精 度 両 方 を 保 出 来 を 実 験 的 示 ． ワ 処 理 ， DSMS ， DSPS ， System S ， SPADE ， 音 声 識 ， ビ ， Julius Highly Scalable Speech Processing on Data Stream Processing System Shunsuke NISHII and Toyotaro ...
9
「欠測値補完に関する調査研究報告書」 欠測データの統計的処理 その１
... 16 図２－１－１ 完全ケース分析と利用可能ケース分析 利用可能ケース分析は、完全ケース分析よりも削除するレコードの数が少なくなる 分だけ、推定精度の低下が抑制されるが、変数ごとに分析対象が異なるため、変数相 互間の関係性にゆがみがもたらされるという問題がある。図２－１－２は、図２－１－１と 比べて他の条件は一定として、欠測パターンが異なる場合に、完全ケース分析と利用 ...
23
1 日目の内容 午前 記述統計 1. データの表現 図表によるデータの可視化 2. データ分布の特徴づけ 代表値 : 平均, 中央値, 最頻値 散布度 : 分散, 標準偏差, 四分位偏差 3. データの比較 標準化 基準化 2 変数の関係 : 散布図, 共分散, 相関係数, クロス表 2
... ここで扱うデータ 統計数理研究所による「日本人の国民性調査」より 「あなたは結婚していらっしゃいますか？」 「もういちど生まれかわるとしたら、あなたは男と女の、 どちらに、生れてきたいと思いますか？」 ...
151
情報処理学会研究報告 IPSJ SIG Technical Report Vol.2014-OS-128 No /3/7 Hadoop を用いた衛星画像データ解析処理の高速化の研究 塚本勢児 1 布広永示 2 1 東京情報大学大学院総合情報学研究科 2 東京情報大学総合情報学部 東京情報
... 参考文献 1) Akihiro Nakamura， Jong Geol Park，Kenneth J． Mackin， Eiji Nunohiro， et al， "Development and Evaluation of Satellite Image Data Analysis Infrastructure"， The Sixteenth International Symposium on Artificial ...
6
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング IC2010 ueno
... ブロック化して実装 Householder 変換による二重対角化にはブロック化 *1 が有効 ブロック化は実装コストが高いため、最初はブロック化なしで実装 しかし、ブロック化した方が速いことが判明 ...
20
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング ipdps 2012
... – Dynamic load balancing unit and time series prediction algorithm are built on System S. – System S can import C++ or Java code as a user defined operator and modularize it[r] ...
20
StreamGPU プロジェクト 鈴村研究室 大規模データ処理・ストリームコンピューティング StreamGPU HiPC2012
... Since CUDA can execute many thread-block in parallel, single kernel can proces. s multiple matrices[r] ...
19
目次 要旨 背景と目的 はじめに 電力自由化とは 日本の電力自由化経緯 本研究の目的 分析手法 データの選定 データ分析手法 データ分析結果
... ２.１ データの選定 2004 年度・2005 年度から、中規模需要家向ける電力自由化が開始した。2004 年度に 500kW とい う高圧で受電する利用者向けで、2005 年度からは 50kW という高圧で受電する利用者向けとなる。 そこで、我々は 2005 年度を基準として、データ分析を行なった。2005 年度を基準とした理由は、 対象される需要家の割合は 6 ...
20
ビッグデータ分析を高速化する 分散処理技術を開発 日本電気株式会社
... 各MapReduceは、その入力がハードディスクに保存されていることを仮定 一部サーバが故障したら、 保存されている入力を用いて、 故障したサーバの計算を 再度実行 ▌ 今回の高速化技術では、メモリ経由でデータを受け渡すため、この仕組みは 使えない ...
17
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング StreamGPU 20120516
... ゴリズム SST の GPU による性能最適化」電子情報通信学会技術研究報告 既存ライブラリを使った高速化 2010 年 10 月 上野晃司 , 鈴村豊太郎 . データストリーム処理における GPU タスク並 ...
45