SARデータのPSInSAR処理
0 スペクトル 時系列データの前処理 法 平滑化 ( スムージング ) と微分 明治大学理 学部応用化学科 データ化学 学研究室 弘昌
... 指数加重移動平均 (スペクトルデータ) ある波⻑ (波数) の前後 n 点での強度 (吸光度) について、 対象の波⻑から離れるにつれて、 指数関数的に重みが小さくなる 加重平均 の値を、平滑化後の値にする ...
21
ビッグデータアナリティクス - 第3回: 分散処理とApache Spark
... これを集計して，日本語で書かれているツイートは全体の何 % なのかを調べたい ”lang”:”ja” が何回出てくるのかを計測（コマンドラインによる方法） % cat /project/bigdata-lab/bda/tweet_20171004.json | grep \"lang\":\"ja\" |wc -l （数十分かかる） ...
32
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... ID の対応が書かれたデータである． 3 章で述べたとおり，本システムは 2 部グラフの片方の頂点群のみを分割の対象としている ため， Mapping には分割対象の頂点群とサブグラフの対応が書かれてる．エッジは分割対 象側の頂点の ID を見て，各グラフ処理 UDOP ...
12
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... In Proceedings of Parallel & Distributed Processing Symposium (IPDPS), 2011 IEEE International. 14) Daniele Paolo Scarpazza, Oreste Villa, and Fabrizio Petrini. Efficient Breadth-Fi[r] ...
8
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... Current Data Stream Processing Systems cannot dynamically assign or remove computational nodes.. New nodes?[r] ...
42
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... [10] 高 田 美 , 木 村 欣 司 , 岩 崎 , 中 村 佳 , 高 速 特 異値分解 開発 , 情報処理学会論 文 誌 ン ン , 47(SIG_7(ACS_14)), pp.81-90, 2006. [11] ATLAS. http://math-atlas.sourceforge.net/. [12] LAPACK. http://www.netlib.org/lapack/. ...
8
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... Also we change the input data rate of Twitter streams from low data rate to high data rate, or burst data rate in order to check the validity of the time-series prediction a[r] ...
9
StreamGPU プロジェクト 鈴村研究室 大規模データ処理・ストリームコンピューティング
... Task parallelism, where multiple tasks are computed simultaneously, must be used when a stream computing application requires relatively small computations for large[r] ...
10
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... • Graph mining: Propose an improved version of INFerence , a score for directed link prediction based on hierarchies, to process informal graphs not explicitly hierarchical.. Compare the[r] ...
26
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... すなわち データストリーム処理を用いたリアルタイム性の高いアプリケーションを運用する場合、デー タレートの増大に対して、レイテンシの発散を抑えることが重要である。しかし現実的には、計 算資源は有限であるため、データレートが一定以上になった場合に、レイテンシが発散すること ...
8
PDF Graph500 への挑戦 鈴村研究室 大規模データ処理・ストリームコンピューティング
... を増しており、Graph500ベンチマークが広がりを見せている。Graph500 のリファレンス実装は、使用されているアルゴリズム の問題により、分散メモリ環境で大規模にスケールさせることができなかった。そこで、大規模にスケール可能な２次元分割に ...（Graph500 のScale 36）のBFS(幅優先探索 ...
4
大規模グラフ処理 鈴村研究室 大規模データ処理・ストリームコンピューティング Graph500 HPDC2012
... BFS with 2D partitioning and we proposed some optimization meth ods such as communication compression and vertex sorting. Our implementation can solve BFS of large-scale graph with 6[r] ...
44
Graph500 への挑戦 鈴村研究室 大規模データ処理・ストリームコンピューティング
... OpenMP, If the vertex exists in CQ , then it finds a set of local vertices adjacent to the global vertex in CQ. The local vertex is added to NQ[r] ...
39
MapReduce における RDF-DB処理に適したデータ分散格納方法の提案
... 提案手法と従来法の比較 • 実験データ 重複のない100万要素のデータを疑似乱数を用いて，2つ作成 解である共通集合データを別途作成し，上記2つに混ぜる（実験ではこれらを結合） ...
23
大規模データの匿名加工処理を高速化する技術を開発
... 進んでいます。 データの匿名加工処理においては、例えば同じ属性を持つデータが一定数以上存在 するようにデータを変換し、個人が特定される確率を低減するといった措置を行います。 しかし、このような匿名加工処理の過程では情報が失われる可能性があり、有用な情報 ...
6
1. 制度見直しに伴う処理の流れ 受給者 医療機関等 審査支払機関 ( 国保連合会 支払基金 ) 集計機関 ( 国保連合会 ) 市町村における処理の流れを示します 1受給者証交付受給者 還 3付金振込 国保連合会向けCSVデータ 支払基金向けCSVデータ同一のデータ形式同一のデータ内容 (83 該当
... 上記のような制度見直しに伴い、医療機関等から公費負担者に対しての請求が必要なくなること から、審査支払機関に提出するレセプトの公費欄に「 83」の記載は行われません。そのため、レセプ トに公費負担者番号および受給者番号をコメントとして追記（審査支払機関は内容を確認済みです） ...
8
し尿・汚泥再生処理施設における稼働実態と運転管理データの解析【PDF 274KB】
... 3.2 発生汚泥の状況 （１）汚泥発生量 汚泥発生量の平均値は、 有効回答数 389 のうち標脱および高負荷が 7.2 ㎏-DS/㎥、膜分離が 7.5 ㎏-DS/ ㎥、浄化槽対応が 8.4 ㎏-DS/㎥、嫌気消化が 5.8 ㎏-DS/㎥、好気消化が 6.4 ㎏-DS/㎥、固液分離下水が 9.5 ...
3
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... In Deltarser, each parse event and its corresponding byte- sequence are stored in one edge of an automaton. This au- tomaton has two major characteristics: 1) it can directly process byt[r] ...
10
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... By making use of these features and eliminating the redundant processing, we propose a new deserialization mechanism that reuses matching regions from the previously deserialized appl[r] ...
8
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... We previously proposed an XML parser based on the notion of differential processing under the hypothesis that XML documents are similar to each other, and in this paper we enhance this[r] ...
12