XMLデータ加工処理
大規模データの匿名加工処理を高速化する技術を開発
... 3 ■原田 博司プログラム・マネージャーのコメント■ 本研究開発プログラムは、現状のビッグデータ規模を遙かに凌ぐ「超 ビッグデータ」時代に向けて、広域通信ネットワークと超高速データベー ス処理の 2 柱を統合した基盤技術を世界に先駆けて確立するとともに、 この基盤技術により、国民（ヒト）と生産現場（工場）の健全性維持のため ...
6
DB分野におけるデータ処理の『今』と『これから』
... The VLDB Journal, Vol.13, Issue 4, pp.333-353, 2004. • 分散処理時の高可用性の実現 – J.-H. Hwang, M. Balazinska, A. Rasin, U. Çetintemel, M. Stonebraker and S. Zdonik, “High-Availability Algorithms for Distributed Stream ...
30
ビッグデータアナリティクス - 第3回: 分散処理とApache Spark
... データを読み出すだけで 1 ヶ月かかるようなデータをどのように扱うのかということは， 今後のビッグデータ研究において重要なテーマ 並列計算 コモディティサーバ（値段と性能のバランスが一番良いサーバ）を沢山購入，それぞれの サーバにより並列処理 ...
32
匿名加工情報 とは 匿名加工情報は パーソナルデータの利活用を目指す改正法の目玉 匿名化した状態で パーソナルデータの流通を実現させようとするもの 匿名加工情報とは 特定の個人を識別することができないように個人情報を加工して その個人情報を復元することができないようにしたもの 作成基準 ( 加工方法
... 「個人属性情報」、「履歴情報」の分類の下に、氏名、生年月日、性別、 住所…購買履歴、乗降履歴…のそれぞれについて、適切な加工例を示 している（この分類は後述の「経産省マニュアル」）。 5号加工「～性質を踏まえたその他の措置」について詳細な記述あり。 ...
23
大規模グラフ処理 鈴村研究室 大規模データ処理・ストリームコンピューティング Graph500 HPDC2012
... BFS with 2D partitioning and we proposed some optimization meth ods such as communication compression and vertex sorting. Our implementation can solve BFS of large-scale graph with 6[r] ...
44
DesignPattern(No6) 2003/07/28 Visitor 特徴データ構造と処理を分離し, データ構造内を巡り歩く 訪問者 クラスを作成し, そのクラスに処理を任せる このパターンでは, データ構造と処理が分離しているため, 処理の拡張は容易に行なえる ( しかし, データ構造の拡張
... public abstract Object next( ); // (並んだデータを)順次探索していく抽象メソッド } < ClassRoomIterator.java > // ClassRoom 内のデータ(Student)を順次（繰り返し）探索処理のためのクラス public class ClassRoomIterator implements Iterator { ...
18
経営事務におけるデータ処理の基本パターン
... 点検，照合，検照なども同系 である.計算作業の検査とし ての検査も，同一作業の繰返 しの結果または，同一結果と なるべき他の計算の結果との 対応比較である.. 図において，作成された情報が原始データ 1 1:帰環して いるのは，前述のように，ある目的のための情報は，別 の目的のための他の情報に対するデータとして使われる 状態を示すものである.[r] ...
3
マクマホン立方体を用いたテンソルデータ処理に関するデータサイエンス教育の試み
... テンソルデータ処理に関するデータサイエンス教育の試み（山本直樹・石田明男・大石信弘・村上純） Research Reports of NIT (KOSEN), Kumamoto College. Vol. 12 (2020) 本教材を自学後に、行列展開、畳み込み、 n-モード積に ついて受講学生が理解できているかを確認するために、本 教材の問題の中から出題された筆記テストを行った。その ...
4
Spark と大規模データ処理 - NAISTビッグデータアナリティクス 第2回
... 並列化 複数のマシン間で協調させて動かすのは難しい ファイル番号が偶数ならシステム A，奇数なら B が動作する ようにすると，偶数と奇数が同じ処理数でなければ，有効に 動かすことができない ...
39
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... ElasticStream シ ス テ ム の 実 装 構 成 に つ い て 述 べ る。 図 2 は、 今回実装した ElasticStream システム のコンポーネント図である。 基盤となるデータスト リーム処理系には System S を、 System S に無い ...
8
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... Data Stream Processing for Large-Scale Bipartite Graph using Graph Partition.. † Masaru Ganse, Information Science and Engineering , Tokyo Institute of Technology.[r] ...
2
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... 動的 並列処理 実現 4. 最適 VM 数 計算手法 4.1 対象 ー ョン 分類 ElasticStream 対象 ー ョン ー 並列型 ー ョン 並列型 ー ョン 種類 分類 ー 並列型 ー ョン 計算 処理 負荷 軽く 入力 ー ー 量 多い ...
2
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... 本稿 提案 る計算ペタャ Incremental GIM-V ， Incremental PageRank いうトッス処理 よる PageRank 計算を高 行う手法 を元 いる． ， Incremental GIM-V 正確 エメネ解析 を行う る ， タヴシケダモヴヘ処理 依然計 ...
6
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... • Graph mining: Propose an improved version of INFerence , a score for directed link prediction based on hierarchies, to process informal graphs not explicitly hierarchical.. Compare the[r] ...
26
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... ド間やプロセス間の通信や，デーモンの立ち上げなどを意識することなくプログラミングが 可能である．広範な処理に適用可能な汎用の組み込みオペレータを持つため，単純な処理な らば組み込みオペレータにパラメータを設定するだけで実装できる．汎用オペレータだけで は不十分な場合は， C++ や Java を用いたユーザ定義の独自のオペレータや関数の作成も サポートされている． SPADE ...
12
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... In Proceedings of Parallel & Distributed Processing Symposium (IPDPS), 2011 IEEE International. 14) Daniele Paolo Scarpazza, Oreste Villa, and Fabrizio Petrini. Efficient Breadth-Fi[r] ...
8
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... Current Data Stream Processing Systems cannot dynamically assign or remove computational nodes.. New nodes?[r] ...
42
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... [10] 高 田 美 , 木 村 欣 司 , 岩 崎 , 中 村 佳 , 高 速 特 異値分解 開発 , 情報処理学会論 文 誌 ン ン , 47(SIG_7(ACS_14)), pp.81-90, 2006. [11] ATLAS. http://math-atlas.sourceforge.net/. [12] LAPACK. http://www.netlib.org/lapack/. ...
8
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... Also we change the input data rate of Twitter streams from low data rate to high data rate, or burst data rate in order to check the validity of the time-series prediction a[r] ...
9