JSONデータ加工処理
大規模データの匿名加工処理を高速化する技術を開発
... 3 ■原田 博司プログラム・マネージャーのコメント■ 本研究開発プログラムは、現状のビッグデータ規模を遙かに凌ぐ「超 ビッグデータ」時代に向けて、広域通信ネットワークと超高速データベー ス処理の 2 柱を統合した基盤技術を世界に先駆けて確立するとともに、 この基盤技術により、国民（ヒト）と生産現場（工場）の健全性維持のため ...
6
ビッグデータアナリティクス - 第3回: 分散処理とApache Spark
... これを集計して，日本語で書かれているツイートは全体の何 % なのかを調べたい ”lang”:”ja” が何回出てくるのかを計測（コマンドラインによる方法） % cat /project/bigdata-lab/bda/tweet_20171004.json | grep \"lang\":\"ja\" |wc -l （数十分かかる） ...
32
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... Current Data Stream Processing Systems cannot dynamically assign or remove computational nodes.. New nodes?[r] ...
42
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... [10] 高 田 美 , 木 村 欣 司 , 岩 崎 , 中 村 佳 , 高 速 特 異値分解 開発 , 情報処理学会論 文 誌 ン ン , 47(SIG_7(ACS_14)), pp.81-90, 2006. [11] ATLAS. http://math-atlas.sourceforge.net/. [12] LAPACK. http://www.netlib.org/lapack/. ...
8
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... Also we change the input data rate of Twitter streams from low data rate to high data rate, or burst data rate in order to check the validity of the time-series prediction a[r] ...
9
StreamGPU プロジェクト 鈴村研究室 大規模データ処理・ストリームコンピューティング
... Task parallelism, where multiple tasks are computed simultaneously, must be used when a stream computing application requires relatively small computations for large[r] ...
10
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... • Graph mining: Propose an improved version of INFerence , a score for directed link prediction based on hierarchies, to process informal graphs not explicitly hierarchical.. Compare the[r] ...
26
匿名加工情報 とは 匿名加工情報は パーソナルデータの利活用を目指す改正法の目玉 匿名化した状態で パーソナルデータの流通を実現させようとするもの 匿名加工情報とは 特定の個人を識別することができないように個人情報を加工して その個人情報を復元することができないようにしたもの 作成基準 ( 加工方法
... 「個人属性情報」、「履歴情報」の分類の下に、氏名、生年月日、性別、 住所…購買履歴、乗降履歴…のそれぞれについて、適切な加工例を示 している（この分類は後述の「経産省マニュアル」）。 5号加工「～性質を踏まえたその他の措置」について詳細な記述あり。 ...
23
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... グラフ分割を用いた 大規模 2 部グラフのデータストリーム処理 雁瀬 優 †1 上野 晃司 †1 鈴村 豊太郎 †1,†2 近年，グラフ構造に対するマイニング技術が注目を集めている．従来の大規模グラ フ処理の研究はデータを蓄積して実行するバッチ処理が中心となっているが，処理の ...
12
大規模グラフ処理 鈴村研究室 大規模データ処理・ストリームコンピューティング Graph500 HPDC2012
... BFS with 2D partitioning and we proposed some optimization meth ods such as communication compression and vertex sorting. Our implementation can solve BFS of large-scale graph with 6[r] ...
44
DB分野におけるデータ処理の『今』と『これから』
... 各モジュールの Producer-Consumerによる基本実装方法 • データを受け取り処理を適用して返す Producer-Consumer パターン • モジュール間のデータ転送は QueueLinker が行うため， データ通信に関するコードの記述不要 ...
30
DesignPattern(No6) 2003/07/28 Visitor 特徴データ構造と処理を分離し, データ構造内を巡り歩く 訪問者 クラスを作成し, そのクラスに処理を任せる このパターンでは, データ構造と処理が分離しているため, 処理の拡張は容易に行なえる ( しかし, データ構造の拡張
... public abstract Object next( ); // (並んだデータを)順次探索していく抽象メソッド } < ClassRoomIterator.java > // ClassRoom 内のデータ(Student)を順次（繰り返し）探索処理のためのクラス public class ClassRoomIterator implements Iterator { ...
18
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... In Proceedings of Parallel & Distributed Processing Symposium (IPDPS), 2011 IEEE International. 14) Daniele Paolo Scarpazza, Oreste Villa, and Fabrizio Petrini. Efficient Breadth-Fi[r] ...
8
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... ー ー 処理 時々刻々 送 ー 対 処理 行う計算手法 あ 手法 用い ー ョン 運用 既 Web 他 ー ョン 比 応答性 重要 ー ー 処理 い ン 増大 致 的 あ 時間 変化 ー ー 局所的 増大 場合 能 限 ン 増大 避 ...
2
データベース機能の基礎知識 データベース処理に便利な機能 入力規則 データの並べ替え フィルタ処理 大量のデータを分析する CSV ファイルをインポートする データパイロットによる集計作業 マクロの記録.
... ▼1 ヶ月分のカレンダーを作成する 関数を使った数式を作成する スケジュール表はカレンダー形式に日曜日から始めます。2005 年の 4 月 1 日は金曜日ですから、 このスケジュール表の左上の日付が「3 月 27 日」になるように変更しなくてはなりません。この 先頭の日付は、何月分のスケジュール表を作成するかによって変化するようにします。G1 セルと H1 ...
57
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... In Deltarser, each parse event and its corresponding byte- sequence are stored in one edge of an automaton. This au- tomaton has two major characteristics: 1) it can directly process byt[r] ...
10
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... By making use of these features and eliminating the redundant processing, we propose a new deserialization mechanism that reuses matching regions from the previously deserialized appl[r] ...
8
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... We previously proposed an XML parser based on the notion of differential processing under the hypothesis that XML documents are similar to each other, and in this paper we enhance this[r] ...
12
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... を処理 識 1 番， 2 番， … ， N 番 を割 当 い ， N 番 次 再び 1 番 戻 ， いう風 割当先を決 ． 識 音声 識 完 了後， 識結果を出力 ． ， 出力 計算機 を使 出力 刻を求 ， 入力 刻， 出力 刻 び ...
9
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... Data Stream Processing for Large-Scale Bipartite Graph using Graph Partition.. † Masaru Ganse, Information Science and Engineering , Tokyo Institute of Technology.[r] ...
2