Top PDF 大規模データの可視化

時間的な印象変化の分析によるマルチメディアデータ検索・可視化システム

... 駅から得られるセンシング データ（1 日約 670 万人の乗客）を取得し、乗客の移動状況を分析するために 2,420 万通りの移動経路とセンシングデータを対象とした大規模データマイニング処理を行うシステムである。本システムは、各運行車両、駅、時間ごとの乗降車状況を、1 ...

18

超大質量ブラックホールのデータ収集とその可視化・分析

... • radius: 円領域の半径、単位は分角 • of: 出力形式という仕様になっている。あとは受け取った文字列を解析し、必要な形に整形すればよい。最後に実験として、 of=xml main としてデータを取得して欲しい。つまり、 ned.ipac.caltech.edu/cgi-bin/nph-objsearch?search_type=Near+Position+ ...

35

Publication 論文鈴村研究室大規模データ処理・ストリームコンピューティング

... ，大規模エメネ処理，要性を増り， Graph500 パンスブーェ広りを見いる Graph500 モネ゙ヤンケ実装，使用されいる゚ャガモゲヘ問題より，分散ベペモ環境大規模ケォーャさるここ，大規模ケォーャ可能次元分割注目本論文， ...

8

大規模データ天文学の進展

... – 超大質量ブラックホールの発達初期段階？ – 電波であかるいものを選択  方法と結果 ̶ VO のクロスマッチサービスを利用し、QSO カタログ、電波カタログ (7)、可視光カタログ(3)、のクロスマッチ ...

33

Publication 論文鈴村研究室大規模データ処理・ストリームコンピューティング

... すなわち データストリーム処理を用いたリアルタイム性の高いアプリケーションを運用する場合、データレートの増大に対して、レイテンシの発散を抑えることが重要である。しかし現実的には、計算資源は有限であるため、データレートが一定以上になった場合に、レイテンシが発散することは避けられない。本研究ではそのような状況下で、クラウド環境上に処理を委譲することで、レ ...

8

大規模データを対象とした分析処理の高速化に関する取り組み Papers & Presentations Onizuka Laboratory

... User Program worker worker Input Data fork fork fork Master worker assign map assign reduce Output File 0 Output Split 1 Split 0 Split 2 Split 3 worker worker worker [r] ...

89

Publication 論文鈴村研究室大規模データ処理・ストリームコンピューティング

... れた．少数のエッジ追加がサブグラフの大部分を変更しない代替のアルゴリズムを用いれば改善する可能性がある．一方で， Dynamic-Split 処理は入力エッジを基準にマイグレーションを行っているため SemiDynamic-Split 処理ほどの速度低下は見られなかった．いずれにしても， METIS によるマイグレーションがボトルネックとなり速度低下が発生してい ...

12

Rによる計量分析：データ解析と可視化 - 回帰分析の理解

... 回帰係数と限界効果限界効果，実質的有意性の重要さ ▶ よく聞く表現：「この変数はトウケイテキニユーイだった．大事だ」 ▶ 気をつけるべき点：統計的に有意だからといって，実質的に有意とは限らな ...

55

量子化学計算の大規模化１

... • 文字列をFortranで出力し、Perlで整形 • 約2万行のコードを自動生成し、デバッグを含めた開発時間を短縮 • 自動生成以外のコードは、基本的にdoループで書けるよう配列データの並びを工夫し、さらに割り算やsqrt、expなど組み込み関数はできるだけまとめて演算 ...

38

3次元可視化解析機能と市民サイエンスデータの利活用

... Meteorological Society of Japan, 85A. 271-294, 2007 • 野本卓也 3次元衛星データを用いたチベット高原上の大気における水蒸気フローに関する研究 , 東京大学修士論文, 2004 ＜再解析データのための可視化＞ ...

10

Publication 論文鈴村研究室大規模データ処理・ストリームコンピューティング

... あ．異常検知い多様入力柔軟扱え変化点検出求処理蓄積く処理いう新い計算あ．変化点検知 SST(Singular Spectrum Transformation) 使異常検知処理一辺長 500 行列演算必要． GPU ...

8

Rによる計量分析：データ解析と可視化 - 第3回 Rの基礎とデータ操作・管理

... ▶ 誤った用法：「今春卒業した大学生の就職率について，文部科学省は 1 日，『就職氷河期』と呼ばれた 2000 年春を下回り，過去最低の 91.0% だったと発表している．文科省の調査は母数を『就職希望者」としているのに対し，今回の調査は卒業生全体を母数に取っている」「今春大卒 2 割，進路未定学部間差，最大 5 ...

34

計画の可視化

... 「持続可能な都市」としての適正規模はここにある。 ■1住居あたりプラス２０㎡土地価格の高騰により首都から住民が遠ざかる傾向を抑制するため、大規模な用地転換によって土地価格を圧縮し、密度を高め、アーキタイプやプログラムを刷新する。 ...

17

量子化学計算の大規模化１

... 5. implicit noneを利用し、すべての変数を定義する。整数はi-nで始まる変数にする。 6. 配列をallocate文で確保する場合、call memsetで利用メモリ量をカウントする。開放するときは、call memunsetで開放する量を差し引く。 7. module変数は、parameter、threshold、inputデータなど計算中変更しないもののみ ...

41

量子化学計算の大規模化１

... 計算結果  2 – 4割計算時間を削減  2005年からGAMESSにデフォルトルーチンとして正式導入  演算の約8割はdoループ内で行われるため、現在のCPUに適した方法  座標軸を元に戻す変換行列に6dから5dへの変換を組み込むことが可能 ...

37

大規模動的ネットワークに特化したグラフデータ格納基盤

... • 演算はレジスタで行われる – メインメモリへのアクセスはコスト大 → キャッシュメモリで改善メモリアクセスに必要な電力 >> 演算に必要な電力 • １個のデータ移動に必要な電力は、１個のデータの演算に必要な電力の１００倍になることもある。 ...

37

大規模データの匿名加工処理を高速化する技術を開発

... ３．発表概要：東京大学生産技術研究所（所長：岸利治、以下、東大生研）の喜連川優教授の研究グループと株式会社日立製作所（執行役社長兼 CEO：東原敏昭、以下、日立）は、内閣府総合科学技術・イノベーション会議が主導する革新的研究開発推進プログラム（ImPACT）「社会リスクを低減する超ビッグデータプラットフォーム」（プログラム・マネージャー：原田 ...

6

Publication 論文鈴村研究室大規模データ処理・ストリームコンピューティング

... 3 VM 数 1 2 時ーーン推移示いーー内個々ーあー一当 0.1KB 10KB 変え前測定行ン影響無本章 1KB 設定いーンー送信ーーッ約 0.1 秒程あ VM1 場合途中ン発散い 2 以並列化場合ン発散数多いほ低い値保い確認ー計算資源 ...

2

データの瞬時可視化の実践

... 歳以上の相談件数）から分かるように，インターネット通信サービスが 70 歳以上の電話勧誘販売相談件数の最多（バブルサイズが最大）項目になっていることは，プロバイダや光回線などに関するトラブルに高齢者も遭遇していることを物語っている。電話勧誘販売の相談件数の上位 20 商品サービス（中分類）のうち 70 歳以上が占める比率が ...

7

Publication 論文鈴村研究室大規模データ処理・ストリームコンピューティング

...  Incremental PageRank *3 , Adaptive PageRank *4  PageRank 計算高化手法 *1 : G. Malewicz et al , “Pregel: A System for Large-Scale Graph Processing”, ACM 2010. *2 : U Kang et al , “PEGASUS: A Peta-Scale Graph Mining ...

34

大規模データの可視化

関連した話題