大規模データ分析基盤
大規模動的ネットワークに特化した グラフデータ格納基盤
... • ソーシャルネットワークデータに対する解析 ：動的な重要度、影 響度の判定。各点の周辺、及び広域内における影響（情報の 伝播力)を推定する • その他：疫病の拡散、人口の増減、経済動向等の分析。ライフ ライン等の基盤計画（電力、水、食料）。生命科学系（創薬、遺 伝子）。ビジネス系（金融、データマイニング）。安全保障分野 （組織構成の解明、事件事故の事前予測）。 ...
37
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... 5.3.1 頂点とサブグラフの Mapping Mapping は頂点 ID とその頂点の属するサブグラフ ID の対応が書かれたデータである． 3 章で述べたとおり，本システムは 2 部グラフの片方の頂点群のみを分割の対象としている ため， Mapping には分割対象の頂点群とサブグラフの対応が書かれてる．エッジは分割対 象側の頂点の ID を見て，各グラフ処理 UDOP に振り分けられる．バッチ処理により精度 ...
12
外れ構造抽出技術を用いた大規模セキュリティログ分析
... あ ら ま し 昨今，サイバー攻撃が激化・巧妙化する中，未知の攻撃やその意図を早期に発見・分 析することは喫緊の課題である。しかし，従来のルールベースでの分析やデータ単体の 外れ値検知では，大量のネットワーク監視ログに紛れた巧妙な未知攻撃の抽出・発見は 困難である。そこで富士通研究所は，この課題解決のために，ビッグデータ分析技術を ...
7
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... あら 大規模 成長 続 るエメネ構 を持 タヴシを， モ゚ャシ゜ヘ性を考慮 効率よ 解析 る ， タヴシ ケダモヴヘ処理を用い ゜ンェモベンシャエメネ処理を提案 る． 計算ペタャ Incremental GIM-V を提案 ，タヴシ ケダモヴヘ処理系 IBM System S を用い 実装 評価を行い， より効率的 適用範 広いタヴシケダモヴヘエメネ処 理 向 議論 る．人工タヴシ よる PageRank ...
6
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... ElasticStream シ ス テ ム の 実 装 構 成 に つ い て 述 べ る。 図 2 は、 今回実装した ElasticStream システム のコンポーネント図である。 基盤となるデータスト リーム処理系には System S を、 System S に無い ...
8
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング
... を replicated 次 元 分 割 比 較 エ メ ネ あ る replicated 通 信 タ ー シ 理 論 値 を 算 出 モ ネ ゙ ヤ ン ケ 実 装 ， タ ー シ い 部 分 ゠ メ ー 計 測 こ ろ あ る Simple テ ー チ 数 を 大 く る ベ ペ モ 不 足 ゠ メ ー り ， Replicated-csr Scale 32 validation ゠ メ ー り ， Scale 33 ...
8
1B2-1 大規模学術論文データの共著ネットワーク分析に基づく萌芽領域の 中心研究者予測に関する研究
... 3.2 共著ネットワークの構築と特徴量抽出 本研究では，共著ネットワークの構築に際して，まず任意の 領域においてシードとなる研究者を決定し，その研究者から共 著関係を逐次的にたどることにより共著ネットワークのノード となる著者およびエッジとなる共著関係を収集する．その際， シードとなる研究者からたどる共著関係の深さを指定すること で分析に応じた適切な大きさの共著ネットワークを取得する． ...
2
Spark と大規模データ処理 - NAISTビッグデータアナリティクス 第2回
... 誰でも使える実装として Hadoop が作られる 分散ファイルシステム Google File System の出現 多くのサーバにデータを分散して配置 いくつかディスクやサーバが壊れてもデータは無事 GFS は Google 以外では利用できない ...
39
経済産業省「大規模HEMS情報基盤整備事業」の2015年度事業実施について
... 2．2015 年度の取組み （1）スマートメーターと HEMS 機器の接続、B ルート情報の流通 モニター宅のスマートメーターと HEMS 機器の接続により B ルート情報を取得し、より正確な電力デー タに基づく質の高いサービスの提供を可能とします。また取得した B ルート情報が、大規模 HEMS 情報 基盤を通して円滑に HEMS データ利活用事業者へ流通することを検証します。 ...
6
大規模データの匿名加工処理を高速化する技術を開発
... ６．用語解説： 注 1）非順序型実行原理 喜連川 優 東京大学 生産技術研究所 教授／国立情報学研究所所長・合田 和生 東 京大学 生産技術研究所 特任准教授が考案した原理で、データの要求順序とは無関係 な順序に非同期的にデータを処理することにより、ハードウェアの処理性能を最大限 に引き出すことを可能にする点に特徴があります。当該実行原理に基づき東大生研と ...
6
SENAC Vol. 52, No. 2( ) 37 [ 大規模科学計算システム ] アプリケーションサービスの紹介 情報部情報基盤課共同利用支援係 はじめに 本センター大規模科学計算システムでは 分子軌道計算 数式処理 データ処理等の各アプリケーションソフトウェアをサービスしています
... 表 2. 計算機システムと日本語環境 システム ホスト名 OS 日本語環境 並列コンピュータ LX 406Re-2 front.cc.tohoku.ac.jp Linux UTF-8 SSH は通信路上のデータを暗号化することで安全性を高めたプログラムです。利用している端末が Linux, macOS の場合は SSH クライアントソフトがインストールされています。インストールされていない場合は端末の ...
15
Publication 論文 鈴村研究室 大規模データ処理・ストリームコンピューティング StreamGPU 20120516
... 5 万個 のセンサーがあるとする 4node(16 コア ) で分散処理しても、 SST で各センサーからの入 力データを 1 つ 処理するのに、 10 分 かかる IKA-SST *1*2 (SST の近似を高速に求めるアルゴリズム ) で計算し ...
45
中心市街地の大規模駐車場の費用便益分析
... 場均衡条件か ら従業員賃金 Glお よび商業床 のレン ト 11の 費用は上昇す る。一方、郊外商業施設 にお ぃては、商業販売額の便益 F3が 減少す る一方で従 業員賃金 Gl、 床 レン ト 12の 費用 も減少す る。消 費者の購買額の総合計が変わ らない ものと仮定すれ ば、商業主体に帰属す る便益は相殺 されゼロとなる。 ディベ ロッパーの利潤は式 (16)[r] ...
12
グリーの様々なサービスを支えるクラウド運用およびデータ分析基盤
... 各種ツールの活⽤による運⽤の効率化、省⼒化 (1/4) • データ分析基盤の運⽤ • 運⽤専任のメンバーは存在せず、開発者⾃⾝が本番環境の構築運⽤も⾏っている • AWSの各種APIや周辺ツールを利⽤した効率的な運⽤ ...
48
食料品アクセス問題と健康・栄養 －大規模個票データを用いた分析－
... ８ 対象を 65 歳以上に限定し，独立した 2 群の t 検定を行う。サンプルサイズを勘案し所得階層別には分類して いない。検定に当たり三大栄養素の摂取割合は対数変換した。 ９ 目標量はひとつの値ではなく，範囲であるため中央値を用いる。それぞれの栄養素の目標量の範囲は以下の とおりである。蛋白質（P：%エネルギー）：13－20（中央値 16.5），脂質（F：%エネルギー）：20－30（中央値 ...
12
様々な多重代入法アルゴリズムの比較～大規模経済系データを用いた分析～
... 所感：項目非回答への対処法として頻繁に使われるホットデック補定を発展させ、補定値 の分布を維持しながら、補定分散を最小化することに成功しており興味深い。 Missing Data Analysis with Mixture Missing Mechanisms (森川, 山本, 狩野, 2013) 概要：従来、欠測値を含むデータ解析としての尤度解析では、観測変数に加え、変数の値 が欠測しているとき R = 0 ...
44
マイクロソフトと大規模データ処理
... RDBMS と HDFS の間で、双方向のバルクデータ転送を行う仕組み SQL Server-Hadoop Connector も Sqoop を利用しています。 複数のコンピューターからなる分散システムで、ノードのメンバー シップの管理、分散ロック、構成情報の同期といった、 ...
57
目次 1 会社概要 2 中期経営計画とグローバルIT 戦略 3 テクノロジートレンドとIT 価値の変化 4 ビッグデータの活用の狙い 5 データ分析基盤の整備方針 6 データ分析基盤の目指す姿 7 データ分析基盤の整備ステップ 8 データ分析基盤の仕組み 9 データレーク基盤のシステム構成 10 ま
... ■経験や勘ではなく､事実に基づいて、ビジネス上の判断をできるようにすることで 「何かが起こる前に変わる企業」へ変革 するデータ分析基盤が必要である。 ■One FUJIFILMとして Business Analytics as a Serviceを提供 できるよう データレーク基盤を整備した。 ...
20
大規模データ天文学の進展
... • データ移動を極力避ける解析システム 望遠鏡・観測装置の大型化、高機能化 • 高品質なデータ、取得のコストの増大 科学成果の最大化 • 取得したデータを 速やかに解析 できる環境の構築 ...
33