大量データの高速処理
大規模データの匿名加工処理を高速化する技術を開発
... この基盤技術により、国民（ヒト）と生産現場（工場）の健全性維持のため の課題解決に挑戦しています。超ビッグデータ時代においては、個人 情報を含む大規模データの活用が求められます。このプライバシー保 護のために匿名加工が必要になりますが、目的にかなう情報量を確保し ながら匿名加工を施すには膨大な時間がかかります。今回の成果は本 ...
6
大量データ処理時における Ruby メモリ使用量削減対策 RubyWorld Conference 2012 株式会社富士通システムズ イースト中坊誠秀 Copyright 2012 FUJITSU SYSTEMS EAST LIMITED
... 各クラス毎に最適化したデータを持ちまわっていた メモリ消費箇所の特定 procfs / free を各メソッド単位で発行して調査 ファイルオブジェクトや、大きなStringデータの ブロック処理後に、メモリ使用量が増加 ...
38
情報処理学会研究報告 IPSJ SIG Technical Report Vol.2015-DBS-162 No /11/26 最小二乗法のストリーム処理における桁あふれ回避方法 1 今木常之 概要 : オンライントレード,SNS,IoT などで大量に生成する, 時系列データの予測値を
... Keywords: Real-time, Stream, Least Squares Method, Continuous Query 1. はじめに IoT，金融取引，通信ログ，システムログ，SNS，クリッ クストリーム，車両の走行データなどの，社会活動で継続 的に発生する様々なストリームデータを分析し，ビジネス やサービスの改善にリアルタイムにフィードバックする技 ...
8
マイクロソフトと大規模データ処理
... Sqoop Hadoop 上で大規模な機械学習を行うためのライブラリ 典型的には、ネットワーク経由で収集される大量のデータを基に、 レコメンデーション エンジンの作成や評判分析に利用される。 ...
57
単位、情報量、デジタルデータ、CPUと高速化 ～ICT用語集～
... を区別可能）で表す（ASCII 文字（128 文字）7bit で表示できる）。 UTF 文字符号化は可変バイト長。 IP パケットは最大 64KB であるが、途中のネットワークのプロト コルや媒体ごとに固有の最大転送単位 ( MTU ) が決まっており、 ...
16
ORACLEデータベース10G データ・ポンプ: 超高速データ移動ユーティリティの基盤
... 多くの顧客からは、Data Pump に対する要望として「時は金なり。せめて、多量のデータをより速くエクスポート、イン ポートできるようにしてほしい」とたびたびいわれます。この言葉をオラクル社は、深く受け止めました。Data Pump 使 ...
11
大量の実世界データから 今 を分析するストリームデータ処理の可能性 2008 年 11 月 18 日株式会社日立製作所中央研究所主任研究員西澤格 Hitachi, Ltd All rights reserved.
... 入力データを分析して，「変化」や 「状況」をリアルタイムに検知・監視できます。 複数の入力データを組み合わせた条件判定や，入力データの編集を行えます。 入力データから必要なデータだけを抽出 (フィルタリング)できます。 出力ストリームデータを 使用した想定適用モデル ...
26
目次 1. はじめに センサーと設置場所 不要なデータの除去 データ前処理 A) 機械学習ための時系列データ前処理 B) 2 つ部分時系列の距離計算 クラスタリングでの異常検知 A
... ニューロビジネス研究会では、広島県大竹市にあるゴム・プラスチックを製造する広 合化学株式会社のブロー成型機の稼動部に安価なセンサーを試験的に取り付け、取得 したデータの分析を行った。 試験的に取り付けたセンサーから取得したデータの中で、比較的安定な波形を示す ...
22
メモリ階層構造を考慮した大規模グラフ処理の高速化
... 入力パラメータ SCALE, edgefactor(= 16) で, 点数 n = 2 SCALE , 枝数 m = edgefactor ·n を決定. 各 BFS の終了時に, 計算結果である BFS 木を用いて検証を行い, TEPS 値を算出する. 現在のルールでは, 64 回中 Medial の TEPS 値で評価を行い, 高い方がより高い順位となる. GreenGraph500 ...
23
バッチ処理高速化ソリューションのご紹介
... これらの事象に対する具体的な施策は、「現行踏襲の暗黙の了解を排除」し、「ＲＤＢＭ Ｓを使わずファイルシステムを使う」・「インタプリタ言語活用の領域を見いたす」など 回帰的な方法を視野に入れたシステム化により、思い切ったコスト削減を行うことで効果 を発揮すると思量。 ...
10
ＦＰＧＡによる画像処理演算の研究（カメラ画像の入力及びパイプライン演算による高速化）
... 図 1 システム全体の構成 ２・１ システムの構成 画像処理システムの構成は、大きく分けて入力部、記 憶部、処理部、出力部に分けられる。入力部はカメラか ら送られてくる画像のデータを取得する。記憶部はカメ ラから取得した画像データを記憶、画像の処理後の結果 ...
6
ILASデータ処理運用システム
... かわる情報の管理 ● ILASデータ処理運用施設 本システムの運用とILASデータを用いたアルゴリズ ム検討作業やデータ評価・解析作業を行うことを目的に， 1995年，国立環境研究所内にILAS DHF（ILAS Data Handling Facility）が新設された。ILAS DHFには， 並列計算機，データベースサーバ，大容量ストレージシ ...
11
使いやすさをより一層進化させた Piranesi V6.2 Piranesi V6.2 の画面 高速化対応 3D 点景の影描画を含む配置スピードが 旧バージョン比で 2 倍 -3 倍 高速化します ( ) その他 点景の移動 修正した際の処理速度をはじめ フィルタ処理 ライト処理 反射処理など 全般
... ※Piranesi ネットワークライセンスのお申し込みには、使用ライセンス分の Piranesi サポートサービスへの加入が必須となります。 ※V6.2 製品については、for Win のみとなります。予めご了承ください。 ※for Mac 製品は、Piranesi V6.0.3 for Mac ダウンロード版が最新バージョンとなります。 ※for Macintosh ⇒ for Windows ...
5
Oracle Database 11g Data Pump：超高速データ移動ユーティリティの基盤
... Pump のジョブに対して配信さ れます。前述のとおり、新規ファイルの作成やファイル・セグメントの割当てな どの実際の作業は、MCP 内で集中的に実施されます。しかし、各ワーカー・プロ セスおよびパラレル問合せプロセスは、領域の割当て、ファイル・チャンクの読 ...
16
使用済み燃料の処理 処分の観点からの核燃料サイクルにおける高速炉の意義と 高速炉使用済み燃料再処理の 技術動向と課題 資料 2 鈴木達也 長岡技術科学大学 1
... 20 MOX燃料再処理の現状（つづき） これまでの軽水炉MOX燃料の再処理では、ウラン燃料との希釈処 理や処理量を制限して実施しており、その範囲の運転処置において、 プロセスや安全上の大きな問題は報告されていないが、商業プラン ...
24
データベース機能の基礎知識 データベース処理に便利な機能 入力規則 データの並べ替え フィルタ処理 大量のデータを分析する CSV ファイルをインポートする データパイロットによる集計作業 マクロの記録.
... 範囲の選択とデータ入力 セルを選択して文字列を入力するとセル編集モードとなります。 Enter キーを押すとセル編集モー ドが完了し、アクティブセルは1つ下に移ります。セルに入力された文字列データは、セルの中に 左揃えで表示されます。セル幅よりも長い文字列の場合は、右側のセルが空白の場合には右側には ...
57
ビッグデータ分析を高速化する 分散処理技術を開発 日本電気株式会社
... 高速化技術の概要 ▌ 機械学習で頻繁に用いられる 繰り返し演算 および 行列演算 を 信頼性を損なわずに高速化 ▌ 新技術を用いた新たな分散処理ソフトウェアを試作、大量データを用いた 機械学習プログラムで検証、MapReduce部分を置き換えることで、 ...
17
大量のデータを使用するリリースのベストプラクティス
... Salesforce では、頻繁に使用される項目を含めるようにして、さらに結合を避けるためにスキニーテーブルを作成 します。また、ソーステーブルが変更されたときにはスキニーテーブルとソーステーブルの同期が保たれます。 スキニーテーブルを有効にするには、salesforce.com カスタマーサポートにお問い合わせください。 ...
27
大量のデータを使用するリリースのベストプラクティス
... • データへのアクセスに時間がかかる。 • 機能性が低下する。たとえば、レポートとワークフローは外部データでは機能しません。 共有適用の延期 場合によっては、共有適用の延期という機能の使用が適切なことがあります。ユーザはこの機能を使用して、 ...
29
大規模データを対象とした分析処理の高速化に関する取り組み Papers & Presentations Onizuka Laboratory
... User Program worker worker Input Data fork fork fork Master worker assign map assign reduce Output File 0 Output Split 1 Split 0 Split 2 Split 3 worker worker worker [r] ...
89