Hadoopによるバッチ処理高速化
バッチ処理高速化ソリューションのご紹介
... 業務アプリケーション開発言語として、インタプリタであるシェルコマンドを集積した「シェルスクリ プト」を採用。情報系システムのデータ処理に特化し開発する。ＯＳに標準添付される基本コマンド群 を駆使し製造する。 インタプリタ言語の弱点である低速処理は「tsukubai（つくばい）」と呼ばれる高速処理が得意な単 機能シェルコマンドを組合せて処理速度を向上する。 ...
10
1. オーシークレジットシステム構築の歴史 第五次電算化 経営管理システムの充実化 第一次電算化 センタ委託処理より自社電算処理への移行 バッチベースのクレジット業務 売上 入金 請求 督促 第二次電算化 オンラインベースのクレジット業務処理 営業所のオンライン展開 オンラインCD 展開 名寄せの推
... ・ ＡＩＭリカバリによる復旧 第一次電算化 （センタ委託処理より自社電算処理への移行） ● 営業所のオンライン展開 ● オンラインＣＤ展開 ● 名寄せの推進（本人） ● 信用情報管理の一元化 ● 代行カードの発行 ● 延滞利息の徴収管理 ● バッチベースのクレジット業務 ...
16
140GHz帯ミリ波レーダのためのRPM法による高速・高精度立体画像化
... 概要 超広帯域レーダは高い距離分解能を有し，光学センサの運用が困難な状況で計 測が可能であり，有用とされている．近年，140GHz 帯の超広帯域レーダが，装置 の小型化や高分解能化の観点から注目されており．建設現場における重機の目標物 認識センサや救助ロボット，高齢者見守りシステム等に有用とされている．目標形 状の画像化技術として，既に合成開口処理 (SAR: Synthetic ...
54
使いやすさをより一層進化させた Piranesi V6.2 Piranesi V6.2 の画面 高速化対応 3D 点景の影描画を含む配置スピードが 旧バージョン比で 2 倍 -3 倍 高速化します ( ) その他 点景の移動 修正した際の処理速度をはじめ フィルタ処理 ライト処理 反射処理など 全般
... ・Piranesi サポートサービス新規（年間保守） \31,500.- ・Piranesi サポートサービス継続（年間保守） \21,000.- ・ネットワークライセンス切替（スタンドアロン→ネットワークライセンス） \21,000.- ※Piranesi サポートサービスの内容・・・メール、電話、リモートによるサポート、ライブラリ、ツールのダウンロード権が含まれます。 ※Piranesi ネットワークライセンスは、2 ...
5
情報処理学会研究報告 IPSJ SIG Technical Report 自動パイプライン化を用いた FPGA におけるプロトタイピングの高速化 鄭カイ シンウェイジェイ 九黒丸俊一 木村智生 木村晋二 甲斐康司 概要 : 本報告では FPGA におけるプロトタイピングの新しい高速化アルゴリズムを提
... 概要：本報告では、FPGA におけるプロトタイピングの新しい高速化アルゴリズムを 提案する。基本的なアイディアは、FPGA マッピングの結果であるオリジナル回路を 分割し、パイプラインレジスタを挿入し、スループットを向上することである。こ の時、FPGA のロジックエレメントの中の使われていないレジスタを利用し、パイプ ラインを構成するときに必要な FPGA 資源を削減することを目標とする。分割にお ...
6
H26 年度 スーパーコンピュータの高速化技法入門 並列化による高速化技法 2015 年 1 月 21 日 大阪大学サイバーメディアセンター日本電気株式会社
... ▐ 初期値を与えたローカル変数、save文の指定されたローカル変数 data文などによって初期値を与えたローカル変数やsave文を指定した ローカル変数は、並列処理時には、スタックではなく、静的領域に割り 当てられるため、各タスクで同一の領域を参照するようになる ...
68
ディザスタ・リカバリ構成におけるバッチ処理適用の検討 Oracle Data Guard運用ベストプラクティス
... ログが配置されたディスクに高い負荷がかかり、 バッチ処理性能に影響を及ぼしました。このボトルネックを回避し、処 理性能をさらに向上させるためには、REDO ログに対する I/O を高速化 するためのディスク構成（高速なディスクの使用やストライピング）を 検討する必要があります。 ...
34
White Paper EMC DATA DOMAIN BOOST と SYMANTEC NETBACKUP の分散重複除外機能によるバックアップ処理の高速化 実機による検証結果の報告 要約 EMC Data Domain Boost for Symantec OpenStorage( 以下 DD
... EMC DATA DOMAIN BOOST と SYMANTEC NETBACKUP の CPU 使用率に関する評価 DD Boost の有効/無効のいずれの場合でも CPU 使用率の値そのものは大きな違いは 見られませんが、見かけのスループットが２回目のフル・バックアップの場合も高 いため、バックアップ時間が短縮化できていることが確認できました。 ...
17
バッチ開発ガイド
... 複数のバッチアプリケーションで共用できる処理が存在する場合は、共通処理をバッチアプリケーションとは別のプログラム（サブ プログラム）にします。これにより、処理を部品化でき、バッチアプリケーション開発の生産性を向上できます。 入力パラメタ、環境変数による処理の切り分け ...
341
C言語におけるファイル入出力の高速化
... 2. 低水準入出力関数を用いたファイル入出力 低水準入出力関数である open、read、write、close を使ってファイル入出力を行う場合、内部バッ ファを使わずに直接ディスクに対してファイルの読み書きを行うことができます。これらはシステムコ ールと呼ばれ、直接、オペレーティングシステム（OS）によって処理されます。 ...
6
Microsoft PowerPoint - 高速化WS富山.pptx
... • タイムステップループ、I/O処理など注目すべき箇所を把握する • 並列数、並列化率などの目標を設定し、チューニング時の 指針とする • 全体性能を確認し、ホットスポットを特定する ...
22
倍精度マルチコアプロセッサ及び SSD ストレージによる 計算機合成ホログラムの高速化の研究 2015 年 1 月 杉山充
... 1 つのスレッドが処理を進めている間には, レジスタやパイプラインなどには必ず処理 をしないアイドル時間が生じる. 従来はこうした空き時間は無駄になっていたが, これら のリソースを集めて 1 つのプロセッサに見せかけることにより, もう 1 つ別のスレッドの 処理を進めるというのがハイパースレッディングである. ただし SR16000 の SMT 機能同 様, ...
55
ディスクへのバックアップのためのEMCソリューション EMC Celerra、MPFS、EMC NetWorkerによるNASバックアップの高速化
... 既存のインフラストラクチャの試用期間延長による ROI の向上 エンタープライズが成長すると、データ管理ソリューションへの要求も高まります。既存の Celerra プラットフォームで MPFS テクノロジーを採用すると、大きく高価なコンポーネントを購 入しなくても効率を高めることができ、古いハードウェアの寿命を延ばすことができます。ハー ...
17
OLAP も PostgreSQL で！ Swarm64 の FPGA によるDB 高速化ソリューション「S64DA」のご紹介
... Swarm64 のソリューション S64DA の紹介 ソリューションのメリット：データの高速処理 ○ PostgreSQL ,MariaDB , MySQL でほぼリアルタイムな解析が可能に ○ 複雑なビジネス分析を標準 PostgreSQL に比べ 2~10倍高速化 ...
25
ボルツマンマシンの高速化
... 5.1. ２ビットパリティチェック（XOR） 隠れ素子 1 ビットを，表１ように固定し，線形分離可能 にし，動作実験を行った．それぞれの学習における誤差収 束の様子を図２から図５に示す．表２に収束までの処理時 間を示す．以下に示す学習の誤差収束の図は，縦軸平均誤 差，横軸重み修正回数とする．平均誤差 0．003 以下で学 習終了とした． ...
6
数式処理によるパラメトリック多項式最適化手法 (最適化手法の深化と広がり)
... (RegionPlot, RegionPlot3d) に渡して，実行可能領域を描画することができる ( 図 2 参照 ). Mathematica の CAD の実装 [20] は，数値手法と組み合わせて誤差なく高速化を実現した実装である． 図 2: Mathematica 実行画面 SyNRAC: 現在筆者らの研究グループで商用の Maple 上で QE パッケージ SyNRAC [14, 22] ...
11
ビッグデータ分析を高速化する 分散処理技術を開発 日本電気株式会社
... [ご参考] MapReduceとは ▌ Hadoopでは、「MapReduce」 を単位として分散処理を実現 ▌ 分散して処理を行う Map処理 とその結果を集約する Reduce処理 から構成 Map処理の出力では、データの種類を「キー」として指定 ...
17
ハードウェア支援を用いた冗長なマーク処理の抑制によるGC高速化手法
... クする特殊なロード命令を新たに実装することで実現されている．NMT-bit のチェッ クに要するオーバヘッドは通常のロード命令と比較して 1 サイクル多い程度であるた め，高速にリードバリアを実行できる． また，生きているオブジェクトへのマーク完了後は，オブジェクトの移動処理であ るリロケーションフェーズ，およびポインタの更新処理であるリマップフェーズが実 行される．なお，NAP ...
63
Hadoopによる バッチ処理検証
... 19 © Copyright 2011 Hewlett-Packard Development Company, L.P. Hadoop処理実行時間（中間データの圧縮） ※ copyフェーズ、sortフェーズ、reduceフェーズの時間は、 10秒置きの画面キャプチャから判断しているため、あくまでも参考値 ...
41
大規模データの匿名加工処理を高速化する技術を開発
... 3 ■原田 博司プログラム・マネージャーのコメント■ 本研究開発プログラムは、現状のビッグデータ規模を遙かに凌ぐ「超 ビッグデータ」時代に向けて、広域通信ネットワークと超高速データベー ス処理の 2 柱を統合した基盤技術を世界に先駆けて確立するとともに、 この基盤技術により、国民（ヒト）と生産現場（工場）の健全性維持のため の課題解決に挑戦しています。超ビッグデータ時代においては、個人 ...
6