FUJITSU Software
プライムソフト サーバPrimesoft Server V1.1 L50
高速インメモリデータ管理ソフトウェア
ご紹介
2018年5月
富士通株式会社
ミッションクリティカルシステムの変化
ビッグデータを取り扱うシステムが飛躍的に増大
金融取引、クレジット、流通、テレコム、e-コマース、スマートグリッドなど、 様々な業界で、システム利用人口、トランザクション処理数が飛躍的に増大 また、アルゴリズム取引などの自動取引の普及により、短期間で急激に トランザクション処理件数が増加
ビジネスが24時間化し、業務停止が許されない
ミッションクリティカルなシステムにおいても、フロント業務との接続により 24時間稼働が必須になってきているビッグデータにより既存のシステムは限界に近づいている
ミッションクリティカルシステムの課題
時間内に要求が処理できない
従来のデータベースを利用したシステムでは、ディスクへの負荷集中により、 処理時間が遅延
障害発生時には、業務が停止する
従来のクラスタシステムを利用したシステム切替えでは、分単位の切り替え 時間が必要
能力増強に時間がかかる
従来システムは大きなマシンで置き換える(スケールアップ型)能力増強となり、 移行に費用と労力が必要 スケールアウト型のシステムに変更するには、システムの再設計が必要従来型のシステムのままでは解決が困難
解決策としての Primesoft Server
“マイクロ秒レベルのデータアクセス”、 “秒レベルの切替えによる
業務サービス継続”、 “システムの柔軟な拡張”を同時に実現
Primesoft Server マイクロ秒レベルの安定した高速データアクセス
アプリケーションの修正なしで 柔軟にシステムを拡張
現用 待機1 待機2 ミッションクリティカルシステムに 適用できる高水準のデータ保証
特長1: 高速データアクセス
すべてのデータ(メッセージ、テーブル)をメモリ上で管理することにより、 アプリケーションのデータアクセスを高速化 Primesoft Server データベース データベース 従来のシステム構成 ディスクI/Oなどの負荷に よる性能限界あり 新しいシステム構成 メモリ上で全ての データを管理 複数サーバのメモリ を透過的に使用 メモリ アプリケーションマイクロ秒レベルの安定した高速データアクセス
アプリケーション 高速データアクセス メッセージの受け渡し 処理を分離、必要に応じて非同期で連携特長2: データ保証
サーバダウンによるメモリデータ損失のリスクに備え、別サーバへデータ複製 サーバダウン時は秒レベルの切り替えで、業務無停止を実現 データベースと同等のトランザクション制御でデータの一貫性を保証ミッションクリティカルシステムに適用できる高水準のデータ保証
メモリ メモリ 待機1 待機2 ログ ログ サーバ#2 サーバ#3 現用 ログ メモリ サーバ#1 アプリケーションメモリ メモリ
特長3: 拡張性
サーバ追加による限界の無い能力増強を実現 データ格納場所の仮想化により、アプリケーションはデータの所在を認識不要アプリケーションの修正なしで柔軟にシステムを拡張
サーバ追加 アプリケーション Primesoftのデータ格納域 拡張適用イメージ1
ビッグデータによる受付ボトルネック解消
課題 ビッグデータを取り扱うことにより、受付処理でボトルネックが発生 解決 フロント処理をインメモリ化し、高速レスポンスを実現 適用 瞬間的に大量データを扱うシステム(ネットオークションシステム、投票システム) 新たな入力手段(センサー・RFID・モバイル端末など)を活用し定常的に 大量のデータを扱うシステム Primesoftを利用した 高速アクセス Primesoftのデータ 管理機構 受付サーバ -2 受付サーバ -1 応答保証サーバ 受注処理サーバ 受注処理サーバ 追加 受付サーバ -n ・ ・ ・ 既存 システムや DBサーバ アプリケーション 連携キュー 後処理アプリケーション アプリケーション 連携キュー 業務 データ 応答 アプリケーション アプリケーション 連携キュー 受注管理アプリケーション 受付 アプリケーション フロント処理 高速レスポンス重視 バックエンド処理 非同期での連携適用イメージ2
DBサーバの過負荷処理のオフロード
課題 全てのデータ処理の負荷がDBサーバに集中しボトルネックが発生 解決 アクセスの集中しやすい処理(認証処理など)をインメモリ処理にオフロード(切り出し) 適用 インターネットや携帯サービスの認証処理 バッチ処理アプリケーション データベースを使用した処理 受付サーバ -2 受付サーバ -1 DBサーバ 認証サーバ 受付サーバ -n ・ ・ ・ 認証ログ 取得キュー 認証 データ アプリケーション 認証ログ処理 アプリケーション アプリケーション ストレージ データベース Primesoftを利用した 高速アクセス(オフロードした処理) Primesoftテーブル Primesoftキュー 負荷の高い処理を オフロード 従来、データベースを使用していた処理 オフロード オフロードデータ管理
Primesoftテーブル
メモリ上のデータ格納域にレコードを格納
Primesoftテーブルはカラム(列)とレコード(行)からなるデータ構造を持つ データベースと同様、インデックスを利用したレコードの読込みや更新が可能 (キー値検索/更新、キー順検索、キー逆順検索、キー範囲検索) Primesoft Server テーブルの データ操作 (レコード単位) トランザクション の確定 (コミット/ロールバック) 参照・更新 追加・削除 アプリケーション メモリ カラム(列) レコード (行) Primesoft テーブル 特長1: 高速データアクセス非同期メッセージ通信
Primesoftキュー
アプリケーション間でメッセージの受け渡しを行います
格納されたメッセージは、格納された順に取り出し (FIFOを保証) Primesoftキューのデータ構造は、Primesoftテーブルと同様(列と行の構造) 格納されたメッセージは、Primesoftテーブルとして参照や更新も可能 取り出したメッセージは、取出し後も保持可能 Primesoft Server トランザクション の確定 (コミット/ロールバック) 送信・受信 参照・更新 アプリケーション メモリ メッセージ の送受信 ・・・ Primesoftキュー 特長1: 高速データアクセスPrimesoft Server メモリ
トランザクション制御
データベースと同等のトランザクション制御が可能 Primesoft テーブルと Primesoft キューを 同一のローカルトランザクションで 扱える データ操作で異常が発生した場合、Primesoftがデータの整合性を保証 (トランザクションを自動でロールバック) メッセージ の受信 テーブルの データ操作 (レコード単位) アプリケーション ・・・ Primesoftキュー Primesoftテーブル 異常 ロールバック (メッセージを受信前の状態に戻す) 受信 更新 ト ラ ン ザ ク シ ョ ン 特長1: 高速データアクセス高信頼機能
高速データアクセスと耐故障を高次元で両立
別サーバへのデータミラーリングで、ディスクレスによる信頼性の低下を補完 サーバ切り替え時の業務サービス継続を秒レベルで実現 •サーバ切り替え時のリカバリ処理もディスクI/O排除したことで高速 Primesoft Server メッセージ の送受信 テーブルの データ操作 (レコード単位) トランザクション の確定 (コミット/ロールバック) 参照・更新 追加・削除 アプリケーション メモリ ・・・ Primesoftキュー Primesoft テーブルPrimesoft Server Primesoft Server
メモリ メモリ
サーバ #1(現用) サーバ #2(待機1) サーバ #3(待機2)
ログ ログ ログ
高可用性
3種類の切替え
Primesoft Server はアプリケーションプロセス、Primesoft Serverのインスタンス、 サーバの階層ごとに故障部位に適した切替えが可能 障害の原因に応じて影響範囲を局所化 •切替え時には、他の業務に影響を及ぼさない 現用 待機 Primesoft Server (アクティブ) サーバ #1(現用) Primesoft Server (スタンバイ1) サーバ #2(待機1) Primesoft Server (スタンバイ2) サーバ #3(待機2) 待機 待機 待機 待機 アプリケーション プロセスの切替え Primesoft Server の切替え サーバの切替え 3 種 類 の 切 替 え 特長2: データ保証
冗長性の維持
24時間アプリケーション無停止で業務運用が可能
業務を継続しながら、冗長性の維持が可能 追加したサーバのメモリデータは、Primesoft Server が整合性を保証 障害復旧 / 保守点検 メモリ 待機1 サーバ#2 現用 メモリ サーバ#1 アプリケーション メモリ メモリ 待機1 組み込み サーバ#2 サーバ#3 現用 メモリ サーバ#1 アプリケーション メモリ 待機2 サーバ#3 特長2: データ保証Primesoft Server
パーティショニング
負荷分散、障害耐性と拡張性に優れたデータ格納構造
同一キー値を持つテーブルやキューのデータを同一サーバに配置 一台の物理サーバの搭載メモリを超えてメモリ資源を活用 アプリケーションは、論理的な1つのテーブルやキューとして操作 (アプリケーションからはデータの物理的な格納場所は認識不要) テーブルA キューA アプリケーション …レコード …メッセージ アプリケーションからの論理的な見え方 実際のハードウェア上の配置 サーバ #2 メモリ サーバ #1 メモリ : サーバ #n メモリ 挿入 送信 特長3: 拡張性監視機能
安定稼働を補助する複数の監視機構
Systemwalker Service Quality Coordinatorによる統一された運用監視 (テーブルやキューの容量監視、キューの滞留監視など) 多角的な性能情報採取 性能情報をファイルに蓄積、分析に利用可能 なCSV形式で抽出できる 例)キューの滞留監視 アラーム事象を通知 プログラムインターフェースまたはsyslog メッセージをトリガーにした、動的なスケール アウト運用の自動化が可能 キュー滞留数 業務時間帯 10件 20件 30件 40件 50件 0件 アラーム ポイント システム状況を可視化
Systemwalker Service Quality Coordinatorと の連携によるリアルタイム監視
仮想サーバ#1 現用
仮想化環境への対応
仮想化環境においても高信頼なシステムを構築可能
VMware vSphere、Linux仮想マシン機能(KVM)に対応 仮想サーバの異常に対してもPrimesoft Serverの機能により自動的に業務継続 仮想OS Primesoft 仮想サーバ#2 待機1 仮想OS Primesoft 仮想サーバ#3 待機2 仮想OS Primesoft Primesoft サーバノード群 仮想クライアント 仮想OS Primesoft Primesoft クライアントノード群 アプリケーション メモリテーブル メモリテーブル メモリテーブル業務集約モデル機能
複数の業務を同一ノード上に集約させることにより、サーバリソースの
効率利用および独立した業務運用が可能
サーバ、OS、ミドルウェアの管理コストを1台のサーバに集約し、コスト削減 業務ごとに独立した運用(起動・停止・業務変更)が可能 ハイパーバイザが存在しないため仮想化環境と比較して性能オーバーヘッドなし Primesoft Serverシステム 業務A 業務B 業務C Primesoft Serverシステム スケールアウト 同一ノ ー ド に 集約スケールアウト型
業務集約型
業務B 業務C 業務A ス ケ ー ル ア ウ トJavaアプリケーション向けAPI
Javaアプリケーションからメモリテーブルへのアクセスが可能
Javaアプリケーションにおいても高速かつ安定したレスポンスを実現
開発生産性向上のためのユーティリティが利用可能
コマンドによりPrimesoftテーブル定義からデータクラスを自動生成 データクラスとメモリテーブル間のデータ形式をPrimesoft Serverが自動変換 標準的なJava開発環境や実行環境が利用可能 Primesoft Server Javaアプリケーション Primesoft テーブル Primesoft キュー Primesoft テーブル定義 データクラス コマンド 高速・安定 レスポンス 自動生成 開発生産性向上 データ クラス データ操作API 自動変換動作環境
Primesoft Server の動作プラットフォーム
関連プロダクト
Primesoft Server Enterprise Edition V1.1L50 OS Red Hat Enterprise Linux 7 Red Hat Enterprise Linux 6 (for Intel64) サーバ PRIMEQUEST 3000/2000/1000シリーズ PRIMERGY BXシリーズ (ブレードサーバ) PRIMERGY RXシリーズ (ラック型)必須製品 PRIMECLUSTER Enterprise Edition
関連製品 Interstage Application Server Enterprise Edition Interstage Application Server Standard-J Edition Systemwalker Centric Manager Enterprise Edition Systemwalker Operation Manager Enterprise Edition Systemwalker Service Quality Coordinator
システム構成の例
富士通ミドルウェアを適用して、最適なシステム環境を構築
データ管理サーバ(Primesoftサーバノード)
Primesoft Server
PRIMECLUSTER Enterprise Edition Interstage Application Server
Systemwalker Service Quality Coordinator (エージェント) アプリケーションサーバ (Primesoftクライアント) Primesoft Server (クライアント) *1 統合運用管理サーバ(任意)
Systemwalker Service Quality Coordinator (マネージャー)
Systemwalker Service Quality Coordinator (エージェント)
Primesoft Server導入時の必須プロダクト Interstage Application Server
データベースサーバ(任意) Symfoware Server 必須製品 連携製品 (組み合わせ条件あり) 任意使用製品 (システムによって選択して使用) 冗長構成分、 同じ構成で構築 冗長化数は、 1~3で選択可能
登録商標
Primesoftは、富士通株式会社の日本における登録商標です。 Interstage、Systemwalker、PRIMECLUSTER、PRIMEQUEST、PRIMERGYは、富士 通株式会社の登録商標です。 Linuxは、Linus Torvalds氏の米国およびその他の国における登録商標あるいは 商標です。 Red Hat、RPMおよびRed Hatをベースとしたすべての商標とロゴは、Red Hat, Inc. の米国およびその他の国における登録商標あるいは商標です。 VMwareおよびVMwareの製品名は、VMware, Inc.の米国および各国での商標ま たは登録商標です。 その他各種製品名は、各社の製品名称、商標または登録商標です。 本資料に記載されているシステム名、製品名等には、必ずしも商標表示((R)、 TM )を付記していません。