サイオステクノロジー株式会社
LifeKeeper for Linux と EINS/SPS SelfPortal
の動作検証レポート
2
© SIOS Technology, Inc.
目次
1 本書の内容 ... 4 1.1 将来における互換性 ... 4 2 EINS/SPS SelfPortal の概要 ... 4 3 検証構成について ... 5 4 構成情報 ... 5 5 EINS/SPS SelfPortal の構築、設定 ... 7 5.1 仮想サーバーの新規作成 ... 7 5.2 ディスクの増設 ... 10 5.3 仮想サーバーへのコンソール接続 ... 12 5.4 外部から構築したサーバーへのアクセス方法 ... 12 5.5 OS の設定 ... 13 CentOS6.4 の場合 ... 13 CentOs7.1 の場合 ... 14 5.6 データベースの設定 ... 15 CentOS6.4(MySQL)の場合 ... 15 CentOs7.1(MariaDB)の場合 ... 18 6 LifeKeeper による HA クラスターの構築 ... 21 6.1 LifeKeeper のインストール ... 21 6.2 LifeKeeper GUI の管理画面へのアクセス ... 22 6.3 コミュニケーションパスの作成 ... 22 6.4 Broadcast Ping の無効化 ... 23 6.5 IP リソースの作成 ... 24 6.6 Data Replication リソース階層の作成 ... 26 6.7 データベースリソース階層の作成 ... 28 6.8 IP リソースとデータベースリソース間の依存関係の構築 ... 29 6 EINS/SPS SelfPortal の機能確認 ... 30 7 LifeKeeper の機能確認 ... 30 MySQL での確認 ... 30 MariaDB での確認 ... 303
© SIOS Technology, Inc.
8 参考資料 ... 31 9 謝辞 ... 32 10 お問い合わせ ... 33 11 免責事項 ... 34 改訂履歴 2016 年 1 月 10 日 第 1 版
4
© SIOS Technology, Inc.
1 本書の内容
このたび、LifeKeeper for Linux（以下、LifeKeeper）を EINS/SPS SelfPortal（以下、 EINS/SPS SelfPortal）環境においてご利用いただけるようになりました。 本書は、弊社で実際に行った検証作業の構成をベースとして記述したものです。LifeKeeper を EINS/SPS SelfPortal 環境で稼働させ、クラウド環境における HA クラスターシステム を構築する方法について、説明します。
1.1 将来における互換性
本書に記載されております内容は、2016 年 1 月 10 日時点の EINS/SPS SelfPortal で 実 施 した 検 証結 果 に基づ い てい ま す。 将 来にお け る EINS/SPS SelfPortal 及び LifeKeeper の仕様変更について保証するものではありません。必要に応じて最新のド キュメンテーションを参照し、適切な設定を行ってください。2 EINS/SPS SelfPortal の概要
EINS/SPS SelfPortal は、株式会社インテックが提供する高品質・高可用のビジネス・ク ラウドサービスです。サービスを提供するハードウェアはインテックの高品質・高可用な ファシリティを持つデータセンターに収容されており、インフラはすべて冗長化・二重化 のコンセプトで設計・構成されております。 また、24 時間、リアルタイムでお客様の基盤構成の変更要望に対応しており、すべての基 盤操作は、Web ブラウザから、24 時間いつでも行うことができます。 使用可能な CPU・メモリ・ディスクの範囲内であれば、自由に仮想マシンを配置できるリ ソースプール課金を採用しています。 仮想マシンが増加/減少することが見込まれる場合は、その都度、お客さまのポータル画面 で必要なリソースを追加契約/解約いただくことが可能なサービスで、ファシリティと基盤 構成の両面で高品質なサービスとなっております。5
© SIOS Technology, Inc.
3 検証構成について
今回の検証では、EINS/SPS SelfPortal 上で以下の組み合わせを検証しました。 利用 OS 及びソフトウェアの設定には、違いがあるためそれぞれ設定方法をご説明します。 利用 OS 利用ソフトウェア CentOS6.4 MySQL CentOS7.1 MariaDB4 構成情報
本構成では LifeKeeper を使って、2 ノード構成の Active/Standby クラスターを構築しま す。 仮想サーバー構成 CPU 速度：中速 CPU コア数：2 Memory：2GB Disk：20GB IP 任意のプライベート IP × 2 増設ディスク 10GB LifeKeeper V9.0.1 監視対象 仮想 IP アドレス、ファイルシステム、MySQL/MariaDB6
© SIOS Technology, Inc. MySQL の構成
7
© SIOS Technology, Inc.
5 EINS/SPS SelfPortal の構築、設定
EINS/SPS SelfPortal 上に仮想サーバーを作成する手順をご案内します。なお、EINS/SPS SelfPortal の操作等詳細については、以下のユーザマニュアルをご参照ください。 ユーザマニュアル https://self.sps.eins.jp/ユーザマニュアル
重要
LifeKeeper で HA 化する仮想マシンが同一の物理サーバに作成されてた場合には、物理 サーバ障害時に仮想マシンがすべてダウンし、サービスが提供できなくるなる可能性がご ざいます。環境作成時に予めインテック社へお問い合わせください。5.1 仮想サーバーの新規作成
(1) 契約時に登録したメールアドレスに記載されております URL にアクセスし、ポータ ルサイトにログインをします。8
© SIOS Technology, Inc. (2) メニュー画面から、ネットワークを選択してください。
(3) VPC または、シンプルネットワークどちらかを選択し、ネットワークの設定を行なっ てください。詳細につきましては、以下のドキュメントをご参照ください。
9
© SIOS Technology, Inc. シングルネットワーク https://self.sps.eins.jp/st/man/quick_simple_create_server.html#id2 VPC https://self.sps.eins.jp/st/man/quick_vpc_create_server.html#vpc (4) ネットワークの設定が完了しましたら、サーバーを作成します。左のメニューのサー バーを選択後、”サーバーの新規作成”を選択しサーバーを作成してください。 (5) サーバーの作成が完了すると、以下の画像のようにサーバーが表示されます。
10
© SIOS Technology, Inc.
仮想サーバーの作成手順は以上です。同様の手順で、クラスターノード用の OS をもう一台作成してください。
5.2 ディスクの増設
5.1 で作成した仮想マシンに対してデータディスクを追加します。 (1) 左のメニューから”ディスク”を選択後、”ディスクの新規作成”を選択し、ディスクを 作成してください。11
© SIOS Technology, Inc. (2) ディスクが追加されると以下のように一覧に表示されます。
(3) 青いボタンの“取り付け”を選択してから、ディスクを追加するサーバーを選択してく ださい。
ディスクの追加手順は以上です。全てのノードに対して、同じサイズのディスクを増設し てください。
12
© SIOS Technology, Inc.
5.3 仮想サーバーへのコンソール接続
仮想マシンのコンソール表示方法は、以下の通りです。 (1) 左のメニューから”サーバー”を選択し、右側のボタンから”コンソール”をクリックし てください。 (2) 表示されたポップアップウィンドウからコンソールを利用できます。5.4 外部から構築したサーバーへのアクセス方法
外部から構築したサーバーへアクセスするための接続方法としては、リモートアクセス VPN 機能をご利用ください。 詳細につきましては、以下の URL をご参照ください。 リモートアクセス VPN 機能 https://self.sps.eins.jp/st/man/quick_vpc_connection_server.html#vpn13
© SIOS Technology, Inc.
5.5 OS の設定
インストールした OS の設定を行います。CentOS6.4 と CentOS7.1 の２つの設定をそ れぞれ記載致します。
CentOS6.4 の場合
(1) GUI を利用するため、yumコマンドでパッケージをインストールします。
# yum groupinstall "Desktop" "Desktop Platform" "General Purpose Desktop"’
(2) LifeKeeper をインストールするために必要なパッケージをインストールします。 # yum install –y redhat-lsb
(3) SELinux が無効化されていることを確認します。 # cat /etc/selinux/config 無効になっていない場合は以下のようにパラメータを変更して、ノードを再起動さ せてください。 SELINUX=disabled (4) ファイアウォール設定を変更します。 LifeKeeper GUI は、デフォルトの初期接続ポートである 81 と 82 を含め、特定の TCP ポートを使用します。またポート 1024 以降をオブジェクトの送受信に使用す るリモートメソッド呼び出し(RMI)に使用します。これらすべてのポートを利用でき るように設定を行ってください。 ファイアウォールを使用した状態での LifeKeeper の実行 http://jpdocs.us.sios.com/Linux/9.0.1/LK4L/SPSInstall/index.htm#user_ guide/using_lifekeeper_linux/maintenance_tasks/running_lifekeeper_fire wall.htm
14
© SIOS Technology, Inc.
CentOs7.1 の場合
(1) GUI を利用するため、yumコマンドでパッケージをインストールします。
# yum –y groupinstall "GNOME Desktop"
(2) LifeKeeper をインストールするために必要なパッケージをインストールします。 # yum install –y redhat-lsb
(3) SELinux が無効化されていることを確認します。 # cat /etc/selinux/config 無効になっていない場合は以下のようにパラメータを変更して、ノードを再起動さ せてください。 SELINUX=disabled (4) ファイアウォール設定を変更します。 LifeKeeper GUI は、デフォルトの初期接続ポートである 81 と 82 を含め、特定の TCP ポートを使用します。またポート 1024 以降をオブジェクトの送受信に使用す るリモートメソッド呼び出し(RMI)に使用します。これらすべてのポートを利用でき るように設定を行ってください。 [ファイアウォール設定のコマンド例] ファイアウォール設定の無効化 # systemctl stop firewalld # systemctl status firewalld ファイアウォール自動起動停止 # systemctl disable firewalld # systemctl is-enabled firewalld
15
© SIOS Technology, Inc.
5.6 データベースの設定
追加した増設ディスクをデータベースのデータ格納場所として利用します。今回は MySQL と MariaDB の 2 つの設定方法を記載致します。CentOS6.4(MySQL)の場合
仮想サーバー1(プライマリサーバー)と仮想サーバー2(セカンダリサーバー)ごとの、実 施手順を以下に説明します。仮想サーバー1(プライマリサーバー)での実施手順
(1) MySQL の関連パッケージをインストールします。 [コマンド例]# yum install mysql-server
(2) 5.2 で追加したディスクに MySQL をインストールするための準備します。 そのディスクをフォーマットしてから、ファイルシステムを作成しマウントします。 [コマンド例] # fdisk /dev/sdb # mkfs –t ext4 /dev/sdb1 # mkdir /test_mysql
# mount /dev/sdb1 /test_mysql # mkdir /test_mysql/data # mkdir /test_mysql/etc # mkdir /test_mysql/log (3) MySQL のデータディレクトリ(/test_mysql)に存在するすべてのファイル権限と所 有者を適切に設定します。 [コマンド例]
# chown –R mysql:mysql /test_mysql # chmod 755 /test_mysql
16
© SIOS Technology, Inc. (4) コマンドラインから、MySQL デーモンを起動します。
[コマンド例]
$ service mysqld start
(5) MySQL を新規にインストールする場合は、MySQL データベースを初期化します。 [コマンド例] # mysql_secure_installation すべての質問を Y で返します。途中パスワード設定も求められるが指示通り設定し ます。 (6) mysql ユーザーに、shutdown 権限とすべてのホストからのアクセス権限を付与し ます。 [コマンド例] # mysql -u root
mysql> grant shutdown on *.* to mysql@localhost identified by 'password';
mysql> grant all privileges on *.* to mysql@'%' identified by 'lifekeeper'; mysql> flush privileges;
mysql> exit
(7) 作成した初期データ、設定ファイルを共有ディスクにコピーします。 [コマンド例]
# mv /var/lib/mysql/* /test_mysql/data/ # mv /etc/my.cnf /test_mysql/etc/
# chown -R mysql.mysql /test_mysql/data # chown -R mysql.mysql /test_mysql/etc # chown -R mysql.mysql /test_mysql/log
17
© SIOS Technology, Inc. (8) /test_mysql/etc/my.cnf を編集します。 [my.cnf 例] [mysqld] datadir=/test_mysql/data socket=/test_mysql/log/mysql.sock user=mysql port=3306 pid-file=/test_mysql/log/mysql.pid symbolic-links=0 [mysqld_safe] log-error=/test_mysql/log/mysql.log [client] user=mysql password=password (9) mysql を手動で起動します。 [コマンド例]
$ mysqld_safe --user=mysql --socket=/test_mysql/log/mysql.sock --port=3306 --datadir=/test_mysql/data
--log-error=/test_mysql/log/mariadb.log --log &
仮想サーバー2(セカンダリサーバー)での実施手順
(1) mysql-server をインストールします。 [コマンド例]
# yum install mysql-server
(2) 5.2 で追加したディスクに MySQL をインストールするために、準備します。 そのディスクをフォーマットしてから、ファイルシステムを作成します。
[コマンド例] # fdisk /dev/sdb
18
© SIOS Technology, Inc.
(3) MySQL のデータディレクトリ(/test_mysql)に存在するすべてのファイル権限と所 有者を適切に設定します。
[コマンド例]
# mkdir /test_mysql
# chown –R mysql: mysql / test_mysql # chmod 755 / test_mysql
CentOs7.1(MariaDB)の場合
仮想サーバー1(プライマリサーバー)と仮想サーバー2(セカンダリサーバー)ごとの、実 施手順を以下に説明します。 仮想サーバー1 (プライマリサーバー)での実施手順 (1) MariaDB の関連パッケージをインストールします。 [コマンド例]# yum install mariadb-server
(2) 5.2 で追加したディスクに MariaDB をインストールするための準備します。 そのディスクをフォーマットしてから、ファイルシステムを作成しマウントします。 [コマンド例] # fdisk /dev/sdb # mkfs –t ext4 /dev/sdb1 # mkdir /test_mysql
# mount /dev/sdb1 /test_mysql # mkdir /test_mysql/data # mkdir /test_mysql/etc # mkdir /test_mysql/log (3) 初期データベースを作成します。
[コマンド例]
19
© SIOS Technology, Inc.
(4) MariaDB を新規にインストールする場合は、MariaDB データベースを初期化します。 [コマンド例] # mysql_secure_installation すべての質問を Y で返します。途中パスワード設定も求められるが指示通り設定し ます。 (5) mysql ユーザーに、shutdown 権限を付与します。 [コマンド例] # mysql -u root –p
mysql> grant shutdown on *.* to mysql@localhost identified by 'password';
mysql> grant all privileges on *.* to mysql@'%' identified by 'lifekeeper'; mysql> flush privileges;
mysql> exit
(6) データベースを停止させます。 [コマンド例]
# systemctl stop mariadb
(7) 作成した初期データ、設定ファイルを追加したにコピーします。 [コマンド例]
# mv /var/lib/mysql/* /test_mysql/data/ # mv /etc/my.cnf /test_mysql/etc/
# chown -R mysql.mysql /test_mysql/data # chown -R mysql.mysql /test_mysql/etc # chown -R mysql.mysql /test_mysql/log (8) /test_mysql/etc/my.cnf を編集します。
[my.cnf 例] [mysqld]
datadir=/test_mysql/data
20
© SIOS Technology, Inc. user=mysql port=3306 pid-file=/test_mysql/log/mariadb.pid symbolic-links=0 [mysqld_safe] log-error=/test_mysql/log/mariadb.log [client] user=mysql password=password (9) データベースを起動させます。 [コマンド例]
# mysqld_safe --user=mysql --socket=/test_mysql/log/mariadb.sock
--port=3306 --datadir=/test_mysql/data
--log-error=/test_mysql/log/mariadb.log --log &
仮想サーバー2 (セカンダリサーバー)での実施手順
(1) 仮想サーバー2 で MariaDB の関連パッケージをインストールします。 [コマンド例]
# yum install mariadb-server
(2) 5.2 で追加したディスクに MySQL をインストールするために、準備します。 そのディスクをフォーマットしてから、ファイルシステムを作成します。 [コマンド例] # fdisk /dev/sdb # mkfs –t ext4 /dev/sdb1 # mkdir /test_mysql
21
© SIOS Technology, Inc.
6 LifeKeeper による HA クラスターの構築
作成した仮想サーバーに LifeKeeper をインストールし、HA クラスターを構築します。
6.1 LifeKeeper のインストール
各仮想サーバーに、LifeKeeper をインストールします。インストールの手順につきまし ては、下記の LifeKeeper for Linux スタートアップガイド(v9.0.1 用)を参照してくだ さい。
mksh パッケージがインストール済みの場合には、インストール途中にエラーが発生す るために LifeKeeper をインストールできません。事前に mksh をアンインストールし てください。
LifeKeeper のインストール途中で「Select optional kits for SPS for Linux」画面が 表示されます。MySQL/MariaDB を保護する「lkSQL」と DataReplication によるク ラスターノード間のデータ共有を行う為「lkDR」とを選択してインストールしてくださ い。
LifeKeeper for Linux スタートアップガイド(v9.0.1 用)
http://lk.sios.com/?p=3998
セットアップが完了しましたら、LifeKeeper を起動します。 # lkstart
22
© SIOS Technology, Inc.
6.2 LifeKeeper GUI の管理画面へのアクセス
カスタマポータルからコンソール接続する、もしくはＸフォワーディングが有効な環境 からインターネット経由で仮想サーバーに SSH 接続し、LifeKeeper GUI 管理画面を開 きます。 # lkGUIapp LifeKeeper の GUI を、SSH の X フォワーディングで使用する手順の詳細については、 以下の資料を参照してください。 ファイアウォールを使用した状態での LifeKeeper の実行 http://jpdocs.us.sios.com/Linux/9.0.1/LK4L/SPSInstall/index.htm#user_guid e/using_lifekeeper_linux/maintenance_tasks/running_lifekeeper_firewall.htm6.3 コミュニケーションパスの作成
コミュニケーションパスを作成します。LifeKeeper では、少なくとも 2 つのコミニュー ケーションパスがノード間で必要です。 コミュニケーションパスの作成手順の詳細については、以下の資料を参照してください。 コミュニケーションパスの作成 http://jpdocs.us.sios.com/Linux/9.0.1/LK4L/TechDoc/index.htm#administrati on/administrator_tasks/creating_communication_path.htm23
© SIOS Technology, Inc.
6.4 Broadcast Ping の無効化
Broadcast Ping の設定を無効化します。 # vi /etc/default/LifeKeeper 変更内容 変更前 NOBCASTPING=0 変更後 NOBCASTPING=124
© SIOS Technology, Inc.
6.5 IP リソースの作成
LifeKeeper GUI 管理画面より“Create Resource Hierarchy“を選択し、IP リソースを 作成します。
リソース作成ウィザードで入力する内容は、以下の通りです。 Select Recovery Kit IP
Switchback Type Intelligent
Server lk1
IP Resource 10.1.1.3
Net mask 255.255.255.0
Network Interface eth0
IP Resource Tag ip-10.1.1.3
ターゲット (セカンダリサーバー)ノードに Extend するとき入力する内容は、以下の通 りです。
Select Recovery Kit IP
Switchback Type Intelligent
Server lk2
IP Resource 10.1.1.3
Net mask 255.255.255.0
Network Interface eth0
25
© SIOS Technology, Inc.
今回の環境は、Broadcast Ping を無効化しているため、IP リソースの死活監視に Unicast Ping を利用します。設定方法例は以下の通りです。
(１) IP リソースのプロパティ画面を表示し、Modify Ping List をクリックします。
26
© SIOS Technology, Inc. (３) Save List をクリックし、設定値を保存します。
6.6 Data Replication リソース階層の作成
重要： Data Replication リソース階層の作成前に、次のファイルに下記のエントリーを追加 してください。 ファイル：/opt/LifeKeeper/subsys/scsi/resources/DEVNAME/device_pattern 追加エントリー：/dev/sd* これは、各サーバーで実施してください。詳細については、次の URL をご参照ください。 [Linux]ERROR 104052: Cannot get the hardware ID of device "デバイス名" に ついて27
© SIOS Technology, Inc.
LifeKeeper GUI 管理画面より”Create Resource Hierarchy”を選択し、Data Replication リソースを作成します。リソース作成ウィザードで入力する内容は以下の 通りです。
Select Recovery Kit Data Replication Switchback Type Intelligent
Server lk1
Hierarchy Type Replication Existing Filesystem Existing Mount Point /test_mysql
Data Replication
Resource Tag datarep-mysql Filesystem Resource
Tag /test_mysql
Bitmap File /opt/LifeKeeper/bitmap__mysql Enable Asynchronous
Replication No (本構成では同期モードを使用)
ターゲット(セカンダリサーバー)ノードに Extend するとき、入力する内容は以下の通 りです。
Target Server lk2
Switchback Type Intelligent Template Priority 1
Target Priority 10
Target Disk /dev/sdb1
Data Replication
Resource Tag datarep-mysql
Bitmap File /opt/LifeKeeper/bitmap__mysql Replication Path 192.168.1.10 - 192.168.1.20
Mount Point /test_mysql
28
© SIOS Technology, Inc.
6.7 データベースリソース階層の作成
LifeKeeper GUI 管理画面より”Create Resource Hierarchy”を選択し、データベース リソースを作成します。リソース作成ウィザードで入力する内容は以下の通りです。 重要：
MySQL 及び MariaDB を LifeKeeper で保護するには、MySQL ARK を利用します。 MySQL または、MariaDB はプライマリサーバー上でのみ実行している必要があり
ます。セカンダリサーバー上で実行しないでください。
Select Recovery Kit MySQL Database
Switchback Type Intelligent
Server lk01
Location of my.cnf /test_mysql/etc
Location of MySQL executables /usr/bin
Database Tag mysql
ターゲット(セカンダリサーバー)ノードに Extend するとき、入力する内容は以下の通 りです。
Target Server lk02
Switchback Type Intelligent
Template Priority 1
Target Priority 10
Location of my.cnf /test_mysql/etc
Location of MySQL executables /usr/bin
29
© SIOS Technology, Inc.
6.8 IP リソースとデータベースリソース間の依存関係の構築
LifeKeeper GUI 管理画面より”Create Dependency”を選択し、IP リソースとデータ ベースリソースとの間に依存関係を作成します。
下記のリソースの依存関係図例のように、Parent Resource（親リソース）がデータベー スリソース、Child Resource（子リソース）が File System リソースと IP リソースと なるよう設定してください。この設定により、リソースが一緒に移動し、適切な順序で 起動/停止することが保証されます。 依存関係の作成方法については、以下の URL をご参照ください。 リソース依存関係の作成 http://jpdocs.us.sios.com/Linux/9.0.1/LK4L/TechDoc/index.htm#administrati on/administrator_tasks/creating_resource_dependency.htm リソースの依存関係図例
30
© SIOS Technology, Inc.
6
EINS/SPS SelfPortal の機能確認
本構成で、EINS/SPS SelfPortal の以下の機能について、正常動作を確認しました。 (1) 管理画面へのログイン (2) テンプレートを用いた仮想サーバーの作成 (3) 仮想サーバーへのディスクの追加、削除 (4) 仮想サーバーへのコンソール接続 (5) 仮想サーバーの起動、停止 (6) 仮想サーバーの削除7
LifeKeeper の機能確認
本構成で、以下の LifeKeeper の機能について、正常動作を確認しました。MySQL での確認
(1) 仮想 IP で指定している NIC を停止させた場合に、復旧が行われること (2) MySQL のプロセスが停止した場合に、復旧が行われること (3) (1)、(2)の復旧に失敗した場合に、セカンダリサーバーへリソースのフェイルオーバー が行われること (4) 稼働系サーバーに障害が発生した場合に、セカンダリサーバーへリソースのフェイル オーバーが行われることMariaDB での確認
(1) 仮想 IP で指定している NIC を停止させた場合に、復旧が行われること (2) MariaDB のプロセスが停止した場合に、復旧が行われること (3) (1)、(2)の復旧に失敗した場合に、セカンダリサーバーへリソースのフェイルオーバー が行われること (4) 稼働系サーバーに障害が発生した場合に、セカンダリサーバーへリソースのフェイル オーバーが行われること31
© SIOS Technology, Inc.
8
参考資料
LifeKeeper UserSite
http://lk.sios.com/
LifeKeeper for Linux スタートアップガイド (v9.0.1 用)
http://lk.sios.com/?p=3998
SIOS Technical Documentation
http://jpdocs.us.sios.com/
LifeKeeper・DataKeeper
http://jpdocs.us.sios.com/Linux/9.0.1/LK4L/TechDoc/index.htm
MySQL Recovery Kit のドキュメンテーション
http://jpdocs.us.sios.com/Linux/9.0.1/LK4L/MySQL/index.htm
EINS/SPS SelfPortal
32
© SIOS Technology, Inc.
9
謝辞
本ドキュメントを作成するに際して、株式会社インテック様には多大なるご支援をいただ きました。御礼を申し上げます。
株式会社インテック
33
© SIOS Technology, Inc.
10
お問い合わせ
本書の記載内容についてのお問い合わせ先 LifeKeeper 製品の導入を検討中のお客様
LifeKeeper 製品をご購入済みのお客様
弊社パートナー営業部までお問い合わせください。 お問い合わせメールフォーム https://www.sios.com/products/bcp/lkdk/contact/ 弊社 LifeKeeper 製品サポート窓口までお問い合わせください。 購入後のお問い合わせ https://www.sios.com/products/bcp/lkdk/contact/support_lk.html34
© SIOS Technology, Inc.
