InfoFrame Relational Store V3.1
構築ガイド
商標類
• Apache Hadoop、Hadoop は、Apache Software Foundation の米国およびその他の国におけ る登録商標または商標です。
• Intel、Intel Xeon、Itanium および Intel Itanium は、米国および / またはその他の国におけ る Intel Corporation の登録商標です。
• Linux は Linus Torvalds の日本およびその他の国における登録商標または商標です。 • Oracle および Java は Oracle Corporation およびその子会社、関連会社の米国およびその
他の国における登録商標です。
• Red Hat は、米国およびその他の国における Red Hat, Inc. の登録商標です。
• UNIX® は米国およびその他の国において The Open Group が独占的にライセンスする登 録商標です。
• Microsoft、Windows、Windows Server、Microsoft Excel および Internet Explorer は、米国 Microsoft Corporation の、米国およびその他の国における登録商標です。
• Amazon Web Services、"Powered by Amazon Web Services" ロゴ、AWS、Amazon EC2、 EC2、Amazon Elastic Compute Cloud、Amazon Virtual Private Cloud、Amazon VPC は、米 国その他の諸国における、Amazon.com, Inc. またはその関連会社の商標です。
• IBM、InfoSphere および Guardium は International Business Machines Corporation の登録商 標です。
• その他、記載されている会社名、商品名は各社の商標または登録商標です。
著作権
日本電気株式会社の許可なく複製・改変などをおこなうことはできません。 本書の内容に関しては将来予告なしに変更することがあります。
はじめに
対象読者と目的
『InfoFrame Relational Store V3.1 構築ガイド for Amazon Web Services』は、Amazon Web Services (以下、AWS)上で IRS のシステムを構築する管理者、およびユーザサポートを行う システムエンジニア、保守員を対象にしています。
ここでご紹介する構成のサンプルや設定例は、あくまで参考情報としてご提供するものであ り、動作保証をするものではありません。
適用範囲
本書は、下記のバージョンのIRS を対象としています。 • InfoFrame Relational Store V3.1
また、以下のAWS サービスを構築に利用します。 • Amazon Virtual Private Cloud (以下、VPC) • Amazon Elastic Compute Cloud (以下、EC2) • Amazon Elastic Block Store (以下、EBS)
本書で示される各サービスの画面イメージは、2014 年 2 月 1 日時点のものを使用していま す。
目次
第1 章 機能概要... 1 1.1 機能概要 ...1 1.2 基本構成 ...1 第2 章 動作環境... 4 2.1 動作環境 ...4 第3 章 注意事項... 5 3.1 EC2 インスタンスの ssh 自動ログイン設定...5 3.2 IP アドレスとホスト名 ...63.2.1 Private IP アドレスと Private Hostname ...6
3.2.2 Public Hostname ...7 3.3 搭載メモリが少ない EC2 インスタンスの使用 ...7 第4 章 設定手順... 8 4.1 VPC の設定...8 4.1.1 VPC の作成...8 4.1.2 サブネットの作成 ...8 4.1.3 DNS ホスト名の有効化 ...8 4.1.4 セキュリティグループの設定 ...9 4.1.4.1 IRS サーバ間のグループ設定 ...10 4.1.4.2 管理コンソールの利用 ...10 4.1.4.3 Hadoop 連携およびローダ機能(mapreduce モード)の利用 ...11 4.1.4.4 SQL 実行...11 4.2 EC2 インスタンスの設定...11 4.2.1 EC2 インスタンスの作成 ...11 4.2.2 ストレージの設定 ...12 4.2.2.1 ストレージの種類 ...12 4.2.2.2 EBS のマウント ...13 4.2.3 /etc/hosts の設定...13 4.2.4 limits.conf の設定 ...14 4.3 IRS のインストールと設定...14
第
1 章
機能概要
1.1 機能概要
本書では、AWS 上に IRS 環境を構築するために必要な設定について説明します。IRS の構 築を開始する前に、本設定を済ませておく必要があります。
IRS 自体の構築手順は、『InfoFrame Relational Store インストレーションガイド』をご参照く ださい。
また、IRS 環境の構築後に各種 IRS サーバの Amazon Machine Image (以下、AMI)を作成(バッ クアップ)しておくことにより、以下のようなことが可能になります。
• EC2 インスタンスに障害が発生した場合に、上記 AMI を用いて別の EC2 インスタンス を立ち上げることで、簡単に代替のIRS サーバを用意することができます。
• 上記 AMI を用いて新たに EC2 インスタンスを作成することで、構築の完了した IRS サーバを容易に追加することができます。また、この方法でスケールアウト時のIRS サーバ追加にかかる時間を短縮することもできます。
1.2 基本構成
本書では、次のような構成のシステムを想定しています。
図1-1 AWS 上での IRS 構築イメージ リージョン (Region) マシンの物理的に離れた設置場所 利用可能ゾーン (Availability Zone) リージョンの中でもさらに物理的に離れた設置場所 セキュリティグループ (Security Group 1~4) EC2 インスタンスに適用するファイアウォール設定 IRS はサーバを多重化する機構を備えており、IRS システム単独で信頼性を保証しています。 そのため、AWS 上にシステムを構築する場合も、その他の信頼性を保証する機能を導入す る必要はありません。 EC2 は、EC2 インスタンスの作成時にマシンの物理的な設置場所であるリージョン／利用可 能ゾーンを指定します。IRS のサーバを稼働する EC2 インスタンスは、すべて同一の利用可 能ゾーン内に配置してください。
また、VPC 上で EC2 を利用することで、EC2 インスタンス同士の通信で使う Private IP アド レスを固定することができます。VPC を設定していない場合、Private IP アドレスは再起動 のたびに変更されるので注意してください。
“Asia Pacific (Tokyo)”などのリージョンではデフォルト VPC が設定されているため、Private IP アドレスの固定のために特別な設定は必要ありません。デフォルト VPC が設定されてい 第1 章 機能概要
ないリージョンを使う場合は、Private IP アドレスの固定のために利用者は別途 VPC の設定 を行う必要があります。
図中の各セキュリティグループの詳細については、「4.1.4 セキュリティグループの設定（9 ページ）」で説明します。
第
2 章
動作環境
2.1 動作環境
本書では、以下の環境を想定の上、構築例を記載しています。 • ノードの共通仕様
OS Red Hat Enterprise Linux 6.4 (x64) InfoFrame Relational Store V3.1
Java Java 7 Update 45
• 推奨 EC2 インスタンスタイプ IRS サーバの種類 EC2 インスタンスタイプ 構成管理サーバ m1.large Partiqle サーバ m3.2xlarge トランザクションサーバ m3.2xlarge ストレージサーバ m1.xlarge
注
EC2 インスタンスとして m1.small や m1.xlarge を使用する場合、『InfoFrame Relational Store インス トレーションガイド』に記載の必要メモリサイズを満たさないことがあるため、環境構築時に注意 が必要です。これらのEC2 インスタンスを使用する際は、「3.3 搭載メモリが少ない EC2 インスタ ンスの使用（7 ページ）」をご確認ください。
第
3 章
注意事項
3.1 EC2 インスタンスの ssh 自動ログイン設定
『InfoFrame Relational Store インストレーションガイド』の RSMasterDB の構築手順に、ssh-keygen コマンドと ssh-copy-id コマンドを用いた ssh の自動ログインの設定手順があります が、EC2 で IRS を構築する際はこの手順は行えません。
AWS では、EC2 インスタンスを作成した直後に EC2 インスタンスに対して直接ログインす ることができるユーザはec2-user に限定されています。そのため、ec2-user 以外のユーザは ssh-copy-id コマンドを使って ssh の自動ログイン設定を行うことができません。そこで、以 下の手順で設定を行ってください。
以下の例では、EC2 インスタンス A から EC2 インスタンス B に対して、root ユーザ同士の 自動ログイン設定を行うための手順を記載します。 1. [EC2 インスタンス A] ec2-user ユーザでログインする 2. [EC2 インスタンス A] root ユーザに変更する $ sudo su -3. [EC2 インスタンス A] root ユーザで鍵を作成する # ssh-keygen -t rsa 以降の説明では、ここで作成した鍵のファイル名を“id_rsa.pub”とします。
4. [EC2 インスタンス A] 作成した id_rsa.pub を EC2 インスタンス B の ec2-user ユーザに 転送する
# scp -i <ec2.pem> /root/.ssh/id_rsa.pub ec2-user@<hostname>:
ec2.pem ローカル環境からEC2 インスタンスへのログインに使用する鍵。EC2 インスタン ス作成時に指定したもの。 hostname EC2 インスタンス B のホスト名。 5. [EC2 インスタンス B] ec2-user ユーザでログインする 6. [EC2 インスタンス B] root ユーザに変更する $ sudo su -第3 章 注意事項
7. [EC2 インスタンス B] EC2 インスタンス A から転送した鍵の内容を authorized_keys に追記する
# cat /home/ec2-user/id_rsa.pub >> /root/.ssh/authorized_keys
この手順を実行することで、EC2 インスタンス A から EC2 インスタンス B に対する root ユーザの自動ログインが可能になります。
同様の手順で、RSMasterDB 管理スクリプトを実行するマシンから RSMasterDB を構成する リモートノードに対するssh の自動ログイン設定を行ってください。
3.2 IP アドレスとホスト名
3.2.1 Private IP アドレスと Private Hostname
EC2 で作成した EC2 インスタンスを起動すると、自動的に Private IP アドレスと Private Hostname が割り当てられます。これらは、EC2 インスタンス同士の通信に使用します。 以下のIRS のコンフィグファイルには IP アドレスとホスト名を指定する箇所があります が、ここで指定するIP アドレスとホスト名には、この Private IP アドレスと Private Hostname を指定してください。 • jms-jndi.properties • rsmasterdb.properties • partiqle.properties • server.properties • rs-servers.xml • cluster.xml • partiqlecluster.xml • RSMasterDB 構築時の rolelist また、AWS を使用する場合、名前解決に /etc/hosts を使用してください。
その際、Private Hostname は末尾の“.localdomain”の有無が EC2 インスタンスの起動のたび に変わるので、/etc/hosts に追加するホスト名は“.localdomain”があるものとないものの両 方を記載してください。 以下に /etc/hosts の記載例を示します。 127.0.0.1 localhost.localdomain localhost ::1 localhost6.localdomain6 localhost6 175.1.1.1 ip-175-1-1-1 ip-175-1-1-1.localdomain 175.1.1.2 ip-175-1-1-2 ip-175-1-1-2.localdomain 175.1.1.3 ip-175-1-1-3 ip-175-1-1-3.localdomain 第3 章 注意事項
175.1.1.4 ip-175-1-1-4 ip-175-1-1-4.localdomain ...
3.2.2 Public Hostname
Public Hostname は、AWS 外部のマシンと EC2 インスタンスとの通信に使用します。 たとえば、オンプレミス上の管理コンソールから構成管理サーバに接続する場合に指定して ください。
3.3 搭載メモリが少ない EC2 インスタンスの使用
『InfoFrame Relational Store インストレーションガイド』に記載の必要メモリサイズに満たないEC2 インスタンスを使用する場合は、以下の点にご注意ください。
m1.small
• 1 つの EC2 インスタンス上で動作させる IRS のインスタンスは 2 つまでとする。 • limits.conf の memlock パラメータに設定する値は 1.4GB とする。
m1.xlarge
• 『InfoFrame Relational Store インストレーションガイド』に従って設定する。
第
4 章
設定手順
本項では、IRS を構築する上で必要な AWS 環境特有の設定について説明します。
IRS 自体の構築手順は、『InfoFrame Relational Store インストレーションガイド』をご参照く ださい。
4.1 VPC の設定
4.1.1 VPC の作成
IRS では、EC2 インスタンスの Private IP アドレスを固定するために VPC を利用します。 “Asia Pacific (Tokyo)”などのリージョンでは、あらかじめデフォルト VPC が設定されてい
ます。デフォルトVPC が設定されているリージョンを利用する場合、VPC の作成は省略す ることができます。
デフォルトVPC が設定されていないリージョンを利用する場合は、IP アドレスを固定する ためにVPC を 1 つ作成してください。
VPC は、AWS Management Console で [VPC] を選択して VPC Management Console を開いた 後、[Start VPC Wizard] から作成できます。
4.1.2 サブネットの作成
EC2 インスタンスが属するサブネットの設定を行います。 「4.1.1 VPC の作成（8 ページ）」でデフォルトVPC の利用を選択した場合は、デフォルトサ ブネットが既に設定されています。デフォルトサブネットを利用する場合、サブネットの作 成を省略することができます。 デフォルトVPC を使用しない場合は、「4.1.1 VPC の作成（8 ページ）」で作成したVPC に サブネットを1 つ作成してください。サブネットは、VPC Management Console で [Subnets] を選択した後、[Create Subnet] から 作成できます。 IRS を動作させる EC2 インスタンスは、すべてこのサブネット内に配置してください。
4.1.3 DNS ホスト名の有効化
デフォルトVPC を利用している場合、DNS ホスト名はあらかじめ有効になっているため、 この手順は不要です。 第4 章 設定手順「4.1.1 VPC の作成（8 ページ）」でVPC を作成している場合は、DNS ホスト名が有効になっ ていることを確認してください。
DNS ホスト名が有効かどうかの確認は、VPC Management Console において「4.1.1 VPC の 作成（8 ページ）」で作成したVPC を選択し、以下の 2 つのチェックボックスを確認します。
• Enable DNS resolution.
• Enable DNS hostname support for instances launched in this VPC.
いずれかのチェックボックスのチェックがはずれている場合、DNS ホスト名が無効になっ ています。DNS ホスト名が無効状態の場合は、両方のチェックボックスをチェックし、DNS ホスト名を有効にしてください。 図4-1 DNS ホスト名の有効化
4.1.4 セキュリティグループの設定
セキュリティグループは、EC2 インスタンスに対するファイアウォールとして動作します。 構築の際は、利用するIRS の機能ごとに適切なセキュリティグループを指定してください。 ただし、明確にセキュリティグループを分ける必要がない場合は、単一のセキュリティグ ループにすべてのEC2 インスタンスを含んでもかまいません。業務内容にあわせてセキュ リティグループを設定してください。セキュリティグループは、VPC Management Console で [Security Groups] を選択した後、 [Create Security Group] から作成します。
「図1-1 AWS 上での IRS 構築イメージ（2 ページ）」では、4 種類のセキュリティグループ をIRS の機能ごとに設定しています。それぞれのセキュリティグループの意味は次の通り です。
Security Group 1 (必須) IRS の全サーバが属する必要のあるセキュリティグループ。 Security Group 2 IRS の管理コンソール用セキュリティグループ。 管理コンソールをデプロイした構成管理サーバと、WEB ブラウザ経由で管理コンソー ルにアクセスするマシンを含みます。
「図1-1 AWS 上での IRS 構築イメージ（2 ページ）」のGUI は、WEB ブラウザを用いて 管理コンソールに接続する外部マシンを表しています。 Security Group 3 Hadoop 連携機能、ローダ機能(mapreduce モード)用セキュリティグループ。 構成管理サーバを除くIRS の各種サーバに加え、Hadoop クラスタを構成する全ての EC2 インスタンスを含む必要があります。 Security Group 4 クライアントからのSQL 実行用セキュリティグループ。 Partiqle サーバとクライアントが動作する EC2 インスタンスを含みます。
4.1.4.1 IRS サーバ間のグループ設定
Security Group 1 は IRS のサーバが相互に通信するために必要なセキュリティグループで、設 定が必須です。IRS のサーバを構成するすべての EC2 インスタンスが属する必要がありま す。
EC2 では、EC2 インスタンス同士ですべてのポート接続が許可された、default グループがあ らかじめ用意されています。Security Group 1 では、EC2 インスタンス作成時にこの default グループを設定します。 このセキュリティグループに含むマシンは次のとおりです。 • 構成管理サーバ • Partiqle サーバ • トランザクションサーバ • ストレージサーバ
4.1.4.2 管理コンソールの利用
Security Group 2 は、IRS の管理コンソールを利用するためのセキュリティグループです。 管理コンソールは構成管理サーバとの通信を必要とします。
環境にあわせて、適切なセキュリティグループを設定してください。 このセキュリティグループに含むマシンは次のとおりです。
• 構成管理サーバ
• 管理コンソールを利用する AWS 外部のマシン
4.1.4.3 Hadoop 連携およびローダ機能(mapreduce モード)の利用
Security Group 3 は、Hadoop 連携機能およびローダ機能(mapreduce モード)を利用するための セキュリティグループです。Hadoop 連携機能およびローダ機能(mapreduce モード)では、Hadoop クラスタと Partiqle サー バ、ストレージサーバ、トランザクションサーバが通信できる必要があります。 環境にあわせて、適切なセキュリティグループを設定してください。 このセキュリティグループに含むマシンは次のとおりです。 • Partiqle サーバ • ストレージサーバ • トランザクションサーバ • Hadoop クラスタ
4.1.4.4 SQL 実行
Security Group 4 は、SQL 実行のために必要なセキュリティグループです。 SQL を実行するクライアントは、Partiqle サーバとの通信を必要とします。 環境にあわせて、適切なセキュリティグループを設定してください。 このセキュリティグループに含むマシンは次のとおりです。 • Partiqle サーバ • SQL を実行するクライアント4.2 EC2 インスタンスの設定
4.2.1 EC2 インスタンスの作成
EC2 インスタンスは、AWS Management Console で [EC2] を選択して EC2 Management Console を開いた後、[Launch Instance] から作成できます。
EC2 インスタンスを作成する際は、次の点に注意してください。
• サブネットは、IRS を動作させるすべての EC2 インスタンスで「4.1.2 サブネットの作 成（8 ページ）」で作成したものを選択する。
• セキュリティグループは、EC2 インスタンスごとに担当する機能に合わせて「4.1.4 セ キュリティグループの設定（9 ページ）」で作成したものを選択する。
• Public Hostname が必要な場合は、チェックボックス [Automatically assign a public IP
address to your instances] をチェックする。
図4-2 Public Hostname の有効化
4.2.2 ストレージの設定
4.2.2.1 ストレージの種類
EC2 には、次の 2 種類のストレージ(補助記憶装置)があります。 インスタンスストレージ EC2 インスタンスの使用料金内で使えるストレージ。EC2 インスタンスを停止すると、 書き込まれたデータも消去される。 EBS 利用にはEC2 インスタンスの使用料金とは別に課金が必要。EC2 インスタンスを停止 してもデータは削除されず、保持される。 インスタンスストレージを使用した場合、障害時など予期せずEC2 インスタンスが停止し た際にデータがロストします。EBS は EC2 インスタンスが停止してもデータを保持し続けることができるため、IRS では EBS を利用します。
4.2.2.2 EBS のマウント
EBS は任意のタイミングで追加することができます。本項では EC2 インスタンス作成時に EBS を追加する方法を説明します。 以下の手順でEBS を /opt にマウントしてください。 1. EC2 インスタンス作成時、デバイスに EBS を追加する。 図4-3 EBS の追加 容量はGiB 単位で指定できます。 ストレージは /dev の下に xvd**といった名前で追加されます。“**”の部分は追加した ストレージの数などによって変わるので、環境にあったものを選択しマウントしてく ださい。(root デバイスが /dev/xvda1 で登録されているので、/dev/xvdb 以降のものから 選択)2. 作成した EC2 インスタンスにログインし、ext4 で EBS をフォーマットする。
# mkfs -t ext4 /dev/xvdb
3. フォーマットした EBS を /opt にマウントする。
# mount -t ext4 /dev/xvdb /opt
IRS のインストール物件や立ち上げた IRS サーバのデータが /opt の下に作成されま す。
4.2.3 /etc/hosts の設定
名前解決のために /etc/hosts に設定する IP アドレスやホスト名は、EC2 インスタンスの初回 起動時にEC2 インスタンスに対して自動的に設定されます。
/etc/hosts の設定の詳細については、「3.2.1 Private IP アドレスと Private Hostname（6 ペー ジ）」をご参照ください。
4.2.4 limits.conf の設定
EC2 インスタンスに m1.small を使用する場合、limits.conf の memlock パラメータの値を調整 する必要があります。詳細は「3.3 搭載メモリが少ない EC2 インスタンスの使用（7 ペー ジ）」をご参照ください。
4.3 IRS のインストールと設定
IRS 自体のインストール手順については、『InfoFrame Relational Store インストレーションガ イド』をご参照ください。
IRS のインストール後、IRS のコンフィグファイルに各 EC2 インスタンスに割り当てられて い る IP ア ド レ ス と ホ ス ト 名 を 設 定 す る 必 要 が あ り ま す 。 設 定 の 詳 細 に つ い て は 、
「3.2.1 Private IP アドレスと Private Hostname（6 ページ）」をご参照ください。
