JobCenterの構成

JobCenter のインストールはリリースメモを参照して行ってください。

JobCenter のインストールが正しくできたら、次に JobCenter 環境の構築を行います。

JobCenter 環境の構築は、まず各サイトの運用に応じて各キューの構成を設計して、それらを実 際に定義します。これらのキューの定義はスーパーユーザもしくはJobCenter管理者が行います。

ここで説明するのは JobCenter の構成を設計する場合に考慮すべき点や参考例の紹介です。それ を元に、自分のサイトに合わせて設計するようにしてください。

5.1.1. JobCenterキューの構成

まず JobCenter キューの構成について説明します。JobCenter キューには以下の3つのタイプが あります。

バッチキュー バッチリクエストを投入するためのキュー

パイプキュー ほかのキューへリクエストを転送するためのキュー ネットワークキュー 実行結果ファイルを転送するためのキュー

キューはタイプごとに構成を考える要因が異なります。以下、タイプごとに説明します。

5.1.1.1. バッチキュー

バッチキューは、バッチリクエスト (ジョブと呼ぶ場合もあります) を処理するキューで JobCenter の最も基本的なキューです。JobCenter では複数のバッチキューを作成できます。作 成できるキューの数に関する制限はありませんが、あまり多く作成するのは運用を複雑にするだ けでしょう。

バッチキューの構成を考えるうえでの第一の要因は、資源制限と同時実行可能数による分類で す。資源を多量に消費するバッチリクエストが同時に多く流れると、システム全体の効率を落と してしまいます。例えば多量にメモリを消費するバッチリクエストが複数同時に実行されると、

カーネルによるスワップ処理が頻繁に行われオーバヘッドに費やされる時間が多くなり、システ ム全体の効率が低下してしまいます。逆に、あまり資源を消費しないバッチリクエストは複数同 時に実行してもオーバヘッドの増加はほとんどないため、複数同時に実行できるようにした方が システム全体の効率を上げることができるでしょう。

このように、実行するバッチリクエストの所要資源量とその同時実行可能数別に複数のバッチ キューを用意するやり方があります。

次の表はこのような観点でバッチキューを設計した例です。優先度はバッチキュー間の優先度で あり、 JobCenter の優先度の高いバッチキューから順に次に起動すべきバッチリクエストを探し ます。

表5.1 バッチキューの設定例1

優先度 資源制限量 同時実行可能数

小規模ジョブ用キュー 中 小 多（4）

中規模ジョブ用キュー 中 中 中（2）

大規模ジョブ用キュー 中 大 少（1）

表中の同時実行可能数の欄の括弧内の値は、同時実行可能数の例です。

資源制限による分類は、上記の表のように全体として大中小に分ける方法のほかに、資源制限の 内容によって分ける方法もあります。たとえば、メモリはあまり使わないが CPU時間を多く消費 するもの、 CPU 時間はあまり使わないが使用するファイルサイズが巨大なもの、といった分類で す。ただし、あまり細かくわけると逆にどのバッチキューを使用したらよいかわからないなど、

運用が複雑になってしまいます。最初はある程度大まかにわけ、後で特別なキューを追加してい くほうがよいでしょう。

バッチキューの構成を考える上での第二の要因は、各バッチキューを使用できるユーザによる分 類があげられます。これはたとえば一般のユーザが使用するバッチキューと特定のプロジェクト のユーザが使用するバッチキューをわけるような方法です。バッチキューは、通常だれでもバッ チリクエストを投入できますが、管理者によりバッチリクエストを投入できるユーザを制限でき ます。

次の表は上記の表5.1「バッチキューの設定例1」にJobCenter 管理者専用の緊急ジョブ用キュー と、特定プロジェクト用キューを追加したものです。

表5.2 バッチキューの設定例2

優先度 資源制限量 ユーザ制限 同時実行可能数

緊急ジョブ用キュー 高 無制限 JobCenter管理者 無制限

特定プロジェクト

キュー 中 大 特定プロジェクト 少（1）

小規模ジョブ用

キュー 中 小 なし 多（4）

中規模ジョブ用

キュー 中 中 なし 中（2）

大規模ジョブ用

キュー 中 大 なし 少（1）

実際の資源制限量や同時実行可能数の値は、各サイトにおけるシステム構成によって変わります ので、主記憶はどのくらい実装されているか、ファイルシステムの構成はどうなっているか、ど のようなバッチリクエストを実行することが多いかなどを考慮して決定してください。

JobCenter では、いくつかのバッチキューをひとまとまりにして全体としてバッチリクエストの 同時実行可能数を制限するキュー複合体を定義できます。たとえば、上記の例で特定プロジェク ト用キューと一般用の大規模ジョブ用キューには、大規模ジョブがそれぞれ 1 つずつ同時に実行 できるため、システムとしては同時に 2 個の大規模ジョブが実行できることになります。

しかしシステムとしてはせいぜい 1 個までしか大規模ジョブを同時に実行できない場合、特定プ ロジェクト用キューと大規模ジョブ用キューからなるキュー複合体を定義し、そのキュー複合体 の同時実行可能数を 1 個にすることにより、システムとしての大規模ジョブの同時実行を 1 つに制限できます。この時、特定プロジェクト用キューと大規模ジョブ用キューのどちらかに投 入されているバッチリクエスト数が 1 になると、たとえそのキューの同時実行可能数に余裕が あっても、それ以上のバッチリクエストは実行されません。

5.1.1.2. パイプキュー

パイプキューは、ほかのキューへリクエストを転送するキューです。パイプキューの用途は大き くわけて 3 つあります。

1. 資源制限などの条件により、リクエストをバッチキューの間で自動的に振り分ける 2. リクエストをリモートホスト上の特定のキューに転送する

3. 複数のホストで負荷を分散する

以下は代表的なパイプキューの使用例です。

表5.3 パイプキューの設定例 転送先

自動資源分けキュー 小規模ジョブ用バッチキュー

中規模ジョブ用バッチキュー 大規模ジョブ用バッチキュー 特定目的キュー ホスト1特定目的キュー 負荷分散キュー ホスト1自動資源分けキュー

ホスト2自動資源分けキュー ホスト3自動資源分けキュー

最初の自動資源分けキューは、転送先が資源制限の異なる 3 つのバッチキューとなっており、こ のパイプキューに投入すればユーザがいちいち自分でバッチキューを選択しなくても、適当な バッチキューが選択されるようになります。

2 つめの特定目的キューは特定ホストでしか実行できないリクエストをほかのホストから投入でき るようにするものです。

最後の負荷分散キューは複数の転送先ホストの中からパイプキューが適当なホストを選ぶことに よって、これらのホストの間で負荷分散を行います。

5.1.1.3. ネットワークキュー

ネットワークキューは結果ファイルを転送するためのキューで、その構成は転送先ホストによっ て決定されます。

Windows版JobCenterではネットワークキューはサポートしていません。

以下はこれらの代表的なネットワークキューの使用例です。

表5.4 ネットワークキューの設定例

優先度 転送先ホスト 同時転送可能数

ローカルホストLOC用キュー 高 LOC 無制限

リモートホストRMT1用キュー 中 RMT1 8

リモートホストRMT2用キュー 高 RMT2 4

転送先ホストに対応したネットワークキューが用意されていない場合、ネットワークジョブはデ フォルト・ネットワークキュー (キュー名: DefaultNetQue) に投入されます。このキューはバッ チジョブの結果ファイルをジョブの投入元ホストに出力するものです。

デフォルト・ネットワークキューは、転送先ホストに対応するネットワークキューを作成する前 や、ネットワークキューがなんらかの理由で投入を拒否されている場合に使用されます。

基本的にはローカルホストを含む各ホストのネットワークキューを用意していただくことによっ て、柔軟なスケジューリングが可能となります。