仮想マシン道しるべ：基幹サーバへの仮想化ソフトXenの適用

全文

(1)8. 連載. 基幹サーバへの仮想化ソフト Xenの適用小口芳彦. Enhancing Xen for Mission Critical Systems. ［. はじめに. ］. 富士通（株）. 1）ハイパーバイザは，ハードウェア（CPU，メモリなど）を直接管理する，Xen 独自のカーネルプログ. VMware，Xen に代表されるサーバ仮想化ソフトウェ. ラムである．小規模（コード量にして 100K 行以下）. アは急速に普及しはじめたが，いわゆる基幹システム（受. であり，必要最小限度の制御メカニズムを実装して. 発注や在庫管理など，企業の業務の根幹を担うシステム）. いる．. への適用はまだ少ない．また，これらの仮想化ソフトウ. 2）ホストは，Xen の動作に必須の仮想計算機（VM）. ェアは，x86 サーバを中心に発展した経緯から，基幹シ. であり，ドメイン 0（ゼロ）ともいう．この VM の. ステムで広く利用される IA64（Itanium）CPU を搭載. 上では，I/O カードを制御する実デバイスドライバ. したサーバへの適用はようやく開始されるところである．. や，ハイパーバイザと連携した仮想化の制御（たと. 本稿では，我々が，オープンソースの仮想化ソフトウ. えば，仮想計算機の起動や終了）を実現する Xen の. ェアである Xen を，IA64 CPU を搭載したサーバに移. コードが動作する．ホストは，Xen が稼働するサー. 植した経験をもとに，基幹サーバへの仮想化ソフトウェ. バに 1 つだけ存在する．. アの適用について解説する．まず，Xen について簡単. ホストの OS からは，実物のハードウェア（CPU. に説明した後，基幹サーバにおける Xen の課題を説明. やメモリなど）は見えず，ハイパーバイザにより仮. する．また，合わせて，その対処をとおして学んだオー. 想化されたハードウェアが見える（仮想 CPU，メモ. プンソースのコミュニティでの開発の実際を述べる．. リ）．この点では，ホストの OS も，次項で述べる. ［. Xen の概要. ］. ゲストの OS も同様である．ホストの OS としては，通常，Linux が利用されているが，他の OS（Solaris，. BSD 系 OS）での実装も行われている．. Xen はケンブリッジ大学で開発され，2003 年にオ. なお，ホスト上で一般のアプリケーションを動作. ープンソースとして公開された．その後，CPU ベンダ，. させることは可能だが推奨されない．これは，ホス. サーバベンダなど各社により機能・品質強化が進み，オ. ト OS の性能や安定性は，Xen 全体の性能や安定性. ープンソースの代表的な仮想化ソフトウェアとなった．. に影響するからである．このため，一部の Xen の製. 現在では，代表的な Linux ディストリビューションに取. 品では，ホストをユーザに見せないよう実装し，ユ. り込まれ，一般での利用も広まりつつある．たとえば，. ーザが誤ってアプリケーションをホスト上で動作さ. Novell 社の SLES10（SUSE Linux Enterprise Server 10），. せないよう工夫している．. Redhat 社の RHEL5（Red hat Enterprise Linux5）は，. 3）ゲストは，ユーザが業務を動作させる仮想計算機. それぞれ，2006 年，2007 年に Xen を取り入れている．. である．また，動作上は必須ではないが，I/O 性能. また，Linux ディストリビューションとは別に，Citrix 社，. を向上させるための仮想計算機用のドライバを動作. Sun 社，ORACLE 社など多くのソフトウェアベンダから，. させることが多い．. Xen を取り入れた仮想化ソフトウェア製品が発表され. ゲストの OS からは，ホストの OS と同様，ハ. ており，Xen はこれから本格的な普及を迎えると予想. イパーバイザにより仮想化されたハードウェア. される．. が見える．ゲストの OS として，Linux，Solaris，. Windows，BSD 系の OS が動作する．《 Xen の構成》. ゲストは，1 台の Xen が稼働するサーバで数 10. Xen は，ハイパーバイザ，ホスト，ゲストの 3 つの. ∼ 100 台程度動作させることができる．ただし，満. 部分から構成される（図 -1）．. 足な性能で稼働できるゲスト数は，サーバの資源情報処理 Vol.49 No.3 Mar. 2008. 321.

(2) 連載. ホスト. ゲスト. 運用管理ツール. 管理操作. アプリケーション. ホストOS 実デバイスドライバ. バックエンドドライバ. ゲストOS 仮想メモリ CPU. フロントエンドドライバ. CPU スケジューラ. ディスクネットワーク. CPU. メモリ管理. 仮想 CPU. メモリ. ハイパーバイザ. メモリ. ハードウェア. 図 -1 Xen の構成. （CPU コア数，メモリ量），ゲストで実行するアプリケーションに依存する．一般的なゲストの場合，目安としては，4 ∼ 8 台／ CPU コア程度である．. ● PVドライバ. ゲストの I/O 性能向上のため，仮想計算機上でのみ動作する仮想的なデバイスのドライバを，PV ドライバ（Paravirtual driver）という．PV ドライバは，ゲスト上. 《準仮想化と PVドライバ》. で動作するフロントエンドドライバとホスト上で動作す. ゲスト OS はそのままでも動作するが，Xen に対応す. るバックエンドドライバが連携して動作する．. る最適化を実施することにより性能が大幅に向上する．. 代表的な PV ドライバとして，ブロックデバイス. ● 準仮想化と完全仮想化. （VBD），ネットワークデバイス（VNIF）がある．さらに，. ゲスト OS のカーネルに手を加え，ハードウェア（実. 基幹系用途に向けて，SCSII デバイス（ゲスト OS から，. メモリを管理するページテーブル，割り込み制御など）. SAN のストレージ装置等を制御するために必要なドラ. の制御を，ハイパーバイザに適合するよう最適化するこ. イバ）など，新たな PV ドライバも開発中である．. とを準仮想化（Para Virtualization）という．これに対し，ゲスト OS をそのままで動作させることを完全仮想化という．完全仮想化は，ハードウェアの仮想化支援機. 《 Xenの開発コミュニティ》. Xen の開発は，Linux 等の他のオープンソースプロジ. 構（Intel の VT，AMD の SVM）を必要とする．. ェクトと同様，コミュニティで進められる．コミュニテ. 準仮想化は，仮想計算機用に特別なカーネルを必要と. ィの主体は，開発者が参加するメーリングリストである．. し，実計算機，仮想計算機が混在する場合，運用管理の. 開発者は，ここに修正コードを投稿し，他の開発者のレ. 負担が大きくなる．特に，基幹システムでは，仮想計算. ビュー，議論を経た上で，最終的にメンテナーと呼ばれ. 機から実計算機への移行（開発から本番業務への移行，. る技術責任者が修正を了解すれば，正式なコードとして. 処理能力拡大のための移行など），あるいは実計算機か. 登録（コミット）される．. ら仮想計算機への移行（サーバ統合など）が必要となる. Xen の開発コミュニティの規模，すなわち実際にコ. ため，仮想計算機と実計算機で共通のカーネルが利用で. ードの作成やテストを実施している開発者は，200 名. きる完全仮想化が適している場合が多い．. 以上にのぼる．これだけのメンバすべてが Xen 全体に. なお，Linux については，準仮想化であっても共通の. かかわることはできないので，技術分野に応じて，いく. カーネルを利用できる仕組みを開発中であり（カーネル. つかのサブコミュニティが緩やかに形成されている．た. が実行時に，準仮想化，完全仮想化を切り分ける），こ. とえば，IA64 に関する修正であれば，専任のメンテナー，. れが完了すれば，ユーザが特別の意識をせずに，準仮想. メーリングリストからなる 10 ∼ 20 人規模のサブコミ. 化を利用できるようになる見込みである．. ュニティが形成されている．この規模になると，メンバ同士で，名前はもちろん，技術，所属組織の利害，さら. 322. 情報処理 Vol.49 No.3 Mar. 2008.

(3) 8 には性格の特徴までも見えてくるので，メーリングリストでの議論もスムーズに進行する．. ［. 基幹サーバへのXenの適用. • 保守性基幹システムでは，万一障害が発生した場合，数時間から 1 日程度で，原因を解明して障害. ］. 回避や修正適用をする必要がある．しかし，業務中に発生する障害は特殊なタイミングで発生するものが多く，再現テストが困難であり，迅速な障害調査のため. 富士通では，IA64 を搭載した PRIMEQUEST という基. に，障害発生時のダンプ情報（メモリや CPU のレジ. 幹サーバをラインアップしており，このサーバへの適用. スタの内容）を採取する機能が必須である．. を念頭に，2005 年末より，Xen の開発に参加した．この経験を元に，基幹サーバへの Xen 適用の課題と対処を説明する．. • 可用性たとえ障害が発生した場合でも，障害によるシステムの停止時間を極力，少なくすることが重要. である．可用性の向上のために，障害後にサービスを迅速に復旧するクラスタ化や，障害が顕在化する前に. 《コミュニティでの開発》. 故障部品を交換する予防保守等の手段が重要である．. 当初，我々のメンバは数名で，かつ，全員がこのようなコミュニティでの開発という経験はなかった．しかも，Xen はもちろん Linux の知識も乏しいまま. 《 Xenの基幹システムへの適用》. 本格的な開発に着手すると，これらのポイントに照ら. 開発を開始した．このため，まず，Xen の理解に加え，. して，直ちにいくつかの課題が明らかになった．以下に，. コミュニティに溶け込むことを第一目標とした．. これらの課題，対処を示す．. そこで，パッチのテスト，README の作成など，あ. • 性能 PV ドライバによる I/O 性能の向上. まり技術力は必要ないが，コミュニティでは人手が足ら. Xen 上で，I/O 性能を確保するには，PV ドライバが. ずに後回しにされていた作業を進んで実行することより，. 必須である．我々が開発に参加した当時，Xen のコミ. コミュニティの信頼を得ることに努め，1 ∼ 2 カ月ほど. ュニティには，x86 Linux 用のブロックデバイス，ネッ. で目標を達成することができた．. トワークデバイスドライバしか存在しなかったため，そ. この過程で，技術力と同等に，コミュニケーション能. れらを，IA64 に移植した．また，業務利用で要望が高. 力が大事であることを学んだ．コミュニティでの決定は，. い Windows 用の PV ドライバも新たに開発した．. 技術的な評価に加え，メンバ個人の技術的な関心，さら. さらに，現在，SAN ストレージ装置やテープ装置が. にはメンバの所属組織の利害など，さまざまな観点から. 持つ機能をゲストから制御するための SCSI PV ドライ. 決まっていく．これらの決定に影響を及ぼし，さらにリ. バの開発も進めている．これを利用すれば，たとえば，. ードしていくには，調停や交渉能力を含む幅広い，コミ. ゲストから，データベース処理中のオンラインバックア. ュニケーション能力が必要となってくる．この重要性に. ップなどの SAN ストレージ装置の機能が利用可能とな. 気づいて以降，我々は技術力に加え，コミュニケーショ. り，基幹データベース業務への適用も可能になってくる．. ン能力の強化に努めてきた．. • スケーラビリティ大規模メモリへの対応. IA64 のように大規模なメモリを搭載するサーバでは，《基幹システムの要件》. メモリアドレスが不連続となる領域（メモリホール）が. 仮想計算機を基幹システムに適用するには，品質（プ. 生じる場合がある．特にデータベース用途に利用する場. ログラムに障害がないこと）はもちろん重要だが，それ. 合には，大量のメモリが必要である．それまでの Xen. に加えて，以下の点がポイントになる．. では，中小規模向けの開発が主流であったこともあり，. • 性能一般に業務用途システムでは，DB やログフ. メモリホールのような大規模メモリ固有のメモリ管理に. ァイルへのアクセス等，I/O 性能がボトルネックにな. ついては考慮されていなかった．そこで，IA64 向けに. ることが多い．さらに，仮想計算機システムでは，個々. メモリ管理方式を作り替え，メモリホールを正しく扱う. の I/O 処理にハイパーバイザ，ホスト OS が介入する. ことで大規模メモリを利用できるようにした．これによ. オーバヘッドが生じるため，I/O 性能の確保が重要で. り，たとえば，PRIMEQUEST では，ホスト，ハイパー. ある．. バイザおよびゲスト合わせて最大 2T バイトのメモリを. • スケーラビリティ一般に仮想計算機は，開発や小規模の業務で使われるなど，CPU やメモリの負荷は小. さいことが多い．しかし，業務の拡大により，これら. 利用することが可能となった．. • 保守性障害調査能力の向上. 当初，Xen はゲストのダンプを採取できたが，ハイ. の使用量が増えたときに，システムの制約なく，拡大. パーバイザやホストのダンプを採取する手段がなく，こ. できることが，利用者に安心感を与える．. れらのダンプ情報採取と解析機能を開発した．この機能情報処理 Vol.49 No.3 Mar. 2008. 323.

(4) 連載. 運用環境. IA64 用の Xen では，MCA により通. 解析環境. ホスト. 知されたエラーをホスト OS で記録す. ゲスト. る機能を開発した．これにより，たとえば自動修復されたハードウェア障害. クラッシュ. が発生している場合には，深刻な障害ダンプ採取機能. •kexec/kdump •sadump (PRIMEQUEST用). ダンプ解析機能 •crash. Linux. ハイパーバイザ. ダンプ情報. が発生する前に該当個所を予防保守する対処が可能になる．. ［. 今後の展望. ］. x86 を含め，基幹システムへの Xen. ゲスト. の適用は開始されたばかりであり，現. ホストハイパーバイザ. 在でも，活発に強化が進められている．我々も，前述した PV SCSI ドライバに加え，着実な品質強化（検証テ. 図 -2 Xen のダンプ採取の仕組み. スト，バグ修正），安定した I/O 性能は，Linux の標準ダンプ機能を拡張する形で開発してい. を保障するための QoS 機能，安心して複数の部門や組. るため，開発を迅速にできただけでなく，Linux の障害. 織の VM を管理できるためのセキュリティ機能などの. 解析ノウハウの活用も可能としている（図 -2）．. 開発を進めており，これらを Xen コミュニティをとお. （1）ダンプ情報採取機能. Linux の標準的なダンプ情報採取機能の 1 つである. して，順次公開していく予定である．これにより，Xen の基幹システムへの適用が促進されることを願っている．. kexec/kdump の機能を拡張し，ホストおよびハイパーバイザのクラッシュ時にもダンプ情報として，メ. 謝辞本稿で紹介した富士通の開発・研究の一部は，. モリ，レジスタをディスクに採取できるようにした．. セキュア・プラットフォームプロジェクトの一環で実施. また，障害調査に必要なメモリだけを採取するこ. している．このプロジェクトは，安全な次世代サーバ統. とにより，ダンプ採取時間を短縮する部分ダンプ採. 合環境を実現するため，経済産業省の委託を受け，技術. 取機能を開発した．サーバの搭載メモリが数 10GB. 研究組合超先端電子技術開発機構が進めているもので. ともなると，すべてのメモリダンプを採取するには，. ある．. 数分∼数十分の時間を要するが，開発した部分ダンプ採取機能により，搭載メモリ量にかかわらず，数十秒程度でダンプ採取が完了できるようになった．（2）ダンプ情報解析機能. （編集者追記）次回は，x86/x86-64 アーキテクチャ上の Linux にホスト型仮想マシン環境を構築する Kernel-based Virtual. 障害の原因解析に当たって用いるダンプ情報解析. Machine（KVM）の，完全仮想化環境およびゲスト OS. ツールとしては，Linux の標準的なダンプ情報解析. の一部に改変を行う凖仮想化環境について解説する．. ツールである crash を拡張した．crash にはこれまで. また，KVM の広域ネットワーク・テストベッドの基. Xen の制御構造（ドメインや仮想 CPU の情報など）. 盤技術への応用例として，オーバレイネットワーク・テ. やトレース情報などを解析する機能がなかった．そ. ストベッドである PlanetLab の拡張への期待を紹介する．. こで，ダンプ情報の中に含まれるドメインの情報や仮想 CPU，トレース情報などを切り分けて解析する機能を追加した．障害発生時の OS の情報だけでなく，. Xen の制御構造を併せて解析することで効率的な原因究明が可能となる．. 参考文献 1）http://www.xen.org：オープンソース Xen プロジェクト． 2）The Definitive Guide to the Xen Hypervisor (Prentice Hall 2007/11) Xen ハイパーバイザの詳細技術解説． 3）http://spf.jeita.or.jp：セキュア・プラットフォーム推進コンソーシアム． 4）http://www.virtualization.info：VM 製品，技術動向．（平成 19 年 12 月 18 日受付）. • 可用性の強化マシンチェック（MCA）への対応. IA64 が備える可用性機能の 1 つに，マシンチェック. （MCA）がある．これはハードウェアで障害が検出された場合に，その修復を試みるとともに情報をソフトウェアに通知し，適切な対処を行うための機能である．. 324. 情報処理 Vol.49 No.3 Mar. 2008. 小口芳彦 y-oguchi@jp.fujitsu.com 1988 年東京大学理学部物理学科卒業．同年，富士通（株）に入社し， OS，仮想化ソフトウェアの研究開発に従事．現在は，Xen を中心としたオープンサーバの仮想化ソフトウェア開発を担当．.

(5)