PowerPoint Presentation

(1)

Oracle Solaris 11における

システム、ネットワーク、ストレージの仮想化機能

Oracle Solaris 11 テクニカル・ディープ・ダイブ

日本オラクル株式会社

(2)

以下の事項は、弊社の一般的な製品の方向性に関する概要を説明するものです。

また、情報提供を唯一の目的とするものであり、いかなる契約にも組み込むことは

できません。以下の事項は、マテリアルやコード、機能を提供することをコミットメン

ト（確約）するものではないため、購買決定を行う際の判断材料になさらないで下さ

い。オラクル製品に関して記載されている機能の開発、リリースおよび時期につい

ては、弊社の裁量により決定されます。

OracleとJavaは、Oracle Corporation 及びその子会社、関連会社の米国及びその他の国における登録商標です。

文中の社名、商品名等は各社の商標または登録商標である場合があります。

(3)

Oracle Solaris 11の仮想化機能

• クラウド基盤に求められるもの

– サービスの分離・隔離

– 仮想化されたインスタンスと、柔軟なリソースコントロール

– 容量管理

• 現在のコンピューティング環境においては、もはや物理的な

構成で満たすことができなくなってきている

• 仮想化の機能が必要不可欠に

クラウドの為に設計された仮想化機能

(4)

(5)

(6)

システムの仮想化

“Solaris Zones”

• 単一システム上に複数の

隔離されたランタイム環境

を提供する機能

• ゾーンは大きく 2 種類に区分



大域ゾーン (global zone)

• オペレーティングシステムの実体



非大域ゾーン (non-global zone)

• 大域ゾーン上で動作するアプリケーション

実行環境

• 大域ゾーンとカーネルを共有

• 非大域ゾーン間は完全に隔離

• 最大 8192 個 (大域ゾーン含む) 作成可能

組み込まれた仮想化機能

zone01

zone02

zone03

n

e

t0

:1

z

co

n

s

/u

sr

ゾーン管理 (zonecfg, zoneadm, zlogin, etc)

zoneadmd

n

e

t0

:2

/d

a

ta

/u

sr

n

e

t1

/d

a

ta

/usr

C C C C

V

irtual

P

la

tf

or

m

/d

a

ta

z

co

n

s

z

co

n

s

(7)

システムの仮想化

“Solaris Zones”

• Oracle Solaris Zones がより進化

– IPS の柔軟性を利用したソフトウェア管理

– NFS サーバ機能をサポート

– 特定のユーザへ管理権限を委譲可能

– 排他的 IP ゾーンがデフォルトに

– Oracle スタックをフルサポート

• ライセンスは、ハードウェアパーティション扱い

– Oracle Solaris 10 Zones をサポート

• アプリケーションを動作させる標準環境

としての実績は十分

(8)

8 ネットワークの仮想化

“Crossbow”

• クラウドのために設計されたネットワーク

機能

– 仮想化によるネットワーク基盤の統合

• NIC, スイッチの仮想化

– 費用の削減をソフトウェアで実現

– 容易にネットワークのテスト環境を構築可能

• テストを繰り返すことで同時にクオリティも得られる

• 様々なネットワーク機能の統合

– ファイアーウォール(ipfilter)

– ルーター冗長化機能 (VRRP)

– 負荷分散機能(Integrated Load Balancer)

– ブリッジング機能(RBridge)

– IPMP機能の実装を刷新, etc…

(9)

ネットワークの仮想化

“Crossbow”

• ネットワーク資源管理の導入

– 帯域管理

– フロー管理

• 大きなネットワークパイプの分割

• アプリケーションのネットワーク・トラフィ

ックを保証可能に

• 意図しない帯域の占有からサービスを

保護

• 目的に沿ったサービスレベルを提供可

能に

ネットワークのリソース管理

(10)

ストレージの仮想化機能

“COMSTAR”

• ホストをSCSIターゲットデバイスに

• FibreChannel, Ethernet, InfiniBand を

利用してストレージを提供可能に

– iSCSI, iSER, FCoE, SRP など多数の

ストレージ・プロトコルをサポート

– Ethernet を利用した iSCSI Target を

構成するならば、追加コストなし

– ターゲットとして公開される領域にはZFS

を利用 (zvol)

– 何かで見たことが・・・

(11)

Oracle ZFS Storage Appliance

• Oracle ZFS Storage Applianceでは、

Solaris 11の技術が多数利用されている

– Solaris 11 そのものが動作しているわけではない

ことに注意が必要

Oracle Solaris 11の技術を応用した製品

全ての ZFSSA モデルで提供される基本機能:

全てのデータプロトコル: FC, iSCSI, IB, NFS, CIFS, WebDAV, etc.

高度なデータサービス: snapshot, dedup., compression, replication, etc.

• Sun Storage ZFS Appliance 7120

– Sun Fire X4270 M2

• Sun Storage ZFS Appliance 7320

– Sun Fire X4170 M2

• Sun Storage ZFS Appliance 7420

(12)

機能

Oracle Solaris 10

Oracle Solaris 11

システムの仮想化

Solaris Zones (Native)



Solaris Legacy Containers



_{Oracle VM for SPARCを利用し Solaris}

△

10 ゲストにて利用可能

Solaris 10 Zones

‐



Solaris 10 専用のブランドゾーンを提供

Oracle VM for SPARC



Solaris 10 ゲストのみサポート



Solaris 10, Solaris 11ゲストをサポート

ネットワークの仮想化

Crossbow

‐



New!

ストレージの仮想化

COMSTAR

‐



New!

Oracle Solaris 11の仮想化機能

(13)

Oracle Solaris 11の仮想化機能

• システムの仮想化 “Solaris Zones”

• ネットワークの仮想化 “Crossbow”

• ストレージの仮想化 “COMSTAR”

ORACLE

PRODUCT

LOGO

(14)

Oracle Solaris 11の仮想化機能

(15)

システムの仮想化

“Solaris Zones”

• 疎ルートゾーン (Sparse Root Zone)は廃止

• ブランドゾーン (Branded Zone)



Solaris 11 ネイティブではないオペレーティング環境

を含む非大域ゾーン



Solaris 10でサポートされているブランドゾーン

• native (SPARC/x86)

• solaris8, solaris9 (Solaris Legacy Containers,SPARC)

• lx (x86)

 Solaris 11でサポートされるブランドゾーン(下記 2 つのみ)

• solaris (SPARC/x86,

a.k.a. ipkg

)

• solaris10

(SPARC/x86,

追加ライセンスは必要なし

)

• Solaris 10 実環境からの P2V

非大域ゾーン種別

s10z

Solaris 10

s10z

(16)

システムの仮想化

“Solaris Zones”

• 移行方法

– 稼働しているシステム上でアーカイブを取得する

– サポートする形式: flar, cpio, pax xustar, ufsdump, directory

• flash archiveの取得例

Solaris 10 Zones

s10z

Solaris 10

s10z

#

flarcreate -S -n s10u8-zone -L cpio /net/target/export/s10u8-global.flar

Determining which filesystems will be included in the archive...

Creating the archive...

cpio: File size of "etc/mnttab" has

increased by 435

2068650 blocks

1 error(s)

Archive creation complete.

-S

ディスクスペース等の事前チェックを省略

-n

フラッシュアーカイブ名(任意の名前)

-L

アーカイブ形式

/net/target/….

アーカイブファイル名

• ZFS上に構成されている場合の注意点

• アーカイブ形式として、cpioかpaxを使用する.その他の形式では正常にインストールできない

• 指定がない場合はZFS datastreamとしてアーカイブされる為

(17)

システムの仮想化

“Solaris Zones”

• Immutable Zones （不変ゾーン)



読み取り専用のランタイム環境

 file-mac-profile

プロパティより設定

• none (defafult, 読み書き可能)

• strict

–

完全に読み取り専用

• fixed-configuration

–

/var/* ディレクトリへの更新のみを許可

• flexible-configuration

–

/root, /etc/* ディレクトリ内のファイルの変更、/var/* デ

ィレクトリへの更新を許可

–

Solaris 10 の疎ルートゾーンに近い

• ZFSの重複排除機能と組み合わせることで、疎ル

ートゾーンと同等のゾーンを構成可能

読み取り専用のゾーンをサポート

設定例: (flexible-configuration)

# zonecfg –z testzone

zonecfg:testzone> set file-mac-profile=flexible-configuration

zonecfg:testzone> commit

(18)

システムの仮想化

“Solaris Zones”

• 排他的 IP (Exclusive IP) ゾーンが標準のネットワークタイプに

– 物理/仮想インターフェース(VNIC)を割り当て

zone01

zone02

net0

net0:1

net0:2

zone03

net1

排他的 IP (Exclusive IP) ゾーン

共有 IP (Shared IP) ゾーン

 標準のネットワークタイプ



非大域ゾーンに物理/仮想インターフェー

スを割り当て



大域ゾーンと物理ネットワークを共有



非大域ゾーンに論理インターフェースを

割り当て

zone01

net0

zone02

vnic1

vnic0

(19)

システムの仮想化

“Solaris Zones”

• 仮想インターフェースは自動生成



非大域ゾーン起動時にテンポラリ仮想

インターフェースを自動生成



Crossbow機能との連携



自動的にインターフェースを構成

 ゾーン起動時にのみ作成される

 ゾーンがシャットダウンされると

インターフェースは消滅



anet リソースより設定

ネットワークの仮想化 “Crossbow”との連係

設定例: (flexible-configuration)

# zonecfg –z testzone

zonecfg:testzone> add anet

zonecfg:testzone:anet> end

※VNICを作成する物理インターフェースを自動選択する場合

# zoneadm –z zone01 boot

# dladm show-vnic

LINK

OVER

SPEED …

zone01/net0

net0

1000

…

# zoneadm –z zone01 halt

# dladm show-vnic

(20)

システムの仮想化

“Solaris Zones”

• zoneadm (1M) にて shutdown サブコマンドをサポート



zoneadm コマンドからゾーンのgraceful shutdown が可能に

• zonestat (1)



非大域ゾーン監視コマンド

管理コマンド

$ zonestat 1

Collecting data for first interval...

Interval: 1, Duration: 0:00:01

SUMMARY Cpus/Online: 4/4 PhysMem: 8118M VirtMem: 9.8G

---CPU---- --PhysMem-- --VirtMem-- --PhysNet--

ZONE USED %PART USED %USED USED %USED PBYTE %PUSE

[total] 0.79 19.8% 4706M 57.9% 5796M 57.4% 190 0.00%

[system] 0.00 0.00% 3277M 40.3% 4390M 43.4% - -

s11zone-clone-01 0.59 14.8% 39.2M 0.48% 40.7M 0.40% 126 0.00%

global 0.19 4.93% 1279M 15.7% 1201M 11.8% 64 0.00%

s10u9 0.00 0.04% 110M 1.35% 164M 1.62% 0 0.00%

(21)

ゾーン管理

• 大域ゾーンとして動作する Solaris 10および

Solaris 11 を非大域ゾーンとして集約可能

P2V マイグレーション

s10p2v

Solaris 10

Solaris 11

s11p2v

global

# zonep2vchk

# zonep2vchk –cT S11 > s11p2v.cfg

# beadm create s11p2v

# beadm mount s11p2v /mnt

# cd /mnt

# find . | cpio –ocm > /root/s11p2v.cpio

global

# zonecfg –z s11p2v –f ./s11p2v.cfg

# zoneadm –z s11p2v install –a /root/s11p2v.cpio -u

# zoneadm –z s11p2v boot

1. 構成ファイルの

作成

2. OS イメージの

作成/コピー

3. 非大域ゾーンと

してデプロイ

(22)

ゾーン管理

• サーバ間で非大域ゾーンを移動可能

V2V マイグレーション

zone01

zone02

1. 非大域ゾーンの

デタッチ

2. OS イメージの

コピー

3. 非大域ゾーンの

アタッチ

global

# zoneadm –z zone01 shutdown

# zoneadm –z zone01 detach

# zfs snapshot zones/zone01@snap

# zfs send zones/zone01@snap > zone01.img

global

# zfs recv zones/zone01 < zone01.img

# zonecfg –z zone01 create –a /zones/zone01

# zoneadm –z zone01 attach

(23)

システムの仮想化

“Solaris Zones”

• AI (Automated installer)を利用したゾーンのインストールをサポート

• beadm によるゾーンのブート環境管理をサポート

• Delegated Administration

– 特定のユーザ/ロールにゾーン管理の権限を委譲可能に

• 非大域ゾーンにアサインされた ZFS データセットは

仮想 ZFS プール

として認識

• 非大域ゾーンにアサインされた block/raw デバイスにてパーティション管理が可能

その他、ゾーンに関連する新機能

(24)

Solaris ゾーン

• 非大域ゾーンに block/raw デバイス

をアサイン

 allow-partition プロパティ

により、非大域

ゾーン管理者が format (1M) によるディス

ク管理が可能



マウントする場合は

fs-allowed プロパティ

に注意 (デフォルトは hsfs, nfs のみ許可)

デバイス (device)

zone01

c3t3d0

global

# zonecfg –z zone01 info device

device:

match: /dev/dsk/c3t3d0

allow-partition: true

allow-raw-io not specified

zone01

# ls /dev/dsk

c3t3d0p0

c3t3d0s0

…

c3t3d0p1

c3t3d0s1

…

c3t3d0p2

c3t3d0s10

…

c3t3d0p3

c3t3d0s11

…

(25)

ゾーン管理

• 特定のユーザ/ロールにゾーン管理の権限を委譲

Delegated Administration

global

# zonecfg -z zone01 info admin

admin:

user: guest

auths: login,manage

$ pfexec zoneadm -z zone01 boot

$ pfexec zlogin -C zone01

zone01

zone02

n

e

t0

:1

z

co

n

s

/u

sr

ゾーン管理 (zoneadm, zlogin)

zoneadmd

n

e

t0

:2

/d

a

ta

/u

sr

/d

a

ta

z

co

n

s

root

(26)

システムの仮想化

“Solaris Zones”

Virtual Clusters - Oracle Solaris Zones HA 構成

Zone

Cluster

HR Cloud

App

Zone

Cluster

Finance Cloud

App

Failover

Zone

Oracle VM

for SPARC

Physical Cluster

Zone Clusters

• 専用の Cluster ブランド・ゾーンによりサービス

やアプリケーションの保護を可能に

• HA-ZFS も Cluster ブランド内で利用可能

Failover Zone

• HA Solaris Containers エージェントにて

構成される

• Nativeブランドに加えSolais 8/9 ブランド

ゾーンをサポート

• ゾーンをリソースとして扱いゾーン自体の

起動、停止、監視を提供

• zonepathは共有ディスク上に配置される

(27)

システムの仮想化

“Solaris Zones”

Oracle Solaris 11 Zones, Oracle VMでスムースな移行を

• 容易かつスムースな移行が可能

• 一度、OVM for SPARCもしくはOVM for ｘ８６の環境に移行することで

ライブマイグレーションが可能

Solaris 10

Live

Migrate

S10 Zone

Solaris 11

Oracle VM

S11 Zone

S10 Zone

Solaris 11

S10 Zone

Oracle VM

S11 Zone

v2v

Solaris 10

p2v

S10 Zone

(28)

28 参考情報

• Oracle Solaris のシステム管理 (Oracle Solaris ゾーン、Oracle Solaris 10 ゾーン、および

リソース管理)

http://docs.oracle.com/cd/E26924_01/html/E25829/index.html

• Oracle Solaris 10 ゾーン

http://docs.oracle.com/cd/E26924_01/html/E25829/gjfbq.html#scrolltoc

• How to Configure Oracle Solaris 11 Using the sysconfig Command

http://www.oracle.com/technetwork/articles/servers-storage-admin/o11-111-s11-sysconfig-524498.html

• Oracle Solaris 11 How-To Articles

http://www.oracle.com/technetwork/server-storage/solaris11/documentation/how-to-517481.html

(29)

Oracle Solaris 11の仮想化機能

(30)

ネットワークの仮想化

“Crossbow”

• ネットワークインターフェースの仮想化

– 仮想NIC(VNIC)を用いることで物理NICに

依存しないIPインスタンス・ゾーンを作成可能

• 帯域の分割

– VNIC、サービス、プロトコル、接続ごとに

優先度と帯域幅制限(QoS)を割り当て可能

• リソース制御

– NICやVNICが利用するCPUリソースをコントロール

• 使用率や履歴をリアルタイムに確認可能

• ネットワーク統合とクラウド・コンピューティング成功の鍵となる機能

クラウドのために設計されたネットワーク機能

(31)

ネットワークの仮想化

“Crossbow”

• 仮想ネットワークインターフェース VNIC

– あたかも物理 NIC のように管理可能なネットワークインターフェースを提供

– VNIC ごとの専用ハードウェアおよびカーネル・リソースを割り当て可能

– VNICの統計情報に基づき、既存の管理ツールを再利用

– 設定済みの帯域幅制限に基づくリンク速度のコントロール

– Link aggregation interface から VNIC を生成可能、VNIC を IPMP グループ化することで、高可用性を実現

• MAC アドレスの生成

– ランダム、値指定、または工場出荷時の設定（複数のMACアドレスを提供するNICの場合）

• Solaris コア・ネットワーク・スタックに統合

– 専用ハードウェアや追加ソフトウェアは必要なし

• 標準規格ベースのエンドツーエンドのネットワーク仮想化

– VNICに割り当てられたVLANタグとPriority Flow Control (PFC)がハードウェア・レーンにスイッチの役割をさせる

(32)

(33)

ネットワークの仮想化

“Crossbow”

• MACレイヤはイーサネット･スイッチと同等のパケット交換動作を提供する

– 同じデータ・リンクの上にVNIC間のデータ・パスを作成

– VNICと物理ネットワーク間の接続性も提供

– VLANブロードキャスト・ドメインごとに、VLAN間を分離可能

• VNICを Etherstub 上に作成して、ハードウェアに依存しない仮想スイッチを作成可能

– 多数の Etherstub とVNICを作成し、任意の仮想ネットワーク・トポロジを構築可能

• VNIC間のデータパスはソフトウェアで実装

• ハードウェアへの往復が不要になり、パフォーマンスが向上

Crossbowの仮想スイッチング - Etherstub

(34)

(35)

ネットワークの仮想化

“Crossbow”

• COMSTARのインストールからLUの作成まで

例:VNICとEtherstubの作成

# dladm show-phys

LINK MEDIA STATE SPEED DUPLEX DEVICE

net0 Ethernet up 1000 full e1000g1

# dladm create-vnic -l net0

vnic0

# dladm create-etherstub

vswitch0

# dladm show-etherstub

LINK

vswitch0

# dladm create-vnic -l vswitch0

vnic1

# dladm show-vnic

LINK OVER SPEED MACADDRESS MACADDRTYPE VID

vnic0 net0 1000 2:8:20:3a:8b:2d random 0

vnic1 vswitch0 0 2:8:20:d6:76:88 random 0

# ifconfig -a

lo0: flags=2001000849<UP,LOOPBACK,RUNNING,MULTICAST,IPv4,VIRTUAL> mtu 8232 index 1

inet 127.0.0.1 netmask ff000000

net0: flags=1000843<UP,BROADCAST,RUNNING,MULTICAST,IPv4> mtu 1500 index 2

inet 192.168.100.11 netmask ffffff00 broadcast 192.168.100.255

ether 2:8:20:f5:83:44

vnic0

: flags=1000842<BROADCAST,RUNNING,MULTICAST,IPv4> mtu 1500 index 3

inet 0.0.0.0 netmask 0

ether 2:8:20:3a:8b:2d

vnic1

: flags=1000842<BROADCAST,RUNNING,MULTICAST,IPv4> mtu 9000 index 4

inet 0.0.0.0 netmask 0

(36)

－専用リソース付きの

ハードウェア・レーンを生成

しスケーラビリティを得ることを目指す

－スタック自身にネットワーク仮想化機能とQoS機能を内蔵

－動的ポーリングとパケットのチェーン化により効率向上を目指す

ネットワークの仮想化

“Crossbow”

マルチコアとこれからのネットワークを見据えた設計

switch

Oracle Solaris 11

物理 NIC

ハードウェア・

リング/DMA

ハードウェア・

リング/DMA

ハードウェア・

リング/DMA

● ● ●

カーネル・スレッドとキュー

ハードウェア・

リング/DMA

カーネル・スレッドとキュー

ク

ラ

シ

フ

ァ

イ

ア

ハードウェア・レーン

VLANによる分離

(37)

ネットワークの仮想化

“Crossbow”

• NICハードウェア（Rx/Txリング、DMA）、カーネル・キュー/スレッド、およびCPUを分割して

「ハードウェア・レーン」を作成

し、VNICおよびフローに割り当てられるようにする

• 送受信リングにダイナミック・ポーリングを用い、

レーンごとにパケット送受信速度をスケジ

ュールする

機能を搭載

• ダイナミック・ポーリングの効果

–

割り込み回数が少なくなり、

–

コンテキスト・スイッチが少なくなり、

–

使用可能なCPU時間が増えた

mpstat（旧ドライバの場合）

intr ithr csw icsw migr smtx srw syscl usr sys wt idl

10818 8607 4558 1547 161 1797 289 19112 17 69 0 12

mpstat（GLDv3 ドライバの場合）

intr ithr csw icsw migr smtx srw syscl usr sys wt idl

2823 1489 875 151 93 261 1 19825 15 57 0 27

(38)

ネットワークの仮想化

“Crossbow”

• Crossbowのフローは以下の属性に基づくサービス（プロトコル + リモート/ローカル・ポート）

– 伝送（TCP、UDP、SCTP、iSCSIなど）

– IPアドレスとIPサブネット

– DSCPラベル

• 各フローに独自の帯域幅制限を割り当て可能

• フローごとに統計情報を維持

– flowstat(1M)でリアルタイム表示

– 拡張アカウンティングによる履歴

Crossbowにおけるフロー

フロー制御の例

# flowadm create-flow -l net0 protocol=tcp,local_port=443 -p maxbw=50M http-1

# flowadm set-flowprop -l net0 -p maxbw=100M http-1

(39)

ネットワークの仮想化

“Crossbow”

• 既存のツール(snoop, wiresharkなど)で監視可能

– 更に、以下の監視が可能に

• Loopback device のトラフィック

• 共有IPゾーン間のトラフィック

– 例: # snoop –d lo0

• DTraceでパケットのトレースが可能になるIPプロバイダ

– 送受信パケットやドロップされたパケットなど

– ipmpstat コマンドによる IPMP機能の監視

– dlstat と flowstat コマンドによる Crossbow 機能の監視

(40)

ネットワークの仮想化

“Crossbow”

• dlstat (1M)

– データリンクの統計情報を報告

– 送受信のハードウェアリングとハードウェアレーンの情報を報告

– 拡張アカウンティング機能(acctadm)によるネットワーク使用率の履歴を採取可能

• flowstat (1M)

– フローの統計情報を報告

– 拡張アカウンティング機能(acctadm)を利用することで、特定のネットワーク使用率の履歴を採取可能

• dladm(1M) をデータ・リンク設定用に拡張

– 物理NIC、VLAN、VNIC、イーサスタブ、リンク・アグリゲーション、WiFi、ブリッジ、IPトンネルを管理可能

– ユニファイド・データ・リンク・プロパティの設定

– 一時的および永続的な設定の選択

• ipadm(1M) によってIP設定用の安定性のあるインターフェースを提供

– /etc/hostname*による設定にとって代わる

– 永続的なプロパティの設定

コマンドの拡張と新しいコマンド

(41)

ネットワークの仮想化

“Crossbow”

• Crossbow 機能により Solaris がクラウド・プラットフォームの基盤になる:

– VNIC と仮想スイッチ

–

完全な仮想ネットワークの実現

– オーバーヘッドの少ないハードウェア仮想化

– きめ細かいリソース制御

• CPU 使用率のコントロール

• 設計に基づく QoS

• Oracle Solaris 11はその他の主要なネットワーキング機能を内蔵して提供

– ファイアウォール

– ルーティング

– 負荷分散

– VRRP

– ブリッジング機能

• 追加ハードウェア、ソフトウェアは不要

Crossbow 機能まとめ

(42)

42 ネットワークの仮想化

“Crossbow”

• Solaris 11のネットワーク構成は、

ネットワーク構成プロファイル (NCP)

に

より管理される

– 自動構成 : Automatic (default)

• # netadm enable -p ncp automatic

– 手動構成 : defaultFixed

• # netadm enable -p ncp defaultfixed

– NCP が Automatic の場合は、dladm および ipadm コマンドは機能しない

ことに注意

• Crossbowの機能を利用する場合は、

自動構成をオフ

• バニティ・ネーミングについて

– データ・リンクに柔軟な名前を設定可能 (bge0 → net0)

– ドライバ名を利用した e1000g0 形式の名前から net0 スタイルの名前に移行

(43)

43 ネットワークの仮想化

“Crossbow”

• Oracle Solaris 管理: ネットワークインタフェースとネットワーク仮想化

http://docs.oracle.com/cd/E26924_01/html/E25834/index.html

• How to Script Oracle Solaris 11 Zones Creation for a Network-In-a-Box Configuration

http://www.oracle.com/technetwork/articles/servers-storage-admin/o11-118-s11-script-zones-524499.html

• How to Restrict Your Application Traffic Using Oracle Solaris 11 Network Virtualization

and Resource Management

http://www.oracle.com/technetwork/articles/servers-storage-admin/o11-095-s11-app-traffic-525038.html

• Demo - Consolidating the Data Center with Network Virtualization

http://download.oracle.com/otndocs/tech/OTN_Demos/data-center-consolidation.html

(44)

Oracle Solaris 11の仮想化機能

(45)

ストレージの仮想化機能

“COMSTAR”

• Sun Common SCSI Architecture (SCSA)

– Solarisに実装されているSCSIを扱うための共通アーキテクチャ

• 従来から提供されているInitiator機能

– SCSI Target へ接続する機能を提供

• 例えば、ハードディスクも SCSI Target の一つ

– FibreChannel, iSCSI, Parallel SCSI, SAS, FCoE etc...

– ディスクを扱うために普段利用している機能

• sd, ssd driverがSCSIプロトコルを使ってデバイスを扱う

(46)

ストレージの仮想化機能

“COMSTAR”

• STMFが中核となり、下記のサービスを提供

– COMSTARの構成要素

• Logical-Unit Provider(+ SCSI block device)

• Port Provider (Target サービス)

• libstmfによる管理インターフェース

• これが

COMSTARのコア

となる実装

(47)

ストレージの仮想化機能

“COMSTAR”

• SCSI Logical-unitを構成するためのもの

– SCSI block deviceを作成し、SCSI LUとしてSTMF Frameworkに登

録(Regist)する

• SCSI block deviceを作成するには、backing storeが必要に

– STMF Frameworkに登録されると、GUIDと呼ばれるユニークなIDが

割り当てられる

– この割り当てられたGUIDを使ってTargetの結び付きを行う

LUを構成する Logical-unit Provider

# sbdadm list-lu

Found 2 LU(s)

GUID

DATA SIZE SOURCE

--- --- ---

600144f00003ba12ba194bd6ec950001

21474836480 /dev/zvol/rdsk/rpool2/fct-volume.01

(48)

ストレージの仮想化機能

“COMSTAR”

• 何らかのインターフェースを利用してtarget機能を提供する

– Ethernet (iSCSI)

– Fiber Channel (FC, FCoE)

– InifiniBand(iSER..)

– SAS(未サポート)

• STMF Frameworkを通してLogical-unit Providerと結び付く

• SCSIコマンドをLUに運ぶ役割を担う

• target毎に異なる管理コマンドで操作

(49)

ストレージの仮想化機能

“COMSTAR”

• STMF Frameworkを操作するためのAPI群

– Target作成コマンド(itadm, srptadm など)

– sbdadm/stmfadmコマンド

• Initiatorはlibstmfで提供されるAPIは利用していない

– iscsiadm コマンド等

– そのため、initiator自身はSTMFの影響を受けない

– Targetとの接続には、既存の方法がそのまま利用される

• COMSTAR特有の接続方法は必要なし

管理インターフェース - libstmf

(50)

ストレージの仮想化機能

“COMSTAR”

• stmfadmコマンド

– STMF Frameworkを操作するコマンド

– backing storeからSCSI block deviceを作成し

Logical-unitとしてSTMF Frameworkに登録す

るためのコマンド

– Logical-unitの操作や、target/host groupの操

作、Port Providerとの紐付けなど

$ stmfadm

使用法:

stmfadm -?,-V,--help

使用法:

stmfadm add-hg-member [-?]

使用法:

stmfadm add-tg-member [-?]

使用法:

stmfadm add-view [-?]

使用法:

stmfadm create-hg [-?]

使用法:

stmfadm create-tg [-?]

使用法:

stmfadm create-lu [-?]

使用法:

stmfadm delete-hg [-?]

使用法:

stmfadm modify-lu [-?]

使用法:

stmfadm delete-lu [-?]

使用法:

stmfadm delete-tg [-?]

使用法:

stmfadm import-lu [-?]

使用法:

stmfadm list-hg [-?]

使用法:

stmfadm list-lu [-?]

使用法:

stmfadm list-state [-?]

使用法:

stmfadm list-target [-?]

使用法:

stmfadm list-tg [-?]

使用法:

stmfadm list-view [-?]

使用法:

stmfadm online-lu [-?]

使用法:

stmfadm offline-lu [-?]

使用法:

stmfadm online-target [-?]

使用法:

stmfadm offline-target [-?]

使用法:

stmfadm remove-hg-member [-?]

使用法:

stmfadm remove-tg-member [-?]

使用法:

stmfadm remove-view [-?]

管理インターフェース - stmfadm

(51)

51 ストレージの仮想化機能

“COMSTAR”

• Oracle Solaris 11の動作するホストを用意

• パッケージのインストール

– # pkg install storage-server

• サービスの有効化

– # svcadm enable stmf

• COMSTARによる SCSI ターゲットサービスが提供可能に

– ソフトウェアによるフレームワークの実装であるため容易に導入可能

– 非大域ゾーンでは利用できません

COMSTARを利用するための準備

(52)

Logical-unit providerの担当

• backing store を用意

• backing store を SCSI block

device へ変換

• stmfadmでSCSI clock deviceを

STMF Frameworkに登録し、

Logical-unitに変身させる

• ここまでがLogical-unit provider

の担当

Port Providerの担当

• そして、Target の作成

• Logical-unit を紐づける Target を選定

• iSCSI, FC, Inifiniband など....

• Targetの作成

• iSCSI なら/usr/sbin/itadm

• SRPなら/usr/sbin/srptadm

ストレージの仮想化機能

“COMSTAR”

SCSIターゲットができるまで

Initiator との接続

• Initiator から Target へ接続

• Target が利用するストレー

ジプロトコルをサポートして

いるかを確認

• COMSTAR を考慮した特別

な接続方法は必要ない

• 外部ディスクとして認識

• backing store とは

– 実データを格納するための入れ物

– 利用可能なものは、

(53)

ストレージの仮想化機能

“COMSTAR”

• COMSTARのインストールからLUの作成まで

例: iSCSI Target の作成

• iSCSI Targetの作成

# pkg install storage-server

# svcadm enable stmf

# zfs create -p -V 4g rpool/zvol/testVolume

# stmfadm create-lu /dev/zvol/rdsk/rpool/zvol/testVolume

Logical unit created: 600144F0080027E5D1964EE09C570001

# stmfadm add-view 600144F0080027E5D1964EE09C570001

# svcadm enable –r svc:/network/iscsi/target:default (初回のみ)

# itadm create-target

Target iqn.1986-03.com.sun:02:1ff9b930-7298-c82e-be3b-ad392d9d674f successfully created

ZFS 上に 4GB の zvol を作成

testVolume を LU として登録

target と結びつけるため view に追加

iSCSI target を作成

iqn が生成される

• iSCSI Initiator からの接続 (Solaris iSCSI Initiator の場合)

# iscsiadm add discovery-address 10.0.2.2

# iscsiadm modify discovery –t enable

target 探索用 IP address をセット

(54)

Fibre Channel Target 例

• Initiatorに必要なもの

– FC HBA

• FC HBAなら特に制限はなし

• Multipathにするなら複数

– FCを扱えるオペレーティングシステム

– TargetとInitiatorを接続するためのケーブル

• FC Switchは必須ではなく、Point-toPointで接続可能

(55)

Initiator からはどのように見えるか？

• 通常のFC Storageと同様

# format

Searching for disks...done

AVAILABLE DISK SELECTIONS:

0. c1t0d0 <DEFAULT cyl 30398 alt 2 hd 255 sec 63>

/pci@0,0/pci108e,534d@5/disk@0,0

1. c2t600144F00003BA12BA194BD6EC950001d0 <DEFAULT cyl 2608 alt 2 hd 255 sec 63>

/scsi_vhci/disk@g600144f00003ba12ba194bd6ec950001

# fcinfo lu -v

OS Device Name: /dev/rdsk/c2t600144F00003BA12BA194BD6EC950001d0s2

HBA Port WWN: 210000e08b1e6875

Remote Port WWN: 210000e08b9d6edb

LUN: 0

Vendor: SUN

Product: COMSTAR

(56)

56 ストレージの仮想化機能

“COMSTAR”

• FC Target や iSCSI Targetなど複数の Target を立てた場合

– そのままでは、LU が全てのTargetから参照可能

– host/target groupを作成し、Targetと結び付けるマスキング機能を提供

• Multipathによる冗長化

– Initiator側で提供される冗長化ソフトウェアを利用可能

• Solaris は MPxIO

– COMSTARに依存した設定等は必要なし

• その他のプロトコルを利用する場合でも、

– LUの作成手順は、すべて同一手順で可能

その他

(57)

ストレージの仮想化機能

“COMSTAR”

• 複雑な手順は必要なく、容易に構築可能

– Logical-unit として利用するためのbacking storeを決定

– stmfadm lu-create コマンドで logical-unit を作成

– 作成した logical-unit を stmfadm コマンドで STMF に登録

– 登録した logical-unit と target の紐付け

– Initiator との接続

(58)

ストレージの仮想化機能

“COMSTAR”

• Oracle Solaris の管理: デバイスとファイルシステム

第 14 章 COMSTAR を使用した iSCSI ストレージデバイスの構成

http://docs.oracle.com/cd/E26924_01/html/E25880/fmvcd.html#scrolltoc

• Oracle Solaris 10 の新インストール技術 – iSCSI Boot Support (iSCSI の冗長化構成)

http://www.slideshare.net/satokaz/oracle-solaris-10u9iscsiboot20101111public

• PSARC/2007/523 COMSTAR: Common Multiprotocol SCSI Target

http://arc.opensolaris.org/caselog/PSARC/2007/523/

• PSARC/2008/235 SCSI Block Disk Provider for COMSTAR

http://arc.opensolaris.org/caselog/PSARC/2008/235

• PSARC/2008/587 iSCSI Port Provider for COMSTAR

http://arc.opensolaris.org/caselog/PSARC/2008/587

• PSARC/2008/434 libstmf enhancement for provider data

http://arc.opensolaris.org/caselog/PSARC/2008/434

(59)

Oracle Solaris 11 仮想化機能

• Solaris 11 の仮想化機能により、サービスや

リソース管理に変革をもたらす

• ゾーンへの集約を前提にサービスを設計

– 他の仮想化機能と組み合わせることで、物理サ

ーバへの依存が最小に

– CPU, メモリ, ネットワークのリソース管理

• フローによるサービスレベルのリソース管理

– 容易なマイグレーションが可能

• 次世代 Enterprise Manager Ops Center

では、これらの仮想化機能を管理可能に

まずは、ゾーンから始めましょう

Security

Automated Install

Packaging

Zones

Networking

ZFS

(60)

参考情報

• Oracle Solaris 11 VM Downloads

http://www.oracle.com/technetwork/server-storage/solaris11/downloads/virtual-machines-1355605.html

– Oracle Solaris 11 VM for Oracle VM VirtualBox

• VirtualBox にインポートするだけで Oracle Solaris 11 を試用可能

– Oracle VM Template for Oracle Solaris 10 Zones for SPARC/x86

• Oracle Solaris 11 Zones で Oracle Solaris 10 Zones を試すことが可能なテンプレート

(61)

(62)