OpenStack最新情報セミナー（2015年12月） ライトニングトーク大会 資料

Lightning Talk

2015年12月02日

三菱電機インフォメーションシステムズ(略称 MDIS )

吉川 晃平

ご注意

•

本書の内容の一部又は全部を当社に断りなく、いかなる形でも転載又は複製することは、固くお断りします。

•

本文記載の社名、製品名、ロゴは各社の商標または登録商標です。

•

OpenStack

®

_{のワードマークと OpenStack のロゴは、米国とその他の国における OpenStack Foundation の登録商標/サービ}

スマークまたは商標/サービスマークのいずれかであり、OpenStack Foundation の許諾の下に使用されています。

自己紹介

吉川 晃平

(よしかわ こうへい)

発表者

• OpenStack: 勉強中

• 趣味：スキー

• 好きな食べ物：

ラーメンパスタから肉チーズに改宗

インフラ系

システムエンジニア

経歴

• 海底ケーブルの監視GUI

• ISPのホームページ公開システム

• オンプレミスのWebポータル共通基盤

続きはWebで

発表の概要

社内にOpenStack®の講習やPoCを行うための環境

をつくりました。

成果の概要

• 複数グループが同時にそれぞれのOpenStackを構

築・検証できるようになりました

• 実際に社内ハンズオンを開催しました

• これからいろいろ活躍しそうです

きっかけ

社内で「OpenStackやりたいね」機運たかまる

なりゆきで私が担当者に

ひとりでやるより皆でやろう

解決したい課題

講習会で受講者（社員・関連会社）が利用する

「OpenStackを作る環境」が必要になった。

① 環境が貧しいなりにも受講毎に独立した環境を提供したい

② 講習会場や自学先からセキュアにアクセスできるようにしたい

弊社内講習会場

_講師

_{弊社検証機器}

受講者

VPN

弊社

Compute Node

学習に必要なマシン（一人）

Public network (Floating IP割当)

Controler

Node

Network

Node

em1

em1

_em1

em2

em2

em2

em1

em2

em1

em2

default GW

受講者

VPN

OpenStack 管理用Network

テナント内Net (OvS)

Instance

_Instance

Instance

em1

em2

※OpenStack Installation Guide for Ubuntu 14.04 kiloベース

( http://docs.openstack.org/kilo/install-guide/install/apt/content/index.html )

ハンズオンを開くとなると

default GW

受講者

VPN

グループ ①

_{グループ ②}

グループ ③

_{グループ ④}

グループ ⑤

グループ ⑥ グループ ⑦

_{グループ ⑧}

ハンズオンをひらくとなると・・・

1受講グループあたり

① [Controller node]

(KVMでglance,nova,horizon,cinder,MQ,RDB格納)

② [Network node]

(neutron)

③ [Compute node]

(nova-compute )

×８グループ=２４サーバー必要！

※OpenStack Installation Guide for Ubuntu 14.04 kiloベース

( http://docs.openstack.org/kilo/install-guide/install/apt/content/index.html )

リソースたりない

• ハンズオンを開くにはサーバー台数が全く足りない

– （物理サーバー数台）

トライしたこと

① VMWare vSphere

®

_{でネストさせた仮想環境に講}

習環境を詰め込んだ

トライしたこと①仮想環境のネスト

• 検証に必要なサーバーをVMWare ESXi™上の仮想マシン

で提供(KVM on ESXi)

• シンプロビジョニング、オーバーコミットしまくり

• 当然スワップまみれ。性能は考慮しない。

物理 サーバ数台+物理SW

VMWare ESXi 、仮想SW (tagged VLAN)

受講グループ1

仮想マシン 1

Controller node

KVM

nova

KVM

glance

KVM

horizo

n

KVM

maria

DB

KVM

rabbit

MQ

KVM

swift

KVM

cinder

仮想マ

シン 2

Network

node

neutro

n

仮想マシン 3

Compute node

KVM

instanc

e 1

KVM

instanc

e N

×８

仮想マ

シン x 3

node x

3

vCenter

Server

VMWare

で

用意

受講者

が

作る

トライしたこと②会場から環境へのアクセス

• 検証環境内からは(VPNを介さず)インターネット疎通

可能に

• 外部から検証環境へはVPN経由のみ許可

① 国外からのアクセス拒否

② ID/Password認証

③ SSL-VPN

④ ユーザーグループ毎に専用のネットワークスペース

VPNで許可

サーバー環境

外部サイト

(リポジトリ

等)

許可

拒否

講習会場

ネットワークスタック

物理配線 (Ethernet)

VLAN (L2SW, VMWare仮想スイッチ)

GREトンネル

[Open vSwitch]

仮想ブリッジ

Tenant

Private

Tenant

Floting

OpenStack

(Kilo)

nodes

vCenter

Server

VPN GW

Internet

GW

RIP

Internet

◆Global IPが1個しかない。

⇒がんばってやりくりするしか

受講者へ提供するネットワーク

物理配線 (Ethernet)

VLAN(L2SW, VMWare仮想スイッチ)

GREトンネル

[Open vSwitch]

仮想ブリッジ

Tenant

Private

Tenant

Floting

OpenStack

nodes

vCenter

Server

VPN GW

Internet

GW

受講者へ提供する環境

[仮想マシンx3,サブネットx2 ]/受講者

× 8 グループ

RIP

Internet

OpenStack

構築に専念！！

受講者x8grp

環境へのアクセス経路

物理配線 (Ethernet)

VLAN(L2SW, VMWare仮想スイッチ)

GREトンネル

[Open vSwitch]

仮想ブリッジ

Tenant

Private

Tenant

Floting

OpenStack

nodes

vCenter

Server

VPN GW

Internet

GW

NAPT

VPN確立

IP・経路 リース

NAT

RIP

Floating IP

Internet

 ログイン時のユーザーIDに応じて接続

先VLANを選択

 受講者のネットワークアドレスは重複

してもよいようにルーティングテーブル

分割

受講者x8grp

テキストどおりの

IPアドレス！

Tenant 1

Tenant 2

Tenant 3

Tenant 8

・・・

テナント内からインターネットへの経路

物理配線 (Ethernet)

VLAN(L2SW, VMWare仮想スイッチ)

GREトンネル

[Open vSwitch]

仮想ブリッジ

Tenant

Private

Tenant

Floting

OpenStack

nodes

vCenter

Server

VPN GW

Internet

GW

NAPT

SNAT +

Route Domain

SNAT

RIP

Floating

IP

Internet

 テナント内からInternetへはVPNを

経由させず直接アクセスさせる。

 テナント内サーバーからはdefaultGW

にアクセスしてるだけにみせる。

受講者

apt-get叩けないと

講習にならないからね

VMWare設定:VLAN

受講グループ１用の

VLAN (Tag付)

物理NICはVLAN ID=0

(タグつけたままトランク)

① 受講グループ毎のVLANを仮想スイッチ内に作る

② 物理アダプタは「VLAN ID=なし(0)」を選ぶ

（Tagを付けたまま物理スイッチへ流す）

VMWare設定:仮想スイッチ

テナントの仮想ネットワークを流す

仮想スイッチの

「セキュリティ」→「ポリシー例外」

→「無差別モード」を

「承諾」に変更する。

VMWare設定:仮想マシン設定

KVM on ESXiネストする仮想マシンの.vmxファイルに

vhv.enable = TRUE

構築内容：ネストした仮想マシン

①受講者PC画面

②vCenter

RDP

③Ubuntu

Desktop

vCenter コンソール画面

④KVM上の

Ubuntu

Server

仮想マシンマネージャの

コンソール画面

ちゃんと動きました

構築内容：VPNスタック

IP Geolocation Matching

JP以外のIPを拒否

SSL-VPN ログイン

ID/Password認証

IDが所属するグループ毎に

場合分け

グループ毎に接続経路を割当

- 接続先VLAN

- ルーティングテーブル

- 静的ルート

- リースIPレンジ

That's all !

国外srcIPからのアクセス拒否の例

JP以外からのアクセスなので

拒否

srcIPから地域を検索

CC=BG(ブルガリア)

C=EU (欧州)

ID認証とSSL-VPN確立

ルーティングテーブルの分割

• Route Domainという仕組みを使い、受講グループ

毎にルーティングテーブルを分割しました。

①受講グループ向け

GWの設定

②受講グループ・

Internet間のSNAT

グループ11 ID=1111

グループ10 ID=1110

重複するアドレスを

Route Domain idで区別する

解決できたこと

• 同時に８グループ約20人がOpenStackを構築・検

証できる環境を用意できました

解決できたこと

講師を招き社内でOpenStack構築の

ハンズオンセミナーを開催することができました

弊社内講習会場

_講師

_{弊社検証機器}

受講者

VPN

弊社

課題

• 相変わらず貧弱なサーバー

– 需要増えて重くなってきた・・・

– サーバー増やして仮想化ネストをやめて恒常的なBMS導

入や物理機器のcinder/neutron連携も・・・・したいなと

今後の展望

講習後の環境は、

– CI/CD

– BMS制御

最後に宣伝・・・

ホワイトボックス

スイッチ

も取り組んでます

11/16

広報発表

出典：クラウドWatch

http://cloud.watch.impress.co.jp/docs/news/20151116_730791.html

続きはWebで