DSASのやりくり

2008年3月28日

KLab 株式会社

Kラボラトリー

ひろせ まさあき

DSASのやりくり

MATRIXの秘密と

効率的なシステム管理の関係

第

_{4回 KLab 勉強会}

http://dsas.blog.klab.org

自己紹介

z

ひろせ まさあき （

id:hirose31）

z

KLab株式会社 （くらぶ かぶしきがいしゃ）

z

Kラボラトリー所属 （研究開発部門）

z

DSAS – ネットワーク・サーバインフラ

z

スケーラブル

Webシステム工房

z

『

WEB+DB PRESS』 Vol.38∼43で連載

z

書籍執筆中 『サーバ

24時』（仮）

z

KLab＋はてな

サーバ管理者の悩み

サーバ管理者の悩み （のひとつ）

z

サーバが増えると

...

z

運用管理がめんどうくさくなる

z

なにするにしても手間がかかる

z

オペレーションミスが起こりやすくなる

具体なお悩み例とその解決法

DSASでの実例を３つ＋おまけ２

今日は

今日のアジェンダ

_{アジェンダ}

z

運用管理のお悩み

z

【お悩み１】

z

【お悩み２】

z

【お悩み３】

z

解決法

- DSASでの事例

z

MATRIXについて

z

【１の解決】

z

【２の解決】

z

【３の解決】

z

【おまけ１】

z

【おまけ２】

【お悩み１】

XXXサーバってどれだっけ？

z

サーバの役割

z

Web、DB、Storage、Log、lvs、

lls...

z

サーバの状態

z

WARN、STOP...

core

sw1

core

sw2

lvs

lvs

Master

sw3

Web

sw4

DB

DB

Web

sw5

lls

sw6

Storage

Log

lls

上位ルータ

サーバ台数×役割×状態

＝多過ぎて覚えられません＞＜

お悩み

【お悩み２】

XXXに対してXXXしたい！

z

XXXに対して

z

すべてのサーバに対して

z

Webサーバに対して

z

DBサーバに対して

z

XXXしたい！

z

コマンドを実行したい！

z

ファイルをコピーしたい！

z

ファイルの同一性を確認したい！

for i in web1 web2 web3 we （ｒｙ...web99;do

echo $i; ssh $i ‘/usr/bin/ふがふが’; done

＝コマンド打つのがめんどうです＞＜

【お悩み３】設定ファイルが長すぎる ＞＜

z

あいのりサイトが増えると

z

Apache – httpd.conf

z

VirtualHostがたくさん

z

サーバが増えると

z

keepalived – keepalived.conf (ロードバランサ)

z

リアルサーバの定義がたくさん

設定ファイルの肥大化

＝ちょっと手では編集できません＞＜

お悩み

今日のアジェンダ

z

運用管理のお悩み

z

【お悩み１】

XXXサーバってどれだっけ？

z

【お悩み２】

XXXに対してXXXしたい！

z

【お悩み３】設定ファイルが長すぎる ＞＜

z

解決法

- DSASでの事例

z

MATRIXについて

z

【１の解決】

z

【２の解決】

z

【３の解決】

z

【おまけ１】

z

【おまけ２】

アジェンダ

やるおー

解決法

解決法

– DSASでの事例

z

一元管理

z

サーバの役割情報など

z

それを元に、

z

情報の取得

z

生成

MATRIXについて

z

MATRIXとは：

z

サーバの一覧表

z

サーバの役割定義

z

サーバの状態管理 （故障中、調子悪い）

z

形式：

z

テキスト

MATRIXについて

z

MATRIXとは：

z

サーバの一覧表

z

サーバの役割定義

z

サーバの状態管理 （故障中、調子悪い）

z

形式：

z

テキスト

w101: usagi

w102: usagi kame saru

w103: [NANDEMOYA]

w104: kame

w105: kame

w106: (lv1)

w107: (lv2)

w108: (ll1)

w109: (ll2)

w110: (db101) (db100)

w111: (db102)

w112: [FREE] usagi kame saru

w113: usagi saru [WARN]

w101: usagi

w102: usagi kame saru

w103: [NANDEMOYA]

w104: kame

w105: kame

w106: (lv1)

w107: (lv2)

w108: (ll1)

w109: (ll2)

w110: (db101) (db100)

w111: (db102)

w112: [FREE] usagi kame saru

w113: usagi saru [WARN]

MATRIXについて

z

MATRIXとは：

z

サーバの一覧表

z

サーバの役割定義

z

サーバの状態管理 （故障中、調子悪い）

z

形式：

z

テキスト

w101: usagi

w102: usagi kame saru

w103: [NANDEMOYA]

w104: kame

w105: kame

w106: (lv1)

w107: (lv2)

w108: (ll1)

w109: (ll2)

w110: (db101) (db100)

w111: (db102)

w112: [FREE] usagi kame saru

w113: usagi saru [WARN]

w101: usagi

w102: usagi kame saru

w103: [NANDEMOYA]

w104: kame

w105: kame

w106: (lv1)

w107: (lv2)

w108: (ll1)

w109: (ll2)

w110: (db101) (db100)

w111: (db102)

w112: [FREE] usagi kame saru

w113: usagi saru [WARN]

MATRIXについて

z

MATRIXとは：

z

サーバの一覧表

z

サーバの役割定義

z

サーバの状態管理 （故障中、調子悪い）

z

形式：

z

テキスト

w101: usagi

w102: usagi kame saru

w103: [NANDEMOYA]

w104: kame

w105: kame

w106: (lv1)

w107: (lv2)

w108: (ll1)

w109: (ll2)

w110: (db101) (db100)

w111: (db102)

w112: [FREE] usagi kame saru

w113: usagi saru [WARN]

w101: usagi

w102: usagi kame saru

w103: [NANDEMOYA]

w104: kame

w105: kame

w106: (lv1)

w107: (lv2)

w108: (ll1)

w109: (ll2)

w110: (db101) (db100)

w111: (db102)

w112: [FREE] usagi kame saru

w113: usagi saru [WARN]

サーバ名

MATRIXについて

z

MATRIXとは：

z

サーバの一覧表

z

サーバの役割定義

z

サーバの状態管理 （故障中、調子悪い）

z

形式：

z

テキスト

w101: usagi

w102: usagi kame saru

w103: [NANDEMOYA]

w104: kame

w105: kame

w106: (lv1)

w107: (lv2)

w108: (ll1)

w109: (ll2)

w110: (db101) (db100)

w111: (db102)

w112: [FREE] usagi kame saru

w113: usagi saru [WARN]

w101: usagi

w102: usagi kame saru

w103: [NANDEMOYA]

w104: kame

w105: kame

w106: (lv1)

w107: (lv2)

w108: (ll1)

w109: (ll2)

w110: (db101) (db100)

w111: (db102)

w112: [FREE] usagi kame saru

w113: usagi saru [WARN]

サーバ名

サイト名

[XXX]

役割定義

MATRIXについて

z

MATRIXとは：

z

サーバの一覧表

z

サーバの役割定義

z

サーバの状態管理 （故障中、調子悪い）

z

形式：

z

テキスト

w101: usagi

w102: usagi kame saru

w103: [NANDEMOYA]

w104: kame

w105: kame

w106: (lv1)

w107: (lv2)

w108: (ll1)

w109: (ll2)

w110: (db101) (db100)

w111: (db102)

w112: [FREE] usagi kame saru

w113: usagi saru [WARN]

w101: usagi

w102: usagi kame saru

w103: [NANDEMOYA]

w104: kame

w105: kame

w106: (lv1)

w107: (lv2)

w108: (ll1)

w109: (ll2)

w110: (db101) (db100)

w111: (db102)

w112: [FREE] usagi kame saru

w113: usagi saru [WARN]

サーバ名

サイト名

[XXX]

役割定義

(XXX)

特殊サーバ

今日のアジェンダ

_{アジェンダ}

z

運用管理のお悩み

z

【お悩み１】

XXXサーバってどれだっけ？

z

【お悩み２】

XXXに対してXXXしたい！

z

【お悩み３】設定ファイルが長すぎる ＞＜

z

解決法

- DSASでの事例

z

MATRIXについて

z

【１の解決】

z

【２の解決】

z

【３の解決】

z

【おまけ１】

z

【おまけ２】

【１の解決】

XXXサーバってどれだっけ？

z

source /etc/dsas.conf

z

MATRIXのshバインディング

z

シェル変数

XXX_SERVERS を定義

DB_SERVERS=(db100 db101 db102)

LL_SERVERS=(ll1 ll2)

LV_SERVERS=(lv1 lv2)

LB_SERVERS=(w101 w102 w104 w105 w112)

NR_SERVERS=(w103)

STOP_SERVERS=(w114)

WARN_SERVERS=(w113)

SYNC_SERVERS=(${NR_SERVERS[@]} ${LB_SERVERS[@]})

【２の解決】

XXXに対してXXXしたい！

z

XXXに対して

z

dsas.confのXXX_SERVERSを利用

z

XXXしたい！

z

sh関数

z

alias

z

スクリプト

【２の解決】

XXXに対してXXXしたい！

z

FORALL –

全サーバに対して

XXX

したい！

z

alias

z

汎用的な用途

z

すべてのサーバでコマンドを実行する

z

すべてのサーバにファイルをコピーする

alias FORALL=’

for i in ${ALL_SERVERS[@]};do

’

FORALL

echo $i; ssh $i /usr/bin/date; done

【２の解決】

XXXに対してXXXしたい！

z

SYNCALL –

全サーバに対してコピーしたい！

z

rsyncでファイルをコピー

z

もっとも頻度が高いオペレーション

z

ミスをなくすために

FORALL rsync –avR /foo/bar /baz/qux $i:/; done

【２の解決】

XXXに対してXXXしたい！

z

DIFFALL –

全サーバ

に対して

同一性を確認

したい！

z

サーバ間のファイルの同一性の確認

$

DIFFALL

/usr/klab/MATRIX

/usr/klab/MATRIX

LOCAL 2d4c0225065831595e433f692466a427

w101 2d4c0225065831595e433f692466a427

w102 5ba0e2e4bc0f305e2ff85d0fd8654b12

diff -u /usr/klab/MATRIX <(ssh w102 cat /usr/klab/MATRIX)

w103 2d4c0225065831595e433f692466a427

w103 2d4c0225065831595e433f692466a427

: : : : :

【３の解決】設定ファイルが長すぎる ＞＜

z

matrix-reflection

z

MATRIXを変更したら実行するスクリプト

z

その中で、

httpd.confの生成もしている

z

lvs-config

z

lvs (keepalived)の設定ファイルを生成している

ServerRoot ... User ...

Group ...cat <<MSGEND # kame <VirtualHost *:80> ServerAdmin webmaster ServerName usagi.example.jp DocumentRoot $DSAS_HOME/contents/usagi/htdocs ErrorLog ... CustomLog ... JkMount /s/* local <LocationMatch "^/"> Order Deny,Allow Deny from all

Include conf/allow/dsas Include conf/allow/docomo Include conf/allow/au_ez Include conf/allow/vodafone </LocationMatch> </VirtualHost> MSGEND

matrix-reflection

matrix-reflection

w101: usagi w102: usagi kame w103: [NANDEMOYA] w104: kame w105: kame w106: (lv1) w107: (lv2) w108: (ll1) w109: (ll2) w110: (db101) (db100) w111: (db102)

w112: [FREE] usagi kame w101: usagi w102: usagi kame w103: [NANDEMOYA] w104: kame w105: kame w106: (lv1) w107: (lv2) w108: (ll1) w109: (ll2) w110: (db101) (db100) w111: (db102)

w112: [FREE] usagi kame

MATRIX

MATRIX

cat <<MSGEND # usagi <VirtualHost *:80> ServerAdmin webmaster ServerName usagi.example.jp DocumentRoot $DSAS_HOME/contents/usagi/htdocs ErrorLog ... CustomLog ... JkMount /s/* local <LocationMatch "^/"> Order Deny,Allow Deny from all

Include conf/allow/dsas Include conf/allow/docomo Include conf/allow/au_ez Include conf/allow/vodafone </LocationMatch> </VirtualHost> MSGEND

ファイル片

ファイル片

ServerRoot ... User ... Group ... MaxClient ... LoadModule ... # usagi <VirtualHost *:80> ServerAdmin webmaster ServerName usagi. DocumentRoot $DSAS_ ErrorLog ... CustomLog ... JkMount /s/* local <LocationMatch "^/"> Order Deny,Allow Deny from all Include conf/allow/ Include conf/allow/ Include conf/allow/ Include conf/allow/ </LocationMatch> </VirtualHost>

httpd.conf

httpd.conf

lvs-config

lvs-config

w101: usagi w102: usagi kame w103: [NANDEMOYA] w104: kame w105: kame w106: (lv1) w107: (lv2) w108: (ll1) w109: (ll2) w110: (db101) (db100) w111: (db102)

w112: [FREE] usagi kame w101: usagi w102: usagi kame w103: [NANDEMOYA] w104: kame w105: kame w106: (lv1) w107: (lv2) w108: (ll1) w109: (ll2) w110: (db101) (db100) w111: (db102)

w112: [FREE] usagi kame

MATRIX

MATRIX

[% FOREACH R=REAL -%] real_server [% R %] [% real_port %] { weight 1 inhibit_on_failure HTTP_GET { url { path [% HTTP_GET.path %] status_code [% ...status_code %] } connect_port [% ... %] connect_timeout [% ... %] nb_get_retry [% ... %] delay_before_retry [% ... %] } } [% END -%]

テンプレート

テンプレート

vrrp_instance VE { state BACKUP interface eth0 garp_master_delay 5 virtual_router_id 1 priority 100 nopreempt advert_int 1 authentication { auth_type PASS auth_pass himitsu } virtual_ipaddress { 10.10.31.10/24 192.168.31.10/24 } } virtual_server_group ... 10.0.0.100 80 } virtual_server group ... delay_loop 3 lvs_sched rr lvs_method NAT protocol TCP

keepalived.conf

keepalived.conf

今日のアジェンダ

_{アジェンダ}

z

運用管理のお悩み

z

【お悩み１】

XXXサーバってどれだっけ？

z

【お悩み２】

XXXに対してXXXしたい！

z

【お悩み３】設定ファイルが長すぎる ＞＜

z

解決法

- DSASでの事例

z

MATRIXについて

z

【１の解決】

XXXサーバってどれだっけ？

z

【２の解決】

XXXに対してXXXしたい！

z

【３の解決】設定ファイルが長すぎる ＞＜

z

【おまけ１】

z

【おまけ２】

【おまけ１】

MATRIXの言語バインディング

z

sh

z

source /etc/dsas.conf

z

そのほか、便利

aliasや関数も定義している

z

Perl

z

KLab::DSAS::MATRIX

z

PHP

use

KLab::DSAS::MATRIX

;

my

$matrix

= KLab::DSAS::MATRIX->new();

my

$project

= $matrix->project('usagi');

for my

$svr

($project->assign_servers) {

# do something...

}

【おまけ２】

dmetad – メタデータサー

バ

z

元データ（ファイル、形式）が異なるメタデータ

に、統一的なインターフェースでのアクセスを

提供するサービス

z

アクセス方法

z

HTTP

z

GETのみ （参照のみ）

z

レスポンス形式

z

sh

z

YAML

JSON

【おまけ２】

dmetad – メタデータサー

バ

z

http://meta/

{role}

/

{property}

$ curl http://meta/

ps

/

node

ps400: node=(10.6.25.151 10.6.25.152)

ps500: node=(10.6.25.154 10.6.25.155)

$ curl http://meta/ps/

vip

ps400: vip=10.6.25.150

ps500: vip=10.6.25.153

$ curl http://meta/ps/vip?

format=yaml

---ps400:

vip: 10.6.25.150

ps500:

vip: 10.6.25.153

【おまけ２】

dmetad – メタデータサー

バ

z

#!/usr/bin/perl

z

use Class::Component;

lv

ps

node

vid

vrid

DRBD

まとめ

z

一元管理

z

重複の排除

z

同じ情報なのに複数の場所で管理してはだめ

×

サーバ上のテキストファイルと社内サーバ上の

_{Excelファイル}

z

適度に管理ファイルをまとめる

z

ばらしすぎると数が多くなりすぎて大変

z

まとめすぐると見づらくなったり複雑になって大変

z

機械にやらせる

z

メリット

z

手間を減らす

z

ミスを減らす

z

スクリプトを書く

z

MATRIXの言語バインディング

z

メタデータ取得の包括的方法の提供（

dmetad）

まとめ

z

サバカンもコード書きたい！

z

サーバ管理も楽しいけど

z

コード書くのも楽しい！

コ

ー

ド

コ

ー

ド

コ

ー

ド

コ

ー

ド

ー

ド

ご清聴