_DockerとAmazon_ECSでDevOpsを進化させる_public

© 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

Ryosuke Iwanaga

Solutions Architect, Amazon Web Services Japan June 2016

DockerとAmazon ECSで

DevOpsを進化させる

今⽇の持ち帰り

•

•

•

DevOpsとは?

DevOps

開発者 顧客

release test

build

plan monitor

デリバリーパイプライン

フィードバックループ

ソフトウェア開発のライフサイクル

モノリシックな開発ライフサイクル

開発者

release test

build

デリバリーパイプライン アプリ

2001

Amazonでの開発の変遷: 2001-2009

2009

モノリシックなアプリ チーム＋

マイクロサービス ツーピッツァチーム+

Order UI User UI Shipping UI

Order Service

User Service

Shipping Service

Data Access

モノリシックアーキテクチャ

モノリシックアーキテクチャ - スケール

Order UI User UI Shipping UI

Order Service

User Service

Shipping Service

マイクロサービスアーキテクチャ

Order UI User UI UI

Order

Service Service Shipping

Service Order UI

Order UI User UI Shipping UI

UI

Order Service Order

Service

Service Service

Service Service

User Service

Shipping Service

マイクロサービスアーキテクチャ - スケール

マイクロサービスな開発ライフサイクル

開発者 サービス デリバリーパイプライン

release test

build

release test

build

release test

build

release test

build

release test

build

release test

build

サービス

•

•

•

•

•

•

•

•

•

リリースプロセスの、4つの主要なフェーズ

Source Build Test Production

•

•

•

•

•

•

•

•

DevOpsの実態

Build Test Production

Source

Application Artifact

コードだけ書いて いればいい、、？

DevOpsの実態

Build Test Production

Source

Application Artifact

Provision Config

開発環境の構成の メンテナンスが必要

開発、テスト、本番で 環境に差異がある。。。

テストの需要がバラバラ

で管理が⼤変。。。。 オートスケールや ノード障害対応。。。

なるほど、

全てが必要なんですね。。。

複数のDevOpsでの実態

DevOpsの難しさ

•

•

•

•

コンテナはサービスにとって⾃然なもの

•

•

•

•

•

FROM ubuntu:14.04

MAINTAINER John Doe <[email protected]>

RUN apt-get update && apt-get install -y curl wget default-jre git

RUN adduser --home /home/sinatra --disabled-password --gecos '' sinatra RUN adduser sinatra sudo

RUN echo '%sudo ALL=(ALL) NOPASSWD:ALL' >> /etc/sudoers USER sinatra

RUN curl -sSL https://get.rvm.io | bash -s stable

RUN /bin/bash -l -c "source /home/sinatra/.rvm/scripts/rvm"

RUN /bin/bash -l -c "rvm install 2.1.2"

RUN /bin/bash -l -c "gem install sinatra"

RUN /bin/bash -l -c "gem install thin"

パッケージ

docker push docker pull

出荷

docker run

実⾏

Dockerを取り⼊れたDevOps

Build Test Production

Source

Application Image

Provision Config

コードだけ書いて いればいい！

Dockerを取り⼊れたDevOps

Build Test Production

Source

Dockerを取り⼊れたDevOps

•

•

•

•

•

Dev and Ops

Build Test Production

Source

Dev Ops

Dev

•

•

•

Dev and Ops

Ops

•

•

•

•

•

Dev and Ops

•

•

•

•

•

•

•

コンテナに適応したDevには…

The Twelve-Factor App

Twelve-Factorの主義

I.

バージョン管理される1つのコードベースと複数デプロイ

II.

依存関係を明⽰的に宣⾔し分離する

III.設定

設定を環境変数に格納する

IV.

バックエンドサービスをアタッチされたリソースとして扱う

V.

ビルド、リリース、実⾏の3つのステージを厳密に分離する

VI.

アプリを1つ⼜は複数のステートレスなプロセスとして実⾏

VII.ポートバインディング

ポートバインディングを通してサービスを公開する

VIII.並⾏性

プロセスモデルによってスケールアウトする

IX.

⾼速な起動とグレースフル停⽌で堅牢性を最⼤化する

X.

開発、ステージング、本番環境をできるだけ⼀致させた状態を保つ

XI.

ログをイベントストリームとして扱う

XII.管理プロセス

管理タスクを1回限りのプロセスとして実⾏する

http://12factor.net/

コンテナに適応したOpsには…

Amazon EC2 Container Service

コンテナ管理を、あらゆるスケールで

何も準備する必要がない 完全な状態

制御と監視 スケール

柔軟なコンテナの配置

ロングランニングなアプリ バッチジョブ

複数のスケジューラ

AWSの基盤との連携

Elastic Load Balancing

Amazon Elastic Block Store Amazon Virtual Private Cloud Amazon CloudWatch

AWS Identity and Access Management

AWS CloudTrail

コンテナ管理

コンテナ管理とは?

•

•

•

•

CPU メモリ ポート

ディスク容量 ディスクIOPS ネットワーク帯域

リソース

{

"name": "simple-demo",

"image": "my-demo",

"cpu": 10,

"memory": 500,

"portMappings": [ {

"containerPort": 80,

"hostPort": 80 }

],

"entryPoint": [

"/usr/sbin/apache2",

"-D",

"FOREGROUND"

],

"essential": true },

“Task Definitions”

Tasks

Shared Data Volume Containers

launch

Container Instance

Volume Definitions

Container Definitions

スケジューラ

スケジューラとは？

•

•

•

Cluster, Scheduler, Task

_Scheduler

Manager Cluster

Task Definition Task

Agent

ECS Agent

Docker

Task

Container Instance

Container

ECS Agent Task

Container

https://github.com/aws/amazon-ecs-agent

Docker Task

Container Instance

Amazon ECS

Container

ECS Agent

ELB

Internet

ELB

API Cluster Management Engine

Task

Container

Docker Task

Container Instance

Container

ECS Agent Task

Container

Docker Task

Container Instance

Container

ECS Agent Task

Container

AZ 1 AZ 2

Key/Value Store

Agent Communication Service

楽観的な状態共有モデル

Amazon ECS: スケジューラ

•

Copy of cluster state Scheduler A Scheduler B

Cluster

Amazon ECS: スケジューラ

•

•

Run a task

Run a task

Amazon ECS: スケジューラ

•

Run a task on the same resource

=> Transactional

Amazon ECS: スケジューラ

•

•

Amazon ECS Serviceスケジューラ

Serviceとは?

•

•

•

•

コンテナのスケジュール: ロングランニングアプリ

最⼩限の空間を使ってデプロイ:

minimumHealthyPercent

Old version New version

コンテナのスケジュール: ロングランニングアプリ

サービスのキャパシティを落とさずに⾼速にデプロイ:

minimumHealthyPercent

Old version New version

ケーススタディ: Segment

Segment

顧客のデータを1つのハブに収集し、後から分析、マーケティング、その他の⽬的で利

⽤する

"Amazon ECSに切替えたこ とで、プロビジョンや可⽤

性を⼼配する必要なく、稼 働中のサービスをとてもシ

ンプルにできました。"

Calvin French-Owen

Cofounder and Chief Technology Officer

以前

•

•

•

•

•

•

https://aws.amazon.com/solutions/case-studies/segment/

最適化されたインフラとしての

Amazon ECS

コンテナのログをawslogs経由で収集

Amazon CloudWatch Logs

Amazon CloudWatch Logs

Amazon CloudWatch Logs

Amazon CloudWatch Logs

Amazon S3

Amazon Kinesis

AWS Lambda

Amazon Elasticsearch Service

Amazon ECS

ストリーム 処理

検索

コンテナのログをawslogs経由で収集

•

•

•

•

•

•

•

Amazon ES上のKibanaでログを検索

タスクのAuto Scaling

タスクのAuto Scaling

•

•

•

•

• 各タスクが確保したリソースをどれくらい消費しているか？

•

• クラスタ全体のリソースの内、実際どれくらいが使われているか？

•

• クラスタ全体のリソースがどの程度確保されているか？

Amazon CloudWatch Dashboardsで監視

Spotフリートをコンテナインスタンスとして使う

Amazon ECS Amazon EC2 Spot Fleet

+ ^¢

c3.xlarge

c3.xlarge

c3.xlarge r3.8xlarge

r3.8xlarge r3.8xlarge

c3.8xlarge

c3.8xlarge c3.8xlarge

c3.4xlarge

c3.4xlarge c3.4xlarge

r3.2xlarge

r3.2xlarge

r3.2xlarge

まとめ

まとめ

•

•

•

•

•

ありがとうございました