• 検索結果がありません。

AWS r e : I n v e n t 2018 ダイジェスト AWS ストレージサービス 西日本ソリューション部ソリューションアーキテクト藤原吉規 / Yoshinori Fujiwara 2018, Amazon Web Services, Inc. or its affiliates. A

N/A
N/A
Protected

Academic year: 2021

シェア "AWS r e : I n v e n t 2018 ダイジェスト AWS ストレージサービス 西日本ソリューション部ソリューションアーキテクト藤原吉規 / Yoshinori Fujiwara 2018, Amazon Web Services, Inc. or its affiliates. A"

Copied!
78
0
0

読み込み中.... (全文を見る)

全文

(1)
(2)

AWSストレージサービス

西日本ソリューション部

ソリューション アーキテクト

藤原 吉規 / Yoshinori Fujiwara

(3)
(4)

様々なワークロード向けのAWSストレージ

オブジェクトストレージ

S3 Standard

S3 Glacier Deep Archive

S3 Glacier

S3 Intelligent-Tiering

S3 One Zone-IA

S3 Standard-IA

ブロックストレージ

プロビジョンド IOPS SSD

コールド HDD

スループット最適化 HDD

NEW!

COMING

SOON!!

ファイルストレージ

EFS Standard

EFS Infrequent Access

NEW!

Elastic

NEW!

Amazon FSx for

Lustre

Amazon FSx for

Windows File Server

NEW!

AWS Storage

Gateway Family

Amazon S3 &

S3 Glacier

Amazon EBS

Amazon EFS

Amazon EC2

適材適所の選択

Right tool for the right

job

(5)

データ転送の選択肢

AWS

Direct Connect

Amazon Kinesis

Firehose

AWS

Snowball

AWS Snowmobile

AWS

Storage

Gateway

Amazon S3

Transfer

Acceleration

AWS

DataSync

AWS Transfer

for SFTP

AWS

Snowball Edge

Storage Optimized

Amazon Kinesis

Data Streams

Amazon Kinesis

Video Streams

NEW!

AWS

Snowball Edge

Compute Optimized

(6)
(7)

Enterprise

applications

Analytics

Archiving

Backup &

restore

Origin storage

for CDN

Website

hosting

Mobile sync

and storage

Amazon S3

(8)

S3 Intelligent-Tiering

NEW!

ア ク セ ス パ タ ー ン の 変 化 に 応 じ て 、

オ ブ ジ ェ ク ト を 2 つ の ア ク セ ス 階 層 間 で

自 動 的 に 移 動 :

• 高頻度のアクセス用に最適化された階層

• 低頻度のアクセス用に最適化された階層

オ ブ ジ ェ ク ト レ ベ ル で の 監 視 と 自 動 階 層 化

( S 3 標 準 ま た は S 3 標 準 - I A の 料 金 に 加 え 、

1 , 0 0 0 オ ブ ジ ェ ク ト あ た り $ 0 . 0 0 2 5 の 料 金 )

機 能 / 耐 久 性 / パ フ ォ ー マ ン ス に つ い て は

通 常 の S 3 と 同 等

自動的なコスト節約

(9)

Amazon S3 Glacier Deep Archive

NEW!

テープ管理

不要

S3 Glacierの

1/4以下のコスト

$0.00099/GB/月

11x9の耐久性

時間単位での

復旧

クラウドで利用可能な最小コストのストレージ

C O M I N G I N 2 0 1 9

(10)

Amazon S3 ストレージクラスの選択肢

アクセス頻度

高頻度

低頻度

• アクティブ、頻繁に

アクセスするデータ

• ミリ秒アクセス

• > 3 AZ

• $0.0210/GB~

• 変化するアクセス

パターンのデータ

• ミリ秒アクセス

• > 3 AZ

• $0.0210~$0.0125/GB

• オブジェクト毎の

管理料金

• 最低保持期限

• 低頻度アクセスデータ

• ミリ秒アクセス

• > 3 AZ

• $0.0125/GB~

• GB毎の取り出し料金

• 最低保持期限

• 最小オブジェクト

サイズ

S3 Standard

S3 Standard-IA

S3 One Zone-IA

S3 Glacier

• 再作成可能な

低頻度アクセスデータ

• ミリ秒アクセス

• 1 AZ

• $0.0100/GB~

• GB毎の取り出し料金

• 最低保持期限

• 最小オブジェクト

サイズ

• アーカイブデータ

• 分~時間アクセス

• > 3 AZ

• $0.0040/GB~

• GB毎の取り出し料金

• 最低保持期限

• 最小オブジェクト

サイズ

S3

Intelligent-Tiering

S3 Glacier

Deep Archive

• アーカイブデータ

• 時間アクセス

• > 3 AZ

• $0.00099/GB~

• GB毎の取り出し料金

• 最低保持期限

• 最小オブジェクト

サイズ

N E W

!

N E W

!

(11)

Amazon S3 Glacier

NEW!

リストア

通知

ジョブの開始および完了時にSNS/SQSで通知を発行

復元速度の

アップグレード

一度発行した復元リクエストを、より高速な取り出しオプションで上書き

(標準→迅速、一括→標準、一括→迅速)

Direct

PUT

S3 APIで直接S3 GlacierストレージクラスにPUTが可能

S3 CRRの

(12)

S3 Object Lock

NEW!

S3オブジェクトを削除/上書き不可に

Write Once Read Many (WORM)の保護を実現

バケット単位で設定

保持期限の管理

バケットレベルのデフォルト設定で保持期限を設定

保持期限は個々のオブジェクトレベルで設定可能

法的保留のシナリオをサポート

データ保護とコンプライアンス

Cohasset Associates社がSEC 17a-4、CFTC、FINRAに対して評価済み

(13)

S3 Object Lock モード

NEW!

コンプライアンス

モード

• コンプライアンス用途

• rootアカウントでさえオブジェクトの変更/削除は不可

• Cohasset Associates社による評価済み

ガバナンス

モード

• データ保護用途

• オブジェクトに対する明示的な許可がある場合のみ

オブジェクトの変更/削除が可能

• コンプライアンスモードに変更可能

(14)

S3 Batch Operations (Preview)

NEW!

(15)

S3 Batch Operations (Preview)

NEW!

(16)
(17)

フルマネージド型クラウドファイルシステム

Amazon EFS

Amazon FSx for

Windows File Server

Amazon FSx for

Lustre

ビジネスアプリケーション向けファイルシステム

コンピューティング集約型

アプリケーション向けファイルシステム

LINUX-BASED WORKLOADS

WINDOWS-BASED WORKLOADS

ビジネスアプリケーション用の

フルマネージド型Windowsファイルサーバ

Windows Server上に構築され、

Windowsファイルシステムの機能を

ネイティブにサポート

幅広いLinuxベースの

ビジネスアプリケーション用の

フルマネージド型

クラウドネイティブファイルシステム

コンピューティング集約型ワークロード向けの

フルマネージド型Lusterファイルシステム

オープンソースの並列ファイルシステムとして

人気の高いLustreを提供

ファイルベースのアプリケーション対応のニーズに応じたファイルシステムオプションを提供

(18)

Amazon FSx for Windows File Server

(19)

Windowsワークロードの約2/3がAWS上で稼働

IDC, Windows Server Operating Environment Market Update,

Doc # US44217118, Aug 2018

Note: Includes Windows instances deployed in the public cloud IaaS

market

during 2017 Source: IDC estimates, 2018

(20)

Amazon FSx for Windows File Server

Windowsファイルストレージを

完全マネージド型のWindowsファイルサーバとしてリフト&シフト

フルマネージド型

高速で柔軟な

パフォーマンス

Windows

ネイティブ互換

幅広い接続性

エンタープライズ

対応

(21)

Windowsネイティブ互換

Windows

ネイティブ互換

DFS名前空間と

DFSレプリケーション

Microsoft ADとの

インテグレーション

とWindows ACLのサ

ポート

AD

NTFS

Windows Server

SMBネイティブ対応

2.0 to 3.1.1

SMB

(22)

高速で柔軟なパフォーマンス

高速で柔軟な

パフォーマンス

高いIOPS

高いスループット

SSDベースで構成

一貫したミリ秒未満の

レイテンシ

ストレージ容量と

独立したスループットの選択

(23)

高速で柔軟なパフォーマンス

ストレージ容量と独立したスループットの選択

スループット能力 (MB/s)

8

16

32

64

128

256

512

1,024

2,048

ベースライン (MB/s)

8

16

32

64

128

256

512

1,024

2,048

バースト (MB/s)

200

200

200

250

450

450

-

-

-キャッシングでさらに高いパフォーマンスを提供:

600 MB/s - 3 GB/s

(24)

エンタープライズ対応 (1/2)

高い可用性と

耐久性

DFS名前空間と

DFSレプリケーション

によるマルチAZ配置

バックアップは

S3に保管

AZ内でデータをレ

プリケーション

ハードウェア障害

の検出と解決

(25)

エンタープライズ対応 (2/2)

セキュリティと

コンプライアンス

Amazon VPC セキュリティ

グループによるネットワーク

トラフィックのアクセス制御

AD統合と

Windows ACLの

サポート

保管データと

伝送データの暗号化

PCI-DSS、ISO、

HIPAA準拠

AWS CloudTrailによるAPI

コールの監視とログ

AWS IAMによる

管理APIアクセスの制御

(26)

幅広い接続性

幅広い接続性

Linux

(Samba client)

Windows 7+

Microsoft Windows

Server 2008+

Amazon

AppStream 2.0

Amazon

WorkSpaces

VMware Cloud

on AWS

Amazon

EC2

Windows Server

SMB

2.0–3.1.1

(27)

フルマネージド型

フルマネージド型

バックアップの

取得と管理の自動化

Windowsソフトウェアを

最新状態にアップデート

ファイルサーバと

ストレージボリュームの

プロビジョニング、

セットアップ、管理

(28)

幅広いユースケースのサポート

分析

ソフトウェア開発環境

ホームディレクトリ

Webサイトと

コンテンツ管理

メディアワークフロー

LoBアプリケーション

(29)

AD認証

• ファイルシステムを

AWS Directory Service for Microsoft ADで

管理されるADにJoinして利用

• 自社管理のADは、

AWS Directory Service for Microsoft ADと

片方向の信頼関係を結ぶことで利用可能

• Windows ACLを適用する場合、

(30)

アーキテクチャ

Region

VPC

Availability zone A

Subnet 1

Instances

Elastic

network

interface

(31)

Multi-AZ アーキテクチャ

Region

VPC

Availability zone A

Subnet 1

Instances

Availability zone B

Subnet 2

Instances

DFS Replication

(32)

オンプレミスファイルの移行

Region

VPC

Availability zone A

Subnet 1

Instances

VPN

Connection

On-Premise

File server

(33)

料金モデル

ストレージ容量

:

$0.130 GB-月

スループット容量

:

$2.200 MB/s-月

バックアップ

:

$0.050 GB-月

料金試算例

• ファイルシステムが

米国東部 (バージニア北部)リージョン

にあり、

• 800 GBのストレージ容量

8 MB/sのスループット容量

を割り当て、

• 毎月平均で

400 GBのバックアップストレージ

を消費

800 GB-月 x $0.130 GB-月 + 8 MB/s-月x $2.200 MB/s-月 + 400 GB-月x $0.050

GB-月

= $141.600

※米国東部 (バージニア北部)リージョンの 2018年12月11日時点の料金

(34)

提供リージョン

米国西部 (オレゴン)

米国東部 (バージニア北部

)

米国東部 (オハイオ)

欧州 (アイルランド)

(35)

Amazon FSx for Lustre

(36)

Lustreとは

15+

オープンソース

並列ファイルシステム

15年以上の実績

Top100スパコン

の60%が利用

60

%

電子設計自動化

ファイナンシャル

モデリング

地質探査

計算負荷の高いワークロードの多くで利用

メディアレンダリング

・トランスコード

地理空間解析

(37)

Amazon FSx for Lustre

コンピューティング集約型ワークロードのための

フルマネージドなファイルシステム

ネイティブなファイル

システムインタフェース

シンプルな

フルマネージド型

Amazon S3との

シームレスな統合

高いスケール性能

コンピューティング集約型

ワークロードに向けたコスト最適化

セキュアと

コンプライアンス

(38)

高いスケール性能

高いスケール性能

並列ファイルシステム

100 GiB/s以上のスループット

数百万 IOPS

一貫したミリ秒未満のレイテンシ

数十万CPUコアの

サポート

SSDベースで構成

(39)

ストレージ容量に合わせて

リニアにスケールするスループットとIOPS

1 TBのストレージ容量ごとに

200 MB/sのスループットを提供

ファイルシステムは

数百 GB/sのスループット、

数百万 IOPSまでスケール可能

(40)

Amazon S3とのシームレスな統合

S3に保存したデータを処理するために

Amazon FSxにインポート

処理結果を保存するため

S3にエクスポート

処理が終了したら、ファイルシステムを削除すれば課金されない

(41)

オンプレミス環境のクラウド拡張にも対応

AWS Direct

Connect

VPN

(42)

シンプルなフルマネージド型

シンプルな

フルマネージド型

ファイルサーバや

ストレージボリュームの

セットアップ

Lustreソフトウェアの

設定や管理

Lustre

Amazon S3からの

データ入出力の管理

(43)

既存のアプリケーションとの互換性

POSIX

アプリケーション

の変更は不要

Read-after-write/closeの

整合性モデル

ファイルロックの

サポート

Linux OSの既存の

ファイルシステム

と同様に扱える

互換性

(44)

セキュリティとコンプライアンス

セキュリティと

コンプライアンス

PCI-DSS、ISO、

HIPAA準拠

保存時の

データ暗号化

Amazon VPC セキュリティ

グループによるネットワーク

トラフィックのアクセス制御

AWS CloudTrailによる

APIコールの監視とログ

AWS IAMによる

管理APIアクセスの制御

(45)

作成や削除は

数分以内に完了

使用したリソース

のみへの支払い

長期保管用のデータ

はオンプレミス

またはS3を利用

コスト最適化

FSx for Lustre 料金モデル:

$0.14 GB-月

($0.20 TB-時)

秒単位の課金

性能とコストの最適化

ファイルシステム内

ではレプリケーション

しない

コンピューティング集約型ワークロードに向けたコスト

最適化

(46)

幅広いユースケースのサポート

機械学習

ハイパフォーマンス

コンピューティング

メディアレンダリング

・トランスコード

ビッグデータ解析

電子設計自動化

ファイナンシャル

オイル・ガス

自立システムの

(47)

提供リージョン

米国西部 (オレゴン)

米国東部 (バージニア北部

)

米国東部 (オハイオ)

欧州 (アイルランド)

(48)

F I L E S H A RING

F I L E

S E R V I C E S

BUSINESS

APPLICATIONS

DATA LAKE

DATA TRANSFER

FILE SYSTEMS

NFS

LINUX

F I N A N C I A L

S E R V I C E S

O C R

EDI

B A C K U P & R E S T O R E

D A T A B A S E

COMPUTE-INTENSIVE

WORKLOADS

D A T A A N A L Y T I C S

W E B S E R V I N G

MEDIA AND

ENTERTAINMENT

CONTAINERS

S O F T W A R E D E V E L O P M E N T T O O L S

H Y B R I D S T O R A G E

M A C H I N E L E A R N I N G

HPC

G E N O M I C S

E D A

様々なファイルベースのワークロードを支える

AWSのファイルストレージ

(49)
(50)

AWS DataSync

オンプレミスストレージとクラウドのデータ転送をシンプルに、

自動で、高速に実行するオンライン転送サービス

高速な転送

セキュリティと

高コスト効率

コンプライアンス

ネットワーク高速化ソフトウェアによる高速性と信頼性を

オープンソースツールの経済性で提供

簡単に

利用可能

安全で

高信頼性

(51)

エージェント毎に最大10Gbpsの転送が可能

AWS DataSync専用の転送プロトコル

マルチスレッド、大きなファイルの並列転送、

スケールアウト

差分転送による効率化、自動圧縮、

スパースファイルの検知

Amazon S3とEFSへの読み書きに最適化

ネットワーク帯域のスロットリングに対応

高速な転送

(52)

データ移動の管理を容易にする

簡単に

利用可能

コンソールやCLI/SDKで設定・管理

インフラのデプロイや管理が不要

オンプレミス側のエージェントは自動更新

メタデータは維持される

CloudWatchによるモニタリング

(53)

信頼性の高いデータ転送

安全で

高信頼性

TLS1.2による通信路暗号化

KMSによる保存データの暗号化に対応

VPC内のAWSサービスにアクセスが可能

転送中・保存中のデータバリデーション

I/Oエラーや転送エラーからの自動リカバリ

(54)

セキュリティとコンプライアンス

セキュリティと

コンプライアンス

PCI-DSSに準拠、HIPAAに対応

アクセス制御にAWS IAMを利用

AWS CloudTrailによる監査

(55)

高コスト効率

高コスト効率

前払いや最小利用量の制約なしで、

コピーしたデータ1 GBあたり$0.04の課金

料金例: 100 GBをEFSに取り込むと$4

AWSのインフラはフルマネージドかつ、

利用状況に応じてスケール

オンプレミスのエージェントは自動更新され、

管理の手間が不要

(56)

Shared

file

systems

NFS

TLS

AWS DataSyncの動作概要

On-Premise

Amazon S3

bucket

AWS storage resources

AWS DataSync

エージェントは

ローカルストレージに

高速にアクセスするために

オンプレミスに配置

Region

Amazon EFS

file system

AWS DataSync

agent

WAN経由の

データ転送(送/受信)

専用プロトコルを使用

マネジメント

コンソールかCLIで

管理

AWS内のサービスが

AWSストレージ

サービスを読み書き

(57)

3ステップの操作

オンプレミスのNFSと

S3 バケットまたは

EFSファイルシステム

転送元/先とオプションを

選択してタスクを作成

コンソール、あるいは

Amazon CloudWatchで監視

タスクの開始と監視

VMware ESXi

8 vCPU

32 GB memory

エージェントを導入して

AWSアカウントと紐付け

1

2

3

(58)

エージェントを導入してAWSアカウントと紐付け

console.aws.amazon.com/datasync

(59)

1

2

3

(60)

1

2

3

(61)

タスクオプション

タスク実行後にファイルレベルの

バリデーション

タスクの作成時に構成、タスク実行時に設定は変更可能

ファイルのメタデータ

の維持を選択

転送元で

削除済みのファイル

を転送先で保持

共有ネットワーク利用時の

帯域制限

を設定

(62)

提供リージョン

米国東部 (バージニア北部)

米国東部 (オハイオ)

米国西部 (北カリフォルニア)

米国西部 (オレゴン)

欧州 (フランクフルト)

欧州 (アイルランド)

アジアパシフィック (東京)

アジアパシフィック (ソウル)

アジアパシフィック (シンガポー

ル)

アジアパシフィック (シドニー)

(63)
(64)

AWS Transfer for SFTP

SFTPでデータ転送を行い、

Amazon S3に保存可能なフルマネージド型サービス

既存のワークロードの

シームレスな移行

AWSサービスとの連携

高コスト効率

簡単に利用可能

フルマネージド型

セキュリティと

コンプライアンス

(65)

3ステップでSFTPサービスをセットアップ

AWS SFTPサーバのエンドポイント経由でデータ転送可能に

サーバのエンドポイントに

ホスト名を関連付ける

ホスト名の指定

特定のS3バケットにアクセスし

SFTPでデータ転送を行うための

IAMロールを作成する

S3バケットの選択

ユーザを作成し

ファイル操作を行うための

IAMロールを割り当てる

ユーザのセットアップ

1

2

3

(66)

これからのSFTPサービスのアーキテクチャ

アプリケーション、プロセス、

クライアントソフトウェアの

構成や動作の変更は不要

+

セキュリティとコンプライアンス

+

フルマネージド型

+

シームレスな移行

+

AWSサービスとの連携

+

高コスト効率

+

簡単に利用可能

Amazon S3

AWS SFTP

AWS Transfer

for SFTP

(67)

既存のワークロードのシームレスな移行

AWSへの移行はエンドユーザには影響を与えない

Amazon Route 53を利用して既存のSFTP用ドメインを

サービスのエンドポイントに移行

既存の転送用クライアントを利用可能

ホスト名と認証情報は既存のものを継続して利用可能

既存のIDプロバイダ (Microsoft AD、LDAP)を用いた

ユーザ認証も可能

(68)

SFTPサーバを管理する労力と時間を削減

需要に応じてリアルタイムでオートスケール

リージョン内の複数AZで冗長化

(69)

HIPAAに対応、PCI-DSSに準拠

保存時の暗号化オプション (SSE-S3 or SSE-KMS)

CloudWatchによるユーザ行動のトラッキング

(70)

データは Amazon S3 バケットに保存され、

アーカイブや加工、解析に活用

S3 eventsを利用してアップロード後に自動で処理

AWS IAMを利用したリソースのアクセス制御

サーバサイド暗号化 (S3 or KMS)

AWSサービスとの連携

(71)

SFTP エンドポイント料金: $0.30/時

SFTP アップロード/ダウンロード: $0.04/GB

料金例:

10GB/日 → $2.7K/年

100GB/日 → $3.6K/年

高コスト効率

注意: エンドポイント課金を停止するためには、サーバの停止ではなく削除が必要

https://docs.aws.amazon.com/transfer/latest/userguide/API_StopServer.html

(72)

AWSマネジメントコンソールやAPIから

簡単にセットアップ可能

ITの専門家でなくとも

SFTPサーバやユーザアクセスの設定が可能

(73)
(74)

サービスマネージドのユーザアクセス

サービス内でユーザIDとキーを保管・管理

1.

AWSマネジメントコンソールでユーザの資格情報とキーを構成

2.

既存のクライアントと資格情報を使用してサービスを利用

3.

ファイル転送中はIAMロールを使用してAmazon S3にアクセス

AWS SFTP

Amazon S3

1

2

3

AWS Transfer

for SFTP

(75)

カスタムIDプロバイダー (IdP)の利用

独自のIdPを使用したい場合は、Amazon API Gatewayで統合

1.

API GatewayのメソッドでIdPを統合

2.

API Gateway経由でIdPを使用してユーザ認証

3.

ファイル転送中はIAMロールを使用してAmazon S3にアクセス

VPC

1

2

3

Amazon S3

AWS SFTP

AWS Transfer

for SFTP

(76)

提供リージョン

米国東部 (バージニア北部)

米国東部 (オハイオ)

米国西部 (北カリフォルニア)

米国西部 (オレゴン)

カナダ (中部)

欧州 (フランクフルト)

欧州 (ロンドン)

欧州 (アイルランド)

欧州 (パリ)

アジアパシフィック (東京)

アジアパシフィック (ソウル)

アジアパシフィック (シンガポー

ル)

(77)
(78)

参照

関連したドキュメント

(2013) “Expertise differences in a video decision- making task: Speed influences on performance”, Psychology of Sport and Exercise. 293

WAKE_IN ピンを Low から High にして DeepSleep モードから Active モードに移行し、. 16ch*8byte のデータ送信を行い、送信完了後に

サーバー費用は、Amazon Web Services, Inc.が提供しているAmazon Web Servicesのサーバー利用料とな

のようにすべきだと考えていますか。 やっと開通します。長野、太田地区方面  

サーバー API 複雑化 iOS&Android 間で複雑な API

[r]

[r]

日髙真吾 企画課長 日髙真吾 園田直子 企画課長 鈴木 紀 丹羽典生 樫永真佐夫 樫永真佐夫 樫永真佐夫 川瀬 慈 齋藤玲子 樫永真佐夫 三島禎子 山中由里子 川瀬