© 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved.
画面に映る資料の撮影などによる本セッション資料の転用を禁止しております
ドコモCCoEのコスト最適化の
取り組みについて
住谷 哲夫
株式会社 NTTドコモ イノベーション統括部 担当課長奥田 絢香
株式会社 NTTドコモ イノベーション統括部 担当 C U S - 0 6© 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved.
自己紹介
門畑 顕博(Kadohata, Akihiro)
事業開発本部 事業開発マネージャ
❑
通信キャリアの研究所にて、光通信網における数理最適化の研究開発に従事
❑
総合コンサルティングファームにて、IT/クラウド戦略、PMO、SI等の
コンサルティング支援に従事
❑
アマゾン ウェブ サービス ジャパン 事業開発本部にて、AWSへ移行後のコスト最適化を
Cloud Financial Management (CFM) フレームワーク
(*1) FinOps: Financial Operationの略。クラウド財務オペレーション
可視化
コスト最適化
計画・予測
FinOps
(*1)
✓ Cloud Center of Excellenceの組成/文化の醸成 ✓ コスト管理の自動化 ✓ アカウント・タグ付け戦略 ✓ タグ付けに係るガバナンス ✓ クラウド使用量予測 ✓ 予算策定 ✓ クイックウイン最適化 ✓ アーキテクチャ最適化
© 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved.
NTTドコモ様へのAWSコスト最適化支援
CFM分析
✓ 複数のプロジェクトに対してCFMフレームワークに則った分析と改善提案
論点整理&課題設定
✓ 継続的かつばらつきなく最適化を進めていくにはどのような取組/仕組が必要か
CCOEの取組支援
✓ 全社的なコスト最適化の知見向上のためのFinHackワークショップを共催
Work shop本日のトピックス
自己紹介
住谷
哲夫
すみや てつお 株式会社 NTTドコモ イノベーション統括部 クラウドソリューション担当 担当課長【現在の業務】
- クラウドCOE運営: 社内AWS利用管理
- 社内向けコンサルティング
- 社内, 子会社向けSaaSの設計,構築,運用
- コスト可視化ツールの開発
… 等々
● ドコモのAWS利用動向について ● ドコモのクラウドCoE体制について ● ドコモにおけるコスト最適化の取り組みについてⓒ2021 NTT DOCOMO, INC. All Rights Reserved. 主にコンシューマ向けサービスと一部の業務系システムにクラウドを導入 R&D部門で先行して利用し、その後全社的に広がる
~2010
2011
2012
2013
2014
2015
2016
2017
2018
2019~
NTTドコモのAWS利用動向
6 2009 〜 主に研究開発用途で 検証用に利用(R&D部門) 2010 〜 社内アカウントの 一括請求運用開始 2011/3 〜 東京リージョン 運用開始 2012 〜 「しゃべってコンシェル」や「フォトコレクション」の 大規模商用サービスで利用開始 2014 〜 社内用業務システム (ビッグデータ分析)で Amazon RedShiftを利用開始 2014 〜 社内向けに クラウド開発ガイドラインを提供開始 CCoE活動本格化 以降、右肩あがりで AWS利用が増加中NTTドコモのAWSリソース利用状況
非常に多くのシステムがAWS上で稼働中 AWSアカウント数:900+ Amazon EC2 17,000+ Amazon RDS 3,000+ Amazon S3データ量 40PB+ データ転送量 3PB+/monthⓒ2021 NTT DOCOMO, INC. All Rights Reserved.
直面した課題
クラウドを大規模で利用するにあたり、以下のような課題が発生 これらの課題はユーザ自身がルールを決め、解決する必要がある 8内部統制
社内基準を満たすようにクラウドでのコンプライアンス・セキュリティポリシーを策定し浸透させるリテラシ向上
初心者がクラウドで失敗しないように教育するアカウント
管理
管理者不明のアカウントが作成されないように 社内アカウントの一元管理が必要コスト管理
アカウントが増えるにつれコスト管理が煩雑化するため、支払いの統一やコスト構造を可視化しわかりやすくする ドコモでもクラウド利用が増えるにつれて、上記のような課題に直面 一括請求の取りまとめをしていたR&D部門から、クラウドでの開発のポイントを抑えたガイドラインや、 セキュリティチェックツール、コスト可視化ツールなどを提供し、CCoEとしての活動を本格化主に ① コスト最適化、② 技術支援、③ 要望取りまとめ を実施
クラウドに関するノウハウを集約したガイドラインの作成や、運用を効率化するツール (コスト可視化、セキュリティアセスメント)を内製開発し提供
ⓒ2021 NTT DOCOMO, INC. All Rights Reserved. AWSは200を超えるサービスがあり、基本的には従量課金制 ● ユーザにとって使いたいサービスが充実! ● 使ったら使った分だけの課金!
クラウド利用時のコストの理想と現実
10課題/現実
良い点/理想
オンデマンドで費用が発生するため
コスト管理しづらい
数クリックで簡単に使えるので
コスト最適化の意識付けをしづらい
プロジェクトによって
コスト最適化の対策にばらつきがある
迅速性
(オンデマンドで使える)柔軟性
(コスト最適化の余地がある)コスト最適化の取り組み
支払い取りまとめ
費用振替
全アカウントをAWS Organizationで統合.支払いを一元化し、
各部門・子会社の利用料を按分.
全体費用の把握
が可能に
コスト可視化ツールの
開発・提供
コスト可視化
や費用按分計算のためのツール(CostVisualizer)を内製開発
コスト最適化
ガイドラインの提供
コスト最適化のためのノウハウを記載したガイドラインを作成し提供
コンサルティング
要望に応じて or 利用料が高いアカウントにコンサルティングを実施
Cloud Financial Managementも活用
全体費用削減(検討中)
クラウドの料金プランを活用し、全体的にコストを削減する
勉強会の実施
コスト最適化関連のノウハウを共有する勉強会、ハンズオンを実施
基本的に各プロジェクトのコスト最適化は各プロジェクト自身で実施する 加えて、以下の取り組みをクラウドCoEで実施しコスト最適化を支援する
ⓒ2021 NTT DOCOMO, INC. All Rights Reserved.
クラウドCoE側でSavings Plansの一括購入と費用振替
● 組織内でオンデマンドインスタンスの利用が多いため、一括してSavings Plansを購入し、 コスト削減を行う
● 前払い金の費用をどの部署が払うのかという問題があるため、
Cost Visualizerの機能でどのSavings Plansを誰が使ったか可視化し、購入費の振替を行う
※ コストと使用状況レポートのSavingsPlanARNを参照し、購入アカウント、利用アカウントを特定
全体費用削減(検討中)
12SPを購入した
アカウント
購入してないけど
利用したアカウント
AWS共催 FinHackワークショップの実施
AWSコスト最適化のベストプラクティスを学ぶオンライン勉強会 - 今後の各プロジェクトにおけるコスト削減に活かす - コスト最適化に向けたクラウドCoEでの取り組みに関して知ってもらう 普段の技術よりの勉強会は研究・開発部が多めだが、FinHackは事業部含め幅広い層が参加 ● コスト最適化フレームワーク紹介○ Cloud Financial Management (CFM)フレームワークの 内容紹介 ● AWS Cost Explorerのハンズオン
○ AWS Cost Exploreの利用方法/概要紹介
○ 利用費用の可視化、推奨事項の確認方法のハンズオン ● スポット適用の勘所 ○ スポットインスタンスに向いているワークロードの特徴 ○ 具体的な事例に学ぶスポットインスタンス活用のメリットとコツ ● サーバーレス/マネージド利用による TCO削減 ○ サーバーレス/マネージドの特徴と効能 ○ 具体的な事例に学ぶ、代表的な利用シーンと効果
ⓒ2021 NTT DOCOMO, INC. All Rights Reserved.
継続的なコスト削減をするためには?
14① 診断
現在のAWS利用を事実に 基づき診断します。② 分析・評価
得られた診断を基に分析・評価します。 何を基準に分析・評価をすれば良いか分からない場合はAWSのCloud Financial Management(CFM)のコスト最適化アプローチを
参考にしてみてください。
④ 効果判定
一定期間行った対策に対する 効果を判定します。③ 対策決定
行った分析・評価を基に 実際に行う対策を 決定、実施します。自己紹介 & アジェンダ
奥田 絢香 (Ayaka Okuda) 所属 NTTドコモ イノベーション統括部 クラウドソリューション担当 業務 ・社内向けクラウド共通基盤運用 ・ドコモ・クラウドパッケージ・CCoE(Cloud Center of Excellence)
ⓒ2021 NTT DOCOMO, INC. All Rights Reserved.
継続的なコスト削減をするためには?
16① 診断
現在のAWS利用を事実に 基づき診断します。② 分析・評価
得られた診断を基に分析・評価します。 何を基準に分析・評価をすれば良いか分からない場合はAWSのCloud Financial Management(CFM)のコスト最適化アプローチを
参考にしてみてください。
④ 効果判定
一定期間行った対策に対する 効果を判定します。③ 対策決定
行った分析・評価を基に 実際に行う対策を 決定、実施します。継続的なコスト削減をするためには?
① 診断
現在のAWS利用を事実に 基づき診断します。② 分析・評価
得られた診断を基に分析・評価します。 何を基準に分析・評価をすれば良いか分からない場合はAWSのCloud Financial Management(CFM)のコスト最適化アプローチを 参考にしてみてください。
④ 効果判定
一定期間行った対策に対する 効果を判定します。③ 対策決定
行った分析・評価を基に 実際に行う対策を 決定、実施します。ⓒ2021 NTT DOCOMO, INC. All Rights Reserved.
AWSコスト可視化
● 請求書を確認
● AWS Cost Explorerの活用
- AWS標準のツールで、請求金額をグラフで表示が可能
- サービス別やLinkedアカウント別など様々な切り口でコストの細分化が可能 ● AWS Budgetsで予算管理
- コストまたは使用量が設定した予算額や予算量を超過・超過しそうな際に、アラートを発出する機能 ● AWS Trusted Advisor(コスト最適化)
- AWSのベストプラクティスを元に各アカウントのコスト最適化をアドバイスしてくれるサービス
● Cost Visualizerの活用
- NTTドコモで構築したコスト分析ツール
Cost Visualizer(コスト可視化ツール)
各アカウントのコストを可視化、コスト要因を分析 ドコモ内では実際にコスト分析や費用処理に活用 社内では自由に活用出来るように展開 AWSの権限設定とは分離しているためAWSのサポートレベルや請求閲覧権限によらず利用することが可能 各プロジェクト担当者でコスト管理を意識してもらう見える化のサポート
RIの導入サポート
細かな閲覧権限設定
多様な分析機能
会計管理のサポート
セキュリティ
ⓒ2021 NTT DOCOMO, INC. All Rights Reserved.
Cost Visualizer(コスト可視化ツール)
請求額推移(時間・月次)や月別請求額円グラフに加え、細かな設定でコストの可視化が可能 ・表示期間 ・サービス単位 ・対象アカウント単位 ・利用AZ ・累積値で表示 ・予測値の表示 ... など 20コストの最適化状況の確認 RI を活用した実際のコスト 購入したRIがオンデマンドだった場合のコスト を 比較
Cost Visualizer(コスト可視化ツール)
RI購入の検討 RI / オンデマンド / スポット の利用比率から RIのカバレッジを確認ⓒ2021 NTT DOCOMO, INC. All Rights Reserved.
コスト自動通知
CFM(Cloud Financial Management)の指標に沿って5つのコスト自動通知を提供
● Reserved Instance / Savings Plansカバー率 ● インスタンス世代利用率
● Elasticity
● Amazon S3ストレージクラス利用率 ● 使用率の低いリソース
継続的なコスト削減をするためには?
① 診断
現在のAWS利用を事実に 基づき診断します。② 分析・評価
得られた診断を基に分析・評価します。 何を基準に分析・評価をすれば良いか分からない場合はAWSのCloud Financial Management(CFM)のコスト最適化アプローチを
参考にしてみてください。
④ 効果判定
一定期間行った対策に対する 効果を判定します。③ 対策決定
行った分析・評価を基に 実際に行う対策を 決定、実施します。ⓒ2021 NTT DOCOMO, INC. All Rights Reserved.
AWSによるCFM分析の実施
継続的なコスト削減を行うことを目的としたコスト最適化アプローチ ● 適切なインスタンスの再選定 ○ ダウンサイジング ・ 現行世代インスタンスへ変更 ・ RI / SPの購入 ● 未使用リソース停止による規模の縮小○ 未接続のElastic IP ・ 未接続EBS ・ アイドル状態のAmazon EC2、Amazon RDS、Amazon Redshift ● 需要に応じたスケジューリング
○ AWS Auto Scalingを用いたインスタンスの自動増減
○ AWS Instance SchedulerやSSM Automationを用いたスケジュール調整 ● 適切なストレージの再選定 ○ EBSではなくAmazon S3の利用検討 ・ 適切なAmazon S3ストレージクラスの選定 ドコモ内の6つのプロジェクトに対して実際にCFM分析を実施 1. 各プロジェクトに対してコスト最適化の観点をインプット 2. AWSにより各プロジェクトでCFM分析を実施 3. 各プロジェクトで個別に検討し、実施可能な指標に関してコスト最適化を実施 24
AWSによるCFM分析の実施
25 プロジェクト 項目 A B C D E F A Amazon EC2 RI カバー率 85% 32% 36% 2% 85% 53% Amazon EC2 RI 利用率 100% 100% 100% NA 100% 100% Amazon RDS RIカバー率 11% 73% 58% 1% 100% 12% Amazon RDS RI利用率 NA 100% 100% NA 100% NA B スポットカバー率 0% 26% 0% 0% 0% 0% C Amazon EC2 現行世代利用率 70% 11% 0% 17% 11% 14% Amazon RDS 現行世代利用率 65% 90% 49% 49% 72% 11% D Amazon EC2 ダウンサイジング率 2% 8% 9% 9% 2% 26% E Amazon EC2 ターンオフ率 1% 0% 3% 1% 0% 0%F Amazon EC2 Elasticity 12% 46% 3% 27% -4% 23%
G Amazon RDS Elasticity -1% 61% 2% 30% NA 8% H Amazon S3 利用率 47% 86% 74% 69% 44% 11% I Amazon S3 IA利用率 0% 0% 0% 0% 0% 0% J Amazon S3 Glacier利用率 0% 0% 0% 0% 0% 0% :最適度 高 :最適度 中 :最適度 小 :NA 共通して コスト削減余地あり
ⓒ2021 NTT DOCOMO, INC. All Rights Reserved.
AWSによるCFM分析の実施
26 26 プロジェクト 項目 A B C D E F A Amazon EC2 RI カバー率 85% 32% 36% 2% 85% 53% Amazon EC2 RI 利用率 100% 100% 100% NA 100% 100% Amazon RDS RIカバー率 11% 73% 58% 1% 100% 12% Amazon RDS RI利用率 NA 100% 100% NA 100% NA B スポットカバー率 0% 26% 0% 0% 0% 0% C Amazon EC2 現行世代利用率 70% 11% 0% 17% 11% 14% Amazon RDS 現行世代利用率 65% 90% 49% 49% 72% 11% D Amazon EC2 ダウンサイジング率 2% 8% 9% 9% 2% 26% E Amazon EC2 ターンオフ率 1% 0% 3% 1% 0% 0%F Amazon EC2 Elasticity 12% 46% 3% 27% -4% 23%
G Amazon RDS Elasticity -1% 61% 2% 30% NA 8% H Amazon S3 利用率 47% 86% 74% 69% 44% 11% I Amazon S3 IA利用率 0% 0% 0% 0% 0% 0% J Amazon S3 Glacier利用率 0% 0% 0% 0% 0% 0% :最適度 高 :最適度 中 :最適度 小 :NA 3ヶ月間で 各プロジェクト コスト削減を実施 (5%改善) 90% (2%改善) 34% (5%改善) 90% (13%改善) 66% (2%改善) 14% (3%改善) 14% (3%改善) 49% (62%改善) 62% (10%改善) 10% (14%改善) 73%
継続的なコスト削減をするためには?
① 診断
現在のAWS利用を事実に 基づき診断します。② 分析・評価
得られた診断を基に分析・評価します。 何を基準に分析・評価をすれば良いか分からない場合はAWSのCloud Financial Management(CFM)のコスト最適化アプローチを 参考にしてみてください。
④ 効果判定
一定期間行った対策に対する 効果を判定します。③ 対策決定
行った分析・評価を基に 実際に行う対策を 決定、実施します。ⓒ2021 NTT DOCOMO, INC. All Rights Reserved.
AWSコスト最適化対策
● アーキテクチャ最適化 - オンプレミス構成をそのままクラウド移行した状態は要見直し - サーバーレスやマネージドサービスを活用したクラウドネイティブアーキテクチャ ● 自動化の検討 - インスタンス起動・停止の自動化 - EBSスナップショットライフサイクルの自動化 ... など ● インスタンス台数 / タイプ・ストレージの最適化- モニタリング状況、AWS Compute Optimizerを見て定期的に台数やタイプの見直しを検討 - EBSの種類やストレージの種類を適切なものに変更 ● 料金モデルの検討 - RI / SP / スポット の購入検討 - アーキテクチャー見直し後も常時稼働が必要なシステムなどに適用を検討 28
必
ず
こ
の
順
番
で
実
施
!
1番最後に実施!一例として、ドコモが提供している自動アセスメントツール(ScanMonster)では
サーバレス構成にすることで大幅なコストを削減を実現
アーキテクチャ最適化
費用の約50%は AWS Lambda と Amazon S3
Amazon EC2 + Amazon RDS を並べるレガシーな構成から脱却!
AWS Lambda
ⓒ2021 NTT DOCOMO, INC. All Rights Reserved.
ドコモで一番コストが高いAWSアカウント(検証環境)ではAmazon RDSとAmazon EC2で9割近くを占める
インスタンス自動停止による効果が大きい 1週間(168時間)で 平日:20:00 - 8:00 はインスタンス停止 休日:終日 インスタンス停止 を実施すると・・・? ( 12×5 + 24×2 ) ÷ 168 = 0.642… Amazon EC2とAmazon RDSに かかるコストのうち約64%が削減可能
t3.large SP(Compute Savings Plans)1年 前払いなし
$0.0855 × 186h = $15.903
t3.large オンデマンド 平日・休日にインスタンス停止 $0.1088 × (168h - (12h×5d + 24h×2d)) = $6.528
SP(Compute Savings Plans)を購入するより
オンデマンドで適切にインスタンス停止をした方が約40%コスト削減
自動化の検討
30 Amazon RDS Amazon EC2 インスタンスの起動・停止は自動化 - AWS Systems Manager Automation - Instance Scheduler ... などインスタンス台数 / タイプ・ストレージの最適化
無駄なリソースがないか確認(AWS Trusted Adviser) ● 使用率の低いAmazon EC2 Instances
● Amazon RDSアイドル状態のDBインスタンス ● 利用頻度の低いAmazon EBSボリューム ● 関連付けられていない Elastic IP Address ... など Amazon S3ストレージクラスの最適化 S3 標準 S3 Intelligent-Tiering ※ S3 標準 – IA S3 1 ゾーン– IA Glacier Glacier Deep Archive 可用性(SLA) 99.99%(99.9%) 99.9%(99%) 99.9%(99%) 99.5%(99%) 99.99%(99.9%) 99.99%(99.9%) AZ ≥3 ≥3 ≥3 1 ≥3 ≥3 データ取り出し時間 すぐ取り出し可能 ※ すぐ取り出し可能 すぐ取り出し可能 数分から数時間 12時間以内 取り出し料金 なし なし 取り出し GB あたり 取り出し GB あたり 取り出し GB あたり 取り出し GB あたり 利用料金
ⓒ2021 NTT DOCOMO, INC. All Rights Reserved. オンデマンド / RI / SP / スポット 購入オプションが異なるだけでインスタンスの性能に違いはない ● オンデマンド or スポット - オンデマンドは定価 - スポットは割引率が大きい 中断の可能性があるのでいつインスタンスが落ちても問題ないバッチ処理などでの利用 ● RI or SP - RI(Convertible / Standard)はインスタンス台数コミット
- SP(Compute Savings Plans / EC2 Instance Savings Plans)は時間単位の費用コミット - SP(Compute Savings Plans)はインスタンスの制限が少なく非常に柔軟
Amazon EC2だけでなくAWS Lambda、AWS Fargateも対象
料金モデルの検討
32
RI or SP
● 自動化の検討 - 常設検証環境のインスタンスは平日夜間・休日に自動停止 - 非常設検証環境でインスタンス起動・停止の監視 ● インスタンス台数 / タイプの最適化 - 不要な(余剰な)検証環境の削除 - 検証環境インスタンスサイズの見直し ● 料金モデルの検討 - 検証環境のRIは最小限で購入 - 一部常設の検証環境以外はオンデマンド化
(事例)ドコモ内でのコスト最適化
ⓒ2021 NTT DOCOMO, INC. All Rights Reserved.
ガイドライン
最低でも半年に1度はアップデート
として300社以上のお客様に販売
コスト最適化ガイドライン
● コスト最適化とは?
● コスト可視化(確認)方法 - AWS Cost Explorerの活用 - Cost Visualizerの活用
- AWS Budgetsで予算管理
- 無駄なリソースの確認 ... など ● コスト削減方法
- AWS Systems Manager Automationでインスタンスの起動・停止を自動化 - Amazon DLMによるEBSスナップショットライフサイクルの自動化
- インスタンス台数・タイプの最適化
ⓒ2021 NTT DOCOMO, INC. All Rights Reserved.
コスト最適化ガイドライン
まとめ
● 診断 → 分析・評価 → 対策決定 → 効果判定 の無限ループでコスト削減! ● コスト可視化ツール(Cost Visualizer)や自動通知を利用してコスト可視化 ● CFMの指標を用いることでコスト最適度を分析 ● コスト削減対策実施時に料金モデルの検討(RI / SPの購入)は1番最後! ○ その前に アーキテクチャ最適化 ・ 自動化の検討 ・ インスタンス台数 / タイプ・ストレージの最適化 ● コスト最適化ガイドラインの提供で社内外へノウハウ展開 ドコモ・クラウドパッケージ / CostVisualizer / ScanMonster は社外販売も実施しています! https://nttdocomo.cloud/© 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Thank you!
© 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved.