J A P A N M A Y , , Amazon Web Services, Inc. or its affiliates. All rights reserved. 画面に映る資料の撮影などによる本セッション資料の転用を禁止しております

(1)

J A P A N | M A Y 1 1 - 1 2 , 2 0 2 1

(2)

画面に映る資料の撮影などによる本セッション資料の転用を禁止しております

インテル AI の優れた

コスト・パフォーマンスを最大限に引き出す

アカンクシャ・バラニ

AWS APJ Alliance ヘッド、インテルグローバル AI GTM リード

P A R - 0 1

(3)

AI の現在

インテル & AWS が選ばれる理由 AWS でのインテル AI

Habana Gaudi インスタンスのご紹介

学習 | エンゲージメント | インテルでの AI のイノベーション

アジェンダ

(4)

出典：インテルによる予測

コンシューマー

スマート・

アシスタントチャットボット

検索パーソナライズ

拡張現実ロボット

ヘルス

診断の強化創薬患者の治療

リサーチセンサー支援

財務

アルゴリズム取引不正検出リサーチパーソナル・

ファイナンスリスクの軽減

小売

サポート体験マーケティング

マーチャンダイジングロイヤルティーサプライチェーン

セキュリティー

行政機関

防御

データインサイト安全性 &

セキュリティー居住者のエンゲージメント

よりスマートな都市

エネルギー

石油 &

ガスの採掘スマートグリッド

運用の改善保全

輸送

自動運転車自動追跡航空宇宙産業

運送捜索 & 救出

産業

ファクトリー・

オートメーション予測メンテナンス

精密農業フィールド・

オートメーション

その他

広告教育ゲーム

プロフェッショナル

& IT サービス電気通信 / メディア

スポーツ

AI による変革

(5)

プラット

フォーム財務ヘルスケアエネルギー産業輸送小売ホームもっと

…

ツールキット

アプリ・デベロッパー

ライブラリー

データ・サイエンティスト

基盤

ライブラリー・デベロッパー

*

* *

FOR *

* * * *

ハードウェア

IT システム・アーキテクト

ソリューション

ソリューション・アーキテクト

OpenVINO™

ツールキット ディープラーニング・デベロッパー・ツールキット

TF

、

Caffe*

、

MXNet*

を使用して

CPU

、プロセッサー・

グラフィックス、FPGA & VPU 上の推論環境向けの

OpenVINO™

ツールキット

TensorFlow*

と

Caffe*

を使用したすべての

インテル® Movidius™ VPU 向けに最適化された推論環境

ディープラーニング・フレームワーク

TensorFlow* • MXNet* • Caffe* • BigDL/Spark* Caffe2* • PyTorch* • PaddlePaddle*

マシンラーニング・ライブラリー

Python*

•Scikit-learn

•Pandas

•NumPy

R

•カート

•RandomForest

•E1071

分散型

•MlLib (on Spark*)

•Mahout*

分析、マシン

&

ディープラーニング・プリミティブ

Python* DAAL MKL-DNN clDNN

マシンラーニング向けに最適化されたインテル® ディストリビューション

インテル® データ・アナリティクス・

アクセラレーション・ライブラリー (マシンラーニング向け)

CPU、プロセッサー・グラフィックス向けの

オープンソース・ディープ・ニューラル・ネットワーク機能

* * * *

推論

人工知能

ディープラーニング・アクセラレーター

AI の基盤

(6)

インテルが Amazon と協働で行っている内容

共通の歴史と価値

14 年以上にわたるエンジニアリングのパートナーシップ

デジタル・トランスフォーメーション顧客のロイヤルティーを共有

ハイパフォーマンス + ローコスト世界屈指のサプライチェーン

Amazon EC2

VMware Cloud on

AWS

AWS IoT Core AWS Greengrass Amazon

SageMaker

AWS ディープラーニング

AMI

AWS DeepLens Amazon S3

AWS Deepracer Amazon

Echo Look

Amazon Echo Show

クラウドとデータセンター

モノとデバイス

Alexa Voice Services SAP on AWS

AWS Outposts

インテルは、AWS と深い絆でつながっているパートナーであり、今後もずっとそうあり続けるでしょう。

このパートナーシップが変わることはありません。

アンディ・ジャシー氏、

CEO、AWS

(7)

極めて優れた多様さと可用性で、お客様のグローバルなワークロードのニーズに対応

250 以上の

^インテル

^®

^{のインスタンス}

14 年以上にわたるパートナーシップ

2017 2021

最適化されたメモリー

R5 | R5n | R5b | X1e / X1 | ハイメモリー | Z1d

高速化されたコンピューティング Gaudi インスタンス | P3 | G4 | F1 汎用

T3 | M5 | M5n | M5zn | M5dn

最適化されたコンピューティング C5 | C5n | C5d | C5dn

最適化されたストレージ

I3 | I3en | D3/D3en

(8)

インテル ® ベースの

ML 向け EC2 インスタンス

詳細 : https://aws.amazon.com/jp/ec2/instance-types/

R5 インスタンスは、メモリー要件が

192GB を超える 3D-CNN/BERT-large/T5 トポロジーを使用するメモリー集約型

ワークロードに適している

T3

バースト可能汎用

M5n M5dn

メモリー集約型

X1 X1e

大型メモリー

I3en

コンピューティング集約型

Z1d M5

M5d

Skylake/Cascade Lake Haswell

C5 HM

高周波高

I/O

R5 R5d

R5n R5dn C5n

C5d

T3 インスタンスは、ML アプリケーションおよび大量のコンピューティングを必要としない DL 推論アプリケーションに適している

M5、C5 インスタンスは、すべてのコンピューター・ビジョン、ML および DL 推論のワークロードに適している

第 2 世代インテル® Xeon® スケーラブル・プロセッサー推論向けインテル® DL ブースト、単一ノード・トレーニング

C5n インスタンスは、ノード間通信に必要な NW パフォーマンスが高いため、

分散型ディープラーニング・トレーニングに適している

HVM ベースのインスタンスはパフォーマンス上のオーバーヘッドが最大 10% 増加するため、ベアメタル・インスタンスは大規模なトポロジーに適している

(9)

インテルでの AWS マシンラーニング・アクセラレーション

AWS C5 ディープラーニング AMI インテル ® CPU に合わせて最適化

( トレーニング )

AWS C5 ディープラーニング AMI インテル ® CPU に合わせて最適化

( 推論 )

AWS SageMaker マシンラーニングインテル ® CPU に合わせて最適化

( トレーニング & 推論 )

入手可能な

Tensorflow 1.6

バイナリでのトレーニングと比較して

7.4 倍高速

MxNet

による

NMT

推論の デフォルト構成と比較して

12 倍高速

IA CPU

向けに最適化された マシンラーニング・アルゴリズムの

10 倍高速

AWS マーケットプレース: ディープラーニング AMI | OneDNN に最適化されたフレームワークを備える複数コンテナー

Amazon Personalize Amazon Rekognition

Amazon SageMaker Amazon Forecast

(10)

業界の成功事例ビジネス価値

インテルの AI / ML 顧客プログラム

トレーニング・

サポート共同開発の

サポート協働

パイロット &

POC クリエーター

のタイプ

エンゲージメント方法

AWS Summit でインテル / AWS DevJam ( インテル / AWS での NLP ベースの課題 ) に参加する AWS マーケットプレースでインテルが最適化した 16 のソフトウェア・ライブラリーと

フレームワークの詳細を確認する

FootAsylum 、 Thorn 、 Zignal Labs 、 Krispy Kreme 、 GE 、 Thomson Reuters 、 ASIC などの他のお客様から学習する : https://aws.amazon.com/jp/solutions/case-studies-jp/

DataRobot 、 Data Bricks 、 IntellHQ 、 Intellify 、 Peak.AI 、 C3.AI 、 H2O.AI 、 Slalom などのパートナーとつながる

結果

(11)

AI の成功事例

OpenVINO™ ツールキットのインテル®

ディストリビューションを使用した AI ソリューションにより、シンガポールの海岸線沿いで危険物をリアルタイムで識別、

検出し、対応できるようになりました。

研究者が絶滅危惧種のためのゲノム解読データを民主化し、ML モデルを

向上させました。

教育者と協力して、新型コロナウイルス蔓延時のデリーの学校のニーズに対処することができました。2 カ月以内でソリューションを

拡張し、16 万人以上の生徒にサービスを提供しました。

匿名化された政府および公開の新型コロナウイルスのデータポイントを使用して、

100 以上のダッシュボードを提供し、新型コロナウイルスの感染を防止しました。

オーストラリアの CSIRO 研究機関が、

Amazon EC2 C5 ベースの large インスタンスを 98% 使用して、山火事の並列シミュレーション件数を 60 倍増加させる

ことができました。

小麦の多様性研究のため、3TB の植物育種と順化のゲノミクスデータを

数時間で分析しました。

(12)

Thorn が AWS & インテルを活用して、法執行機関が子どもの人身売買の被害者の迅速な特定ができるようサポート

プロジェクト:

全米行方不明/被搾取児童センター（NCMEC）のデータベースには、約 460,000 枚の行方不明児童の写真が保存されています。

C5 でインテル® Xeon® スケーラブル・プロセッサーを使用することで、Thorn は毎秒数千人もの人身売買被害者を照合できます。

コラボレーション：

•

Thorn と AWS パートナーの

MemSQL

は、C5で

データ・アナリティクスとディープラーニングを使用して、人身売買被害者を特定するための顔認識サービスを構築しました。

•

Thornは、1 つの顔に複数のデータポイントを適用して識別し、相互に関連付け、データベース内の画像と照合します。その結果、ポジ画像の照合にかかる時間が分単 位から秒単位まで短縮されました。

•

Spotlight は、1 日平均 5 人の児童を識別します。

(13)

(14)

Habana Gaudi 搭載インスタンスのご紹介

インテルの新しい

H a b a n a G a u d i

プロセッサーを活用した

M L

トレーニング

2021

年にリリース

ML トレーニング専用の新しい EC2 インスタンス。インテルの新しい Habana Gaudi プロセッサーを最大 8 個搭載

GPU 搭載インスタンスと比較して、

ディープラーニング・モデルのトレーニング・コストを最大 40%

削減

お客様がモデルのイタレーションとトレーニングをより頻繁に行うことができる

フルスタックの Amazon EC2 サービス - DL AMI 、コンテナー化されたアプリケーション用の DLC 、最終的には SageMaker を利用可能デベロッパーは、コンテナー化されたアプリケーション用の AWS ECS および EKS を介して、 Gaudi 搭載インスタンスを実装できる

TensorFlow 、 PyTorch などの一般的なフレームワークをサポート

NLP 、画像分類、オブジェクト

検出、レコメンデーション・システムなど、幅広い ML ワークロードに対応

複数の Gaudi を搭載した EC2

インスタンスを効率的にスケーリン

グするために、 AWS Elastic Fabric

Adapter をサポート

(15)

GAUDI ® AI プロセッサーの紹介:

今後の Amazon EC2 インスタンスの価格性能を向上

エイタン・メディナ氏

CBO、Habana Labs

(16)

2016年設立

• AI データセンターおよびクラウドに特化したプロセッサーを設計および構築

2020年1月に買収

• インテル・データ・プラットフォーム・グループ配下の独立した事業部門として運営

• ロードマップ、研究開発、人事、運用、サプライチェーンを管理

• インテル AIPG の元社員が Habana に移動

インテルのリソース、大規模な研究開発、関係性を活用できる

Habana、インテルの子会社

(17)

AI 機能向けに最適化された製品ライン

推論プロセッサー

トレーニング・プロセッサー

(18)

Gaudi 搭載 Amazon EC2 インスタンス

(19)

 Amazon 初の非 GPU EC2 インスタンス

 AI トレーニング専用に作成された Habana GAUDI プロセッサーを搭載

 re:Invent 2020 での AWS の発表の内容:

2021年前半にリリースされる Gaudi 搭載 EC2 インスタンス

「新しい EC2 インスタンスは、

最大 8 個の Gaudi アクセラレーターを搭載し、DL モデルのトレーニング用として現行の GPU 搭載 EC2 インスタンスよりも最大 40% 優れたコスト・

パフォーマンスを実現します」

(20)

AI パフォーマンス、柔軟性と拡張性を考慮した設計 Habana が驚異的なトレーニング成果を報告…

Tensorflow 上の ResNet50 では、8-Gaudi システムにより

Gaudi がトレーニングにかかる時間とコストを削減

12,008

イメージ / 秒のスループットを達成

(21)

 EC2 インスタンスは最大 8 個のアクセラレーターを備えています

 フルスタックの Amazon EC2 サービス - DL AMI、コンテナー化されたアプリケーション用の DLC、最終的には SageMaker を利用可能

 デベロッパーは、コンテナー化されたアプリケーション用の AWS ECS および EKS を介して、Gaudi 搭載インスタンスを実装できる

 NLP、画像分類、オブジェクト検出、レコメンデーション・システムなど、

幅広い ML ワークロードに対応

 複数の Gaudi を搭載した EC2 インスタンスを効率的にスケーリングするために、

AWS Elastic Fabric Adapter をサポート

Gaudi 搭載 Amazon EC2 インスタンス

(22)

柔軟性と拡張性に優れた設計

 完全にプログラム可能な 8 個の Tensor Processing Cores (TPC) および構成可能な Matrix Math エンジン (GEMM) を搭載

 32GB HBM2 メモリーによるマルチステージのメモリー階層

 従来の CPU や GPU よりも高い効率性を実現

 10 x 100 ギガビット・イーサネットにより、マルチチップのスケールアウト・

トレーニングが可能

ディープラーニング・モデルのトレーニングに

特化したカスタムビルド

^{GEMM エンジン}

SharedMemory

DMA

10 X 100 ギガビット・

イーサネット (RDMA) PCIe 4.0 X 16

TPC

ローカルメモリー

TPC

(23)

 最小限のコード変更で Gaudi でディープラーニング・モデルをトレーニング

 TensorFlow と PyTorch にネイティブで統合

 リファレンス・モデル、カーネル・ライブラリー、ソフトウェア、ドキュメントは GitHub で入手可能

 上級ユーザーは独自のカスタム・ソフトウェア・カーネルを作成できる

 ソフトウェアは、Amazon ディープラーニング AMI およびコンテナーに事前に統合される

EC2 の Gaudi SynapseAI® ソフトウェア・スイート

グラフ・コンパイラー

Habana 通信ライブラリー

Habana

カーネル・

ライブラリーカスタム・

カーネル・

ライブラリー

ユーザー・モード・ドライバーカーネル・モード・ドライバー

デバッグ& プロファイリング・ツール TPC プログラミング・ツール

フレームワーク統合レイヤー

&

ーー

T P

C

(24)

 トレーニングにかかるコストと時間を削減

 お客様の総運用コストを削減

 より多くのお客様がビジネスを改善できる…

 インサイト

 効率

 強化されたエンドユーザー体験

…AI トレーニングはこれらすべてを実現

Gaudi 搭載の EC2 インスタンスにより、以下が

実現します…

(25)

ありがとうございました。

(26)

J A P A N M A Y , , Amazon Web Services, Inc. or its affiliates. All rights reserved. 画面に映る資料の撮影などによる本セッション資料の転用を禁止しております

J A P A N | M A Y 1 1 - 1 2 , 2 0 2 1

インテル AI の優れた

コスト・パフォーマンスを 最大限に引き出す

アカンクシャ・バラニ

AWS APJ Alliance ヘッド、インテル グローバル AI GTM リード

P A R - 0 1

AI の現在

インテル & AWS が選ばれる理由 AWS でのインテル AI

Habana Gaudi インスタンスのご紹介

学習 | エンゲージメント | インテルでの AI のイノベーション

アジェンダ

コンシューマー

ヘルス

財務

小売

行政機関

エネルギー

輸送

産業

その他

AI による変革

…

ツールキット

ライブラリー

基盤

ハードウェア

IT システム・アーキテクト

ソリューション

OpenVINO™

TF

Caffe*

MXNet*

CPU

OpenVINO™

TensorFlow*

Caffe*

TensorFlow* • MXNet* • Caffe* • BigDL/Spark* Caffe2* • PyTorch* • PaddlePaddle*

&

Python* DAAL MKL-DNN clDNN

人工知能

AI の基盤

インテルが Amazon と協働で行っている内容

14 年以上にわたるエンジニアリングの パートナーシップ

デジタル・トランスフォーメーション 顧客のロイヤルティーを共有

ハイパフォーマンス + ローコスト 世界屈指のサプライチェーン

極めて優れた多様さと可用性で、お客様の グローバルなワークロードのニーズに対応

250 以上の

®

14 年以上にわたるパートナーシップ

2017 2021

最適化されたメモリー

R5 | R5n | R5b | X1e / X1 | ハイメモリー | Z1d

高速化されたコンピューティング Gaudi インスタンス | P3 | G4 | F1 汎用

T3 | M5 | M5n | M5zn | M5dn

最適化されたコンピューティング C5 | C5n | C5d | C5dn

最適化されたストレージ

I3 | I3en | D3/D3en

インテル ® ベースの

ML 向け EC2 インスタンス

詳細 : https://aws.amazon.com/jp/ec2/instance-types/

T3

M5n M5dn

X1 X1e

I3en

Z1d M5

M5d

Skylake/Cascade Lake Haswell

C5 HM

I/O

R5 R5d

R5n R5dn C5n

C5d

インテルでの AWS マシンラーニング・アクセラレーション

AWS C5 ディープラーニング AMI インテル ® CPU に合わせて最適化

( トレーニング )

AWS C5 ディープラーニング AMI インテル ® CPU に合わせて最適化

( 推論 )

AWS SageMaker マシンラーニング インテル ® CPU に合わせて最適化

( トレーニング & 推論 )

コスト・パフォーマンスを最大限に引き出す

AWS APJ Alliance ヘッド、インテルグローバル AI GTM リード

14 年以上にわたるエンジニアリングのパートナーシップ

デジタル・トランスフォーメーション顧客のロイヤルティーを共有

ハイパフォーマンス + ローコスト世界屈指のサプライチェーン

極めて優れた多様さと可用性で、お客様のグローバルなワークロードのニーズに対応

^®

AWS SageMaker マシンラーニングインテル ® CPU に合わせて最適化

AWS マーケットプレース: ディープラーニング AMI | OneDNN に最適化されたフレームワークを備える複数コンテナー

FootAsylum 、 Thorn 、 Zignal Labs 、 Krispy Kreme 、 GE 、 Thomson Reuters 、 ASIC などの他のお客様から学習する : https://aws.amazon.com/jp/solutions/case-studies-jp/

DataRobot 、 Data Bricks 、 IntellHQ 、 Intellify 、 Peak.AI 、 C3.AI 、 H2O.AI 、 Slalom などのパートナーとつながる

Thorn が AWS & インテルを活用して、法執行機関が子どもの人身売買の被害者の迅速な特定ができるようサポート

ML トレーニング専用の新しい EC2 インスタンス。インテルの新しい Habana Gaudi プロセッサーを最大 8 個搭載

ディープラーニング・モデルのトレーニング・コストを最大 40%

お客様がモデルのイタレーションとトレーニングをより頻繁に行うことができる

TensorFlow 、 PyTorch などの一般的なフレームワークをサポート

検出、レコメンデーション・システムなど、幅広い ML ワークロードに対応

今後の Amazon EC2 インスタンスの価格性能を向上

エイタン・メディナ氏

最大 8 個の Gaudi アクセラレーターを搭載し、DL モデルのトレーニング用として現行の GPU 搭載 EC2 インスタンスよりも最大 40% 優れたコスト・