© Copyright 2017 Xilinx, Inc. Xilinx、 Xilinx のロ ゴ、 Artix、 ISE、 Kintex、 Spartan、 Virtex、 Vivado、 Zynq、 および この文書に含まれる その他の指定 さ れたブ ラ ン ド は、 米 国お よ びその他各国のザ イ リ ン ク ス社の商標です。 すべてのその他の商標は、 それぞれの保有者に帰属 し ま す。 こ の資料は表記のバー ジ ョ ン の英語版 を 翻訳 し た も ので、 内容に相違が生 じ る 場合には原文を 優先 し ま す。 資料に よ っ ては英語版の更新に対応 し て い な い も のがあ り ま す。 日本語版は参考用 と し て ご使用の上、 最新情報につ き ま し ては、 必ず最新英語版を ご参照 く だ さ い。 WP497 (v1.0) 2017 年 10 月 23 日 japan.xilinx.com 1
ザ イ リ ン ク ス が提供す る 高効率で消費電力が最適化 さ れた All
Programmable シ ス テ ム オ ンチ ッ プ マルチ メ デ ィ ア ソ リ ュ ーシ ョ ン
は、 GPU お よ び コーデ ッ ク を統合 し 、 UHD (Ultra High-Definition) 解
像度の ビデオ向けに設計 さ れてお り 、 非常に高い設計上の柔軟性 と
革新的な製品の差別化を可能に し ます。
WP497 (v1.0) 2017 年 10 月 23 日ビデオ コ ーデ ッ ク/
グラ フ ィ ッ クス エンジンを使用 し た
ザイ リ ン ク ス拡張マルチ メ デ ィ ア
ソ リ ュ ーシ ョ ン
著者 : Yashu Gosain、 Alok Gupta
概要
こ のホ ワ イ ト ペーパーでは、 Zynq® UltraScale+™ MPSoC をマルチ メ デ ィ アの側面か ら 詳 し く 見てい き ます。 Zynq-7000 SoC をベース と する MPSoC にはプ ロ グ ラ マブル ロ ジ ッ ク (PL) に連 結 さ れたプ ロ セ ッ シ ン グ シ ス テ ム (PS) が備わっ てい ますが、 Zynq UltraScale+ MPSoC がマルチ
メ デ ィ ア アプ リ ケーシ ョ ンに最適であ る理由は機能追加が可能なその拡張性です。 主な特長 は次の と お り です。 • UHD-4K ビデオ用の H.264/H.265 をサポー ト す る ビデオ コ ーデ ッ ク ユニ ッ ト が統合 さ れて い ます。 監視、 ビデオ会議、 エンベデ ッ ド ビ ジ ョ ン、 およ び一部のブ ロ ー ド キ ャ ス ト ア プ リ ケーシ ョ ンに適 し てい ますが、 用途はそれだけに限定 さ れません。 エン コ ー ド の レ イ テ ン シ を低 く 抑え る こ と がで き る 一方で、 サーバーま たはプ ロ グ ラ マブル ロ ジ ッ ク よ り も 消費電力効率は高 く な り ます。 • 消費電力が最適化 さ れ る グ ラ フ ィ ッ ク ス サブシ ス テ ムは、 定評があ り 確立 さ れたアーキ テ ク チ ャ で、 2D および 3D グ ラ フ ィ ッ ク ス に理想的な ARM® Mali-400 をベース に し てい ます。 • PL のプ ロ グ ラ マ ビ リ テ ィ に よ り 、 (a) Any-to-Any 高速ビデオ/オーデ ィ オ イ ン タ ーフ ェ イ ス におけ る 柔軟性 と ス ケー ラ ビ リ テ ィ 、 (b) マルチ メ デ ィ ア パ イ プ ラ イ ン用の イ メ ージ と ビデオのカ ス タ マ イ ズ処理を可能にす る 差別化が実現 し ます。
こ こ では、 プ ロ セ ッ シン グ エンジン と Zynq UltraScale+ MPSoC 固有の構成の組み合わせが、 どの よ う に次世代のマルチ メ デ ィ ア ニーズを ターゲ ッ ト に し ている かについて も説明し ています。
はじ めに
Glass-to-Glass の メ デ ィ ア ネ ッ ト ワ ー ク には、 コ ン テ ン ツ がキ ャ プチ ャ ま たは作成 さ れ る 獲得側 と 、 増大す る デバ イ ス で コ ン テ ン ツ が視聴ま たは消費 さ れ る 消費側があ り ます。 獲得側での 4K (およびそれを超え る) 解像度に対応する高性能センサーの 急増 と 、 消費側での 4K 対応 (3840x2160) 民生品デ ィ ス プ レ イ の採用増加に よ り 、 高解像度の コ ン テ ン ツが利用可能にな る だ けでな く 、 360 度ビデオや VR (仮想現実) な どの刺激的な イ ノ ベーシ ョ ン も 実現可能にな っ てい ます。 魅力的な コ ン テ ン ツ を 実現す る その他のテ ク ノ ロ ジには、 HD と UHD 解像度の HDR (高ダ イ ナ ミ ッ ク レ ン ジ)、 およ び深みのあ る色調を実現する WCG (広色域) があ り ます。 セ ンサー、 デ ィ ス プ レ イ 、 解像度が向上 し 、 そ こ に HDR、 WCG、 およ び高フ レーム レー ト が組み合わ さ れ る こ と に よ り 、 白 は よ り 白 く 、 黒は よ り 黒 く 、 色精度の幅 と 質を さ ら に向上 さ せた、 モーシ ョ ン アーチフ ァ ク ト の少ない よ り 高いビデオ品質 が可能にな り ます。 圧縮はデー タ の帯域幅 と ス ト レージ サ イ ズ を削減する ための標準的な技法です。 さ ら に、 さ ま ざ ま なユース ケース に対応す る 多数の コ ーデ ッ ク があ り 、 出力品質、 レ イ テ ン シ、 サ イ ズ、 消費電力、 コ ス ト な ど の鍵 と な る パ ラ メ ー タ ーが ト レー ド オ フ さ れます。 コ ーデ ッ ク 規格の進化は、 あ ら ゆ る 画面で高品質な HD ま たは UHD の体験を求め る消費者願望に後押し さ れてい ます。 こ の よ う な高い期待は、 ア ク セ ス が制限 さ れ、 再生機能が遅 く 、 接続が信頼で き ない低帯域幅ネ ッ ト ワー ク で最大数の 消費者への配信を確保す る と い う 課題 と 密接に関連 し てい ます。 現時点で高解像度 コ ン テ ン ツ の圧縮 と 配信用にオン ラ イ ンお よ びブ ロ ー ド キ ャ ス ト ド メ イ ンで最 も 幅広 く 受け入れ ら れ採用 さ れてい る フ ォーマ ッ ト は、 H.264 (MPEG-4、 AVC (Part 10)) です。 さ ら に高品質のビデオを求め る消費者の要望に よ り 、 高解 像度 コ ン テ ン ツは 4 倍の ス ト レージ ま たは伝送帯域幅が必要にな る UHD ビデオ コ ン テ ン ツへ と 移行 し つつあ り ます。 すでに 配備済みの イ ン フ ラ ス ト ラ ク チ ャ で こ の よ う な ビデオ コ ン テ ン ツ を配信する こ と が大き な課題です。 結果、 既存の コーデ ック 規格に関 し て、 品質に影響を与えずに圧縮率を高め る 必要が生 じ てい ます。
ビデオ圧縮テ ク ノ ロ ジの進化に よ り 、 シ ス テ ムの帯域幅 と ス ト レージの観点で飛躍的な効率向上が成 し 遂げ ら れま し た。 High Efficiency Video Coding (HEVC) と も 呼ばれ る H.265 圧縮は、 UHD 実現の鍵 と な り つつあ り ます。 こ れは現在導入 さ れてい る H.264 圧縮規格に比較す る と 、 最大で 50% の帯域幅増大 と ス ト レージ節約が見込ま れてい ます。 HEVC の採用に よ り 得 ら れ る 帯域幅効率で、 帯域幅に制約があ る ネ ッ ト ワー ク での高品質、 高解像度ビデオの配信が大幅に拡大 さ れます。 例 と し て、 異な る 複数の ソ ース か ら 複数のビデオ を取 り 出 し 、 単一の 4K 出力モニ タ ーで表示する ために リ アル タ イ ム ビデオ処理 (ス ケー リ ン グ、 結合、 オーバーレ イ な ど) に よ っ てそれ ら をつなぎ合わせる、 マルチビ ュー アプ リ ケーシ ョ ンについて考えてみます (図 1 参照)。
WP497 (v1.0) 2017 年 10 月 23 日 japan.xilinx.com 3 ビデオ ソ ース イ ン タ ーフ ェ イ ス と ビデオ処理を リ アル タ イ ムで実行 し て、 未圧縮の出力を生成で き ます。 マルチビ ュー出力 は コ ーデ ッ ク を使用 し て大幅に圧縮可能であ る ため、 イ ーサネ ッ ト 経由で伝送で き ます。 今日、 IP を介 し た ビデオの伝送で は、 セキ ュ リ テ ィ やプ ラ イ バシーの問題に大 き な関心が寄せ ら れてい ます。 デジ タ ル コ ン テ ン ツ を保護する ために、 コーデ ッ ク 出力は ト ラ ン ス ポー ト ス ト リ ーム内で暗号化およ びパケ ッ ト 化 さ れ る た め、 コ ン テ ン ツは世界中の リ モー ト モニ タ ー端末やデジ タ ル サ イ ネージに ス ト リ ー ミ ン グで き ます。 リ モー ト モニ ター端末側で リ アル タ イ ムで受信し た複数の圧縮ビデオ ス ト リ ームは、 デパケ ッ ト 化 さ れて復号化 さ れ、 ビデ オ コ ン テ ン ツが抽出 さ れます。 復号化 さ れた ビデオ出力は、 特定の コーデ ッ ク を使用し て伸張 さ れます。 ビデオ ス ト リ ーム ( コ ーデ ッ ク か ら の伸張 さ れた出力) は次にポ ス ト ビデオ処理ブ ロ ッ ク に渡 さ れ、 単一ま たは複数の 4K デ ィ ス プ レ イ 用にオー バーレ イ 、 ノ イ ズ キ ャ ンセ リ ン グ、 合成な どが実行 さ れます。 リ モー ト モニ タ ー アプ リ ケーシ ョ ンは複数のビデオ ソ ース を 取 り 込むための リ タ ーン チ ャ ネルを備え る こ と も で き、 ス ト リ ーム を圧縮、 暗号化、 およ びパケ ッ ト 化し てネ ッ ト ワー ク 経 由で伝送で き ます。 こ の よ う な拡張 ト ポ ロ ジ を実現す る ために、 シ ス テ ムは多様な コ ーデ ッ ク と グ ラ フ ィ ッ ク ス エン ジ ン をサポー ト する だけで な く 、 マルチ メ デ ィ ア コ ネ ク テ ィ ビ テ ィ イ ン タ ーフ ェ イ ス と の緊密な統合、 リ アル タ イ ム ビデオ処理パ イ プ ラ イ ン、 およ び IP ネ ッ ト ワ ー ク 機能を提供す る 必要があ り ます。 こ う い っ た複雑な ト ポ ロ ジは、 マルチ コ ア プ ロ セ ッ サ サブシ ス テ ム、 グ ラ フ ィ ッ ク ス プ ロ セ ッ シ ン グ ユニ ッ ト 、 HEVC/AVC 準拠ビデオ コーデ ッ ク ユニ ッ ト 、 およ びプ ロ グ ラ マブル ロ ジ ッ ク (PL) に緊密に結合 さ れた幅広いオンチ ッ プ ペ リ フ ェ ラ ル を統合 し た Zynq® UltraScale+™ MPSoC をプ ラ ッ ト フ ォーム と し て採用する こ と で単純化で き ます。
こ のホ ワ イ ト ペーパーでは、 Zynq UltraScale+ MPSoC EV デバ イ ス を マルチ メ デ ィ アの側面か ら 詳し く 説明し 、 プ ロ セ ッ シ ン グ エン ジ ン と デバ イ ス固有の構成が次世代のマルチ メ デ ィ ア ニーズにどの よ う に対応する かを示 し ます。
X-Ref Target - Figure 1
図 1: リ アル タ イム処理を実行する マルチビ ュ ー アプ リ ケーシ ョ ン
WP497_01_063017
To
Display
Uncompressed Video and Audio
from Multiple Sources
Compressed AV Streams Pre/Post Processing Uncompressed Video/Audio Compressed Video/Audio Streams Multiple Display Network Remote Multiview Local Multiview MPEG-TS Packetizer/ De-Packetizer Streaming Sink Encryption/ Decryption Codecs Source MPEG-TS Packetizer/
De-Packetizer Encryption/ Decryption
Codec Pre/Post
Processing
Sink
Source
Z
YNQ
U
LTRA
S
CALE
+ MPS
O
C マルチメ ディ ア ソ リ ュ ーシ ョ ン
Zynq UltraScale+ MPSoC は、 複数のプ ロ セ ッ シ ン グ エン ジ ン、 一連の高速ペ リ フ ェ ラ ル、 拡張 I/O 機能、 お よ び PL で構成 さ れ るヘテ ロ ジニア ス SoC です (図 2 参照)。 プ ロ セ ッ シ ン グ エン ジ ンは、 ク ア ッ ド コ ア ARM® Cortex™ A53 ベース APU、 デ ュ アル コ ア ARM Cortex R5 ベース RPU、 Mali グ ラ フ ィ ッ ク ス プ ロ セ ッ シン グ ユニ ッ ト 、 プ ラ ッ ト フ ォーム管理ユニ ッ ト 、 およびビデ オ コーデ ッ ク ユニ ッ ト (VCU) な どです。 グ ラ フ ィ ッ ク スやビデオ パ イ プ ラ イ ン な どの ク リ テ ィ カルなアプ リ ケーシ ョ ンでは 専用のプ ロ セ ッ シ ン グ ブ ロ ッ ク を使用し て負荷を軽減で き る だけでな く 、 効率的な電源 ド メ イ ンやゲー ト 制御 さ れる電源ア イ
ラ ン ド を使用 し て特定ブ ロ ッ ク の電源をオン/オフ制御で き ます。 Zynq UltraScale+ MPSoC は、 さ ま ざ ま な イ ン ターコ ネ ク ト オ プシ ョ ン、 DSP ブ ロ ッ ク 、 およびプ ロ グ ラ マブル ロ ジ ッ ク (PL) の選択が可能なため、 ユーザー アプ リ ケーシ ョ ンの多 く の要 件に柔軟に対応で き ます。 1 つのプ ラ ッ ト フ ォ ーム と 業界標準ツールで設計で き る こ の製品フ ァ ミ リ は、 コ ス ト と 同時に高性能を重視す る アプ リ ケー シ ョ ンに最適です。 高い性能を実現す る ために、 先進的なマルチ メ デ ィ ア シ ス テ ムには適正なプ ロ セ ッ シ ン グ エン ジ ン と 、 差別化のためのカ ス タ ム ロ ジ ッ ク の追加機能が必要です。 ま た、 現在利用で き る幅広いマルチ メ デ ィ ア デバ イ ス に必要な Any-to-Any コ ネ ク テ ィ ビ テ ィ をサポー ト す る 必要 も あ り ます。 従来であれば、 こ れ ら の要件を満たすためにマルチチ ッ プ ソ リ ューシ ョ ンが提案 さ れますが、 こ の ソ リ ュ ーシ ョ ンは必要なマルチ メ デ ィ ア機能 と コ ネ ク テ ィ ビ テ ィ 機能を提供で き る 一方で消費電力が高 く な る 可能性 も あ り ます。 Zynq UltraScale+ MPSoC な どのシ ン グルチ ッ プ ソ リ ューシ ョ ンであれば、 こ の問題は解決 さ れます。 同 じ デバ イ ス上にハー ド ウ ェ ア ア ク セ ラ レーシ ョ ン ま たは Any-to-Any コ ネ ク テ ィ ビ テ ィ 用のカ ス タ ム ロ ジ ッ ク があれば、 消費電 力をかな り 削減で き ます。 プ ロ セ ッ シ ン グ エン ジ ン、 独自の電力管理機能を備えたハー ド ウ ェ ア コーデ ッ ク 、 およ びカ ス タ ム ロ ジ ッ ク のサポー ト に加え、 Zynq UltraScale+ MPSoC では こ れ ら の コ ン ポーネン ト が独立 し た電源レールを持つ別々の電力 ド メ イ ンに属 し ます。 こ の構成は、 シ ス テ ム全体で最適化 さ れた電力管理ス キーム を設計す る ために使用で き ます。 TSMC 社 の 16nm FinFET プ ロ セ ス ノ ー ド で構築 さ れた Zynq UltraScale+ MPSoC は性能の向上 と 消費電力の削減を実現し 、 電力効率が 高い次世代マルチ メ デ ィ ア シ ス テ ムの設計を可能に し ます。
X-Ref Target - Figure 2
図 2: ブ ロ ッ ク図
WP470_01_051016
Zynq UltraScale+ MPSoC Processing System
Application Processing Unit Memory High-Speed Connectivity
GIC-400 SCU CCI/SMMU 1MB L2 w/ECC
ARM® Cortex™-A53 NEON™ Floating PointUnit 32KB I-Cache w/Parity 32KB D-Cache w/ECC Memory Mgmt Unit Trace Macro Cell
Real-Time Processing Unit
2 1
3 4
Graphics Processing Unit ARM Mali™-400 MP2
Geometry Processor
Two Pixel Processors Memory Management Unit
64KB L2 Cache DDR4/3/3L, LPDDR4/3 ECC Support 256KB OCM with ECC DisplayPort USB 3.0 SATA 3.1 PCIe Gen2 PS-GTR 2 GIC ARM
Cortex-R5 Memory Protection Unit
Vector Floating Point Unit
128KB TCM w/ECC 32KB D-Cache w/ECC 32KB I-Cache w/ECC Trace Macro Cell 1 Configuration & Security Unit Config AES Decryption, Authentication, Secure Boot DMA, Timers, WDT, Resets,
Clocking, and Debug TrustZone Voltage/Temp Monitor Platform Management Unit System Control System Management Power SD/eMMC NAND Quad SPI NOR
SPI UART
CAN GigE
Zynq UltraScale+ MPSoC Programmable Logic
Storage & Signal Processing Block RAM UltraRAM DSP General-Purpose I/O High-Performance HP I/O High-Density HD I/O High-Speed Connectivity GTH GTY Interlaken 100G EMAC PCIe Gen4 Video Codec H.265/H.264 System Monitor General Connectivity
WP497 (v1.0) 2017 年 10 月 23 日 japan.xilinx.com 5
統合さ れたビ デオ コ ーデッ ク ユニッ ト (VCU)
ビデオ コーデ ッ ク の ソ フ ト ウ ェ ア実装にはい く つかあ り ますが、 すべての ソ フ ト ウ ェ アは実際にはハー ド ウ ェ ア上で実行 さ れます。 ソ フ ト ウ ェ ア ベース の コーデ ッ ク ソ リ ューシ ョ ンで、 高い圧縮率 と 優れた ビデオ品質 (VQ) を妥当な フ レーム レー ト で実現す る には、 ク ラ ウ ド 内に配置 さ れ る こ と がほ と ん ど の、 消費電力が高いサーバー ク ラ ス の CPU が複数必要にな り ま す。 リ アル タ イ ム圧縮はデバ イ ス か ら 必ず リ モー ト でなければな ら ないため、 通常は実装で き ません。 ただ し 、 ソ フ ト ウ ェ アでの 実装は非常に柔軟性が高いため、 シ ス テ ムは最適化 し やす く な り ます。 代替 ソ リ ュ ーシ ョ ン と し ては、 PL に実装 さ れた ソ フ ト IP ブ ロ ッ ク が考え ら れます。 こ の よ う な実装は、 オフ ラ イ ン ソ フ ト ウ ェ ア モデルに比べて性能の点で劣る場合があ り ます が、 低レ イ テ ン シな圧縮を実現で き ます。 消費電力はサーバー ク ラ ス の CPU を使用する場合よ り も 改善 さ れますが、 完全に 統合 さ れた ソ リ ュ ーシ ョ ンで達成 さ れ る ほ ど ではあ り ません。 通常、 高度な コ ーデ ッ ク は比較的大規模なプ ロ グ ラ マブル ロ ジ ッ ク デバ イ ス を必要 と し ます。 ただ し 、 デプ ロ イ 後のプ ロ グ ラ マ ビ リ テ ィ に よ り 、 ソ リ ューシ ョ ンの柔軟性は非常に高 く な り ます。Zynq UltraScale+ MPSoC は、 ハー ド 化 さ れた専用ビデオ コ ーデ ッ ク ブ ロ ッ ク を備え る 代替方法を採っ てい ます。 ハー ド 化 さ れた VCU が組み込まれたモ ノ リ シ ッ ク ダ イ に よ り 、 Zynq UltraScale+ MPSoC は、 ほかの ス ト ラ テジ と 比較し て低レ イ テ ン シ のパス と 少ない消費電力で リ アル タ イ ム圧縮を実行 し ます。 VCU は専用コーデ ッ ク エン ジ ンであ る ため、 アプ リ ケーシ ョ ン プ ロ セ ッ シ ン グ ユニ ッ ト (APU) ま たは PL (あ る いはその両方) をほかの計算に使用で き ます。
VCU は、 AVC/H.264 規格 と HEVC/H.265 規格を含むマルチ規格エ ン コ ー ド お よ びデ コ ー ド を提供 し ます。 こ れにはエ ン コ ー ド (圧縮) およ びデコー ド (伸張) の両方の機能が含まれてお り 、 最大 4K UHD (60Hz) の レー ト でのエン コー ド およ びデ コー ド を同時に実行で き ます。 4K 以上での DCI な どの よ り 高い解像度を、 よ り 低いフ レーム レー ト でサポー ト し ます。 ま た、 同時 に最大 8 つの異な る ビデオ ス ト リ ーム をサポー ト し ます。 複数の ス ト リ ーム を同時に処理する総帯域幅要件は、 4K UHD (60fps) の最大 VCU 処理 ス ループ ッ ト を超え てはな り ません。図 3 は、 ビデオ コ ーデ ッ ク の実装方法 と 各効果を示 し てい ま す。
VCU は、 H.265 (HEVC) お よ び H.264 (AVC) 規格を サポー ト す る 統合ブ ロ ッ ク で、 PL 内にあ り ます。 プ ロ セ ッ シ ン グ シ ス テ ム (PS) への直接 (ハー ド ワ イ ヤ) 接続はあ り ません。 こ れは、 ザ イ リ ン ク ス の Vivado® IP イ ン テ グ レー タ ーを使用 し て、 PS のア プ リ ケーシ ョ ン プ ロ セ ッ シ ン グ ユニ ッ ト (APU) および メ モ リ サブシ ス テ ム ま たは PL (あ る いはその両方) 経由で接続し ます。 図 4 を参照 し て く だ さ い。
X-Ref Target - Figure 3
図 3: ビデオ コ ーデ ッ クの実装方法 と 各効果
X-Ref Target - Figure 4
図 4: ビデオ コ ーデ ッ ク ブ ロ ッ ク
WP497_03_101317
Performance Power Consumption Performance Power Consumption Performance Power Consumption
Software Solution
Cost Effective Physically Large FlexibleSoft IP Solution
Cost Effective Large Fabric Footprint FlexibleDedicated Video Codec
Cost Effective Highly Integrated Flexible
Server ClassCPU / CloudBased ProgrammableLogic VideoCodec
WP497_04_063017
Application Processing
Safety & Security Power Management
General & High-Speed Connectivity
Real-Time Processing Memory Graphics Processing Processing System Programmable Logic UltraRAM Video Codec
AMS Integrated Blocks (PCIe®, ILKN, MAC)
High Speed Transceivers
H.265
HEVC
High Efficiency Video CodingH.264
MPEG-4/AVCWP497 (v1.0) 2017 年 10 月 23 日 japan.xilinx.com 7 VCU の機能は次の と お り です。
• 次の も のを含むマルチ規格エン コ ー ド /デコー ド をサポー ト o ISO MPEG-4 Part 10: Advanced Video Coding (AVC)/ITU H.264 o ISO MPEG-H Part 2: High Efficiency Video Coding (HEVC)/ITU H.265
o HEVC: Main、 Main Intra、 Main10、 Main10 Intra、 Main 4:2:2 10、 Main 4:2:2 10 Intra (最大レベルは 5.1 High テ ィ ア)。 o AVC: Baseline、 Main、 High、 High10、 High 4:2:2 (最大 5.2 レベル)。
• 最大で 8 つのエン コー ド ス ト リ ーム と 8 つのデコー ド ス ト リ ーム を同時にサポー ト • 複数のエン コ ー ド パ ラ メ ー ターのオンザフ ラ イ 変更 • 柔軟な レー ト 制御: CBR、 VBR、 およ び定数 QP • 最大 4K UHD 解像度 (60Hz) の同時エン コー ド およ びデコー ド をサポー ト • 削減 さ れた フ レーム レー ト (~15Hz) で 8K UHD をサポー ト • H.264/H.265 規格ではプ ロ グ レ ッ シブのみサポー ト • ビデオ入力 o YCbCr 4:2:2、 YCbCr 4:2:0、 お よ び Y のみ o 8 ビ ッ ト お よ び 10 ビ ッ ト / コ ン ポーネ ン ト • 柔軟な Group Of Picture (GOP) 設定
• 低レ イ テ ン シ モー ド • 消費電力管理 o ア イ ド ル時のア ク テ ィ ブ ク ロ ッ ク ゲーテ ィ ン グの有効化 • パフ ォーマ ン ス モニ ター o タ ス ク 実行時間の計測 o 帯域幅お よ び AXI ト ラ ンザ ク シ ョ ン数の計測 o 最小、 最大、 お よ び平均レ イ テ ン シの計測
ソ フ ト ウ ェ ア コーデ ッ ク と は異な り 、 Zynq UltraScale+ MPSoC EV デバ イ ス の VCU に よ る H.264/H.265 ビデオ データ の圧縮 と 伸張は低消費電力で高性能です。 つま り 、 こ の機能に よ り 、 大量の ス ト レージ と ネ ッ ト ワー ク 帯域幅を節約で き る ため、 ネ ッ ト ワー ク 上での UHD ビデオの リ アル タ イ ム ス ト リ ー ミ ン グに使用する には理想的です。 ま た、 VCU は H.264 と H.265 の両方 の規格をサポー ト す る ため、 現在の市場ニーズ (H.264) およ び次世代の要件 (H.265) を満たす ソ リ ューシ ョ ン開発に十分に対 応 し ます。 エン コ ー ド と デ コ ー ド を低レ イ テ ン シで同時に実行で き る ため、 ビデオ会議や H.264 か ら H.265 への (ま たはその 逆方向の) ト ラ ン ス コー ド に最適です。 マルチ ス ト リ ームでマルチ コーデ ッ ク のエン コー ド と デコー ド は、 DVR、 ビデオ サー バー、 マルチ ス ト リ ーム IP カ メ ラ ヘ ッ ド エン ド な どのビデオ監視アプ リ ケーシ ョ ンの要件に適し てい ます。 VCU は最大で 4:2:2 10 ビ ッ ト の UHD-4K ビデオ フ ォ ーマ ッ ト を サポー ト す る ため、 プ ロ お よ びプ ロ シ ュ ーマーに よ る プ ロ ダ ク シ ョ ンやポ ス
ト プ ロ ダ ク シ ョ ン ソ リ ューシ ョ ンに適 し てい ます。統合 VCU の仕様を備えた All Programmable Zynq UltraScale+ MPSoC EV デ バ イ ス は、 多 く のマルチ メ デ ィ ア市場に と っ て非常に魅力的で コ ス ト 効果の高いシ ン グルチ ッ プ ソ リ ューシ ョ ンです。
VCU ソ フ ト ウ ェ ア ス タ ッ ク
ハー ド ウ ェ ア ア ク セ ラ レーシ ョ ン を利用する マルチ メ デ ィ ア アプ リ ケーシ ョ ンは、 Zynq UltraScale+ MPSoC 上で、 GStreamer と い う 一般的なマルチ メ デ ィ ア フ レーム ワー ク を使用し て開発で き ます。 GStreamer は、 ソ ース、 フ ィ ル タ ー、 およ びシ ン ク プ ラ グ イ ン と い う 3 つの機能に分類 さ れ る プ ラ グ イ ン モデルに基づいてい ます。 こ の よ う なプ ラ グ イ ン/要素をチ ェーン接続 す る こ と で、 メ デ ィ アの再生やキ ャ プチ ャ な ど の特定 タ ス ク を実行す る パ イ プ ラ イ ン を作成で き ます。 GStreamer は gst-omx プ ラ グ イ ン を提供 し てお り 、 こ れは Zynq UltraScale+ MPSoC 上でハー ド ウ ェ ア ア ク セ ラ レーシ ョ ンに よ る ビデオのエン コー ド と デ コ ー ド を実行で き ます。 GStreamer アプ リ ケーシ ョ ンは、 gst-omx プ ラ グ イ ン を介 し て OpenMAX 統合層 と や り 取 り し ま す。 OMX IL は、 ハー ド ウ ェ アに実装 さ れてい る VCU と 通信する ための標準化 さ れた メ デ ィ ア コ ンポーネ ン ト イ ン タ ーフ ェ イ ス を定義 し ます。 こ の層は制御 ソ フ ト ウ ェ ア (ユーザー空間 ド ラ イ バー ) API と や り 取 り し 、 API がカーネル空間 ド ラ イ バー を呼び出 し ます。
カーネル ド ラ イ バーは、 VCU 内のエン コーダー エン ジ ン と デコーダー エン ジ ンの両方に統合 さ れた内蔵マ イ ク ロ コ ン ト ロ ー ラ ー ユニ ッ ト (MCU) と 通信 し ます。 エン コーダー /デコーダー エン ジ ン を制御する ために、 低レベルのフ ァ ーム ウ ェ アが MCU 上で実行 さ れ ます。 カーネル ド ラ イ バーは フ レーム レベルの コ マ ン ド を MCU に送信 し 、 MCU の応答を待機 し ます。 カーネル ド ラ イ バーか ら の コ マン ド を受信する と 、 MCU はエン コーダー /デコーダー エン ジ ンに対する タ ス ク を ス ケジ ュー ル し 、 ス テー タ ス を カーネル ド ラ イ バーに返し ます。
VCU ソ フ ト ウ ェ ア ス タ ッ ク は、 ユーザー アプ リ ケーシ ョ ン の要件に応 じ て、 ど の レベルで も 使用で き る 柔軟性があ り ます。 開発者は制御 ソ フ ト ウ ェ ア API、 OMX IL、 ま たは GStreamer フ レーム ワー ク を使用 し て VCU ハー ド ウ ェ ア と や り 取 り する マ ルチ メ デ ィ ア パ イ プ ラ イ ン を開発で き ます。
図 5 に、 VCU Linux ソ フ ト ウ ェ ア ス タ ッ ク の フ ロ ーを示 し ます。
X-Ref Target - Figure 5
図 5: VCU ソ フ ト ウ ェ ア アーキテ ク チ ャ
WP497_05_092117
Application
OpenMAX Integration Layer (OMX IL)
Kernel Driver (ioctl) GStreamer GStreamer OMX IL plugin
Control Software APIs
Decoder IP
+
Decoder Core MCU Encoder IP+
Encoder Core MCU VCU Hardware User space Kernel space HardwareWP497 (v1.0) 2017 年 10 月 23 日 japan.xilinx.com 9 開発す る マルチ メ デ ィ ア アプ リ ケーシ ョ ンの複雑 さ に基づいて、 開発者は特定の VCU フ レーム ワー ク 層の使用を選択で き ま す。 GStreamer は、 ク ロ ス プ ラ ッ ト フ ォーム フ ィ ル タ ーやコーデ ッ ク サポー ト 、 およ びビデオ エデ ィ タ ー、 ト ラ ン ス コー ダー、 ス ト リ ー ミ ン グ メ デ ィ ア ブ ロ ー ド キ ャ ス タ ー、 メ デ ィ ア プ レ イ ヤーな どのアプ リ ケーシ ョ ン作成で発揮する その使い やす さ か ら 、 一般に よ く 選択 さ れてい ます。 こ の フ レーム ワー ク では、 プ ラ グ ア ン ド プ レ イ モデルを使用し て特定フ ォー マ ッ ト の フ ァ イ ルを シ ス テ ムが読み取 り 、 処理 し 、 別の フ ォーマ ッ ト でエ ク ス ポー ト し ます。 GStreamer には任意のパ イ プ ラ イ ンに う ま く 組み合わせ る こ と がで き る プ ラ グ可能 コ ン ポーネ ン ト を統合す る 柔軟性があ る ため、 本格的なマルチ メ デ ィ ア アプ リ ケーシ ョ ン を作成す る こ と が可能にな り ます。 あ る いは、 シ ンプルで軽量なデザ イ ンに よ り カ ス タ マ イ ズ マルチ メ デ ィ ア アプ リ ケーシ ョ ン/フ レーム ワー ク を開発する場合は、 アプ リ ケーシ ョ ンで制御 ソ フ ト ウ ェ ア API の使用を選択で き ま す。
統合さ れたグラ フ ィ ッ ク ス プ ロ セッ シン グ ユニッ ト
(GPU)
Zynq UltraScale+ MPSoC プ ロ セ ッ シ ン グ シ ス テ ム (PS) の GPU は、 APU に直接結合 さ れ る ARM Mali-400 MP2 であ り 、 オプ シ ョ ンで、 デ ィ ス プ レ イ 出力用の フ レーム バ ッ フ ァ ーのビデオ イ メ ージの レ ン ダ リ ン グ処理を高速化で き ます (図 6 を参照)。
CPU に依存 し た グ ラ フ ィ ッ ク ス 処理を行 う ASSP と 比較す る と 、 GPU は専用のパ ラ レ ル エ ン ジ ン を使用す る こ と で、 よ り 高 速に ピ ク セル レ ン ダ リ ン グ を実行で き ます。 ま たチ ッ プ外部に GPU エン ジ ン を追加する ソ リ ューシ ョ ン よ り も 低コ ス ト で低 消費電力 と な り ます。
GPU は、 シ ェ ーダー ベー ス と 固定関数の両方のグ ラ フ ィ ッ ク ス API に対応す る 完全プ ロ グ ラ マブルな アーキ テ ク チ ャ に よ っ て、 2D お よび 3D のグ ラ フ ィ ッ ク ス処理を高速化 し ます。 ま た、 ア ンチエ イ リ ア ス機能を備え、 性能オーバーヘ ッ ド な し に 最適な画像品質を実現 し ます。 Linux 用の検証およ びテ ス ト 済み ド ラ イ バー セ ッ ト が含まれ、 APU か ら CPU へのグ ラ フ ィ ッ
ク ス コ マン ド の自動オフ ローデ ィ ン グ を管理で き ます。 X-Ref Target - Figure 6
図 6: Mali-400 MP2 アーキテ ク チ ャ デザイ ン WP497_07_063017 Vertex Processor Fragment Processor MMU L2 Cache
Graphic Processing Unit
Fragment Processor
Zynq UltraScale+ MPSoC GPU の機能は次の と お り です。 • ARM Mali-400 MP2 • 最高ス ピー ド グ レー ド で最大 667MHz 性能 • ジオ メ ト リ プ ロ セ ッ サ (x1)、 ピ ク セル プ ロ セ ッ サ (x2) • 専用の共有 L2 キ ャ ッ シ ュ (64KB) • 専用の メ モ リ 管理ユニ ッ ト (MMU) • OpenGL ES 2.0 お よ び OpenGL ES 1.1 対応 • OpenVG 1.1 API 対応 • 3 つのエ ン ジ ン に個別のパ ワ ー ゲーテ ィ ン グ機能 • 1334M ピ ク セル/秒の ピ ク セル フ ィ ル レー ト • 72.6M ト ラ イ ア ン グル/秒 • 12Gflops 浮動小数点シ ェ ーデ ィ ン グ 上記の性能を示す数値は、 最大 GPU ク ロ ッ ク レー ト 667MHz に基づいてい ます。
GPU ソ フ ト ウ ェ ア ス タ ッ ク
Zynq Ultra Scale+ MPSoC グ ラ フ ィ ッ ク ス ソ フ ト ウ ェ ア ス タ ッ ク は、 カーネル空間、 ユーザー空間、 お よ びアプ リ ケーシ ョ ン 空間の 3 つの主要な層に分割 さ れます。図 7 を参照 し て く だ さ い。
カ ーネル空間
カーネル空間 ド ラ イ バーは GPU ハー ド ウ ェ ア と や り 取 り し て、 統合ハー ド ウ ェ ア シ ェーダーに タ ス ク をオフ ロ ー ド する ため に必要な情報を提供 し ます。 ま た、 低レベルの割 り 込み処理 と メ モ リ 管理 も 実行 し ます。
X-Ref Target - Figure 7
図 7: グ ラ フ ィ ッ ク ス ソ フ ト ウ ェ ア ス タ ッ ク
WP497_08_092717
OpenGLES Application
Mali Kernel Driver
MMU GP PP L2 Cache PMU
User Application
User Space
Mali-400MP2 Hardware
GP0 PP0 PP1
MMU MMU MMU L2 Cache PMU
Mali Common User Library
X11 fbdev EGL OpenGLES1 OpenGLES2 Kernel Space Hardware Surface Flinger
WP497 (v1.0) 2017 年 10 月 23 日 japan.xilinx.com 11
ユーザー空間
ユーザー空間 ド ラ イ バーには次の コ ン ポーネ ン ト があ り ます。 • Mali 共通ユーザー ラ イ ブ ラ リ : こ の層は、 GPU ジ ョ ブ作成 と 、 グ ラ フ ィ ッ ク ス レ ン ダ リ ン グ パ イ プ ラ イ ン用の タ ス ク の ス ケ ジ ュ ールを受け持ち ます。 • 拡張グ ラ フ ィ ッ ク ス ラ イ ブ ラ リ (EGL): こ の層は、 デ ィ ス プ レ イ ド ラ イ バー と のや り 取 り に使用 さ れ る、 その下の ウ ィ ン ド ウ層 と や り 取 り す る ために使用 さ れます。 ま た、 ウ ィ ン ド ウ作成な ど の リ ソ ース管理を処理 し 、 さ ら にグ ラ フ ィ ッ ク ス コ ン テ キ ス ト 管理、 サーフ ェ ス/バ ッ フ ァ ーのバ イ ンデ ィ ン グ、 レ ン ダ リ ン グ同期な ど を実行 し ます。• OpenGL ES: こ の層は、 アプ リ ケーシ ョ ン が使用で き る 標準化 さ れた抽象化 API を提供 し ます。
ア プ リ ケーシ ョ ン空間
GPU で使用で き る ソ フ ト ウ ェ ア パ ッ ケージには、 OpenGL ES 1.1 お よ び OpenGL ES 2.0、 低レベル グ ラ フ ィ ッ ク ス ラ イ ブ ラ リ 、 お よ び ARM 提供のツール (Streamliner と Graphics Debugger) が含まれてい ます。 Open GL ES は OS に依存せず、 アプ リ ケーシ ョ ンの高い移植性を可能に し ます。 ほかの ソ フ ト ウ ェ ア コ ンポーネ ン ト は、 要望に応じ て利用可能にな る予定です。
デ ィ ス プ レ イ コ ン ト ロー ラ ー
Zynq UltraScale+ MPSoC には、 使用可能な高速 コ ネ ク テ ィ ビ テ ィ ペ リ フ ェ ラ ルの一部 と し て、 DisplayPort イ ン タ ーフ ェ イ ス モジ ュ ールが統合 さ れてい ます。 DisplayPort イ ン タ ーフ ェ イ スは PS に配置 さ れ、 最大 6Gb/s で動作する 4 つの専用高速シ リ アル ト ラ ン シーバーの う ちの 2 つへマルチプ レ ク ス可能です。 こ れに よ っ て、 デ ィ ス プ レ イ チ ッ プを追加する必要がな く な り 、 シ ス テ ム BOM コ ス ト が さ ら に削減 さ れます。
DisplayPort イ ン タ ーフ ェ イ ス は VESA DisplayPort Standard Version 1、 Revision 2a に準拠 し てお り 、 PS ま たは PL か ら 送信 さ れ る ラ イ ブ オーデ ィ オ/ビデオを処理 し た り 、 メ モ リ フ レーム バ ッ フ ァ ーに格納 さ れてい る オーデ ィ オ/ビデオを処理 し た り す る ための さ ま ざ ま な イ ン タ ーフ ェ イ ス を提供 し ます。 同時に 2 つのオーデ ィ オ/ビデオ パ イ プ ラ イ ン をサポー ト し 、 アルフ ァ ブ レ ンデ ィ ン グ、 ク ロ マ リ サンプ リ ン グ、 色空間変換、 オーデ ィ オ ミ キシ ン グな どの レ ン ダ リ ン グ処理をオンザフ ラ イ で可 能に し ます。 DisplayPort は、 PS PLL の 1 つま たは PL か ら の ク ロ ッ ク を使用し て ピ ク セル ク ロ ッ ク を生成で き ます。
統合さ れたプ ロ グラ マ ブ ル ロ ジッ ク (PL)
ビデオ コーデ ッ ク お よびグ ラ フ ィ ッ ク ス処理に加え、 すべてのマルチ メ デ ィ ア アプ リ ケーシ ョ ンには、 ビデオ データ の入出 力管理や高速ビデオ デー タ の処理機能な ど、 その他の重要な コ ン ポーネン ト 要件があ り ます。 ARM Cortex-A53 コ アは、 Zynq UltraScale+ MPSoC 上の メ モ リ ユニ ッ ト お よ び多 く のペ リ フ ェ ラ ル と 共に、 多様な ソ ース か ら のデー タ を キ ャ プチ ャ お よ び管 理 し て VCU が利用で き る よ う にする と い う 大き な役割を果た し ています。 USB や イ ーサネ ッ ト な どの PS ペ リ フ ェ ラ ルは、 ビデオ カ メ ラ 、 ネ ッ ト ワー ク カ メ ラ 、 ウ ェ ブカ ム な どの ス ト リ ー ミ ン グ ビデオ デバ イ ス に使用で き ます。 ラ イ ブ ソ ース か ら のビデオ を キ ャ プチ ャ す る カ ス タ ム ロ ジ ッ ク は PL で設計で き ます。 た と えば、 SDI RX、 HDMI RX、 MIPI CSI IP な ど を使用 し て、 さ ま ざ ま な ソ ース か ら の未加工ビデオ を キ ャ プチ ャ で き ます。 次に VCU に よ り 、 未加工ビデオを AVC ま たは HEVC 圧縮ビ ッ ト ス ト リ ーム フ ォーマ ッ ト にエン コー ド し ます。 同様に、 デコー ド さ れた未加工ビデオを外部デ ィ ス プ レ イ ユニ ッ ト に伝送 し ます。 次にそれを、 PS 内の DisplayPort コ ン ト ロ ー ラ ー (DP コ ン ト ロ ー ラ ー ) を使用する か、 ま たは HDMI TX、 SDI TX MIPI DSI な ど のほかのプ ロ ト コ ルを使用す る 関連 IP を作成す る こ と に よ り 表示で き ます。ザ イ リ ン ク ス は、 ユーザーが ラ イ セ ン ス に よ り PL でデ ィ ス プ レ イ イ ン タ ーフ ェ イ ス を実装で き る一連のデ ィ ス プ レ イ イ ン タ ーフ ェ イ ス IP を Vivado IP カ タ ロ グで提供し てい ます。
• HDMI 1.4/2.0 Transmitter Subsystem お よ び HDMI 1.4/2.0 Receiver Subsystem • MIPI CSI-2 Receiver Subsystem
• MIPI DSI Transmitter Subsystem
• UHD-SDI Transmitter Subsystem お よ び UHD-SDI Receiver Subsystem
ビ ジ ョ ン アルゴ リ ズ ムは、 た と えば運転支援のための道路標識の識別や動き検出、 監視業務での人物の顔の識別、 高度な写 真撮影での物体識別や動 き 検出な ど、 生デー タ か ら 重要な情報を収集す る ために使用で き ます。 デー タ の収集に加え、 それ ら のアルゴ リ ズ ム を使用 し て、 オーデ ィ オ/ビデオ ブ ロ ー ド キ ャ ス ト やビデオ会議ユース ケース での生データ の処理およ び操作 も 可能です。 今後数年で ビデオの解像度が さ ら に高 く な る こ と が必然であ る と 考え る と 、 アルゴ リ ズ ムの実行速度は極めて高 速であ る 必要があ り ます。 PL は こ の よ う なアルゴ リ ズ ムに必要なハー ド ウ ェ ア ア ク セ ラ レーシ ョ ン を提供 し 、 次世代のテ ク ノ ロ ジに適 し た性能面での改善に大 き く 貢献 し てい ます。
Vivado ツール と SDK ツールを使用する Any-to-Any コ ネ ク テ ィ ビ テ ィ
ハー ド ウ ェ ア を差別化す る ために、 多 く のプ ラ ッ ト フ ォーム開発者は Any-to-Any コ ネ ク テ ィ ビ テ ィ にプ ロ グ ラ マブル ロ ジ ック を使用 し てい ます。 Vivado Design Suite が提供する次のデザ イ ン ス イ ー ト に よ り 、 シ ス テ ム開発者はシ ス テ ム を簡単に設計 で き ます。 • IP イ ン テ グ レー タ ー ツール o ブ ロ ッ ク 図アプ ロ ーチを使用 し 、 複数の IP を統合 し てシ ス テ ム全体を作成 し ます。 • PS コ ン フ ィ ギ ュ レーシ ョ ン ウ ィ ザー ド (PCW) o ユーザーは PS ペ リ フ ェ ラ ルを設定、 有効化、 ま たは無効化し た り 、 ク ロ ッ ク や メ モ リ の設定を実装し た り で き ま す。 • IP カ タ ロ グ o IP イ ン テ グ レー タ ーを使用 し て、 IP を イ ン ス タ ン シエー ト し 、 大規模な シ ス テ ム に統合で き ます。 さ ら に、 ユー ザー独自のカ ス タ ム IP リ ポジ ト リ を IP カ タ ロ グに統合で き ます。
Vivado Design Suite には さ ら に、 タ ーゲ ッ ト デバ イ ス の IP シ ミ ュ レーシ ョ ン、 合成、 配置配線、 コ ン フ ィ ギ ュ レーシ ョ ンの各 機能 と 、 ハー ド ウ ェ ア コ ン フ ィ ギ ュ レーシ ョ ン情報を ソ フ ト ウ ェ ア開発ツールに提供する ハー ド ウ ェ アへのエ ク ス ポー ト 機 能があ り ます。 こ のツールはザ イ リ ン ク ス ソ フ ト ウ ェ ア開発キ ッ ト (SDK) で使用 さ れ、 ブー ト ロ ーダーを生成 し た り 、 実行 時にハー ド ウ ェ ア固有の情報を ソ フ ト ウ ェ アに渡 し た り し ます。 SDK は C/C++ エンベデ ッ ド ソ フ ト ウ ェ アの開発お よ びデバ ッ グに使用 さ れ ます。 こ れは Eclipse オープ ン ソ ース フ レーム ワー ク をベース に構築 さ れてお り 、 ユーザーが実行時にシ ス テ ムの性能を モニ タ ーで き る よ う にシ ス テ ム パフ ォーマン ス モ ニ タ ーを提供 し ます。
Linux OS ユーザー向けに、 ザ イ リ ン ク ス は組み込み Linux SDK であ る PetaLinux を提供 し ます。 こ れに よ り 多面的な Linux OS ツール フ ローが提供 さ れ、 完全な コ ン フ ィ ギ ュ レーシ ョ ン、 ビル ド 、 およ び導入環境が実現し ます。
WP497 (v1.0) 2017 年 10 月 23 日 japan.xilinx.com 13 ハー ド ウ ェ ア リ ソ ース が制限 さ れてい る か ま たはま っ た く ないために、 こ れま でプ ロ グ ラ マブル デバ イ ス の メ リ ッ ト を享受 す る のに必要な RTL (VHDL ま たは Verilog) 開発専門知識を確保する こ と が課題であ っ たチームに と っ て Zynq UltraScale+ MPSoC は最適な ソ リ ュ ーシ ョ ン です。 ザ イ リ ン ク ス よ り 最近 リ リ ー ス さ れた SDSoC™ ツールは、 使いやすい Eclipse IDE やヘ テ ロ ジニア ス Zynq UltraScale+ MPSoC のための総合デザ イ ン環境な ど、 よ く 利用 さ れてい る エンベデ ッ ド C/C++/OpenCL アプ リ ケーシ ョ ン開発環境を提供 し てい ます。 プ ロ グ ラ ミ ン グの時間を短縮す る ために、 SDSoC ツールは、 シ ス テ ム レベル プ ロ フ ァ イ リ ン グ、 ソ フ ト ウ ェ ア ア ク セ ラ レーシ ョ ンの自動化、 シ ス テ ム コ ネ ク テ ィ ビ テ ィ の自動生成を実行 し 、 さ ら に ラ イ ブ ラ リ を提供 し てい ます。 ま た、 SDSoC に よ り 、 エン ド ユーザー開発者はシ ス テ ム レベルの ソ リ ューシ ョ ン を迅速に定義、 統 合、 お よ び検証で き 、 エン ド カ ス タ マーにはカ ス タ マ イ ズ さ れたプ ロ グ ラ ミ ン グ環境が提供 さ れます。 高レベル ソ フ ト ウ ェ アで作成 さ れた ビデオ デー タ解析お よび処理用の複合アルゴ リ ズ ムは、 PL で SDSoC ツールを使用 し たア ク セ ラ レーシ ョ ンが 可能です。 こ れは開発サ イ ク ルを短縮す る と 同時に、 性能を向上 さ せます。
ア プ リ ケーシ ョ ン 例
Zynq UltraScale+ MPSoC は、 拡張性のあ る 電源、 高い性能、 お よ び専用エ ン ジ ン が備わ っ てい る ため、 さ ま ざ ま な アプ リ ケー シ ョ ンに適 し てい ます。
ビデオ会議ア プ リ ケーシ ョ ン
Zynq UltraScale+ MPSoC は、 高度な ビデオ会議エ ン ド ポ イ ン ト を サポー ト し ます。 ビデオ会議エ ン ド ポ イ ン ト は、 ポ イ ン ト ツー ポ イ ン ト のビデオ対応通話に使用 さ れ る端末です。 完全な双方向ビデオ会議シ ス テ ムは、 各ロ ケーシ ョ ンのビデオ カ メ ラ と ビデオ デ ィ ス プ レ イ に接続 さ れた基本ユニ ッ ト で構成 さ れます。 2 つの基本ユニ ッ ト は IP ネ ッ ト ワー ク を介 し て通信 し ます。 ビデオ基本ユニ ッ ト は、 オンチ ッ プ ビデオ ポー ト を備えた DSP で構成 さ れ、 オーデ ィ オ と ビデオのエン コー ド /デコー ド を処理 し ます。 ロ ジ ッ ク リ ソ ース と ト ラ ン シーバーを使用 し て UHD-4Kビデオ カ メ ラ を接続 し 、 未加工ビデオを接続 さ れてい る メ モ リ に キ ャ プチ ャ し た り 送信 し た り で き ます。 DSP ブ ロ ッ ク リ ソ ース でキ ャ プチ ャ さ れたデータ の画像処理が実行 さ れ、 処理 さ れ たデー タ は統合 VCU に転送 さ れて圧縮が実行 さ れます。 圧縮 さ れたデータ は、 APU サブシ ス テ ム上で実行する アプ リ ケー シ ョ ン ソ フ ト ウ ェ アに よ っ てパケ ッ ト 化 さ れ、 イ ーサネ ッ ト 経由で リ モー ト エン ド ポ イ ン ト に ス ト リ ー ミ ン グ さ れます。 端末エン ド ポ イ ン ト も リ モー ト エン ド ポ イ ン ト か ら 圧縮データ を受け取 り 、 それを VCU でデコー ド し 、 接続 さ れてい る メ モ リ に保存で き ます。 PL で動作する ソ フ ト ビデオ プ ロ セ ッ シ ン グ ブ ロ ッ ク IP は、 カ メ ラ か ら キ ャ プチ ャ し た元の未加工デー タ を ス ケールダ ウ ン し て、 デ コ ー ド さ れたデー タ と ミ ッ ク ス し 、 それを PS ま たは PL の ソ フ ト IP のいずれかに実装 さ れてい る デ ィ ス プ レ イ コ ン ト ロー ラ ーに渡す こ と がで き ます。
GPU を使用 し てオ ン ス ク リ ーン デ ィ ス プ レ イ (OSD) を作成で き ます。その出力は ビデオ プ ロ セ ッ シ ン グ ユニ ッ ト (VPU) か ら のビデオ出力 と ブ レ ン ド し て、 デ ィ ス プ レ イ コ ン ト ー ラ ーに送信 し 、 そ こ か ら モニ タ ーに表示で き ます。図 8 お よ び図 9 を参 照 し て く だ さ い。
X-Ref Target - Figure 8
図 8: ビデオ会議アプ リ ケーシ ョ ン X-Ref Target - Figure 9
図 9: Zynq UltraScale+ MPSoC の利用
WP497_10_092117 DDR Frame Buffer, Video Memory, Encoder Region, Decoder Region, Graphics Memory APU Audio Codec, Multimedia Application, A/V Mux/De-mux Image Processor Image Sensor Pipeline, Accelerated Analytics DP Subsystem Display Subsystem Audio Processor Audio Interface Ethernet Capture Encoder VCU Modules Decoder USB GPU Compressed A/V Stream In/Out Memory Controller Video Processor Scaling, Overlay, Wrapping, Stitching Processing System Programmable Logic Camera In Audio In MIG DDR Decoder Region Post Processing Display WP497_11_063017 3 2 Neon™ Floating Point Unit Memory Mgmt Unit 1 32KB D-Cache w/ECC 32KB I-Cache w/Party ARM Cortex™-A53
Application Processor Unit Graphic
Processor Unit Memory Mgmt Unit 64KB L2 Cache ARM Mali™-400 MP 2 Geometry Processor Pixel Processor 1 2 ARM Cortex™-R5 Vector Loating Point Unit 128KB TCM w/ECC 32KB I-Cache w/Party Memory Protection Unit 32K D-Cache w/Party 1 Real-time Processor Unit
Programmable Logic Security Encription & Authentication Configuration Security Unit Secure Boot Trust Zone Voltage/Temp Monitor Power Full Power Domain Power Mgmt Unit Low Power Domain Sleep Mode Battery Power Domain DDR Controller COR4/3/3L LPDDR4/3 ECC Support Boot Quad-SPI NOR NAND 3.1 SD 3.0 (2) eMMC AMS A to D Converter Temperature Monitor Power Monitor Connectivity General CAN (2) I2C (2) UART (2) USB2 SPI (2) High Speed GigE (2) 1588 PCIe Gen2 SATA 3 USB 3.0 Display Port SGMI SERDES System Control DMA (2) RTC Clocking/PLL ITAG Reset System Coresight Watchdog Timer Timers System MPU Customizable Logic Block RAM UltraRAM DSP PCIe Gen4
High Performance HPIO General Purpose IO
High Density HPIO
CMAC GTH GTY ILKN High Speed SERDES H.265/H.264 Video Codec 4K2Kp60 GIC 256KB OCM w/ECC
GIC
SCU CCI/SMMU 1MB L2 w/ECC
VCU for Video Conferencing
DP for Motherboard to Panel Conncetion Programmable Logic
for Advanced Video
Processing ARM for Running Apps GPU for OSD
Generation
WP497 (v1.0) 2017 年 10 月 23 日 japan.xilinx.com 15
デー タ セ ン タ ーおよび ク ラ ウ ド コ ン ピ ュ ーテ ィ ングでの
ビデオ ト ラ ン ス コ ーデ ィ ング
ビデオ ト ラ ン ス コーデ ィ ン グは、 さ ま ざ ま なプ ラ ッ ト フ ォーム と デバ イ ス でビデオを表示で き る よ う にする ために、 メ デ ィ ア資産の フ ォーマ ッ ト を変換す る プ ロ セ ス です。 こ れはほ と ん ど の場合、 次のいずれか、 ま たは複数に該当す る ために実行 さ れます。 • タ ーゲ ッ ト デバ イ ス が元のデー タ のフ ォーマ ッ ト をサポー ト し ない。 • タ ーゲ ッ ト デバ イ ス の容量が限 ら れてお り 、 元のフ ァ イ ルのサ イ ズ を縮小する必要があ る。 • 互換性がない古い フ ァ イ ル タ イ プを、 新し いデバ イ ス がサポー ト する現行フ ォーマ ッ ト に変換する必要があ る。 ビデオ ト ラ ン ス コーデ ィ ン グのプ ロ セ スは、 通常は 2 段階で構成 さ れます。 最初は、 元のデー タ を非圧縮フ ォーマ ッ ト に変 換す る デ コ ー ド です。 2 番目はデータ の再エン コー ド です。 こ れに よ り 目的のフ ォーマ ッ ト で新し いデバ イ ス にデータ を転送 で き ます。 Netflix や YouTube な ど の人気あ る ウ ェ ブサ イ ト で視聴 さ れ る イ ン タ ーネ ッ ト 上の ビデオ ス ト リ ー ミ ン グの増大 と 、 市場で優 勢にな り つつあ る UHD 4K カ メ ラ に よ り 、 かな り の量の ス ト レージ と 帯域幅が必要にな っ ています。 サービ ス の多様化、 HD ビデオの人気の上昇、 HD を超え る フ ォーマ ッ ト (UHD な ど) の登場に よ り 、 H.264/AVC な どの既存の コーデ ッ ク の性能を上回 る コ ーデ ィ ン グ効率の必要性が高ま っ てい ます。 こ の必要性は、 よ り 高い解像度に ス テ レ オやマルチビ ュ ーのキ ャ プチ ャ と デ ィ ス プ レ イ が加わ る こ と で さ ら に高 く な り ます。 H.265/HEVC コーデ ッ ク は UHD4K と UHD8K をサポー ト する よ う に設計さ れてお り 、 並列処理アーキ テ ク チ ャ を活用す る ツールが用意 さ れてい ます。 HEVC 規格を使用する と 、 同等品質の H.264 エ ン コ ー ド コ ン テ ン ツ よ り も 帯域幅が約 50% 節約 さ れます。 ほ と ん ど のデー タ セン ターではビデオを さ ま ざ ま な圧縮フ ォーマ ッ ト で保存し てお り 、 レ シーバーがサポー ト する フ ォー マ ッ ト に基づいた ビデオの ス ト リ ー ミ ン グが必要な場合 も あ り ます。 こ の ト ポ ロ ジ をサポー ト す る ために、 デー タ セン ター では タ ーゲ ッ ト がサポー ト す る フ ォーマ ッ ト に基づいて ビデオ フ ォーマ ッ ト を ト ラ ン ス コー ド する必要があ り ます。 こ の よ う な ト ポ ロ ジでは、 現在展開 さ れてい る テ ク ノ ロ ジ (H.264/AVC) と 次世代の コーデ ッ ク 規格 (HEVC) をサポー ト する Zynq UltraScale+ MPSoC が、 高性能 ト ラ ン ス コ ーデ ィ ン グに適 し たデバ イ ス です。 さ ら に Zynq UltraScale+ MPSoC には、 プ ロ グ ラ マブル ロ ジ ッ ク で さ ま ざ ま なハー ド ウ ェ ア コーデ ッ ク をプ ロ グ ラ ム し て多様な コーデ ッ ク 規格をサポー ト で き る柔軟性 があ り ます。 Zynq UltraScale+ MPSoC 上の VCU は、 データ セン ターま たは ク ラ ウ ド コ ン ピ ューテ ィ ン グ シ ス テ ム内でア ク セ
ラ レー タ と し て導入 さ れた場合、 ト ラ ン ス コ ーデ ィ ン グ プ ロ セ ス を加速で き ます。 た と えば、 モバ イ ル ユーザーが ラ イ ブ ビ デオ を H.264 フ ォーマ ッ ト で記録 し 、 後で再生する ためにそのビデオを ク ラ ウ ド サーバーにア ッ プ ロ ー ド する と し ます。 ク ラ ウ ド に保存 さ れてい る そのビデオ を HEVC フ ォーマ ッ ト のみサポー ト する ワー ク ス テーシ ョ ン上で再生する場合、 ワー ク ス テーシ ョ ンはサーバーに対 し て コ ン テ ン ツ を ト ラ ン ス コ ー ド し 、 ビデオを HEVC フ ォーマ ッ ト で送信する こ と を要求で き ます。 ワー ク ス テーシ ョ ンか ら の要求を受け取 る と 、 サーバーはその統合 VCU を コーデ ッ ク ア ク セ ラ レータ と し て使用 し 、 H.264 か ら HEVC へ ト ラ ン ス コ ー ド し て ビデオ を ワ ー ク ス テーシ ョ ン に ス ト リ ー ミ ン グ し ます。図 10 を参照 し て く だ さ い。
ラ イ ブ ト ラ ン ス コーデ ィ ン グの別のアプ リ ケーシ ョ ン例 と し て、 H.264 圧縮をサポー ト する も のの、 再生デバ イ ス では HEVC コ ーデ ッ ク をサポー ト す る 監視カ メ ラ があ り ます。 こ のシナ リ オでは、 Zynq UltraScale+ MPSoC VCU は、 H.264 圧縮デー タ を 監視ネ ッ ト ワー ク IP カ メ ラ か ら 受け取 り 、 それを H.265 に ト ラ ン ス コー ド し 、 さ ら に表示する ために ターゲ ッ ト 再生デバ イ ス に ス ト リ ー ミ ン グで き る ため、 要件を完全に満た し ます。
自動車のサラ ウン ド ビ ュ ー システム
自動車のサ ラ ウ ン ド ビ ューに よ っ て ド ラ イ ブ体験は様変わ り し てお り 、 GPU はそのテ ク ノ ロ ジ を培 う 重要な要素です。 サ ラ ウ ン ド ビ ュー カ メ ラ シ ス テ ムは、 ド ラ イ バーが車の周囲を上方か ら 360 度見渡せる よ う にする こ と で、 安全な駐車を支援す る 、 新 し い先進運転支援シ ス テ ム (ADAS) テ ク ノ ロ ジの 1 つです。 サ ラ ウ ン ド ビ ジ ョ ン イ メ ージ をベース と する ソ リ ューシ ョ ンの リ アル タ イ ム レ ン ダ リ ン グは、 GPU を使用し 、 仮想カ メ ラ を 用いて詳細な ビ ジ ュ アルの走行路を再構築 し ます。 こ こ では仮想カ メ ラ パ ラ メ ータ ーが実カ メ ラ か ら 複製 さ れて GPU 上で実 装 さ れ、 リ アル タ イ ムで変化す る パ ラ メ ー タ ーに よ っ て仮想シーンの イ メ ージ を生成 し ます。 Zynq UltraScale+ MPSoC は、 GPU に非常に効率的な固定 さ れた機能ユニ ッ ト があ る ため、 こ の分野での利用に適 し てい ます。 GPU の処理能力を使用 し て、 複合ビ ュ ーを描画す る ための合成が実行 さ れ、 出力ピ ク セルが生成 さ れ ます。 生成 さ れ る ピ ク セルは、 2 つのピ ク セルの組み合わせ (重な る領域内に出力があ る場合) ま たは単一のピ ク セル (重な ら ない領域内に出力があ る 場合) のいずれかにな り 、 幾何的なル ッ ク ア ッ プ テーブル (LUT) を使用 し て入力フ レームか ら フ ェ ッ チ さ れます。 LUT の各 エン ト リ は、 現在の位置で出力ピ ク セルを生成す る ためのカ メ ラ ID と 入力フ レームの座標を指定 し ます。 次に、 メ ッ シ ュ テーブル プ ロ シージ ャ に よ っ て出力フ レーム を生成し ます。 具体的な出力解像度が指定 さ れ る ため、 入力画像内の位置への 投影変換お よ びレ ン ズ変換に よ り 、 各出力位置を入力画像にバ ッ ク マ ッ プで き ます。 メ ッ シ ュ テーブルは自動車周辺の位置 の 3 次元座標 と 、 特定位置のシーン を表示する隣接カ メ ラ か ら のテ ク ス チ ャ マ ッ ピ ン グの関連入力位置で構成 さ れます。 出 力は、 自動車の中心か ら の距離の写像 と し て高 さ が変化す る 、 球状で表現 さ れます。 出力 メ ッ シ ュ と 関連テ ク ス チ ャ マ ッ ピ ン グ を含む メ ッ シ ュ テーブルは、 さ ら に レ ン ダ リ ン グする ためにグ ラ フ ィ ッ ク ス プ ロ セ ッ サに ま と めて渡 さ れます。 アプ リ ケーシ ョ ンでは、 メ ッ シ ュ テーブルに加えて、 各位置で受け取っ た画像強度情報の線形結合の重みをエン コー ド する ブ レ ン ド LUT を生成で き ます。 GL_OES_EGL_image_external 拡張を使用 し て、 カ メ ラ YUV 画像はレ ン ダ リ ン グのテ ク スチ ャ と し て GPU に渡 さ れ ます。図 11 を参照 し て く だ さ い。X-Ref Target - Figure 10
図 10: ビデオ ト ラ ン ス コ ーデ ィ ング
VCU Modules Zynq UltraScale+ MPSoC
PCIe Interface Decoder H.264 Encoder H.265
Cloud Server
WP497_12_063017WP497 (v1.0) 2017 年 10 月 23 日 japan.xilinx.com 17 サ ラ ウ ン ド ビ ジ ョ ン シ ス テ ムは入力ビデオ ス ト リ ーム を 4 つの魚眼レ ン ズ カ メ ラ か ら 受け取 り 、複合サ ラ ウ ン ド ビ ューを作 成 し ます。 こ のシ ス テ ムは、 幾何的な LUT でエン コー ド さ れたマ ッ ピ ン グ を使用 し て、 つなぎ合わ さ れた出力 イ メ ージ を作 成 し ます。図 12 を参照 し て く だ さ い。
X-Ref Target - Figure 11
図 11: サラ ウン ド ビ ュ ー
X-Ref Target - Figure 12
図 12: 複合ビ ュ ーの合成
Typical Configuration
Left Camera Front Camera Right Camera Rear Camera WP497_13_063017 Vehicle Sensors • Velocity • Steering Angle Overlap(4,1) Overlap(1,2) Overlap(3,4) Overlap(2,3) WP497_14_101317 To Mali 400 GPU for rendering in 3D Mesh Z Location [CamID, x, y] [CamID, x, y] Mesh X,Y Locations Bowl Shape Generator Lens Distortion Correction 3D-to2D Projective Transform Input Frame Buffer Cam 0 Input Frame Buffer Cam 2 Input Frame Buffer Cam 1 Input Frame Buffer Cam 3 3D Mesh Table Cam 0 Cam 2 Cam 1 Cam 3 Output FrameZ
YNQ
U
LTRA
S
CALE
+ MPS
O
C のア ド バン テ ージ
Zynq UltraScale+ MPSoC の柔軟性は、 演算量の多いアプ リ ケーシ ョ ン の GPU、 CPU、 お よ び PL 間での ワ ー ク ロ ー ド の共有を 加速 し ます。 複雑な算術演算を PL でハー ド ウ ェ ア ア ク セ ラ レーシ ョ ン用にオフ ロ ー ド し た り 、 OpenGL Shading Language (GLSL) uniform を APU 上で事前計算 し た り で き ます。 GPU シ ェ ーダー コ ア上での計算は、 頂点 と フ ラ グ メ ン ト 間で変化す る 値に対 し てのみ有効です。 一群の頂点全体の中で一定であ る すべてのデー タ は、 CPU で最 も 効率的に処理 さ れます。 非常に大規模なデー タ セ ッ ト で も 、 タ ス ク に よ っ ては CPU の性能が GPU を簡単に上回る場合があ り ます。 あ る いは、 プ ラ ッ ト フ ォーム上には、 複雑な 3D モデルの OpenGL 行列計算およ び光源強度計算用のハー ド ウ ェ ア ア ク セ ラ レーシ ョ ン を提供で き る プ ロ グ ラ マブル ロ ジ ッ ク があ り ます。 グ ラ フ ィ ッ ク ス シ ス テ ムは、 パ イ プ ラ イ ン処理を含む一連の操作で画像を生成 し ますが、 その最 も 低速な ス テージは よ く パ イ プ ラ イ ン ボ ト ルネ ッ ク と 呼ばれます。 た と えば三角形な どの単一のグ ラ フ ィ ッ ク ス プ リ ミ テ ィ ブには、 グ ラ フ ィ ッ ク のパ イ プ ラ イ ン ボ ト ルネ ッ ク が 1 つあ り ます。 ただ し 、 こ のボ ト ルネ ッ ク は複数のプ リ ミ テ ィ ブが含まれ る グ ラ フ ィ ッ ク ス フ レームの レ ン ダ リ ン グ時に変化する こ と があ り ます。 た と えば、 アプ リ ケーシ ョ ン が最初に線のグループ を レ ン ダ リ ン グ し 、 次に光が当た っ てい る 部分 と 影の部分があ る 三角形のグループ を レ ン ダ リ ン グす る と 、 ボ ト ルネ ッ ク は変化す る と 考え ら れます。 一部のパ イ プ ラ イ ン ス テージは CPU 上で実行 さ れ、 ほかの ス テージは GPU 上 で実行 さ れ る ために、 ボ ト ルネ ッ ク は変化 し 続け ます。 複数のプ ロ セ ッ シ ン グ エン ジ ン と PL を カプセル化する Zynq UltraScale+ MPSoC は、 GPU、 PL、 お よ び CPU の間で演算処理を分散す る 柔軟性を提供す る こ と で、 GPU が 2D お よ び 3D グ
ラ フ ィ ッ ク ス の両方を加速で き る よ う に し 、 性能のボ ト ルネ ッ ク を解決 し て スループ ッ ト 全体を向上 さ せます。
ま と め
Zynq UltraScale+ MPSoC は、 プ ロ グ ラ マブル ロ ジ ッ ク に高性能 64 ビ ッ ト プ ロ セ ッ サ を統合 さ せただけではない、 真のヘテ ロ ジニア ス マルチプ ロ セ ッ サ SoC プ ラ ッ ト フ ォームです。 Zynq UltraScale+ MPSoC には リ アル タ イ ム処理、 グ ラ フ ィ ッ ク ス処 理、 そ し て ビデオ エン コー ド と デコー ド それぞれに専用エン ジ ンがあ り ます。 こ のため、 設計者はアルゴ リ ズ ム を実装する 場所を選択 し 、 シ ス テ ムの性能 と 消費電力を最適化で き ます。 Zynq UltraScale+ MPSoC は ソ フ ト ウ ェ ア と ハー ド ウ ェ アの両方 の レベルで十分な柔軟性を備えてお り 、 一方でエンベデ ッ ド 市場において こ れま でで最 も 多様な専用エン ジ ン を統合 し てい ま す。
WP497 (v1.0) 2017 年 10 月 23 日 japan.xilinx.com 19
