産業機器に適した高速・高信頼性インターコネクト技術
Serial RapidIOのご紹介
StarFabric、PCI Express、10Gigabit Ethernet、Serial RapidIO等、最近のインターコネクト技術では、 シリアル・スイッチ・ファブリック技術が標準的に使用されています。その中で、テレコミュニケーションや ミリタリー市場においては、高帯域で且つ品質・信頼性の面でも優れている Serial RapidIOが標準 インターコネクトとしての地位を獲得し、広く採用が進んでいます。 ここでは、産業機器に代表される組み込みシステムに最適な高速インターコネクト技術として、 Serial RapidIOをご紹介したいと思います。
Ⅰ．
Serial RapidIOとは？
Serial RapidIO
はオープンスタンダード技術です！
Ericsson社, Freescale社, TI社, Tundra社, Xilinx社等のボードベンダーやデバイスメーカ約40社が加盟す るRapidIO Trade Associationで、規格の策定及び管理が行われており、Serial RapidIO規格はRapidIO Trade Associationのホームページで無償公開されています。 URL ： http://www.rapidio.org A) 優れた柔軟性 ◆ エンドポイント・スイッチ間を1対1接続するスイッチファブリック構成 ◆ ツリー、スター、メッシュ等のトポロジが構成でき、2重化構成も可能 ◆ マルチプロセッサ接続が可能。 B) 高帯域 ◆ Rev1.3規格では 1.25, 2.5, 3.125 Gbaud をサポート ◆ Rev2.0規格では 5, 6.25 Gbaud もサポート ◆ 低オーバーヘッド、低レイテンシー ◆ マルチキャストをサポート C) 高信頼性 ◆ エラー検出やリカバリーをハードウェアが処理 ◆ 優先制御やフロー制御等のQoS Serial RapidIOの特徴
Ⅱ．インターコネクト技術の比較
インターコネクト技術といっても世の中には様々な規格がありますが、それぞれ適している接続部位があ ります。図１で、各シリアルインターコネクト技術が対象としている接続部位を比較してみます。 PCI Expressは、主にCPUのプロセッサバスとグラフィックボードやI/Oデバイスを接続するためのI/Oバス として使用されます。ケーブル拡張の規格もあり筐体間の接続も可能ですが、安定性の面に難があり産 業機器への使用は一般的ではありません。Ethernet(1G / 10G)は、筐体間や遠隔地接続のような接続 距離が長くなるような場合に使用されます。これに対して、Serial RapidIOはI/Oバスだけでなく、筐体内 （バックプレーン）接続や筐体間の接続にも使用でき、また光I/Fを使用することで100m程度の接続も可 能で、用途に幅があることが分かります。 図１ 各インターコネクト技術の接続部位の比較 PCI Express、10Gig Ethernet、Serial RapidIOの特徴を表1に示します。Serial RapidIOは、ツリー、スター、メッシュと多種のトポロジをサポートしているため、多種多様なシステ ム構成に対応する事が可能です。また、マルチプロセッサ接続やマルチキャスト、冗長性等が考慮されてい るため、高性能な分散処理システムの構築や、高信頼性のシステムを作る事が可能となります。
PCI Express 10Gig Ethernet Serial RapidIO
帯域 1レーン当たり Gen1: 2.5Gbps Gen2: 5Gbps 10Gbps 1レーン当たり Gen1: 1.25, 2.5, 3.125Gbps Gen2: 5.0, 6.25Gbps 距離 数cm～数m 数m～数km 数cm～数m, ～100m（光） トポロジ ツリー スター ツリー、スター、メッシュ レイテンシー 小 大 小 マルチプロセッサ接続 限定的 可 可 マルチキャスト Gen2のみ ブロードキャストのみ 可 冗長性 低 高 高 表1 各インターコネクト技術の特徴
図2は、各インターコネクト技術のパフォーマンスを比較したグラフです。（各規格のレビジョンはPCI Ex-pressはGen1、Serial RapidIOはRev1.3を使用） Serial RapidIOは他の規格に比べて転送効率が高いため、特に転送データサイズが小さい場合にその効 果が大き く現れ ている事 がわかります（10G Ethernetの約2倍）。データサイズが大きくな ると 10G Ethernetの転送レートが向上し、およそ1kByteを境にSerial RapidIOよりも高いレートとなりますが、レイテ ンシーが大きいため、リアルタイム応答性を要求されるようなシステムには向きません。その点、Serial RapidIOは、データサイズが大きい場合でも。低レイテンシーで且つ10G Ethernetと同等の転送レートを実 現する事が可能です。 図2 パフォーマンス比較 1997年に米国Motorola社と米国Mercury Computer Systems社によって次世代インターコネクト規格の 検討が始まり、1999年に最初のRapidIO規格が作 成 さ れ ま し た。そ の 後、2000 年 に RapidIO Trade Associationが設立され、RTAにより規格が管理さ れ る 事 と な り ま す。2001 年 に Rev1.1、2002 年 に Rev1.2、2005年にはRev1.3がリリースされ、最近で は2007年にRev2.0がリリースされています。 最初の規格では、LVDS信号を使用したパラレルバ スの物理層のみが規定されていますが、2002年に リリースされたRev1.2でシリアルリンクの物理層が 追加されたことで、シリアルリンクの物理層を使用 するRapidIOの事をSerial RapidIO（sRIO）と呼ぶよう になりました。Rev2.0では、シリアルリンクの帯域が 6.25Gまで引き上げられ、PCI Express Gen2を凌ぐ 高速インターコネクト技術となっています。 ショートコラム 【RapidIOの歴史】
Ⅲ．
StarFabricからSerial RapidIOへの移行
StarFabricは、PCIバスをベースにした拡張インターコネクト技術として、多種多様な産業機器 で非常に多く使用されています。米国の軍用機器にも使用されており、その安定性、信頼性も 高く、Serial RapidIOと良く似た技術と言えるでしょう。 図3 StarFabricシステム（例） StarFabricとSerial RapidIOの機能の比較を表2に示します。 物理層やルーティング形式の仕様は異なりますが、通信方式や機能に関しては非常に似ているため、アプ リケーションからみると、ほぼ同様の使用方法が可能です。そのため、既にStarFabricを使用しているシス テムの、Serial RapidIOへの移行は比較的スムーズに進める事ができます。 ◆ PCIバスの拡張技術で、PCIバスを利用したスイッチファブリックシステムが構築できる ◆ 単純なバス拡張だけでなく、異なるPCIバスセグメント間の接続が可能 ◆ CAT5eケーブルで最大12mの接続が可能◆ 通信方法は、メモリマッピングによるSLS（Simple Load and Store）方式 ◆ Doorbell, Write Message機能も有り、マルチプロセッシング環境の構築が容易 StarFabric技術の概要
StarFabric Serial RapidIO 物理層 LVDS XAUI 帯域 2.5Gbps（622Mbps x 4レーン） 又は 5.0Gbps（622Mbps x 8レーン） 1レーン当たり Gen1: 1.25, 2.5, 3.125Gbps Gen2: 5.0, 6.25Gbps ルーティング形式 パスルーティング アドレスルーティング 通信方式 Memory Mapped IO (Read/Write) Memory Mapped IO (Read/Write/Atomic) メッセージング機能 Write Message Event(4Byte)
Doorbell
Message（～4k Byte） Doorbell
マルチキャスト機能 有り 有り
StarFabricからSerial RapidIOに移行する際に必要となる、ハードウェア及びソフトウェアの変 更点を以下に示します。 図3 StarFabricシステム（例） ハードウェアについては、ファブリックの構成要素であるエンドポイントとスイッチの置き換えが必要となり ますが、トポロジに関してはStarFabricと同様の構成を取ることが出来ます。 ソフトウェアについては、初期化処理や通信設定の処理をSerial RapidIOに対応させる必要はあります が、Serial RapidIOのコンフィグレーションとメモリマッピングの作成まで出来てしまえば、その後の通信手 順はStarFabricと同様に行う事が出来ます。 図3に示したStarFabricのシステム（例）を、Serial RapidIOのシステムに置き換えた場合の一例を、図4 に示します。 ◆ スイッチ ⇒ Serial RapidIOスイッチへ
◆ エンドポイント ⇒ Serial RapidIO I/Fが組み込まれているPPC, DSPの利用 FPGAにSerial RapidIOコアを組み込み、I/Oボードを直接接続. Tundra社Tsi620（Serial RapidIO to PCIブリッジ）の利用. ◆ ケーブル接続 ⇒ 数ｍであれば銅線(CX4ケーブル）、それ以上なら光で接続 ハードウェア構成
◆ ファブリックの初期化処理と通信設定（メモリマッピングの作成）処理を変更 ソフトウェア構成
エンドポイ ントと してSerial RapidIO のI/Fを持っ ているPPCやDSP を使用する場合は、直接 Serial RapidIOのスイッチに接続する事が出来ます。FPGAを使用する場合は、Serial RapidIOコアをFPGAに実装 することで、プロセッサと同様に直接スイッチに接続する事が出来ます。また、Serial RapidIOのI/Fを持っ ていないプロセッサや、従来のPCIリソースを流用する場合には、Serial RapidIOとPCIバスをブリッジする、 Tundra社のTsi620を利用する事で、Serial RapidIOに接続する事が出来ます。
Ⅳ．
Serial RapidIOシステムの開発
ここでは、Serial RapidIOシステムを開発する際に有用なツールや、ボード製品、システム製品 についてご紹介したいと思います。
▼
Serial RapidIO Signal Analyzer for Tundra
産業機器では、汎用のボード製品の組み合わせだけでシステムを構築せず、自社でハードウェアの開発 を行うケースが多く見られます。その際に、ハードウェアの動作検証をどのように行うかで、頭を悩ませる 技術者も多いのではないでしょうか。 Serial RapidIOのハードウェア検証として最初に 行う事は、シリアル通信部分のアイパターンの測定 になります。通常は、高帯域のモニタリングが可能 な高性能オシロスコープを使用して測定を行います が、測定器自体が非常に高価である事や、測定方 法を熟知している必要があり、決して容易ではあり ません。 Tundra社のSignal Analyzerは、測定対象のデバ イスとLink Partner CardをJTAG接続するだけでア イ パター ンの測 定を 行う事 が出 来るツ ール で、 Windows GUIであるOn-chip scopeの操作により 誰でも簡単にアイパターンの測定が可能となりま す。
【Link Partner Card】
【On-chip scope】
▼
RapidFET ＆ Probe
分散処理システムのようなマルチプロセッシングシステムを構築する場合、Serial RapidIOファブリックの 規模が大きく複雑になります。このようなシステムのデバッグを行う場合、各ノード間のトラフィックの状態 や、ルーティング情報、エラー情報等をモニタすることが、デバッグの効率化への鍵となります。 RapidFETは、通常では可視化できないファブリック状態をWindows GUI上に表示するソフトウェアで、 RapidIOトランザクションの状態監視やレジスタアクセス、ルーティング情報、エラー情報のモニタ等が可能 となります。本ツールを使用する事で開発効率が向上でき、またシステムメンテナンス時のモニタリング等 にも利用する事が可能です。【RapidFET Client Software】
【RapidFET Probe】
【PPC,DSP等】
▼
Advenced Mezzanine Card 及び MicroTCAシステム
Serial RapidIOは、既にいくつかの標準プラットフォームに採用されており、その一つに産業機器向けの 標準化団体であるPICMGによって規格化された、Advanced Mezzanine Card（AMC）規格があります。 AMCは、通信機器向けのプラットフォームであるAdvancedTCA用のメザニンボードの規格として作成され ましたが、高い機能と性能を備えているため、AMCボードのみでシステムを構成するためのプラットフォーム として、MicroTCA規格も作成されました。 小型のシステムでありながら、高い機能・性能を持つシステムが実現出来る事から、AMC及びMicroTCA は産業機器には最適なプラットフォームであると言えます。 AMCボード製品 ◆ AMC-D4F1
‣ Full Size,Single Width AMCボード.
‣ TI社 DSP C6455 x4, Xilinx社 FPGA Virtex-4 FX100 x1 ‣ SRIOスイッチ、Gigabit Ethernetスイッチを搭載. ‣ 各DSPとFPGAを4x SRIO及びGigabit Ethernetで接続. ‣ AMCポート(4x が2つ),及びフロントパネル(CX4)より SRIOの外部接続が可能.
◆ AMC-V5F
‣ Mid Size,Single Width AMCボード. ‣ Xilinx社 FPGA Virtex-5 SX95T x1.
‣ SRIOスイッチ及びGigabit Ethernetスイッチを搭載. ‣ 2つのSFPソケット.
‣ フロントパネルよりSRIO又はRocketIOを出力(CX4). ‣ 低ジッタのプログラマブルPLL回路.
◆ AMC-3C87F
‣ Full Size,Single Width AMCボード.
‣ TI社マルチコアDSP TCI6487 x3, Xilinx社 FPGA Virtex-5 SX95T x1. ‣ SRIOスイッチ及びGigabit Ethernetスイッチを搭載.
‣ 2つのSFPソケット.
‣ フロントパネルよりSRIO又はRocketIOを出力(CX4). ‣ 低ジッタのプログラマブルPLL回路.
◆ AMC-3C87F3-GPS
‣ Full Size,Single Width AMCボード.
‣ TI社マルチコアDSP TCI6487 x3, Xilinx社 FPGA Virtex-5 LX110T x1. ‣ SRIOスイッチ及びGigabit Ethernetスイッチを搭載.
‣ 3つのSFPソケット. ‣ GPS Receiver を搭載.
▼
Advenced Mezzanine Card 及び MicroTCAシステム
MicroTCAシステム製品◆ AMCスターターキット
‣ 電源、ファン、3スロットμTCAバックプレーン付き ‣ AMCボードの評価・開発に最適
◆ NAT-MCH (MicroTCA Carrier Hub)
‣ 12枚のAMC、2つの冷却ユニット、4つの電源ユニットをサポート ‣ 冗長構成が可能 ‣ ファブリックI/Fとして、PCI Express、SRIO、XAUIを選択可能 ‣ クロックモジュールを選択可能 ‣ Linux及びWindowsホストで動作するJavaベースのGUI ショートコラム 【インターオペラビリティー】 Serial RapidIOに対応したASIC・FPGAや、それらを実装した ボードが各社よりリリースされています。ここで重要となるのが各 社製品間の相互接続性（インターオペラビリティー）です。 これについては、メーカーから独立したRapidIO Interoperability Lab (RIOLAB)で行われる、コンプライアンステスト及びインター オペラビィリティーテストにより、各社製品の相互接続性が検証・ 確認されています。RIOLABで行われるインターオペーラビリ ティーテストでは、RapidFETツールが使用されており、そのツー ルの品質の高さや有用性が証明されています。 また、MicroTCAシステムやAMCボードについては、世界規模 のインターオペラビリティーワークショップが開催され、Serial RapidIOの動作確認のみでなく、システムとしてのインターオペラ ビリティーが、検証されております。
