DIMMnetネットワーク接続動作検証環境

全文

(1)計算機アーキテクチャ 152−10 （２００３．３．１０）. ネットワーク接続動作検証環境濱. 田芳博Ý 天野. 三橋彰浩Ý 田邊英晴Ý 中條拓伯Ý. 昇 Ý. メモリバスへ接続するクラスタ用として .

(2) が試作された．こので利用可能な相互接続網は通信リンクに光通信を用いたを用いたスイッチによるものである．現在進められている .

(3) の設計においては，通信リンクに銅線による高速シリアル伝送を用い，スイッチとして商用品を用いることで価格性能比の向上が考えられている．またに複数の入出力ポートを設け，ポート間にルーティング機構を付加することで，スイッチを用いずに小規模のクラスタを構成可能にする機能の付加を考えている．これによりクラスタの構成が単純化されるため，システムの使いやすさとコストパフォーマンスが向上される．本論文においては，これらの機能の検証を行なうための .

(4) を用いたテストベンチの構成と，これを実現するために必要なを搭載したボードについて述べる．.

(5)

(6) .

(7) Ý. Ý. Ý. Ý. Ý. .

(8)

(9)

(10) !

(11) "!" #$%&&

(12) ' (

(13) () *%+ % $,

(14) ' ! -&% &

(15) . (

(16) "&" #

(17) ( !

(18) !(#% & " !$%

(19) + # )#

(20) .

(21) " ' / # !$ $

(22) '#

(23) ' ! -&%

(24)

(25) !

(26) !

(27) '

(28) !$%

(29) + %

(30) $)/

(31) ".

(32) *

(33)

(34) '

(35) .

(36) $# & .

(37) + " /

(38)

(39) ) & (#.

(40) ! #

(41) ( !

(42) "

(43) " #

(44) .% ! -&% / "%

(45) ".

(46) *

(47)

(48) '

(49) & &

(50) !

(51) ! &

(52) " !##

(53)

(54) $ ' ".

(55) '#

(56) ' !( (' )

(57) !"+ '

(58) ! %! ($$!$

(59) ' !$%

(60) /

(61) ! %! '

(62) ! $) !

(63) !

(64) '

(65) " "

(66) ' %

(67) *' "!" "

(68) .

(69) $ !((% ! # !

(70) ! "

(71) "

(72) '

(73) + " ##

(74) /

(75) '

(76) !*

(77) "

(78) .

(79) -!

(80) . (

(81)

(82) *

(83) !" "

(84)

(85)

(86) %

(87) / ' %

(88) *'+. はじめににおいて利用可能なプロセッサの動作速度は年々向上している．クラスタ環境においては，この性能向上を並列計算能力向上へ反映させるために，ネットワークの遅延や帯域幅を改善する必要がある．近年通信リンクとしては，光ファイバと光電気変換モジュールを用いた光伝送やワイヤと差動増幅器によ Ý 東京農工大学工学研究科電子情報工学専攻

(89)

(90)

(91)

(92) .

(93)

(94) Ý 東京農工大学工学研究科情報コミュニケーション工学専攻

(95)

(96)

(97)

(98) Ý 東京農工大学工学部情報コミュニケーション工学科 ! "

(99)

(100) .

(101)

(102) Ý# （株）東芝研究開発センター $!%& ' (

(103) Ý) 慶應義塾大学理工学部情報工学科 ! "

(104) !

(105) * . る高速シリアル伝送により広帯域化しており， .

(106) や規格に合わせチャネル当たり，が利用可能である．またこれら. の規格は複数のチャネルを組み合わせて使用することを前提としており， .

(107) で × ，で × の帯域が利用可能である．しかしにおいて一般的に使用されるバス規格は，規格の ! 帯域幅が主流であり，帯域幅のボトルネックとなる．サーバ用途として利用される同規格の "" !" 帯域幅 #$ %，& !" 帯域幅 ""$ % を利用することでこのボトルネックを軽減することが可能であるが，クラスタを構成する計算ノードの単価を上げることになるので，価格性能比を下げることになる． ' は，このボトルネックを解消するため，メモリバスに接続するとして試作開発された．このの特徴として細粒度通信への適性と広帯域化可能な通信帯域を備える．試作されたは現在種類あり，通信リンクとして光ファイバを利用するもの（光版）と，ワイヤを接続するもの（電気版）がある．これらのの内，クラスタとして利用可能なものは ( )*+ スイッチを利用で. −55−.

(108) きる光版である．現在 ' が持つ特徴を引き継いだ ' の開発行っている．ここにおいては，通信リンクとしてワイヤを用い，スイッチに商用品を用いることで価格性能比を上げることが考えられている．また付加的な機構として，複数の通信ポートを設けることで直接網を構成し，小規模なクラスタを構成可能にすることが上げられており，これによりクラスタの構成が単純化されるため，システムの使いやすさとコストパフォーマンスが向上される．本論文においては，これらの接続網の検証を行なうための ' を用いたテストベンチの構成と，これを実現するために必要な ,- を搭載したボードについて述べる．. 種類の ' はメモリバスに接続するクラスタ用通信インタフェースであり，使用する通信 ./ の違いにより種類存在する．光ファイバを利用する光版と，ワイヤを接続する電気版である．これらののコントローラチップには，が用いられる．後述する接続網検証環境では，図へ示す電気版を利用する．. 相互結合網テストベンチ

(109) ボード構成

(110) 構成. テストベンチを構成するために必要なボードは表へ示す部品で図の様に構成される．ボードでは電気版に対する入出力ポート，とボード間の入出力ポート，，を ,- に接続しており，,- には直接網による接続環境と商用スイッチ検証環境の構成のために適当な論理を含ませる．各入出力ポートの構成について以下へ示す．各環境の概要については，節，節へ示し，これらの詳細については，章へ示す．. . U1 U2 FPGA P2. PCI33 Interface. 図. 電気版 +. . の通信機構. は通信機構として ('- を備えている．. この通信機構を利用するためのプリミティブとして 0* ，0.. が組み込まれている．0* はローカルノードのメモリブロックをリモートノードのメモリブロックへ転送し（リモートライト），0.. はリモートノードのメモリブロックをローカルノードのメモリブロックへ転送する（リモートリード）．また主に ' 向けの通信機構として， ∼ #$1 % までのデータをホストプロセッサがにより書き込むことでリモートリード／ライトが行える -), や，2$1 % 以下まで書き込むことでリモートリード／ライトが行える ), がある．-), においてはパケットヘッダを事前にへ登録しておき，送信時に内部で送信データに付加してパケット送出を行う．これに対し ), においてはユーザプロセスがパケット全体をへ書き込む必要がある．. DIMMnet-1 input:interface. C2 DIMMnet-1 Output:interface. PCI 33. . テストベンチ用 , ボード構成. 表. . SRAM. P3. 部品番号. 図. C1. U3. P1 InfiniBand x4 port. 主要部品. 部品名. . -.,#/. . 12)/3#. , ,,. "+34//456. . 8' /3. 9

(111) . !'8 "+3/7#-:. 9

(112) &. 8'3,.

(113) . 備考. -

(114) 0 製 ", "" ) パッケージ 1 2 製 ,

(115)

(116) 富士通コンポーネント製ソケット 7マニュアル実装対応5圧入ポスト付き 8 製リセプタクル（ストレート型） 3#9 幅の同期 !'8 富士通コンポーネント製オプションでイコライザ可（; 以下であればイコライザ無しでも伝送可能） 8 製部品／ケーブル接続. ボード間入出力ポート. ボード間のリンクは ,- に搭載されるシリアル伝送をで規定される電気レベルで. 使用する．これは，１つのモジュールで送受信双方向の接続を行うことが可能である．表へ示す ,内には複数のシリアル伝送が含まれており，これらはチャネルボンドと呼ばれる機能により同調させて動作させることが可能である．これによりにおける× の規格に対応可能であり，本ボードでは× の規格を用いる．図

(117) に送信部，図に受信部の概略を示す．図中では伝送レートに $ !% を使用するため，送信モジュールには外部より $ !% のクロックを入力している．このクロックは送信部内で倍され，伝送レートとして使用される．伝送符号には # を用いるため， 1 $# % はに変換される．送信モジュールへ $1 % の送信データを与える形で用いるとすれば，,- の内部論理では $ %$ %"$ !% の周期でデータを与えれば連続してシリアル伝送が行える．受信側におけるデータ受信のタイミングは，# 符号による自己同期により行われる．取り込まれたデータ. −56−.

(118) は，シリアル→パラレル変換され 3 4 56 を介して ,- 内部のクロックと同期される．リンク間のケーブルについては表へ示す 3 を用いる．× の規格では双方向の差動信号を用いるため，このケーブルには # 対のペア線が含まれる．高速シリアル伝送においてはケーブルによるローパスフィルタ効果を解消するため，ケーブル出力側で高周波成分を強調するイコライジングと呼ばれる処理を施すことがある．3 - においてもイコライザをオプションとして付加することが可能であり，ケーブル長が 27 以上では必須としている． TX-part(monothilic) FPGA-part DATA width:32bit. CRC Generator. 8B/10B Encoder. 表電気版 !<" モードと伝送クロック !<" モード !<7: !<7&: $, 供給クロック 78%=: // 3>) )/ 伝送クロック 78%=: #// ) ). 長 79: 4/ 4/ #/. 周期 78%=: // >) 3>).

(119) . 直接網による接続環境直接網による接続環境については図へ示す．これより各内部では図へ示す電気版とボードが表へ示す 3 で接続される．各間ではボード同士が表へ示す 3 - により接続される．トポロジには双方向のリング網を用いる．この場合ボードはルータとして振る舞う．. TX-FIFO Width:8bits Depth:4. PCI#N-1. PC#2 62.5Mhz. 1/2. DIMMnet-1. TXP. X20. NIC1. PCIboard (Router). PCIboard (Router). DIMMnet-1 NICN-1. Serializer 2.5Ghz. TXN. Width:10bits. PC#1 125Mhz. PCI#N DIMMnet-1. ExternalClock. NIC1. 図. . PCIboard (Router). PCIboard (Router). DIMMnet-1 NICN. 送信部 Infiniband 2.5Gbps/4ch DIMMnet-1 LINK 250Mbps. 図. . 直接網による接続環境. RX-part(monothilic) DATA width:32bit. RX Data. FPGA-part Elastic Buffer. 8B/10B Decoder.

(120)

(121) 商用スイッチ検証環境. Commma detect. 商用スイッチの検証環境については図へ示す．これより，各内部においては節と同様に電気版とボードが接続される．各間には商用スイッチが存在し，ボードと表へ示す 3 により接続される．商用スイッチは用のものであり，表

(122) へ示す 4 3 社のものが利用可能である．この場合ボードはパケットコンバータとして振る舞う．. 62.5Mhz Result 1/2. CRC Check RXP Deserializer Width:10bits. RXN. 125Mhz ExternalClock. 図. . 受信部. PC#2. PC#1.

(123)

(124) ボード間入出力ポート. ボード' 間リンクは ,- 内に入出力の論理を作成する必要がある．においては通信リンクを伝送クロックに同期した $ % パラレル伝送として実現している．電気レベルは .8'* である．このポートの伝送レートは側の設定によりいくつか存在する．この設定は *+, モードと呼ばれ，において利用可能な *+, モードと伝送. クロックを表へまとめる．これより伝送クロック $ !% の *+$-% モードでは，ボード側での ,- による受信は動作クロックの高さより難しいため， $ !% の *+$ % とモードを用いる．表における 97 長と 97 周期は１つの転送データの長さと入力間隔を表す．これより，,- では *+ モードでは $ !% 毎にデータの受信後処理を行い，モードでは "$ !% 毎に１データか， $ !% 毎にデータ分受信後 3 処理を行えれば良いことになる．リンク間のケーブルについては表へ示す 3 を用いる．このインタフェースでは組の差動信号を用いているため，ケーブル内にも同数のペア線が含まれる．ケーブル長は 47 である．. PCIboard (PktConv). DIMMnet-1 NIC1. PCIboard (PktConv). Commodity Switch. DIMMnet-1 NIC1. Infiniband 2.5Gbps/4ch DIMMnet-1Link. 図. 表. . 250MBps. 商用スイッチ検証環境. ?&. 商用スイッチ. , , 2 入出力ポート. 8 2 @ 9

(125) 8

(126) 9

(127) =.

(128) # // 3/ #- ポート 4 個 /#47*:0 #* 4. 直接網

(129) リング網による接続環境詳細概. 要. ' を直接網により接続する環境においては，トポロジとしてはリング網を用いる．この場合，ボード（ルータ）へはや隣接ルータからパケット. が入力される．ルータは入力されたパケット中のルーティングヘッダを解釈し，自身宛のパケットである場. −57−.

(130) DIMMnet-1 SendLogic DIMMnet-1 ReceiveLogic. Routerlogic. HighSpeed Serial Transmitter &Receiver IC#01 HighSpeed Serial Transmitter &Receiver IC#02. Freq:62.5MHz. 4bytes. 62.5Mhz. Inputdata(250MHz). frame clock(125MHz) control. Freq:125MHz Datarate SW2:31.25MHz->80bits NEC:62.50MHz->40bits. ", への入出力ポート信号接続.

(131) の論理構成

(132) 基本構成. crc encoder. Freq:125MHz. crc encoder. InputControl. High Speed High Speed Serial Serial transmitter#0 transmitter#1. Inputdata. arbiter 12 to 1. ", 内部論理. ルータへパケットがルーティングされた場合，ルータはへこれを出力する．パケットの返送路の情報としては (;5 ' と .( ビットが内部で ((;5 ' と .( ビットへコピーされ使用される．マルチキャストは ( 53 ビットがの時に行われる．この場合，((;5 ' は各ルータにおけるマルチキャストテーブルの参照 ' として用いられる．このテーブルはで構成され，下位ビットが 53 4 3 ビットで，このビットがの場合パケットはへ出力される．また上位ビットは 3 ビットで，このビットがの場合パケットは次のルータへルーティングされる．. control X10. 3. DIMMnet-1 Send Logic. OutputControl. frame clock(125MHz). 12 to 3. ECC encoder. Outputdata (2.5Gbps). 図. X10 Outputdata(250MHz). crossbar. Routing. ch-bonding. ECC decoder. DIMMnet-1 Receive Logic. Inputdata InputControl. FPGA UserLogic. Routing. crc decoder. OutputControl. Routing. crc decoder. to/from NIC 4bytes x 3 62.5Mhz. Outputdata (2.5Gbps). 図. 4VirtualChannel/Port. High Speed Serial receiver#1. to/from Router ch-bonding. UserLogic RouterLogic. High Speed Serial receiver#0. 合はへパケットを出力し，これ以外は隣接ルータへパケットを出力する．への信号接続各入出力ポートの ,- への接続を図へ示す．との接続は本のデータ線と本の制御線，本の伝送クロック線が入出力各々存在する．隣接ルータとの接続は， × のポート組を用いて双方向のリング網を構成するために，各ポートの出力側については本の出力線をデータ線とし，本の入力線をルータ間のフロー制御線として用い，入力側については本の入力線をデータ線とし，本の出力線をフロー制御線に用いる．. リング網を構成する場合の内部論理は図 # の様になる．ルータ中各ポートについてはつの仮想チャネルを持つものとし，つでつの仮想ネットワークとして取り扱う．ルータ間のパケットルーティングはワームホールルーティングにより行うものとし，フロー制御についてはクレジットベースにより行う．ルータ間でのフロー制御は線と 34:56 を用いた ;; によるフロー制御を行う．ルータ間の伝送経路は ;( が *+ が持つ . と比較して低下すると考えられるため，伝送データの検査には ( を用いエラー検出時には再送を行う．ルータ間のデータ検査はにより行われるので，からの入力時にはルータ側でデコードを行い，への出力時にはエンコードを行う．

(133) モードにおけるユニキャストマルチキャスト *+ モード時のパケットヘッダにおけるルーティング情報を図 -% へ示す．このモードではテーブルルーティングが用いらる．スイッチ中においては，パケットの ((' をルーティングテーブルの < としてパケットの出力ポートを取得しルーティングを行う．送信先へパケットが到着した時点でこのパケットに対する返答が必要な場合，返送先のルーティング情報にはパケット中の (' を使用し，この内容を ((' へコピーした後に返答パケットを出力する．本ルータにおいてはが *+ モードの場合，ルーティング情報を図 = % の様に用いる．ユニキャストにおいては ((;5 ' をパケット送信先のルータの ' として扱う，これはボード毎設定される一意な ' である．( .( は双方向リングにおいてパケットを左回り，右回りどちらのリングを用いてルーティングを行うかを決定するフラグである．送信先の. 32. 48. 63 IRID. RRID A) SW2 MODE(NORMAL). 63. 48. 60 59. IRouterID. 0. 32. 44 43 0. RRouterID. I MultiCastBIT I L/R BIT B) SW2 MODE(custom). 図. R MultiCastBIT R L/R BIT. !< モード時ルーティングヘッダ.

(134)

(135) モードにおけるユニキャストマルチキャスト. モード時のパケットヘッダにおけるルーティング情報を図 -% へ示す．このモードの場合ルーティングは ∼ で示されるポートへ順次パケットを出力していくソースルーティングで行われる．このモードの場合送信パケットに対する返答のための，返送路のパケットヘッダへの設定はスイッチ（ルータ）が行う様になっている．本ルータにおいてはがモードの場合，ルーティング情報を図 % の様に用いる．ユニキャストにおいては *+ モードの場合と同様にルーティングされるが，返送路のための (;5 ' と .( ビットの ((;5 ' と .( ビットへのコピーは送信先ルータがパケットをへ出力する直前に行う．マルチキャストにおいては，*+ モードと同様にルーティングされる．

(136) デッドロック回避 *+ が保証しているネットワークの ,, 性を保証してデッドロック回避が行えるルーティング方法に. −58−.

(137) 8bytes. 32. rt4. rt3. rt2. rt1. rt0. 63. 58 57 0. DLID. 図. R MultiCastBIT R L/R BIT. $, モード時ルーティングヘッダ. は同スイッチが使用している構造化バッファチャネル法があるが，この場合パケットがリンク間を通過する度に１つチャネルを上げなければならず，デッドロック回避のために結合網直径> の仮想チャネルを用意する必要がある．リング網では結合網直径が接続台数の増加によりリニアに増加するためこのルーティング方法は実用的ではないと考える．そこで極力単純なルーティング方式として２つの仮想チャネルを使用して，閉ループを描かない一本のルーティング経路を使用するものとする．リング網においてチャネルを上げる箇所は１つだけ存在し，これはボード上で設定可能にする．. 商用スイッチ検証環境詳細概. 32. 27 R. 16 PktLen. SLID. 2'% フォーマット. RRouterID. I MultiCastBIT I L/R BIT B) NEC MODE(custom). 図. SL R. 32. 4544 43 IRouterID. 525048 LNH. VL. A) NEC MODE(NORMAL). 56 LVer. rd0 rd1 rd2 rd3 rd4 rd5 0 0. 60. rt5. 0. 56. 63. 要商用スイッチの検証においては，ボードは ' から入力されたパケットをのパケットへ変換し，スイッチへこれを出力する．スイッチからの入力においてはこの逆操作を行う．ネットワークネットワークの規模によるネットワークの最小単位はサブネットであり，#/ のユニキャストアドレスと "/ のマルチキャストアドレスを識別可能である．サブネットはグローバルネットワークの配下に接続され，ルータを介して接続される．グローバルネットワークのアドレスは # あり，上位 " に *5. ' と呼ばれるサブネットの識別子と，下位 " に 0' と呼ばれるグローバルネットの識別子を持つ． ' が使用するシステムエリアネットワーク $*-% をこれにより構成する場合にはネットワークの規模はサブネットつで十分である．使用するスイッチ $4 3 % においては，表よりユニキャストアドレスは /，マルチキャストアドレスは # 個をそれぞれ識別可能である．ルーティングサブネットにおけるルーティングは，スイッチ中においてパケットヘッダ中の .;43 (;5 $.( % で指定される ' ;.; 43'$'.'% を用いて ,;?)3 からパケットを出力するポート番号を得ることによりルーティングされる．,;?)3 は前述の様に種類あるが，'.' の値によって区別され，

(138) ∼ ,,,

(139) がユニキャストであり，

(140) ∼,,,

(141) がマルチキャストとなる．ユニキャスト用の ,;?)3 の構成は，スイッチ $4 3 % においては . ,;? )3 $.,)% で実装されているため， '.' を .,) の < として用いて該当するエントリよりパケットを出力するポート番号を得ることになる．.

(142) への信号接続. ,- への信号接続は図 2 とほぼ変わりなく， ' との接続は同様に本のデータ線と本. の制御線，本の伝送クロック線が入出力各々存在する．しかしスイッチとの接続は異なり， × のポートを各ポートの出力側について本の出力線全てをデータ線とする，入力側についても本の入力線をデータ線とする．使用するポート数は選択可能とし，ポート数が個の場合は× 規格であり，個の場合は× の規格となる．に必要な論理フロー制御スイッチとのフロー制御は，で規定される .:. @ 34: フォーマットを用いたクレジットベースのフロー制御により行う．フロー制御の対象は，8 53. $8.% と呼ばれる仮想チャネル毎に行う．8. についてはデータ送受信用に組備え，後述する ,;?)3 等のメンテナンス用に送受信組備える．規格より，メンテナンス用 8. についてはフロー制御は行わない．パケットフォーマット変換 ' → のパケットフォーマット変換は，' のパケットの前処理を行った後，これを .( と ($ % で挟み込むことで行う．パケットの前処理は図に示すパケットの各ラインについてによるビットエラー検出と訂正を行い，ラインデータのみ取り出す操作である．逆変換はパケットから .( と ($ % を取りのぞき，パケットの後処理を行う．これはパケット中に含まれるラインデータにラインタイプを付加し，これらのデータに対してによる符号化を行うことで，図に示す ' のパケットラインへ復元する操作である． LINE DATA:64bit. SW2-mode. LineType:2bits ECC:7bit NEC-mode. LINE DATA:32bit LineType:1bit ECC:6bit. 図. 88 パケットラインのフォーマット.

(143) !" #$%&. スイッチ $4 3 % では，,; ?)3 の管理を行う *5 $*% を実装している．* は ,;?)3 の構成のため，*5 7 A5 4: $*% を接続されているデバイスへ送信する．このため，ボードで * に対する返答パケットを作成・返送する必要がある．また，この返送パケット中に含まれる値により ,;?)3 が構成されることになるが，この値には，直接網による接続環境で使用したボード毎に設定される一意な ' を使用する．再送処理パケットのエラー検出は ( により行われ，送信先でのエラー訂正は行われない．このため. −59−.

(144) エラーとして検出されたパケットについては再送処理を行う必要がある．また ( の計算にはパケット全体が必要であるため，スイッチ→ ボード→電気版へのパケットの入力は * ; B,;? で動作することになる．これらの間の入出力を極力パイプライン的に動作させるためには，パケットのサイズを小さくする必要がある．このために，送信側ボードでは１つの ' パケットを小さなパケットに分割する．これをフレームと呼ぶ．フレームの大きさについては，本テストベンチを用いた実験により決定する．パケットの再送処理については，フレーム単位で行う．フレームの再送手順については以下に示す．送信側においては送信 8. 数の再送用バッファを備え各 8. 毎にシーケンス番号，-/ を受信したフレーム番号の保持を行う．受信側においては受信 8. 毎にシーケンス番号と，連続受信に成功した回数の保持を行う． ¯ 送信側状態 ' '. 状態 ' 電気版からのパケット受信状態 £ フレームにシーケンス番号を付加し，これを送信すると共にバッファリングを行う． £ '. 状態へ復帰 ' 受信側よりの -/ 受信状態 £ -/ パケットより，フレーム番号の保持を行う． £ 受け取ったシーケンス番号以下のフレームについてバッファより削除を行う． £ '. 状態へ復帰 ' 受信側よりの -/ 受信状態 £ -/ を受信しているフレーム番号へ> したフレームから，受け取ったシーケンス番号に該当するフレームまでの再送を行う £ '. 状態へ復帰 ¯ 受信側状態 ' '. 状態 ' 送信側よりの正常フレーム受信状態 £ シーケンス番号の検査を行いこれが連続している場合には，正常なフレームとして扱い，連続受信成功レジスタのインクリメントを行う．この値が規定値を越える場合には，送信側へ -/ と共に現在受信したフレームのシーケンス番号の送信を行う． £ シーケンス番号の検査を行いこれが不連続である場合には，異常フレームとして扱い，この廃棄を行う．送信側へは -/ と共に最後に受信した正常フレームのシーケンス番号にインクリメントした値を送信する． £ '. 状態へ復帰 ' 送信側よりの異常フレーム受信状態 £ フレームの廃棄を行う £ '. 状態へ復帰. おわりに本論文では，今後の ' の開発に向けて ' を利用した種類の相互接続網検証用テストベンチとして，直接網 $リング網% による接続環. ここで述べたボードはまだ回路の作成途中にある，今後はボードの完成を優先し，環境の構成と評価を行う予定である．謝辞本研究は総務省戦略的情報通信研究開発制度の一環として行われたものである．' に関しては新情報処理開発機構が推進してきた (+$( 3 +;3 ;75 % プロジェクトの並列分散コンピューティング技術研究の一環として開発されたものである．産業技術研究所の工藤氏，日立製作所の山本氏，西氏，慶應義塾大学の渡辺氏，元・慶應義塾大学の土屋氏，元・東京農工大学の須田氏，日立 ) の今城氏，上嶋氏，金野氏，寺川氏，慶光院氏，岩田氏，山本氏，柏原氏，大杉氏，をはじめ .* および， ' の開発に携わった全ての方々に感謝いたします．また，' の開発に関する御議論に御参加頂いている，和歌山大学の国枝教授，上原講師，齋藤講師，慶應義塾大学の大塚氏，伊豆氏，北村氏に感謝します．. 参. 考文. 献. %

(145). C??? ; % );7 *

(146) 3 1DE ?;: -4

(147) 4. 5 ED*

(148) D4 %

(149). C???4 3 4;7 % ) D FG77; ;D

(150) D )/5;

(151) D G 7D :H;D -7;D E C ?;: 94 35 ; 7 7;1 3; ED .0*) ( % ) D FG77; ;D

(152) D )/5;

(153) D G 7D :H;D -7;DE

(154) I1 * C- .;? . 41

(155) ?

(156) )9 4

(157) 7 ED *-D *-D "% 西，他 .-* 用 #; #<# 4

(158) スイッチC( )*+，F* 2 #， $1 % 2% FG77; ;D ) D

(159) D F)54

(160) 1D /+ D )/5;

(161) D -7;D E C- -* ;9 ?;: 94 9;

(162)

(163) ?;: ?

(164) I <3 1ED FD === #% +F'331 .* !C ' 3;4:9 7 ;5 753 ;4 ; 4; 4 ; ?;: )4 ; ; ;75 D "D D 2$ =#2% =% +F'331D E8 53

(165) 3 ,3;? ; ;3ED ) ; 33 3 ' 5 *1. 7D 8;3D ;D == % 3 D F*4

(166) ? ! D E' 3;4: -@; 4 * ; ,;? ?;: C* ; ,;? ' 3;4:ED ); ;77D 8;3#D ;D D =#. 境と商用スイッチ検証環境について述べた．また，これを構成するために必要なボードと，各環境におけるボード上の ,- 実装する論理の概要について述べた．. " −60−.

(167)