JAIST Repository
https://dspace.jaist.ac.jp/
Title
分散メモリ型ネットワークインタフェースの提案と評
価
Author(s)
奥野, 弘之; 井口, 寧; 堀口, 進
Citation
Research report (School of Information Science,
Japan Advanced Institute of Science and
Technology), IS-RR-2001-017: 1-13
Issue Date
2001-08-02
Type
Technical Report
Text version
publisher
URL
http://hdl.handle.net/10119/8390
Rights
Description
リサーチレポート（北陸先端科学技術大学院大学情報
一
分 散 メ モ リ型 ネ ッ トワ ー ク イ ン タ フ ェ ー ス の
提 案 と評 価
†奥 野 弘 之 ,‡ 井 口 寧,† 堀 口 進 2001年8月2日 IS-RR-2001-017 北 陸 先 端 科 学 技 術 大 学 院 大 学 †情 報 科 学 研 究 科 ‡情 報 科 学 セ ン タ ー 〒923-1292石 川 県 能 美 郡 辰 口 町 旭 台1-1 [email protected],[email protected],[email protected]OH.Okuno,Y.Inoguchi,S.Horiguchi2001
ISSNO918-7553一"'7
要 旨
WSやPCを ネ ッ トワ ー ク で 接 続 し た ク ラ ス タ に よ る 並 列 処 理 が 盛 ん に 研 究 さ れ て い る. ギ ガ ビ ッ ト レ ベ ル の ネ ッ トワ ー ク の 登 場 に よ り,こ の 様 な ク ラ ス タ で ボ トル ネ ッ ク と な っ て い た ノ ー ド間 の メ ッ セ ー ジ 通 信 性 能 が 向 上 す る 一 方,メ ッ セ ー ジ 通 信 時 の ノ ー ド内 デ ー タ 転 送 速 度 が 新 た な ボ トル ネ ッ ク と し て 挙 げ ら れ る よ う に な っ て き た.こ の 問 題 を 解 決 す る た め,本 論 文 で は ネ ッ トワ ー ク イ ン タ フ ェ ー ス 上 に メ モ リ を 搭 載 し,主 記 憶 の 一 部 と す る 分 散 メ モ リ型 ネ ッ トワ ー ク イ ン タ フ ェ ー ス を 提 案 し,そ の 概 要 と 予 備 評 価 に つ い て 述 べ る.性 能 評 価 の た め シ ミ ュ レ ー シ ョ ン に よ る 行 列 演 算 を 行 っ た 結 果,分 散 メ モ リ型 ネ ッ ト ワ ー ク イ ン タ フ ェ ー ス は メ ッ セ ー ジ 通 信 時 の バ ス ボ トル ネ ッ ク を 削 減 で き る こ と が 分 か っ た.ヲ
1は
じ め に
計 算 機 の 処 理 能 力 向 上 や ネ ッ トワ ー ク 速 度 の 向 上 に よ っ て,WSやPCを ネ ッ ト ワ ー ク で 結 合 し,ク ラ ス タ計 算 機 を 構 成 す る 研 究 が 盛 ん に 行 わ れ て い る 国 図.し か し こ の 様 な ク ラ ス タ 計 算 機 で は,計 算 機 間 の デ ー タ の 送 受 信 を行 う メ ッ セ ー ジ 通 信 が 性 能 向 上 を 阻 む 大 き な 要 因 と な っ て い た. 10Base-T,100Base-Tと い っ た 低 速 な ネ ッ ト ワ ー ク で は,ク ラ ス タ ノ ー ド間 の デ ー タ転 送 に 大 き な 時 間 を 費 や し,実 行 規 模 に 見 合 う性 能 向 上 を得 る こ と は 不 可 能 で あ っ た[3].近 年 のMyrinetやGigabitEthernetと い っ た,ギ ガ ビ ッ ト レ ベ ル の ネ ッ ト ワ ー ク の 登 場 に よ っ て,メ ッ セ ー ジ 通 信 に お け る ボ トル ネ ッ ク の 大 き な 要 因 で あ る ク ラ ス タ ノ ー ド間 の デ ー タ転 送 速 度 は 飛 躍 的 に 向 上 した が,逆 に 計 算 機 内 部 の バ ス 速 度 が こ れ ら ネ ッ ト ワ ー ク やCPU処 理 速 度 の 向 上 に 追 従 で き て い な い こ と が 問 題 と し て 挙 げ ら れ る よ う に な っ て き た[4][5]. そ こ で 本 研 究 で は,主 記 憶 の 一 部 と し て 扱 う こ と の で き る メ モ リ を 搭 載 した,分 散 メ モ リ型 ネ ッ トワ ー ク イ ン タ フ ェ ー ス(NIC)を 提 案 す る.NIC上 に メ モ リ を 搭 載 し主 記 憶 の 一 部 と して 扱 う こ と に よ っ て ,NICが メ ッセ ー ジ 通 信 の た め の デ ー タ を 持 つ こ と が 可 能 と な る.そ れ に よ っ て メ ッ セ ー ジ 通 信 時 に ボ トル ネ ッ ク と な る 主 記 憶 とNIC問 の デ ー タ 転 送 を 削 減 で き,ク ラ ス タ 計 算 機 の 性 能 を 改 善 す る こ と が 期 待 で き る. 本 論 文 の 構 成 は 以 下 の 通 りで あ る 。2章 に お い て 関 連 研 究 に つ い て の 議 論 を 行 い,3章 で 提 案 す る 分 散 メ モ リ 型NICの 概 要 と そ の 仕 様 に つ い て 述 べ る.4章 で は,性 能 評 価 の た め に 行 っ た シ ミュ レ ー シ ョ ン と そ の 結 果 に つ い て 議 論 す る.最 後 に5章 で 結 論 と今 後 の 課 題 を 述 べ る.2関
連研 究
ク ラ ス タ 計 算 機 で の メ ッ セ ー ジ 通 信 時 に お け る ノ ー ド内 の バ ス ボ トル ネ ッ ク を 解 消 す る 研 究 と し て は,主 に 以 下 の よ う な 研 究 が 行 わ れ て い る.MINI[6]で は,ATMネ ッ トワ ー ク イ ン タ フ ェ ー ス を1/0バ ス で は な くSIMMの メ モ リ ス ロ ッ トに 組 み 込 む 提 案 が さ れ て い る,こ の ネ ッ トワ ー ク イ ン タ フ ェ ー ス を 用 い た ク ラ ス タ を 構 築 し,約1Gbitの ス ル ー プ ッ トを 達 成 し た が,SIMMの 衰 退 に よ っ て 一 般 的 な も の と は な ら な か っ た. MemoryChannel[7],MemoryChannel2[8]は,PCIカ ー一 ドのNICに,共 有 メ モ リ シ ス テ ム の た め の ア ド レ ス 変 換 機 構 と デ ー タ 送 受 信 用 の バ ッ フ ァ と コ ン トロ ー ラ を 搭 載 し,低 レ イ テ ン シ と 高 い バ ン ド幅 を得 た.し か し,ノ ー ド間 の 接 続 に 専 用 の ス イ ッ チ が 必 要 で,
大 規 模 な 構 成 を 取 る こ と が で き な い.
MEMOnet[4]は,前 述 し たMINIと 同 様 に メ モ リ ス ロ ッ トに ネ ッ ト ワ ー一ク イ ン タ フ ェ ー ス を 搭 載 す る 手 法 を提 案 した.SIMMソ ケ ッ トだ っ たMINIに 対 し て,DIMMソ ケ ッ ト利 用 し たDIMMnet-1[9]に よ っ て,低 レ ン テ ン シ,高 帯 域 幅 を 達 成 し て い る.一 方,MINI
と 同 様 に 本 来 メ モ リ用 の ス ロ ッ トにNICを 搭 載 し て い る た め,メ モ リ ス ロ ッ トの 規 格 に 左 右 さ れ や す い,ス ロ ッ ト数 が 制 限 さ れ る な ど の 問 題 が 残 さ れ て い る.
ま た,SCIMA[5]で は,メ モ リ の 一 部 をCPUと 同 一 の チ ッ プ 上 に 搭 載 し,CPUと メ モ リ 間 の 高 速 な デ ー タ 転 送 を 実 現 し て い る.CPUと メ モ リ 間 の デ ー タ 転 送 に 注 力 して い る た め ノ ー ド内 部 の バ ス ボ トル ネ ッ ク を 更 に 削 減 さ せ る 方 法 と し て 注 目 で き る が,ノ ー ド間 通 信 な ど の よ う なCPUチ ッ プ 外 へ の デ ー タ 転 送 性 能 は 十 分 と は 言 え な い. い ず れ の 研 究 も計 算 機 内 の バ ス ボ トル ネ ッ ク を 解 消 す る 手 法 に つ い て 提 案 し て い る が, 本 研 究 はNIC上 に メ モ リ を 搭 載 し,主 記 憶 の 一 部 と して 扱 う ア プ ロ ー チ で こ の 問 題 に 取 り組 む.PCIバ ス を 使 用 す る こ と に よ り高 い 汎 用 性 を 得 ら れ,メ ッ セ ー ジ 通 信 で はNIC メ モ リ 上 か ら デ ー タ 送 受 信 が 行 わ れ る た め,主 記 憶 か ら デ ー タ を 読 み 出 して 送 信/受 信 し て デ ー タ を 主 記1意 に 書 き込 む,従 来 型 の メ ッ セ ー ジ 通 信 に 比 べ て 高 速 な メ ッセ ー ジ 通 信 が 行 え る と考 え ら れ る.
3分
散 メ モ リ型 ネ ッ トワ ー ク イ ン タ フ ェ ー ス
3.1ネ ッ ト ワ ー ク イ ン タ フ ェ ー ス の 概 要 本 研 究 で 提 案 す る,分 散 メ モ リ ネ ッ トワ ー ク イ ン タ フ ェ ー ス(NIC)の 概 要 に つ い て 述 べ る.1に そ の 概 念 図 を 示 す.提 案 す るNICはPCIバ ス 上 に 搭 載 さ れ る.こ のNIC上 に メ モ リ を搭 載 し,主 記 憶 と同 じ メ モ リ ア ド レ ス 空 間 を 与 え る.以 降,NIC上 に 搭 載 し た メ モ リ の こ と をNICメ モ リ と称 す る.NICに 搭 載 す る メ モ リ 容 量 は 数MByte∼ 数 十MByteを 検 討 し て お り,現 在 の メ モ リ集 積 技 術 か ら見 れ ば 妥 当 な 量 と考 え ら れ る.今 回 は8MByte と し て 評 価 を 行 う.こ のNICメ モ リ に,メ ッ セ ー ジ 通 信 さ れ る デ ー タ が 主 記 憶 か ら 転 送 さ れ て 配 置 さ れ る.転 送 さ れ た デ ー タ は 再 び 主 記 憶 へ 戻 す こ と も 可 能 で あ る.現 段 階 で は,こ れ ら の 処 理 は ソ フ ト ウ ェ ア で 行 わ れ る. NIC上 の メ モ リ は 主 記 憶 の 一 部 と し て 扱 う の で,同 じ デ ー タ が 主 記 憶,NICメ モ リ 上 共 に 存 在 す る こ と は 無 い.つ ま り主 記 憶 とNICメ モ リ 間 の デ ー タ の コ ヒ ー レ ン シ に 関 す る 問 題 を 考 慮 し な くて 済 む.ま た,主 記 憶 とNICメ モ リ 間 の デ ー タ転 送 処 理 が 行 わ れ な い 限 り,デ0タ はNICメ モ リ上 に 存 在 で き る た め,バ ッ フ ァ を搭 載 し て い るNICの よ う に メ ッ セ ー ジ 通 信 の た び に 主 記 憶 か ら デ ー タ を コ ピ ー す る 必 要 も な い.-OxOOOOOOOOOxO7FFFFFF MainMemory ReadlWrite CPU ReadバWrite Network ・・・・・・… 癒 。87FFFFF NIC 図1:分 散 メ モ リ 型 ネ ッ ト ワ ー一ク イ ン タ フ ェ ー ス の 概 念 図 3.2デ ー タ 転 送 プ ロ ト コ ル 提 案 し たNICを 実 現 す る た め,必 要 に 応 じ て 主 記 憶 上 か ら デ ー タ をNICメ モ リ へ 転 送 し,メ ッ セ ー ジ 通 信 に お け る セ ッ トア ッ プ 時 間 を 減 少 さ せ る 機 能 が 必 要 と な っ て く る.こ の た め の 主 記 憶 とNICメ モ リ 間 の デ ー タ 転 送 を 行 うPut,Backに つ い て 本 節 で は 述 べ る. Put,Back操 作 の 概 念 を2に 示 す.
Put:主 記 憶 か らNICメ モ リへ の 転 送Putは,主 記 憶 上 に あ る デ ー タ をNICメ モ リへ 転 送 す る 機 能 で あ る.メ ッ セ ー ジ 通 信 処 理 に お い て,参 照 す る デ ー タ がNICメ モ リ 上 に 存 在 し な い 場 合,自 動 的 に 実 行 さ れ る. Putの 処 理 手 順 の 詳 細 を3に 示 す.メ ッセ ー ジ 通 信 時 に デ ー タ が 主 記 憶 上 に あ る 場 合 (B1),処 理 を 中 断 し,主 記 憶 か ら デ ー タ を 読 み 出 し(B2),NICへ 転 送 し(B3), NICメ モ リヘ デ ー タ を 書 き 込 み(B4),メ ッ セ ー ジ 通 信 処 理 を 再 開 し,NICメ モ リ か ら デ ー タ を 読 み 出 し メ ッ セ ー ジ の 送 信(B5),或 はNICメ モ リ ヘ デ ー タ を 書 き込 み 受 信(B5)を 行 う. デ ー タ がNICメ モ リ上 に あ る 場 合(A1)は,NICメ モ リ か ら デ ー タ を 読 み 出 し て 送 信(A2),或 はNICメ モ リヘ デ ー タ を 書 き込 ん で 受 信 を行 う(A2).
Back:NICメ モ リ か ら主 記 憶 へ の 転 送Backは 上 に 述 べ たPutの 逆 に,NICメ モ リ上 に あ る デ ー タ を 主 記 憶 へ 転 送 す る.ノ ー ド内 で の 演 算 時 に デ ー タ が 主 記 憶 上 に 存 在 し な い 場 合,Putと 同 様,自 動 的 に 実 行 さ れ る.
MainMemory NIC
Back
Put
、 理
・<← 一一 Recv Network 図2:Put,Back操 作 の 概 念 図 ork 図3:Put操 作 に お け る デ ー タ の 流 れ一
ork 図4:Back操 作 に お け る デ ー タ の 流 れ す る 読 み 出 し,書 き込 み を 一一且 中 断 して,NICメ モ リ か ら デ ー タ を 読 み 出 し(D2), 主 記 憶 へ 転 送 し(D3),主 記 憶 ヘ デ ー タ を 書 き 込 み(D4),読 み 出 し,書 き込 み が 再 開 さ れ,デ ー タ の 読 み 出 し/書 き込 み が 行 わ れ る. 主 記 憶 上 に デ ー タが 存 在 す る 場 合(C1)は,通 常 の 計 算 機 で 行 わ れ る 読 み 出 し/書 き 込 み が 行 わ れ る(C2). 処 理 中 で …度 だ け メ ッセ ー ジ 通 信 さ れ る よ う な デ ー タ をPutし た 場 合 に対 して,こ の Backを 使 用 し 主 記 憶 へ 書 き戻 せ ば,無 駄 なNICメ モ リ ア ク セ ス を 削 減 可 能 で あ る. Put,Backの い ず れ も,主 記 憶,NICメ モ リ容 量 の 不 足 に よ っ て 実 行 で き な く な る 事 が 起 こ り得 る.こ の よ う な 場 合 に は,LRUな ど の メ モ リ 置 き換 え ア ル ゴ リ ズ ム を利 用 して 転 送 先 の メ モ リ容 量 確 保 を 行 い,Put,Backを 実 行 可 能 に す る こ とが 考 え ら れ る.但 し今 回 は,Put,Backを 実 行 す る 際 の,主 記 憶 とNICメ モ リ 問 の デ ー タ 転 送 に つ い て 議 論 す る た め,詳 細 な 仕 様 も含 め た こ の 点 に 関 す る 議 論 は 今 後 の 課 題 と す る. こ の よ う に,メ ッセ ー ジ 通 信 を行 う デ ー タ をNICメ モ リ 上 に 集 め る こ と に よ っ て,メ ッ セ ー ジ 通 信 時 にNICメ モ リ か ら 直 接 デ ー タ を 送 信/受 信 し,主 記 憶 とNIC間 の デ ー タ転 送 を 不 要 に す る こ と が で き る と 考 え ら れ る.し か し,主 記 憶 とNICの,物 理 的 に 異 な る 場 所 に デ ー タが 存 在 す る た め,以 下 の ト レ ー ドオ フ に つ い て 議 論 す る 必 要 が あ る. ●CPUと 主 記 憶 間 の ア ク セ ス は 速 い ⇔CPUとNICメ モ リ 間 の ア ク セ ス は 遅 い, node=16,size=128 . llOQ2
一 一 一
Φ N H の 0 4 8 12 1 5 9 B ) 2 6 10 14 3 7 11 15size/node
図5:16ノ ー ドに よ る サ イ ズ128x128行 列 演 算 時 の 計 算 領 域 割 り 当 て ・NICメ モ リ か ら の メ ッセ ー ジ 通 信 は 速 い H主 記 憶 か ら の メ ッセ ー ジ 通 信 は 遅 い 次 章 で は,提 案 し た 分 散 メ モ リ 型NICを て シ ミュ レ ー シ ョ ン に よ る 性 能 評 価 実 験 を 行 い, 上 記 の ト レ ー ド オ フ の 効 果 を 評 価,議 論 す る.4シ
ミ ュ レ ー シ ョ ン に よ るNICメ
モ リの 評 価
4.1シ ミ ュ レ ー シ ョ ン 条 件 提 案 した 分 散 メ モ リ 型NICの 性 能 を 評 価 す る た め,サ イ ズ128×128及 び256×256の 行 列 の 乗 算(A×B=0)に つ い て,4,16,64ノ ー ドに よ る 実 行 を シ ミュ レ ー シ ョ ン で 行 っ た.A,B,C各 行 列 の 計 算 領 域 は5の よ う に 各 ノ ー ドへ 割 り当 て ら れ る.サ イ ズ:sizeの 行 列 は,ノ ー ド数:nodeの 領 域 に 分 割 さ れ る.こ れ よ り1ノ ー ドあ た りが 担 当 す る 行 列 の 大 き さ は,size/〉/node×size〈/nodeと な る.5の 場 合,ノ ー ド数16で 行 列 サ イ ズ128×128 な の で,1ノ ー ドあ た りが 担 当 す る 行 列 の 大 き さ は,128/>-6×128/>-6;32×32と な る.行 列 の 乗 算 は,ま ず こ の 担 当 領 域 の 乗 算 を 行 い,終 了 す る と,上 下 左 右 の ノ ー ド と担 当 領 域 の 交 換 を 行 い 乗 算 を 続 け る.こ の 交 換 は,node-1回 行 わ れ る. シ ミ ュ レ ー シ ョ ン で は,ク ラ ス タ 内 の1ノ ー ド に お け る 行 列 演 算 実 行 時 の デ ー タ メ モ リ参 照 履 歴 を 取 る.主 記1意,NICメ モ リ の 読 み 出 し/書 き込 み 状 況 に つ い て,Putの み と, Backも 併 用 し た 場 合 そ れ ぞ れ に つ い て 計 測 し た.行 列 演 算 実 行 時 の み の デ ー タ メ モ リ 参 照 履 歴 を取 っ て い る の で,演 算 に 至 る ま で の,各 種 変 数 初 期 化 時 な ど に 発 生 し て い る 参 照 履 歴 は 計 測 し て い な い.Putの み に つ い て の 計 測 は,Back併 用 時 に 対 す る 比 較 の た め に行 っ た.ま た シ ミュ レ ー シ ョ ン で は,主 記 憶 は 十 分 な 大 き さ を 持 つ も の と し,主 記 憶 か ら の デ ィ ス ク な ど へ の ペ ー ジ ア ウ ト に つ い て は 考 慮 し な い. 4.2主 記 憶,NICメ モ リの 参 照 状 態 シ ミ ュ レ ー シ ョ ン で 計 測 す る 主 記 憶,NICメ モ リ の 参 照 状 態 に つ い て 述 べ る.主 記 憶, NICメ モ リ に 対 す る ア ク セ ス は 次 の4種 類 に 分 類 す る こ と が で き る.
● 主記憶 に対 す るア クセス
一 内 部 読 み 出 し 時 に デ ー タ が 主 記 憶 上 に 存 在 す る(rmh)/し な い(rmf) 一 内 部 書 き込 み 時 に デ ー タ が 主 記 憶 上 に 存 在 す る(wmh)/し な い(wmf) こ の 時,デ ー タ が 主 記 憶 上 に 存 在 せ ず,NICメ モ リ上 に あ る 場 合 はBackが 実 行 さ れ,主 記 憶 上 に デ ー タ が 転 送 さ れ た 後,改 め て 読 み 出 し/書 き込 み が 行 わ れ る.Back の 実 行 はwmfと し て 扱 い,そ の 直 後 の 読 み 出 し/書 き 込 み は そ れ ぞ れrmh/wmhと し て 扱 う も の と す る. ●NIメ モ リ に対 す る ア ク セ ス 一 メ ッ セ ー ジ 送 信 時 に デ ー タがNICメ モ リ上 に 存 在 す る(rnh)/し な い(rnf) 一 メ ッ セ ー ジ 受 信 時 に デ ー タ がNICメ モ リ上 に 存 在 す る(wnh)/し な い(wnf) こ の 時,デ ー タ がNICメ モ リ 上 に 存 在 せ ず,主 記 憶 上 に あ る 場 合 は,Putが 実 行 さ れ,NICメ モ リ上 に デ ー タが 転 送 さ れ た 後,改 め て 送 信/受 信 が 行 わ れ る.Backと 同 様 に,Putの 実 行 はwnfと し て 扱 い,そ の 直 後 の 送 信/受 信 は そ れ ぞ れrnh/wnh と して 扱 う も の と す る. 前 章 で 挙 げ た ト レ ー ドオ フ に つ い て 議 論 す る た め に は,主 記 憶,NICメ モ リが ど の よ う に 参 照 さ れ て い る か を 明 ら か に す る 必 要 が あ る.4.3主
記憶 に対 す る参照 結果
前 節 で 定 義 した メ モ リ 参 照 に 対 す る 結 果 と し て,行 列 サ イ ズ256×256実 行 時 の 主 記 憶/NICメ モ リ の ヒ ッ ト/ミ ス 比 率 を 示 す. 6に,主 記 憶 に 対 す る 参 照 の 結 果 を 示 す. 6よ り,Putの み を 実 行 し た 場 合 は,主 記 憶 に 対 す るrmf(主 記 憶 上 に デ ー タ が 存 在 し な い)の 比 率 が50%以 上 と い う 結 果 が 得 ら れ た.実 行 し た 行 列 乗 算 は,各 ノ ー ドが 行 列 の 一 部 の み を所 持 し て い る た め ,メ ッ セ ー ジ 通 信 で 各 ノ ー ドが 所 持 し て い る 行 列 を 送 受 信 し100°lo 90% 80% 70%n 60% c r50%n 40%n 30% ?0%n 10% o%
謡畿 ぜ
極/ド〆
試〆
團 ㎜h rmf 口wmh Qwmf Numofnodes図6:行
列 乗算 時の 主記憶 参照 にお け る ヒ ッ ト/ミス率
合 う 必 要 が あ る.そ の た め,乗 算 に 用 い る 行 列AとBが メ ッ セ ー ジ 通 信 時Putに よ っ て 全 てNICメ モ リ」二に 移 動 して し ま い,演 算 時 にAとBを 全 てNICメ モ リ か ら 読 み 出 さ な け れ ば な ら な く な っ た こ と が 大 き な ミ ス 率 の 原 因 で あ る.こ の こ と か ら,Putの み を 使 用 し た 場 合 は,ア ク セ ス の 遅 いCPUとNICメ モ リ 間 の デ ー タ参 照 が 発 生 し て い る こ と が 分 か る.ま た,ノ ー ド数 が 多 い ほ どrmfの 比 率 が 高 くな る 理 由 は,ノ ー ド数 の 増 加 に よ っ て 1ノ ー ドあ た りが 繰 り返 す 部 分 行 列 の 乗 算 回 数 が 増 え た た め で あ る. 一方Backも 使 用 し た 場 合 は ,6か ら 分 か る 通 り,主 記 憶 へ の ア ク セ ス の ほ ぼ 全 て がrmh で 占 め ら れ る よ う に な っ た.こ れ は,演 算 時 に デ ー タ がNICメ モ リ 上 に 存 在 し て い る 行 列A,Bに 対 し てBackが 実 行 さ れ,デ ー タ が 主 記 憶 へ 書 き 戻 さ れ る た め,演 算 を 実 行 す る 時 点 で はA,Bの デ ー タ読 み 出 しが 全 てrmhと な る た め で あ る. こ れ ら の 結 果 よ り,PutとBackを 併 用 す る こ と で 速 度 の 遅 いGPUとNICメ モ リ 間 の ア ク セ ス を,速 度 の 速 いCPUと 主 記 憶 間 の ア ク セ ス に 変 え,処 理 速 度 を 高 め ら れ る こ と が 分 か っ た. 4.4NICメ モ リ に 対 す る 参 照 の 結 果 NICメ モ リ に 対 す る 参 照 結 果 を7に 示 す.Putの み で は,送 受 信 さ れ る 全 て の デ ー タ が NICメ モ リ 上 に 存 在 す る た め,rnh,wnh(NICメ モ リ 上 に デ ー タ が 存 在 す る)の 比 率 が ノ ー ド数 の 増 加 に つ れ て 大 き くな る 結 果 と な っ た.こ の 比 率 の 増 加 は,ノ ー ド数 の 増 加 に-1009を 90% soy 70% 609乏 」 罵50% 40呪 30(そ 209を 10% 09を
]
が ぜ
レ/ rnh ■mf wnh 口wnfド〆
評!
Numofnodes 図7:行 列 乗 算 時 のNICメ モ リ 参 照 に お け る ヒ ッ ト/ミ ス 率 よ っ て1ノ ー ドあ た りが 行 う メ ソセ ー ジ 通 信 回 数 が 増 加 す る た め で あ る . 一方Backを 併 用 し た 場 合 は ,7よ り,逆 にWllfが 増 加 す る 結 果 と な っ た 。 こ れ は,各 ノ ー ドが 担 当 領 域 の 乗 算 が 終 る 度 に メ ッセ ー ジ 通 信 で 新 た な 計 算 領 域 を 得 る た め ,Plltと Backが メ ッセ ー ジ 通 信 と行 列 演 算 の た び に 行 わ れ る た め で あ る .つ ま り,Backさ れ た デ ー タ が 再 び メ ッ セ ー ジ 通 信 さ れ る た め,速 度 の 遅 い 主 記 憶 か ら の メ ッ セ ー ジ 通 信 が ,Ba(・k が 行 わ れ た 分 だ け 発 生 して い る こ と が 分 か る. 以Lの こ と か ら,Backは,メ ッ セ ー ジ 通 信 と ノ ー ド内 部 で の 計 算 を 同 じだ け 行 う処 理 の 場 合,ノ ー ド数 の 増 加 に 伴 っ て,ア ク セ ス 速 度 の 遅 いWIlfの 比 率 を 高 め て し ま う 事 が 分 か る.こ の 点 に つ い て の 考 察 を行 う. 4.5Backの 有 効 性 に 関 す る 考 察 Backを 行 う こ と に よ っ て,PutでNICメ モ リへ 移 動 し て し ま っ た ノ ー ド内 で 読 み 書 き す る デ ー タ を,再 び 主 記 憶 か ら ア ク セ ス す る こ とが 可 能 に な る.し か し,前 述 した よ う に,メ モ リ リ ー ド/ラ イ ト と メ ッ セ ー ジ 通 信 を 交 互 に 行 う よ う な 処 理 で は,Put,Backが 交 互 に 実 行 さ れ,そ の 結 果 速 度 の 遅 い 主 記 憶 か ら の メ ッ セ ー ジ 通 信 や,CPUとNICメ モ リ 問 の ア ク セ ス に よ る,主 記 憶 とNIメ モ リ 間 の デ ー タ 転 送 が ボ トル ネ ッ ク に な り,逆 に 性 能 低 下 を 招 く 可 能 性 が 考 え ら れ る.こ の 点 に つ い て 考 察 を 行 う. 4.5は,Putの み 利 用 した 結 果 に 対 して,行 列 サ イ ズ1280256時 に お け るBack利 用 時一
100% 90% 80% 70%n 60°lo O ._y50% 40% 30% 20% 10% 0%ぶ ぜ
脳/評メ
評〆
Numofnodes 團rmh rmf Qwmh 口wmf rnh 麗rnf wnh Qwnf 図8:行 列 乗 算 時 の 主 記 憶/NICメ モ リ参 照 に お け る 合 計 ヒ ッ ト/ミ ス 率 のPut,Back,ReadHitの 増 加 数 を,各 実 行 ノ ー ド数 毎 に 計 測 し た も の を 示 す.ま た,6 及 び7を 合 計 し た も の を8に 示 す. 5及 び4.1節 に お い て 述 べ た 行 列 演 算 の 手 順 よ り,PutやBackの 元 と な る メ ッ セ ー ジ 通 信 は,ノ ー ド数 に よ っ て の み 変 わ る の で,各 実 行 ノ ー ド数 の,行 列 サ イ ズ128か ら256へ の 変 化 に よ るPut,Back回 数 の 増 加 は 無 い.ま た,ノ ー ド数 の 増 加 に 伴 っ てrmhの 増 加 が い ず れ も 小 さ く な っ て い る が,こ れ は1ノ ー ド当 た りが 担 当 す る 行 列 の サ イ ズ がrmh を 決 め る た め で あ る.例 え ば サ イ ズ256の 行 列 に お い て4ノ ー ドで は 担 当 行 列 サ イ ズ は 128×128=16384要 素 と な る が,64ノ ー ドで は32×32=1024要 素 と な る.こ の た め, ノ ー ド数 が 多 い ほ どrmhの 増 加 が 少 な い 値 と な っ て い る. ノ ー ド数 が 増 加 す る に 従 い,Put,Backの 実 行 数 も増 加 し て い る.こ れ に よ っ て 主 記 憶 表1:行 列 演 算 に お け るBack実 行 時 のPut,Back,ReadHitの 増 加 数 ノ ー ド数 Put数 Back数 rmh(size128) rmh(size256) 4 16 64 十1十5十13 十3十7十15 十i90528十230400十61696 十6307840十1839104十492544r 表2:Put,Back増 加 分 に よ っ て 移 動 し た デ ー タ 量(単 位:Byte)
ノー ド数
担 当行 列 要素数
Put分 Back分 合 計ペ ー ジ数換 算
4 16,384 16 4,096 64 1,024 65,53681,92053,248 196,608114,68861,440 262,144196,608114,688 64ペ ー ジ48ペ ー ジ28ペ ー ジ とNICメ モ リ 問 で 新 た な デ ー タ の 送 受 信 が 発 生 す る こ と と な る.こ れ が ど の 程 度 の 影 響 を 及 ぼ す か 評 価 す る.計 算 す る デ ー タ 型 を 単 精 度 浮 動 小 数 点(float)と し,ペ ー ジ サ イ ズ を4KBと す る と,Put,Backの 増 加 分 に よ っ て 移 動 さ れ た デ ー タ 量 を2に 示 す.2よ り, 増 加 分 は 最 大 で も4ノ ー ドの256KByteで,64ノ ー ドで は112KByteし か な い. 一方 ,乗 算 の 計 算 で は,行 列 の 要 素 単 位 で 数 え る と,(size/>noe)3×>noe回 の 読 み 出 しが,行 列A,Bそ れ ぞ れ に 発 生 す る.こ れ は 最 も少 な い64ノ ー ド時 で も2MB分 の デ ー タ が 読 み 出 さ れ る こ と に 相 当 す る.更 に,A,Bは 担 当 領 域 を 計 算 し終 る 度 に メ ッ セ ー ジ 通 信 を行 い,計 算 す る 部 分 行 列A,Bの 内 容 が 変 わ る た め,A,Bは 読 み 込 み 直 す 必 要 が あ る.そ の 為,64ノ ー ド時 の よ う に キ ャッ シ ュ に 入 り切 る 様 な デ ー タ サ イ ズ で あ っ た と し て もPut,Backを 行 う の と 同 様 で あ る.ま た,8か ら分 か る よ う に,新 た なPut,Backの た め に 発 生 す るwnfやwmfは,こ れ で 得 ら れ るrmhの 増 加 に 対 し て 非 常 に 小 さ な 割 合 と な っ て い る.こ の こ と か ら もBackに よ る 性 能 低 下 の 影 響 は ほ と ん ど無 い と い え る. 以 上 の 結 果 か ら,今 回 の 行 列 演 算 の よ う な,メ ッセ ー ジ 通 信 し,か つ ノ ー ド内 で も 頻 繁 に 参 照 さ れ る デ ー一タ が 存 在 す る 場 合 は,Backを 利 用 し て 事 前 に デ ー タ を 主 記 憶 へ 戻 す 事 で,性 能 を 低 下 す る こ と 無 く無 駄 なNIメ モ リ 参 照 を 削 減 す る こ と が 可 能 で あ る. 4.6NICメ モ リ に 関 す る 考 察 今 回 の シ ミ ュ レ ー シ ョ ンで は,NICメ モ リ容 量 を8MByteと した.こ の 容 量 の 妥 当 性 に つ い て 議 論 す る.実 行 し た 行 列 演 算 に お い て 各 ノ ー ドがNICメ モ リ に 転 送 す る デ ー タ は, 行 列A,Bの そ れ ぞ れ 担 当 す る 領 域 で あ る.演 算 に 用 い る デ ー タ 型 を 単 精 度 浮 動 小 数 点 と す る と,こ の 各 ノ ー ドに 割 り 当 て ら れ る 行 列A,Bの 担 当 領 域 に 使 用 さ れ る 合 計 メ モ リ量 は,"担 当 す る 領 域 の 要 素 数 × デ ー タ 型 サ イ ズ ×2(A,Bの 二 つ)"で 求 め ら れ る.こ れ に よ り,ノ ー ド数,行 列 サ イ ズ を 変 化 さ せ た 場 合 の メ モ リ 量 を 示 す9が 得 ら れ る. 9よ り,4ノ ー ド構 成 で もサ イ ズ2048×2048ま で の 行 列 乗 算 が,NICメ モ リ 容 量 を オ ーT 128MB 32M8 .. .. 岳2MB
