遠 隔 メ モ リア クセ ス のた め のス ワ ッ プペ ー ジサ イズ 自動 調 整 機 構
緑 川
博 子*1,内
山
丞*2
Adaptive
Page Size Control
for Remote
Page Swapping
Hiroko MIDORIKAWA*1,
Joe UCHIYAMA*2
ABSTRACT
: An adaptive
page size control
methodology
is proposed
for remote
memory
paging.
It
estimates
a working
set size and changes page size dynamically
and adaptively
to each iterative processing
part of an application
during it is running.
It is highly effective
for iterative
applications
with various
memory access patterns.
Keywords
working set
: Cluster
Computing,
Remote Memory.Distributed
Memory,
paging,
page swap, page size,(Received March 29, 2012)
1.は じ め に 筆 者 ら は,ユ ー ザ 逐 次 プ ロ グ ラ ム が ロ ー カ ル ホ ス トの 物 理 メ モ リサ イ ズ の 制 約 を 受 け ず に 大 容 量 の メ モ リ を 利 用 で き る よ う に す る た め,ク ラ ス タ 上 で 巨 大 な メ モ リ を 仮 想 的 に 逐 次 プ ロ グ ラ ム に 提 供 す る 分 散 大 容 量 メ モ リ シ ス テ ム(DLM:DistributedLargeMemory)[1][2][3]を 開 発 し て い る 。DLMで は 計 算 に 必 要 な デ ー一一タ が 遠 隔 ノ ー ドに あ る 場 合,MPI通 信 等 を 利 用 して 遠 隔 ノ ー一一ドと の ペ ー一一ジ ス ワ ッ プ を 行 う。 こ れ に よ り,ロ ー カ ル メ モ リサ イ ズ を 超 え る 大 き な サ イ ズ の メ モ リ を 仮 想 的 に 利 用 す る こ とが で き,ク ラ ス タ な ど の 複 数 ノ ー ドの 遠 隔 メ モ リ を 利 用 し て 巨 大 な 仮 想 メ モ リが あ る か の よ うに して,大 き な デ ー タ を 扱 う逐 次 プ ロ グ ラ ム を ほ ぼ そ の ま ま の コ ー ドで 実 行 さ せ る こ と が で き る[4]。DLMに よ る 実 行 は,n-一 カ ル メ モ リだ け を 用 い た 実 行 に 比 べ れ ば,実 行 時 間 が 遅 くな る が,従 来 の ロ ー カ ル ハ ー ドデ ィ ス ク を ス ワ ップ 領 域 に す るOSの 仮 想 メ モ リ シ ス テ ム に 比 べ,非 常 に 高 速 に 実 行 が で き る こ と が 確 認 さ れ て い る[1]。 こ の よ うな シ ス テ ム で は,ロ ー カ ル メ モ リサ イ ズ,応 用 プ ロ グ ラ ム の ア ク セ ス 局 所 性 に 関 連 し て,DLMス ワ ッ プ ペ ー ジ サ イ ズ(以 降 ペ ー ジ サ イ ズ)が 性 能 に 大 き く 影響 す る 事 が あ る。DLMシ
ス テ ム で は,通 常,通 信 時 の 転
送 サ イ ズ は 大 き い方 が 一 度 の 通信 で よ り多 くの デ ー タ を
送 る こ とが で き て効 率 が 良 い[1]。 しか し,あ る特 定 の応
用 に お い て,ロ ー カ ル メ モ リサ イ ズ が 非 常 に小 さい 場 合
場 合 に,ペ ー ジ サ イ ズ との組 み合 わせ に よ って 処 理 性 能
が 急激 に低 下す る とい う現象 が確 認 され て い る[2]。DLM
シ ス テ ム で は ユ ー ザ が プ ロ グ ラム 実行 時 に 任 意 にペ ー ジ
サ イ ズ を決 定す る事 が で き るが,こ の 現 象 は応 用 の 種 類
や ロー カル メ モ リサ イ ズ に よっ て 状 況 が 異 な るた め,ユ
ー ザ が 事 前 に適 切 な ペ ー ジサ イ ズ をあ らか じめ 決 定 す る
事 が難 しい。
そ こで,本 研 究 で は,科 学 技術 計 算 に お け る数値 計 算
な どで よ くみ られ る繰 り返 し処 理 を持 つ応 用 を対 象 に,
DLMシ
ス テ ム に お け るペ ー ジ サ イ ズ と各 種 応 用 プ ロ グ
ラ ム の 実行 時 間 との 関係 や 影 響 の 調 査 を行 った 。 そ の 結
果 を元 に,応 用 プ ロ グ ラム の繰 り返 し処 理 部 分 に含 まれ
る ワー キ ン グセ ッ トサ イ ズ に 注 目 して,実 行 中 にペ ー ジ
サ イ ズ を動 的 に 変 更 し最 適化 す るペ ー ジサ イ ズ 自動 調整
機 構 を 考案 した。 この機 構 をDLMシ
ス テ ムに 実 装 し,
そ の評 価 を 行 っ た。
2.ペ
ー ジ サ イ ズ の 応 用 実 行 性 能 へ の 影 響
*1:情 報 科 学 科 助 教(midori@st ,seikei,acjp) *2:理 工 学 研 究 科 理 工 学 専 攻 情 報 科 学 コ ー一一ス 修 ± 学 生 本 研 究 で の 実 験 は 全 て,表1に 示 す 東 京 大 学 の T2K-Tokyo,HA8000ク ラ ス タ シ ス テ ム[5]の ノ ー ド間 ネ ット ワ ー一一ク2.5GB/sの ク ラ ス タ を 使 用 し て 行 っ て い る 。
表1HA8000ク ラ ス タ シ ス テ ム
'「2K(》
pCnSupcrc藍}n1Pu電cr.11AS{NDO
('Pし AX1DQu・ldCし 》rじ()P!cI'Ωnド356(2,3G葺 レ}4CPUl1吐1dじ
Mcm吐}1、 醒・ 3ユ(}Bn{,dc〔936n呪,dC刈.128(}Bn⊂)dcd6n⊂}dc、}
cachc L22MBCPU6にKBC巴 〕匿c,.L32MI3CPU
、1ンrlncト1{}Gx4.{5GB、full-dUplcx}b{、ndlng2N cI、、し}rkM 》rlnc電一11,Gxユ,e5GBト 重111khlplcx}bし 、ndm94 ()SLilulxkc耀lclユ618-53.1」9.じi5x8664 C監}111P巳lcr MPILIb↑ gcc、crSK}n4」2ユ 〔}{}7〔,626.日LtaChI()PヒIIluzll19(■ mPlcctbrI2,7 MPICII-MX〔MPIl2)
2.1応
用 プ ログ ラ ム 実 行 時 間 とペ ー ジ サ イ ズ
DLMシ
ス テ ム を使 用 す る 各 種 応 用 実 行 性 能 とペ ー
一
一
ジ
サ イ ズ に は 関 連 性 が あ る。 そ の 例 を 図1に 示 す 。
10000 ㎜ m m 1 実 行 時 間 比 ・→-Himeno .M⊂10%}+8T。Al5%1 -F「 .Al5%1-5P.A{5%1 452.1542・3289 .7 155.71435 1 4KB8KB16K8321くB641《B128KBZ56K8S12KB ペー ジサ イズ 図1ペ ー ジ サ イ ズ に よ る 実 行 時 間 へ の 影 響 図1は,姫 野 ベ ン チ マ ー一一ク[6](サ イ ズM,ロ ー一一カ ル メ モ リ率10%),NAS並 列 ベ ン チ マ ー クNPB[7]のBT(ク ラ スA,n-一 カ ル メ モ リ率5%),NPBのSP(ク ラ スA, ロ ー カ ル メ モ リ率5%),NPBのFT(ク ラ スA,ロ ー カ ル メ モ リ率5%)の4種 の ベ ン チ マ ー一一ク に つ い て の 相 対 実 行 時 間 と ペ ー ジ サ イ ズ の 関 係 を 示 す 。 こ こ で い う ロ ー カ ル メ モ リ率 と は,応 用 プ ロ グ ラ ム が 使 用 す る 全 メ モ リ の う ち の 何%が,ロ ー カ ル メ モ リ に あ る か を 示 し て お り, 残 りの 割 合(%)は 遠 隔 メ モ リ に デ ー タ が お か れ て い る こ と を 示 す 。 す な わ ち,ロ ー カ ル メ モ リ率5%と は,プ ロ グ ラ ム の 使 用 す る 全 メ モ リの うち の5%の み が ロ ー一一カ ル メ モ リに あ り,残 り の95%は 遠 隔 メ モ リ を 利 用 して 遠 隔 ペ ー ジ ン グ を 行 い な が ら,仮 想 的 に 大 き な メ モ リが あ る か の よ うに 処 理 を 行 う と い う こ と を 意 味 す る 。つ ま り, ロ ー一一カ ル メ モ リ率5%の 実 行 と は,n-一 カ ル メ モ リサ イ ズ の20倍 の サ イ ズ の 仮 想 メ モ リ を プ ロ グ ラ ム か ら利 用 し て い る こ と を 意 味 す る 。 図1の グ ラ フ の 横 軸 は 計 測 時 の ペ ー一一ジ サ イ ズ を 示 し, 縦 軸 はDLMを 使 用 しな い で,ロ ー カ ル メ モ リの み を 用 い た 通 常 実 行(ロ ー一一カ ル メ モ リ 率100%)の 場 合 の 実 行 時 間 を 基 準 に し た 相 対 実 行 時 間 で あ る。 こ こ で は 計 測 時 間 短 縮 の た め に 応 用 プ ロ グ ラ ム は 小 規 模 問 題 サ イ ズ を 用 い て 実 験 を 行 っ て い る が,ロ ー カ ル メ モ リ 率 な ど の 条 件 が そ ろ っ た と き に は,大 規 模 サ イ ズ の 問 題 の 場 合 に も 同様 の 現 象 が 起 こ る 。 姫 野 ベ ン チ マ ー ク で は,通 常 実 行 に 比 べ,ペ ー ジ サ イ ズ512KBで45倍,ペ ー一一ジ サ イ ズ4KBで はll.7倍 の 実 行 時 間 が か か り,ペ ー ジ サ イ ズ の 大 き い 方 が 相 対 的 に性 能 が よ い こ と が わ か る。 こ の 結 果 は 過 去 の 研 究[1]に お い て も示 され て お り,大 多 数 の 応 用 で は,一 般 に 大 き な ペ ー ジ サ イ ズ の ほ うが,実 行 時 間 が 短 い 傾 向 が 見 られ る。 こ れ に 対 し,一 部 のNAS並 列 ベ ン チ マ ー一一ク(NPB) で,ロ ー カ ル メ モ リ 率 が 低 い 場 合 な ど に,全 く 逆 の 傾 向 が 見 ら れ る こ と が あ る。 た と え ば,ペ ー一一ジ サ イ ズ4KBで は,BT(ク ラ スA,n-一 カ ル メ モ リ率5%)の 実 行 時 間 比 は22.1,FT(ク ラ スA,ロ ー カ ル メ モ リ 率5%)の 実 行 時 間 比 は12,6,SP(ク ラ スA,n-一 カ ル メ モ リ 率5%) の 実 行 時 間 比 は155,7に な っ て し ま う。 ペ ー ジ サ イ ズ 512KBで は,BTが1039,7,FTが1312.2へ 変 化 し,ペ ー ジ サ イ ズ256KBでSPは16126.9ま で 実 行 時 間 が 増 加 し て し ま う。 図1で 示 し た よ うな 実 行 時 間 の 急 激 な 増 加 は,ど の よ うな 応 用 で も,ロ ー カ ル メ モ リ 率 が 低 け れ ば い つ で も発 生 す る と い う も の で は な い 。 し か し,ロ ー カ ル メ モ リサ イ ズ が 小 さ い 場 合 に,一 部 の 応 用 プ ロ グ ラ ム で 確 認 さ れ て お り,こ の 現 象 に よ る 実 行 時 間 の 増 加 量 は 無 視 で き な い ほ ど の 非 常 に 大 き な も の に な る こ と が あ る。 ま た ペ ー ジ サ イ ズ を 変 化 させ る 事 で 実 行 時 間 に つ い て あ る特 徴 が 見 受 け ら れ た 。 そ の 例 と し てBT(ク ラ スA, ロ ー カ ル メ モ リ 率25%)で の 例 を 図2に 示 す 。 グ ラ フ の 横 軸 は ペ ー ジ サ イ ズ,縦 軸 は 図1と 同 様 に 通 常 実 行 に 対 す る相 対 実 行 時 間 で あ る 。 350 300 250 実200 行 時150 聞 比100 50 0図2
319二 島 昌 二 二 二 二
1024K8512K8256K8128K864K332K816K88K84KB ベ ー ジ サ イズ BT.Aロ ー カ ル メ モ リ 率25%に お け る ペ ー ジ サ イ ズ 毎 の 実 行 時 間ペ ー ジ サ イ ズ1024KB ,512KBの 実 行 時 間 比 は そ れ ぞ れ1449,319で あ る が,ペ ー一一ジ サ イ ズ256KBで は21と な り極 端 に 減 少 す る 。 こ の よ う に,あ る ペ ー ジ サ イ ズ を 境 に 実 行 時 間 が 大 き く 変 化 す る 事 が,他 の 応 用 や 他 の ロ ー カ ル メ モ リ率 に お い て も確 認 で き た。 ま た,ペ ー一一ジ サ イ ズ8KBや4KBと い っ た 非 常 に 小 さ な ペ ー ジ サ イ ズ で は16KB以 上 の ペ ー一一ジ サ イ ズ に 比 べ て わ ず か な が ら 実 行 時 間 の 増 加 が み ら れ た 。 こ れ は,一 般 的 に 知 ら れ て い る よ う に,通 信 サ イ ズ が 小 さ い と 毎 回 の 通 信 セ ッ トア ッ プ 時 間 に よ る オ ー バ ヘ ッ ドが 蓄 積 さ れ る 事 に 加 え,DLMシ ス テ ム で は ス ワ ッ プ の 度 に シ グ ナ ル ハ ン ド ラ の 処 理 を 行 っ て い る の で,小 さ い ペ ー ジ に よ る 通 信 オ ー バ ヘ ッ ドが 応 用 の 実 行 性 能 を 悪 化 さ せ た と 考 え ら れ る。 す な わ ち,一 般 に,メ モ リア ク セ ス の 局 所 性 や 通 信 コ ス トを 考 え れ ば,小 さ い ペ ー ジ よ り も,大 き な ペ ー ジ に す る ほ うが 効 率 的 で あ る 。 しか し,大 き な ペ ー ジ で の 転 送 は,平 均 的 に は,ペ ー ジ 内 に 利 用 しな い デ ー タ も 多 く含 ま れ る こ と と な り,結 果 と し て,不 要 な デ ー タ の 転 送 と ロ ー カ ル メ モ リの 無 駄 を 引 き 起 こ す 可 能 性 が あ る 。 し た が っ て,応 用 の ア ク セ ス パ タ ー ン や ロ ー カ ル メ モ リ サ イ ズ に 応 じ て 適 した ペ ー ジ サ イ ズ を 選 択 す る こ とが 重 要 と な る。
2.2実
行 時 間 増 加 の 原 因 に つ い て の 考 察
実 行 時 間 の 急 激 な増 加 が 見 られ たNPBの
各 種 応 用 は
い ず れ もfor文 の 多 重 ル ー プ を複 数 回 繰 り返 す 構 造 の 応
用 で あ る。 こ うい った 構 造 の 応 用 で は 特 定 の ワー キ ン グ
デ ー タセ ッ トに繰 り返 しア クセ ス を行 うこ とが 多 い 。 前
述 の よ うに ペ ー ジ ベ ー ス で の 管 理 を行 う場 合,ペ ー ジ 中
に は 直 接使 用 しな い デ ー タ も含 まれ る。 ロー カ ル メモ リ
に 余裕 が あ れ ば 大 きな 影 響 は な い 。 しか し,今 回 の よ う
に ロー カ ル メ モ リが 少 な い 場 合 には,計 算 ノー ドが 保 持
で き るペ ー ジ の 枚 数 が 非 常 に少 な くな っ て しまい,ル ー
プ 内 で ア クセ ス す るデ ー タ(ワ ー キ ン グセ ッ ト)す べ て
を ロー カ ル メ モ リ内 に 格 納 す る こ とが で きず,ル ー プ 実
行 中 に 限 られ た 幾 つ か の ペ ー ジが 繰 り返 し,出 し入 れ さ
れ て しま う。 この よ うな ス ラ ッ シ ン グが 発 生 した 事 に よ
り,ペ ー ジス ワ ップ 処 理 回 数 が 急 激 に増 加,実 行 時 間 の
爆 発 的 な 増 加 を引 き起 こ した と考 え られ る。
3.ペ
ー ジ サ イ ズ 自 動 調 整 機 構 の 設 計
3.1ペ
ー ジ サ イ ズ 自動 調 整 機 構 の 基 本 方 針
ス ラ ッ シ ン グの 発 生 が 実 行 時 間 増 加 の 原 因 で あ る と考
え られ るが,ス
ラ ッ シ ン グ を起 こ さな い た めの 設 定 を逐
一 ユ ー ザ が行 うの は 非 常 に 難 しい
。 何 故 な ら,ワ ー キ ン
グ セ ッ トの 大 き さや 適 した ペ ー ジ サ イ ズ の 決 定 には そ の
応 用 プ ログ ラム の メ モ リア クセ ス 局 所性 や 計 算 ノー ドの
メ モ リサ イ ズ の 状況,ロ
ー カ ル メ モ リ率 等 が複 雑 に 絡 ん
で しま うた め で あ る。 ま た 一 つ の応 用 プ ロ グ ラム で あっ
て も,処 理 部分 に よっ て,適 正 ペ ー ジ サ イ ズ は 異 な る場
合 もあ り うる。
DLMシ
ス テ ム は ユ ー ザ レベ ル ソ フ トウ ェ ア で あ り,
OSの
設 定 す るペ ー ジ サ イ ズ の倍 数 サ イ ズ で あ れ ば,独
自のペ ー ジ サ イ ズ の 設 定 が 可 能 で あ る。 そ こで,こ れ を
利 用 し,応 用 プ ログ ラム に 依 存 す る ワー キ ン グセ ッ トに
基 づ い て 実 行 中 にペ ー ジ サ イ ズ を 最 適 化 す る事 に よ りユ
ー ザ に負 担 を か け る こ とな くス ラ ッ シ ン グ を回 避 す るペ
ー ジ サ イ ズ 自動 調 整 機 構 の設 計 と実 装 を行 っ た
。
た だ し,こ こで 自動調 整 の 対 象 とす るの は,NPBの
よ
うに,計 算 の コア とな るル ー プ 文 を含 む イ テ レー シ ョン
を 持 つ構 造 の数 値 計 算分 野 の応 用 プ ロ グラ ム で あ る。
3.2ワ ー キ ン グ セ ッ トの 計 測 と 判 定 方 式 あ る ル ー プ 文 に お い て 使 用 さ れ る ワ ー キ ン グ セ ッ トを 調 べ,そ れ が ロ ー カ ル メ モ リ に ち ょ う ど収 ま る よ うな ペ ー ジ サ イ ズ に 調 整 す る 事 が で き れ ば 理 想 的 だ が,厳 密 な ワ ー キ ン グ デ ー タ セ ッ トを 求 め る こ と は,処 理 の負 荷,情 報 記 録 の た め の メ モ リ量 の 観 点 で 現 実 的 で は な い 。そ こ で 自 動 調 整 機 構 で は,正 確 な ワ ー キ ン グ デ ー タ セ ッ トを 求 め る の で は な く,ル ー プ 文 の 中 で ス ワ ッ プ イ ン され た ペ ー ジ 枚 数 を 記 録 し,そ れ を 「お よ そ の ワ ー キ ン グ セ ッ トの サ イ ズ 」 (ワ ー キ ン グ セ ッ トペ ー ジ 数)と し て 使 用 す る。 ペ ー ジ サ イ ズ 変 更 の た め の 判 定 は,こ の ワ ー キ ン グ セ ッ トペ ー ジ 数 と ロ ー カ ル メ モ リ の ペ ー ジ 数 の 大 小 を 比 較 す る事 で 行 う。 ワ ー キ ン グ セ ッ トの 方 が 大 き け れ ば,理 想 的 な ペ ー ジ サ イ ズ を 以 下 の 式 で 求 め,理 想 サ イ ズ に 最 も 近 い 小 さ い ペ ー ジ サ イ ズ に 一 度 に 変 更 す る。 理 想 ペ ー一一ジ サ イ ズ(Byte)=ロ ー カ ル メ モ リ サ イ ズ (Byte)/ワ ー キ ン グ セ ッ トペ ー一一ジ 数(式1)ワー キ ン グセ ッ トペ ー ジ数 の 方 が 小 さか った 場 合 には,
そ れ 以 前 の ペ ー ジ サ イ ズ 変 更 で 小 さ く しす ぎて い る可 能
性 を 考 慮 し,通 信 効 率 を 上 げ る可 能性 を試 す た め,ペ ー
ジ サ イ ズ を 大 き くす る。 た だ し,ペ ー ジ サ イ ズ が 無 制 限
に 上 下 す る 事 で 最 大値 と最 小 値 を往 復 す る よ うな 事 態 を
避 け る た め,ペ ー ジ サ イ ズ を 小 さ くす る場 合 に は1式 の
理 想 サ イ ズ に 一 度 に 下 げ るが,サ イ ズ を大 き くす る場 合
に は段 階 的(た
とえ ば2倍)に
増 やす よ うにす る。
3.3ペ
ー ジ サ イ ズ 動 的 変 更 機 構
一 つ の応 用 プ ロ グ ラ ム を実 行 した 場 合
,最 適 な ペ ー ジ
サ イ ズ は 処 理 部 分 毎 に 異 な る可 能 性 が あ る。 そ の 一 例 を
図3に
示 す 。 図3はSP(ク
ラ スB,ロ
ー
一
一
カ ル メモ リ率
10%)に お い てペ ー ジサ イ ズ16KBと32KBに
お け る処 理
部 分 毎 の 実 行 時 間 を計 測 した もの で あ る。 ど ち らの ペ ー
ジ サ イ ズ が 適 して い るか は 断 定 で き る もの で はな く,部
分 毎 に 適 した ペ ー ジサ イ ズ は 異 な っ て い る事 が 分 か る。
この た め 自動 調 整機 構 で は 前 述 の 判 定 と調 整 を処 理 部 分
毎 に 個 別 に 行 うもの とす る。 これ を実 現 す るた め には,
応 用 プ ロ グ ラ ムの 動 作 中に,処 理 部 分 毎 にペ ー ジサ イ ズ
を大 小 に 細 か く変 更 して い く必 要 が あ る。
1 0.9 ■16XB■3ZKe o,8 0.7 寅e行 .6 暁05 興 塗 。・4 0.3 0.2 0.1 0 1 ■ 10 ﹂dj
1
直 '暫
幽
02賜68141618ZO2224262830;234ヨ6384042 艶 瑠 郎 分 番 号 図3SP.B(10%)に お け る 処 理 毎 の 実 行 時 間 っ て ペ ー ジ の 所 在 が 次 々 に 入 れ 替 わ っ て し ま う も の で あ っ た 。 そ の た め,あ る程 度 処 理 を 続 け る と ペ ー ジ の 並 び は 図4(a)の よ うに バ ラ バ ラ に な っ て し ま う。 そ こ で 今 回 は 各 ペ ー ジ の ホ ー ム と な る メ モ リサ ー バ を 固 定 化 す る た め に 図4(b)の よ うな キ ャ ッ シ ュ仕 様 へ の 変 更 を 行 っ た 。 キ ャ ッ シ ュ仕 様 で は 全 て の ペ ー ジ を メ モ リ ノ ー ド に確 保 し,計 算 ノ ー ドで は メ モ リ ノ ー ドの 持 つ ペ ー ジ の コ ピ ー の み を 持 つ よ うに す る。 そ れ に よ りス ワ ッ プ 時 に は ペ ー ジ の コ ピ ー を 行 う事 に な り,オ リ ジ ナ ル の ペ ー ジ は 常 に 固 定 の メ モ リ ノ ー ドに お か れ,ス ワ ッ フ.のた び に 移 動 す る事 が な く な る。 計 算 ノー ド團
メ+リ ノート閏
メ モリノー1閏
計 算 ノー ド團
メモ リノー ド甲
メモ リノー ド甲
{a)従 来 の 割 付 イメー ジ{b}キ ャ ッシ ュ 仕 様 の 割 付 イメー ジ 図4キ ャ ッ シ ュ 仕 様 の イ メ ー ジペ ー ジサ イ ズ 変 更 手 法 と して ,連 続 した複数ペー ジを
一 枚 の ペ ー ジ と して 扱 うとい う方 法 を採 用 す る
。 自動 調
整 を行 う上 で の 基 準 とな る最 少 ペ ー ジサ イ ズ を使 って ペ
ー ジ管 理 表 を 構 築 し
,メ モ リの 管 理 そ の もの は最 小 ペ ー
ジを 基 本 に 行 う。 ス ワ ップ 等 の 処 理 を行 う際 には 管 理 し
て い る最 小 ペ ー ジ をセ ッ ト単 位 で 扱 い,指 定 され た ペ ー
ジ が含 ま れ る複 数 ペ ー ジ を一 つ の セ ッ トと し,一 枚 の 大
きな ペ ー ジ と して 扱 うこ と とす る。 セ ッ ト枚 数 は2の 累
乗 倍 で 適 宜 変 更 す る こ とで,ペ ー ジサ イ ズ の 動 的 変 更 を
実 現 す る。
4.ペ
ー ジ サ イ ズ 自 動 調 整 機 構 の 実 装
4.1可 変 ペ ー ジ サ イ ズ の 実 現 連 続 し た 複 数 の ペ ー ジ を 同 時 転 送 す る 事 で ペ ー ジ サ イ ズ を 動 的 に 変 更 す る に は,常 に メ モ リサ ー バ の ア ド レ ス 空 間 上 で ペ ー ジ の 連 続 性 が 保 た れ て い る 必 要 が あ る 。 し か し,従 来 のDLMシ ス テ ム の ス ワ ッ プ 処 理 方 法 は,計 算 ノ ー ドが 必 要 と す る ペ ー ジ を メ モ リ ノ ー ドか ら計 算 ノ ー ドへ 転 送 し,そ れ に よ っ て メ モ リ ノ ー ド上 に 出 来 た 空 き ス ペ ー ス へ 計 算 ノ ー ドか ら入 れ 替 わ り に 送 られ て き た ペ ー ジ を 格 納 す る と い う も の で あ り,ス ワ ッ フ.処理 に よこ うす る こ とで,ス
ワ ップ 処 理 を繰 り返 して もペ ー ジ
の 連続 性 が維 持 され,複 数 ペ ー ジで の 一 括 送 受 信 が 可 能
とな る。 ま た,応 用 プ ロ グ ラム 実行 中 に ペ ー ジ サ イ ズ を
変 更す る事 を考 慮 して各 ノー ドへ の メ モ リ割 付 は最 大 ペ
ー ジ サ イ ズ に対 応 した セ ッ ト数 の倍 数 に な る よ うに 実 装
し,通 信 ヘ ッダ に セ ッ ト枚 数 の 情 報 を 持 た せ る こ とで,
セ ッ ト数変 更 直 後 に発 生 す る複 数 の ペ ー ジ サ イ ズ が 混在
す る状 況 に も対 応 で き る よ うに して い る。 セ ッ ト枚 数 の
指 定 は2の
累 乗 で,現 実 装 で は,1∼64倍
サ イ ズ の 変 更
が 可能 で あ る。 具体 的 に は16KBを
基 本 と した 場 合 には
セ ッ ト数64を
指 定す れ ば16KB×64枚
で1024KBの
サ イ
ズ が1ペ
ー ジ と し て 扱 わ れ る よ うに な り,16KB∼
1024KBの
範 囲 で のペ ー ジ サイ ズ変 更 が 可能 とな る。
4.2ペ
ー ジサ イ ズ 変 更 時 の 過渡 的状 況へ の 対 応
セ ッ ト枚 数 を 変 更 して ペ ー ジサ イ ズ を大 き く した 場 合,
そ れ ま で の 小 さいペ ー ジ サ イ ズ 単位 で の 送 受信 に よ る影
響 を受 け る。 す な わ ち,ペ ー ジス ワ ップ 時 に,受 信 予 定
の ペ ー ジ の 一部 が既 に受 信 済 み,も
し くは 送信 予 定 の ペ
ー ジ の 一部 が存 在 しな い
,と い っ た 状 況 が 発 生 す る。 こ
の ま ま 通信 を行 っ て しま うと ロー カ ル メ モ リに 最 新 の デ
ー タ が あ る に も関 わ らず
,メ モ リサ ー バ か ら古 い デ ー タ
を受信 して 上 書 き した り,送 信 しよ うと した ペ ー ジが 存
在 しな い とい った 状 況 が 発 生 して し ま う。 そ うい った 状
況 に 対 応 す るた め に,ス ワ ップ 処 理 の 前 にペ ー ジの 欠 け
をチ ェ ッ クす る関 数 を追 加 して あ る。 ス ワ ップ の 直 前 に
これ か ら操 作 す るペ ー ジの 状 況 を調 べ,ス
ワ ップ 時 の ヘ
ッダ に そ の 状 況 に 合 わ せ た リクエ ス トを書 き込 ん で 必 要
な 部 分 だ けを 送 受 信 で き る よ うに して い る。 また,従 来
の ス ワ ップ 処 理 は 要 求 と応 答 が1対1対
応 だ った が,リ
クエ ス トをヘ ッダ にま とめ て 記 入 す る こ とで 計 算 ノー ド
か らの 一 度 の ペ ー ジ要 求 で メモ リサ ー バ か ら必 要 なペ ー
ジの み を 不 連 続 な 小 さい ペ ー ジ と して 複 数 回 受 信 す る こ
と も行 え る よ うに して い る。
4.3ワ ー キ ン グ セ ッ トサ イ ズ の 計 測 一 つ の 応 用 プ ロ グ ラ ム が 複 数 の 繰 り返 し を 含 む 処 理 部 分 に 分 け ら れ る と き,そ の 処 理 部 分 毎 に 個 別 に ペ ー ジ サ イ ズ を 最 適 化 す る た め に,ユ ー ザ が 処 理 部 分 の 前 後 に swapin _countstart(intid)とswapin_refresh(intid)の2つ の 関 数 を 挿 入 す る 。 図5の 例 に 示 す よ うに,一 つ 一 つ の 処 理 部 分 にidを つ け て 区 別 す る 。 本 機 構 で は 引 数 のidを 基 準 に 個 別 に 情 報 を 記 録 し,ペ ー ジ サ イ ズ の 調 整 を 行 っ て い く 。 ま た,個 別 で の 調 整 を 行 う に あ た り,従 来 の ペ ー ジ 管 理 表 に ペ ー ジ 毎 の ス ワ ッ プ イ ン 回 数 を 記 録 す る た め の 変 数swapincountを 追 加 し,ま たid毎 の 理 想 ペ ー ジ サ イ ズ(requestsetnum)を 記 録 して お く た め の 表 を 用 意 し て あ る。 swapin _countstart関 数 で は,ス ワ ッ プ イ ン 回 数 の 記 録 の 開 始 と 理 想 ペ ー ジ サ イ ズ へ の ペ ー ジ サ イ ズ 変 更 を 行 う。 swapiue丘esh関 数 で は ス ワ ッ プ イ ン 回 数 の 記 録 を 終 了 し,ワ ー キ ン グ セ ッ トペ ー ジ 数 を 求 め た 上 で ス ワ ップ イ ン 回 数 の 記 録 を リセ ッ ト,目 標 ペ ー ジ サ イ ズ の 算 出 と 理 想 ペ ー ジ サ イ ズ へ の 変 更 を 行 う。 具 体 的 に は,ま ず 初 回 の イ テ レ ー シ ョ ン でswapin _countstart関 数 を 通 過 し た 時 に は,idに 対 応 し た
理 想 ペ ー ジ サ イ ズ は ま だ 記 録 さ れ て い な い た め,ペ ー ジ サ イ ズ の 変 更 は 行 わ れ な い 。 ス ワ ッ プ が 発 生 し た 場 合 に は 該 当 ペ ー ジ のswapincountに 加 算 を 行 い, swapin _refresh関 数 で は ワ ー キ ン グ セ ッ トペ ー一一ジ 数 と し てswapincountが0で な い ペ ー一一ジ の 枚 数 を 集 計 し て ワ ー キ ン グ セ ッ トペ ー ジ 数 と し,swapincountは 全 て0に 初 期 化 す る。 そ の 後,式1の 理 想 ペ ー一一ジ サ イ ズ を 算 出 し, 管 理 表 の 自 身 のidの 欄 に 理 想 ペ ー ジ サ イ ズ を 記 録 し,ペ ー ジ サ イ ズ を そ の 値 に 変 更 す る。 次 に2度 目 に swapin一countstart関 数 を 通 過 し た 場 合 に は,ま ず 前 回 swapin _refresh関 数 が 記 録 し た 理 想 ペ ー ジ サ イ ズ に ペ ー ジ サ イ ズ を 変 更 す る。 そ の 後,前 回 同 様 に ス ワ ッ プ イ ン 回 数 の 記 録 を 行 っ て い くswapin _refresh関 数 で は 初 回 と 同 様 の 処 理 を 行 う。 こ うす る こ と で,2回 目 以 降 は 同id のswapiue丘esh関 数 の 記 録 し た 理 想 ペ ー一一ジ サ イ ズ を
swapin _countstart関 数 が 呼 び 出 し て 再 開 す る 形 と な り,id 毎 に 個 別 に ワ ー キ ン グ セ ッ トペ ー ジ 数 の 計 測 と ペ ー ジ サ イ ズ の 変 更 を 行 っ て い く こ と が で き る 。 算 出 され る理 想 ペ ー ジ サ イ ズ は 計 測 時 の ペ ー ジ サ イ ズ に よ っ て 計 測 解 像 度 が 異 な っ て く る た め,処 理 部 分 毎 に 繰 り返 し計 測 す る事 で ペ ー ジ サ イ ズ は 調 整 され る。
5.ペ
ー ジ サ イ ズ 自動 調 整機 構 の 評 価 実験
ペ ー ジ サ イ ズ 自動 調 整 機 構 の 動 作 と 効 果 の 確 認 の た め , 評 価 実 験 を 行 っ た 。 こ こ で は2節 で 挙 げ た ベ ン チ マ ー一一ク の か らNPBのBTク ラ スA(ロ ー一一カ ル メ モ リ 率5%),SP ク ラ スB(n-一 カ ル メ モ リ 率10%)を 自 動 調 整 の 効 果 が 大 き い 例 と し て 示 す 。 一 方,ス ラ ッ シ ン グ が ほ ぼ 発 生 し な い 場 合 の 例 と し て 姫 野 ベ ン チ マ ー一一ク の ク ラ スM(ロ ー カ ル メ モ リ 率10%)を 示 す 。 自 動 調 整 機 構 で は 以 下 の2つ の 関 数 を 用 意 VOid、w.iPln -(euntstart〔mtコd), VOIdSNV,lpI「 、-refrf■、h{lntid}, ユ ー ザ に は こ れ を ル ー フ の 前 後 に 挿 入 して もら う 複数個所で計測する場合には 引数として計測箇所のIDを渡す 自 動 調 整 機 構 は"w、}pEnrcountstnrt とs"inpln-refreshに 挟 ま れ た 部 分 を 基 準 に ベ ー ジ サ イズ の 変 更 を 行 う (前略} sv/oPI∩ ⊂OLIRt∼tnrt{O] fOf"=o;1くx;t"){ for〔 」二〇,,<y,,++){ for{k=O,kくz,k←+}{ //何 ら かの処理 } } } s"iaptnrefresh{e) tSVI.IP:rl -cuuntst.irt(ユ 〕, forO`,1〈x;t"i{ forCj=O,,<y,j++){ or〔k三 〇、kく1,k++}{ 〃 何bか の処理 } ∼」・',IDM -refresh(ll, (後略)図5ワ
ー キ ン グセ ッ トサ イズ 計 測 関数 の 挿 入 例
5.1BT.Aロ ー カ ル メ モ リ 率5%で の 効 果 NPBのBTク ラ スA(ロ ー一一カ ル メ モ リ率5%)で の 実 験 結 果 を 図6に 示 す 。 縦 軸 は ロ ー一一カ ル メ モ リ率100%で の 実 行 時 間 を1と し た 場 合 の 実 行 時 間 比,横 軸 は ペ ー ジ サ イ ズ を 示 す 。512KB∼16KBは 固 定 ペ ー一一ジ サ イ ズ で の 実 行 時 間 比,自 動 調 整 は1024KB∼16KBの 範 囲 で 自 動 調 整 を 行 っ た 場 合 の 実 行 時 間 比 で あ る。 尚,自 動 調 整 機 構 の 最 小 ペ ー一一ジ サ イ ズ は 今 回 の 実 験 で は16KBに 設 定 し て い る。 最 小 ペ ー ジ サ イ ズ は,応 用 が 扱 うメ モ リ規 模,ク ラ ス タ の メ モ リ 容 量 に も よ る が,小 さ す ぎ て 弊 害 が 出 な い 程 度 に し て い る。1200 ユ000 ㎜ 働 ㈱ 勘 実 行 時 間 比 o 1039.7
