• 検索結果がありません。

コミットベースファイルシステムEltonの提案

N/A
N/A
Protected

Academic year: 2022

シェア "コミットベースファイルシステムEltonの提案"

Copied!
2
0
0

読み込み中.... (全文を見る)

全文

(1)

コミットベースファイルシステム Elton の提案

加藤 快 田胡 和哉

東京工科大学大学院バイオ・情報メディア研究科コンピュータサイエンス専攻 東京工科大学コン ピュータサイエンス学部

1 はじめに

近年クラウドコンピューテングの普及より,

クラウドサービスとオンプレミスサーバを連携 させたハイブリットクラウドなどの複雑な分散 処理形態が登場してきている.また,多くのク ラウドサービスはネットワークトラフィックに よる従量課金で利用するため,トラフィックの 削減によるコストダウンの効果は大きくなる.

本稿では,このような複雑な分散処理形態に 対応したファイルシステムとして,immutable な データを管理するコミットベースファイルシス テム Elton の提案を行う.

2 提案手法

2.1 Immutable なデータ管理

全てのデータを immutable データとして管理 する.ファイルを更新する場合,既存のファイ ルを上書き保存するのではなく,バージョン番 号を付与した別のファイルとして保存する.作 成された全てのファイルは Read Only File とな り変更されないことが保証される.これにより,

キャッシュが容易となり,一度取得してしまえ ばローカルファイルと同様に SSD 等の高速なデ ィスクで扱うことが可能である.

2.2 Commit 機構

ファイルの同期に対して Commit の動作を加え,

Commit のタイミングでデータ共有が可能となる 仕組みをとる.Commit 時にバージョン番号を発 行することで,バージョンを意識したファイル 管理が可能になる.

これら二つの手法を取り入れたコミットベー スファイルシステムは,バージョン番号を指定 することでデータが一意に決まるため,既存の 分散ファイルシステムに比べて,キャッシュコ ヒーレンシを保つ機構が不要となる.これによ

り,ネットワークトラフィックの減少が見込ま れる.

3 Elton

Elton とは,前述のコミットベースファイルシ ステムを実装したシステムである.Elton は以下 の要素で構成されている.

3.1 Elton Master

Elton Master は,バージョン管理・発行を行 うメタサーバとして動作する.図 1 に示すよう に,各ノードで保存されているファイルの Key と最新バージョン番号,ファイルの各バージョ ンがどのノードに保存されているかを管理して いる.この情報を元に新規バージョンの発行・

ファイル取得リクエスト時にファイルの保存ノ ードの探索,担当ノードへの取得リクエストプロ キシ,バックアップ・キャッシュのスケジュー リングなどの機能がある.

図 1 Elton Master 3.2 Elton Slave

Elton Slave は Elton でファイルを扱うため の HTTP インタフェースを提供するキャッシュサ ーバである.Elton Master に対してファイルの 作成・更新等のメタデータの送信,ファイル取 得時には Elton Master へのリクエストの送信や ローカルでのファイルキャッシュを行う機能が ある.

proposal of commit-based file system Elton

† Kai KATO

Bionics, Computer and media science, Entrepreneurship pro- gram, Tokyo University of Technology Graduate School.

‡ Kazuya TAGO

School of Computer Science, Tokyo University of Technology.

Copyright 2019 Information Processing Society of Japan.

All Rights Reserved.

1-37

1L-04

情報処理学会第 81 回全国大会

(2)

3.3 Eltonfs

Eltonfs は Elton でファイルを扱うためのフ ァイルシステムインタフェースで,FUSE ベース のファイルシステムである.特徴として,ファ イルシステムのディレクトリツリーも 1 つのフ ァイルとして Elton で管理を行う.これにより,

さまざまなディレクトリツリーそのものを共有 可 能 と な り , フ ァ イ ル シ ス テ ム の バ ッ ク ア ッ プ・複製が容易になる.

3.4 Docker Volume Plugin for Eltonfs Docker Volume Plugin for Eltonfs は Eltonfs を使って Docker コンテナ内で利用す るファイル群を共有する機能を持つ.Docker で 提供されている Volume Plugin 機能を Eltonfs 用に用意して利用可能である.

4.検証実験

4.1 ファイルシステム性能評価

Elton と NFS を比較してファイルシステムとし ての評価を行った.実験に用いた環境を表 1 に示 す.測定は,bonnie++[1]を利用する.

Eltonfs・NFS Client 用途サーバに対して I/O 性能測定を行った. 測定は各環境のメモリサイ ズ (プライベートクラウド: 4GB,プライベート クラウド: 1GB) に合わせて, s オプション (メ モリサイズの 2 倍),r オプション (メモリサ イズ)に調整する.測定結果を表 3,表 4 に示す.

表 1 検証実験に利用したプレイベートクラウド 環境

項目 環境 ディストリビュー ション Elton

Master・NFS Server 用途サーバ

4 コア 4GB VM

* 1 台

CentOS 7.2.1511 (Kernel 3.10.0- 327.3.1.el7.x86_64)

Eltonfs・

NFS Client 用途サーバ

4 コア 4GB VM

* 1 台

CentOS 7.2.1511 (Kernel 3.10.0- 327.3.1.el7.x86_64) 表 2 検証実験に利用したプレイベートクラウド

環境

項目 環境

パブリックベンダー Amazon Web Service EC2 Elton Master,

Eltonfs・NFS Client 用途サーバ

t2.micro インスタンス * 1 台

ディストリビュー ション

CentOS Linux 7 x86 64 HVM EBS 20150928 01

表 3 Sequential Read の測定結果 環境 XFS Eltonfs NFS プライベート

クラウド

107170 K/sec

86950 K/sec

74165 K/sec パブリック

クラウド

72060 K/sec

63823 K/sec

14833 K/sec 表 4 Sequential Write の測定結果 環境 XFS Eltonfs NFS プライベート

クラウド

103250 K/sec

103050 K/sec

18565 K/sec パブリック

クラウド

64285 K/sec

67253 K/sec

28709 K/sec 読み込み,書き込みともに Eltonfs の方が NFS よりも性能が高いことがわかる.ベースの ファイルシステムである XFS と同等の性能が出 ているため高速に動作している.

4.2 ネットワークトラフィック性能評価 ネットワークトラフィックの性能評価を行う.

測定のシナリオは,以下の通りである.検証環 境は表 1,表 2 を利用する.

1. dd コマンドを用い,プライベートクラウド 上の Eltonfs・NFS Client 用途サーバの対象デ ィレクトリにファイルを書き込む

2. dd コマンドを用い,パブリッククラウド上 の Eltonfs・NFS Client 用途サーバの対象ディ レクトリに共有されたファイルを読み込む 3. 2 を 5 分間隔で 3 回繰り返す

測定した結果, NFS では書き込みを行った際に NFS Server に 対 し て 通 信 が あ る の に 対 し て

Eltonfs では読み込みが行われるまで通信が行わ

れていないことがわかる. それぞれ初回のトラフ ィックがほぼ同等であること確認できた.また,

書き込み時ではなく読み込み時にファイル共有 が行われていることから,不要なファイル同期 によるネットワークトラフィックも抑えられて いることが確認できた.

5.おわりに

本稿では,コミットベースファイルシステム Elton の提案・検証を行った.検証結果より,提 案手法を用いることで既存のローカルファイル システムに近い性能を持ったまま,トラフィック を抑えたファイルシステムの構築が可能である ことが確認できた.

参考文献

[1] OSDN Corporation: “Bonnie++を使ったファイ ル シ ス テ ム 性 能 の ベ ン チ マ ー ク | OSDN Magazine”

https://mag.osdn.jp/08/08/04/0134256(2019/01/11).

Copyright 2019 Information Processing Society of Japan.

All Rights Reserved.

1-38

情報処理学会第 81 回全国大会

参照

関連したドキュメント

Graduate School of Frontier Sciences, The University of Tokyo Center for Spatial Information Science, The University of Tokyo In this paper we propose place-based

東京工科大学コンピュータサイエンス学部 School of Computer Science, Tokyo University of Technology, Hachioji, Tokyo

Koji Wajima† ,Toshihiro Furukawa†† ,Tetsuji Satoh††† † Graduate School of Library, Information and Media Studies, University of Tsukuba ††.. Dept.Information

1)Graduate School of Information Science and Technology, The University of Tokyo, Tokyo, Japan, 2)Graduate School of Engineering, Osaka University, Osaka, Japan.

東京大学大学院総合文化研究科 Graduate School of Arts and Sciences, The University of Tokyo, Komaba, Tokyo 153–8902, Japan

Graduate School of Bionics, Computer and Media Science, Tokyo Univercity of Techonology‡ ABSTRACT In this project, a web page recommendation browser which recommend web pages for

*1 Department of Information & Computer Sciences, Kanagawa Institute of Technology *2 Graduate School of Human Informatics, Nagoya University *3 Graduate School of

†Department of Computer Science, Graduate School of Information Science and Technology, University of Tokyo Hongo 7-3-1, Bunkyo-ku, Tokyo, Japan ‡Center for