モバイルは今：rsyncによるファイル同期

全文

(1)COLUMN. モバイルは今 rsync によるファイル同期楯岡孝道. 電気通信大学 [email protected]. ファイル群をデスクトップ PC からノート PC にコピー. 算出することとなる．そのため，この部分の計算量が実. しておき，外出先でそれを編集し，作業後にデスクトッ. 行速度に大きく影響する．しかし，単純なシグネチャで. プ PC に書き戻す．全部を書き戻すと時間が，変更した. は一致したブロックの同一性を保証できない．これに対. 部分のみを書き戻すと手間がかかる．そんな経験はない. 処するため，rsync では 2 種類のシグネチャを利用して. だろうか．. いる．1 つは「速い」シグネチャであり，バイト列の同. 前号でバックアップ用ツールとして紹介した rsync. 一性は保証できないが，あるシグネチャから 1 バイト. (http://rsync.samba.org) はこのような場合に威力を発揮. ずらしたバイト列のシグネチャを僅かな計算量で算出で. する．その通信量を削減する技術や利用方法に関して，. きる．もう 1 つは「強い」シグネチャであり，計算量は. 前回はやや中途半端になってしまったので，今回はその. 「速い」ものよりは多いが，高い確率でバイト列の同一. 動作原理を含めて紹介する．. 性を保証できる．検索の際には，まず「速い」シグネチ. ●. ャが一致する部分を検索し，それが一致した部分のみ. rsync とは，UNIX およびそれに準じる環境において，. 「強い」シグネチャを算出，比較することで，全体とし. ネットワーク経由でファイルをコピーするツールである．. ての計算量を減らしている．rsync の実装では「速い」も. Andrew Tridgell 氏によって作成され，オープンソースモ. のとしてブロック内の位置を含めた 32 ビット長のチェ. デルによって改良が行われている．その最大の特徴は，. ックサムを，「強い」ものとして 128 ビット長の MD4 ハ. コピー先に同名のファイルがある場合にコピー元のファ. ッシュ値を用いている．. イル内容との比較を行い，差分を抽出することで転送デ. 「強い」シグネチャを用いたとしても，異なるバイト. ータ量を削減することである．これは巨大なファイルの. 列のシグネチャが一致してしまい，正確な転送ができな. 一部を編集し，編集前の複製にコピーした場合などに効. い危険性がある．このため，rsync ではコピー元のファ. 果を発揮する．. イル全体と，コピー先で生成したファイル全体とで再度. 図 -1 にその基本的な動作を示す．rsync ではまずコピ. 「強い」シグネチャを算出，比較することで，この危険. ー先にあるファイルを固定長のブロックに分割し，各ブ. 性を減らしている．その可能性は 100 万台の計算機が. ロックに対して特徴を抽出したシグネチャと呼ばれる数. それぞれ毎秒 1GB のファイルを転送しても，失敗が起. 値を算出 (1) ，これをコピー元に送信する (2) ．コピー. きるのは 1011 年後だとされている程度である 1）．他の. 元では送るべきファイル中にシグネチャが一致する. 要因によって失敗する可能性の方がずっと高いだろう．. 部分がないかを検索し (3) ，一致した場合にはブ. ●. ロック番号を，不一致の場合には実際のバイト列. 上記のような技術を実装した rsync だが，随所に実用. を送信する (4) ．そしてコピー先は，既存のファ. 的ツールとしての工夫もある．前回紹介した使用バンド. イルと送られた内容から，新たなファイルを生成す. 幅の制限をはじめ，複数の異なる伝送路が扱え，対象フ. る (5) ．rsync はこのようにしてコピーを行う．. ァイルや動作のさまざまな指定が可能である．. この中の (3) の段階においては，バイト単位でブロッ. rsync の伝送路としては，rsh や ssh などを用いた接続. ク開始位置を変更しながらファイル全体のシグネチャを. のほかに，inetd 経由での起動や，ローカルファイルシ. 976. 44 巻 9 号情報処理 2003 年 9 月. −1−.

(2) コピー元. コピー先 �� 既存ファイルをブロックに分割し，各シグネチャを算出. ��シグネチャの一致する部分を新ファイルからバイト単位で検索 �� と一致. 新規. ��. ��. ��と一致. ��と一致. ��. ��. ��. ブロック分割. ��. ��. ��. シグネチャ算出. ��シグネチャを送信 �� . ��ブロック番号または実際のバイト列を送信 �� 新規バイト列� �� . ��既存ファイルと送られたバイト列から新ファイルを生成 ��. ��. ��. 図 -1 rsync における差分転送の基本動作. ステムでのコピーなどが可能となっている．ssh では一. 変更したものを相手にコピーするような場合，--update. 般ユーザでも手軽に利用できるうえ，暗号化も簡単であ. オプションによって，コピー先よりも新しいタイムス. る．inetd を使う場合は管理者権限が必要だが，共有ワ. タンプを持つファイルのみを，選択的にコピーでき. ークスペースなどへのオーバーヘッドの少ない伝送が容. る．これを双方向に行えば，新しいファイルのみ. 易に実現できる．また，ローカルファイルシステムは外. が残り，簡易なファイル同期を行うことができる．. 部接続のハードディスクや NFS などで有用である．. 当然ながら，ファイルシステムのタイムスタンプ. バックアップ用途での典型的なコマンド行オプション. 程度の時刻同期が必要となるし，ファイル同期前に. は --archive --hard-links --delete だろう．これらによって，. 双方で変更を加えた場合には片方の変更しか残らない．. 指定したディレクトリ以下のファイルを階層構造やファ. また，--delete を利用すると新規作成ファイルが消えて. イルアトリビュートを含めて複製することができる．フ. しまうため，ファイルを消去する際には両方で消去しな. ァイルのタイムスタンプとサイズが同一のファイルは，. いと，残っている側から復元されてしまう．しかし，こ. ファイル内容の比較も行わないため，一度このようにし. れらの制限を理解して使えば利用範囲は広い．. て複製しておけば，大量のファイルがあってもその後は. rsync の少し変わった使い方としては，比較のみで実. 高速な処理が可能となる．ここで指定したオプションの. 際にはコピーしない --dry-run オプションを用いて，変. うち，--hard-links はファイルのハードリンクを保存す. 更のあったファイル一覧を得ることができる．本来の使. るもので，省略すると処理を軽減できる．--delete はコ. い方ではないが，--exclude オプションによって特定フ. ピー先にのみ存在するファイルを消去する．コピー元で. ァイルを除外するなど，オプションの組合せによって比. 消したファイルもバックアップには残す場合にはこれを. 較条件を変えられるため，他のツールよりも便利なこと. 省略する．. も多い．. rsync の同期アルゴリズムはその原理上，コピー元と. ●. コピー先両方のファイルを一度すべて読み出し，コピー. 今回はネットワーク経由のファイルコピーツールであ. 先でファイルを生成する際は新たにファイルを作り直す．. る rsync について，その動作原理と利用方法を紹介した．. したがって，高速な LAN での利用など，ボトルネック. もちろん単純な scp などによるコピーの方が適している. が通信路でなくディスクアクセスにある場合には単純な. 場合もあるが，うまく使えば rsync は強力なツールとな. コピーの方が高速である．--whole-file オプションを使え. るだろう．. ば，同期アルゴリズムを抑制し，ファイルサイズとタイ. あなたの道具箱に rsync はいかがだろうか．. ムスタンプのみを比較して必要なコピーを行うことがで. 参考文献 1）Tridgell, A.: Effcient Algorithms for Sorting and Synchronization, Ph.D Thesis, the Australian National University (Feb. 1999). ~ http://samba.org/ tridge/ （平成 15 年 7 月 30 日受付）. きる．なお，この典型的なケースである同一ホスト内のコピーでは，自動的に単純なコピーとなる．バックアップではなく，2 台の計算機で同一内容のホームディレクトリを持ち，どちらでもファイルを操作し，. IPSJ Magazine Vol.44 No.9 Sep. 2003. −2−. 977.

(3)