熊本大学学術リポジトリ
Kumamoto University Repository System
Title
高速通信ソフトウェアhscp普及への取り組み
Author(s)
岩橋, 建輔; 長屋, 貴量; 松尾, 純一; 澤, 昌孝; 内藤,
茂樹; 手島, 史綱; 水谷, 文保
Citation
Issue date
2011-03-18
Type
Presentation
URL
http://hdl.handle.net/2298/23575
Right
高速通信ソフトウェア
hscp 普及への取り組み
岩橋 建輔、長屋 貴量、松尾 純一、澤 昌孝、内藤 茂樹、手島 史綱、水谷 文保 自然科学研究機構 分子科学研究所 技術課 1. 概要 高速通信ソフトウェアhscp を普及促進させるために、sourceforge.net への登録行った。利用者が簡単に導入できるよう にするため Autotools 対応や実行バイナリーの RPM パッケージ化を行った。一方、開発者が容易に修正できるようにsourceforge.net 上のバージョン管理システム Subversion を導入した。Autotools 対応の際、自動テスト機能を加え、開発者 の負担を軽減させた。 2. 動機 共同利用のスーパーコンピューターで生成されるデータの量は年々増大しているが、それらを全て共同利用のディスク に保存することは容量的にできない。そのため、ユーザーが各研究室で用意した大容量ディスクにデータをしばしば転送 している。しかし、共同利用機で現在利用できる標準的なファイル転送プログラムのscp/sftp では TCP プロトコルによる 通信のため、通信遅延が起きる環境下ではネットワークの帯域が広くても活かすことができない。このような状況である ため、低速で1 日以上かけてデータを転送している状況が散見されている。この事態を改善するため、高速通信ソフトウ ェアhscp の開発を行った。
Linux(IA32, IA64, x86_64)、Windows(DOS, Cygwin)、MacOS X、AIX、Solaris の hscp の実行バイナリーとソースプログ
ラム一式を用意した後、共同利用の利用者へhscp の案内を送付したが、あまり利用されなかった。この理由として、hscp が認知度が低いソフトウェアであること、ビルドが面倒なこと、GUI 環境が整備されていないこと、sftp に対応するイン タラクティブなコマンドがないことなどが考えられる。これらの障壁のうち、最初の2 つの問題について改善を試みた。 3. 知名度向上への取り組み 現在、オープンソースのプロジェクトで最も使われているのは、sourceforge.net である。このサイトにプロジェクトを 登録することで一般の利用者および開発者に対して、プロジェクトの存在をアピールすることができる。hscp のライセ ンスはいわゆるBSD ライセンスであり、sourceforge.net への登録すること自体に支障はなかった。 4. Autotools への対応 オープンソースのプロジェクトではAutotools 化されているものが多い。Autotools 化されていると、ソースコードから コンパイルしてインストールするまでの手順は一般的に下記のようになっているので、利用者はドキュメントを特に読ま なくてもコンパイルできるようになっている。
gunzip –c xxx-x.x.x.tar.gz | tar xf - cd xxx-x.x.x
./configure && make && make install
Autotools 化するために必要なファイルは configure.ac と Makefile.am である。configure.ac は autoscan コマンドで雛形が 作られる。このファイルはコンパイルするときの環境調査やコンパイル条件を与えることができるようにするための Borne Shell スクリプトの原型となるものである。この記述で AC_、AM_、LT_で始まるのは Autotools に関連したマクロ
（展開されるとBourne Shell のスクリプトになる）である。このマクロで、使用コンパイラーの選択、ホストタイプの決
かい制御を行うことができる。 一方、Makefile.am は全て開発者が記述しなければならない。このファイルは Makefile の雛形になるものであり、必要 なソースファイルや設定ファイル等を列挙するだけで、高機能なMakefile に変換される。主な機能を表１に記す。 コマンド 内容 make コンパイルとリンクを行う。 make clean コンパイル時にできるオブジェクトファイルや実行ファイルを消去する。 make install 実行ファイルや設定ファイル等を適切なディレクトリーに配置する。
make uninstall install したものを削除する。
make check 動作確認のためのテストを行う。
make dist 配布用のアーカイブ（project-version.tar.gz）を作成する。
表１ Makefile に含まれる主な機能
configure や Makefile を作成するためには、以下のように４つのコマンドを順番に実行する。開発途中に configure.ac や Makefile.am を変更しても、単に”make”すれば自動的に configure や Makefile は更新される。
aclocal autoheader
automake --foreign --add --copy autoconf
今回の Autotools 化に際し、開発者がコードを修正したときにバグが混入するのを防ぐために検証機能を加えた。
Makefile.am に TESTS=行に動作確認用のプログラムを列挙しておけば、”make check”を実行できるようになり、動作確認
用プログラムが順次実行される。この動作確認プログラムは正常動作のときにリターンコードとして0 を返し、テスト対 象外の場合には77 を返し、それ以外のリターンコードをエラーコードとして返す仕様になっている。 RPM としてパッケージを簡単に提供できるようにするために、spec ファイルを新たに記述した。make コマンドで rpm ファイル作成を自動化するために、Makefile.am に下記のような依存関係を記述した。これにより、”make rpm”で自動作 成されるようになる。 rpm: dist
rpmbuild --clean -ta hscp-@VERSION@.tar.gz 5. sourceforge.net への登録 sourceforge.net では開発者のためのツールが充実しているので、このサイトで開発を進めると極めて便利である。提供 されている機能は、ダウンロード用ファイル管理、スクリーンショット登録、統計情報表示、バグトラッキング（Tracker、 MantisBT）、メーリングリスト、フォーラム（Forums、phpBB）、バージョン管理（CVS、Subversion、Git、Mercurial）、 ブログ（Project News、WordPress、Laconica）などがある。 本プロジェクトでこれらの機能のうちいくつかを使っているが、注意すべき点があるので紹介する。バージョン管理シ ステムとしてSubversion を使っているが、サーバーで一元管理方式なのでネットワークの遅さがローカルで使っている場 合に比べて目立つ。また、Subversion を利用しているシステムにログインできないため、フック用のスクリプトを配置す ることができない。
バグトラッキングシステムとして、MantisBT の使用も検討したが、MySQL の設定が UTF-8 でないため、日本語を入 力すると文字化けした。先と同様に直接ログインすることができないため、設定変更することができない。したがって日
図1 sourceforge.net 上の hscp のトップページのスクリーンショット 6. ダウンロード数および参照数の解析 sourceforge.net では様々な統計情報を得ることができる。最も単純な統計情報として、過去２ヶ月の 1 日あたりのダウ ンロード数と参照数を見ることができる。それ以上古いデータは、月ごとのデータとしてしか取り出せなくなるので注意 が必要である。そのため、本プロジェクトでは1 日あたりのデータを別に記録している。それらを図示したのが図 2 と図 3 である。開発が活発だった 2010 年 3 月から 5 月にかけて、ダウンロード数と参照数が伸びていることが分かる。 Daily download count at SourceForge 0 10 20 30 40 50 60 70 80 90 100 2009/12 2010/01 2010/02 2010/03 2010/04 2010/05 2010/06 2010/07 2010/08 2010/09 2010/10 2010/11 2010/12 2011/01 2011/022011/03 2011/04 Sourceforge 7 区間移動平均 (Sourceforge) Daily reference count at SourceForge 1 10 100 1,000 10,000 100,000 2009 /12 2010 /01 2010 /02 2010 /03 2010 /04 2010 /05 2010 /06 2010 /07 2010 /08 2010 /09 2010 /10 2010 /11 2010 /12 2011 /01 2011 /02 2011 /03 2011 /04 Sourceforge 7 区間移動平均 (Sourceforge) 図2 sourceforge.net での 1 日毎のダウンロード数 図3 sourceforge.net での 1 日毎の参照数 本プロジェクトのホームページは当研究所内(http://ccportal.ims.ac.jp/software/hscp)にもあるので、こちらでのダウンロー ド数と参照数を図4 と図 5 で図示した。 Daily download count at ccportal 0 10 20 30 40 50 60 2009/06 2009/07 2009/08 2009/09 2009/10 2009/11 2009/12 2010/01 2010/02 2010/03 2010/04 2010/05 2010/06 2010/07 2010/08 2010/09 2010/10 2010/11 2010/12 2011/01 2011/02 2011/03 2011/04 ccportal 7 区間移動平均 (ccportal) Daily reference count at ccportal 1 10 100 1,000 10,000 100,000 2009 /12 2010 /01 2010 /02 2010 /03 2010 /04 2010 /05 2010 /06 2010 /07 2010 /08 2010 /09 2010 /10 2010 /11 2010 /12 2011 /01 2011 /02 2011 /03 2011 /04 ccportal 7 区間移動平均 (ccportal) 図4 ccportal.ims.ac.jp での 1 日毎のダウンロード数 図5 ccportal.ims.ac.jp での 1 日毎の参照数 図2 と図 4、図 3 と図 5 を比較すると、sourceforge.net の方が明らかに多くのユーザーに見てもらっていることが分か る。知名度向上のためには、sourceforge.net を利用した方がよいと結論付けられる。また、当研究所内のホームページだ けでは共同利用の利用者以外の利用が促進しなかったと考えられる。sourceforge.net に登録することにより、hscp の利用 者増につながり、バグレポートや機能拡張の要望を実際に貰えて、プロジェクトの成熟につながった。 この他にも興味深い２つの統計情報を得ることができる。１つ目は、どこの国からダウンロードされたかを表示させる
ことができる。その結果を表2 に載せる。
Country Downloads Country Downloads Country Downloads
1. United States 506 11. Russia 27 21. Thailand 6
2. China 107 12. Hungary 20 22. Spain 6
3. Japan 104 13. Netherlands 18 23. Switzerland 5
4. France 95 14. Ireland 16 24. Pakistan 5
5. Unknown 57 15. Singapore 10 25. Australia 4
6. United Kingdom 54 16. Israel 9 26. Hong Kong 4
7. Croatia 52 17. Romania 9 27. Ukraine 4
8. Canada 49 18. Italy 8 28. Korea 4
9. Germany 47 19. Indonesia 7
10. India 38 20. Norway 6
表2 国別ダウンロード先
この表以外の国は、Czech Republic、Costa Rica、Taiwan、Brazil、Peru、Algeria、Saudi Arabia、Bulgaria、Viet Nam、Malaysia、
Jordan、Finland、Sweden、New Zealand、Suriname、Mexico、Austria、Greece、Sri Lanka である。合計 47 の国からダウン ロードされていることが分かった。経済産業省の安全保障輸出管理に抵触する可能性を考慮し、対策として特定の国から はダウンロードできないようにすることも検討したが、認証部以外は暗号化されていないのでそもそも安全保障輸出管理 に抵触しないと判断した。sourceforge.net でもアクセス制限をかけたことがあったが、現在、ダウンロードに関しては制 限はない。 ２つ目は、どのOS の種類のファイルがダウンロードされたかを知ることができる。Windows 版が最も多くダウンロー ドされており、hscp 自体が WinSCP などの GUI へ対応することが望まれる。 OS Downloads Windows 539 Source 460 Linux 214 Macintosh 94 Solaris 2 表3 OS の種類によるダウンロード数の分類 7. まとめ sourceforge.net へプロジェクトを登録すると様々な利点が得られる。普及促進のために知名度が向上するだけでなく、 サイトで提供されているツールを無料で使うことができる。同等のサービスを自前で準備する手間を考えると言語やとっ つきにくさを考慮しても積極的に利用することを推奨したい。 今後の課題として、freshmeat.net への登録を目指している。このサイトでは、新規ソフトウェアの告知やソフトウェア のバージョンアップの告知を行うことができ、ここに登録すればさらに多くのユーザーの目に触れさせることができる。 この段階を経由した後、UNIX 系各種ディストリビューションの追加ソフトウェアとしての登録を目指す。 8. 参考文献 ・「広帯域WAN を活かした高速ファイル転送プロトコル導入に向けて」（平成 20 年度京都大学総合技術研究会） 長屋貴量、松尾純一、澤昌孝、岩橋建輔、手島史綱、内藤茂樹、水谷文保 ・「高速ファイル転送 – 1TByte 転送を見据えて」（第 4 回自然科学研究機構技術研究会）内藤茂樹 ・「高速ファイル転送プログラムの開発」（平成21 年度高エネルギー加速器研究機構技術研究会） 手島史綱、長屋貴量、松尾純一、澤昌孝、岩橋建輔、内藤茂樹、水谷文保 ・「高速ファイル転送プログラムHSCP の開発状況」（平成 22 年度熊本大学総合技術研究会） 内藤茂樹、長屋貴量、松尾純一、澤昌孝、岩橋建輔、手島史綱、水谷文保
