以上の実験事例から、実験実行者が実験を行う際に重視した実験実行環境に求 める性質を整理した。ここで述べる性質は、それぞれ実験の目的により取捨選択 されるものである。各性質とも、実験によって求められる程度はさまざまであり、
図 4.5: サーバ選択手法検証用トポロジ
DNSのルートサーバのように同一の機能を持つサーバが複数台存在 する環境における、クライアント側のサーバ選択アルゴリズムの新 提案を検証するためのトポロジ。スケールフリーネットワークの性質 を応用し自動生成した。トポロジは570のノードにより構成されて いる。
それぞれの実験にとって十分な性質を持つ実験実行環境を検討することで、より 小さなコストで実験を行うことが可能になる。
4.2.1 実環境との同一性
実環境での観測結果と実験実行環境を利用して構築された実験駆動単位での観測 結果が大きく異なれば、実験自体の意義が問われる。対象とする実験により、必要 とされる程度は異なるものの、実験駆動単位には実環境との同一性が必要となる。
実環境との同一性には少なくとも以下の性質が影響をおよぼす。
実時間性 実験駆動単位での時間の進み方。論理時間である場合と実時間である場 合がある。実時間で実験が進む場合は模倣する実験が必要とする時間で実験 が終わる。時間に関するデータの取得が必要な場合は実時間性が重要である。
また、時間の精度が問題になる場合も多い。
規模追従性 どの程度の規模の実験駆動単位を構築できるかどうか。実験によって は大規模な環境が必要となる場合があるが、実験駆動単位の構築技術により、
構築できる現実的な実験駆動単位の規模は異なる。
実験駆動単位の構成要素の挙動 実験駆動単位を構成する要素の挙動の厳密さ。環 境により要素を模倣できる度合いは異なる。
4.2.2 実験実行の容易性
実験を実行するために必要となるさまざまなコストは実験実行環境を選択する 上で重要な要素となる。
実験実行の容易性には以下の性質が影響をおよぼす。
実験の所要時間 論理時間で実験が進む場合は、実験の進行がシナリオで指定され た実験自体にかかる時間と異なる可能性が高く、シナリオで指定された時間 よりも短い時間で実験が終了する場合や、逆に長い時間がかかる場合がある。
短い時間で結果を得られる方が容易に実験を進められるといえる。
実験準備の所要時間 実験の実行以前に実験に必要なノードおよびトポロジ等の設 定に必要となる時間。実験駆動単位の構築に必要になる時間と、設定記述な どを用意する時間が含まれる。短い方が実験にかかるコストは小さいとい える。
実験パラメータの変更 実験を特徴付けるパラメータの変更の容易性。一般的に、
さまざまなパラメータを変更しながら、実験が繰り返されることが多いため、
実験パラメータ変更が容易であれば実験実行にかかるコストが小さくなる。
4.2.3 実験の再現性と検証容易性
実験の再現性は、実験を繰り返し行った際に同じ結果が得られるかどうかであ る。ネットワーク実験にとっては、常に実験結果が一定であることは重要である。
対象技術の性質として結果が一定で無いという場合は問題無いが、それ以外の場 合であれば、検証結果が変化してしまうという点で評価指標にできない。外乱が ある環境では、外乱が実験結果にある程度の影響をおよぼす可能性はあるが、こ れは実環境でも同様である。
また、実験後に実験結果を分析、検証するが、どのようなコマンドが実行され たかや、各要素がどのように状態を遷移させたかを確認できなければ、十分な分 析・検証が行えない。したがって、実験の検証容易性も重要な性質である。
実験の再現性および検証容易性には以下の性質が影響をおよぼす。
実験駆動単位の構成要素の挙動 実験駆動単位を構成する要素がそれぞれ毎回の実 験で同じ動作を示すかどうか。また、同じ入力に対して同様の状態遷移をみ せるか。
イベント発生の正確性 コマンド入力などのイベントの発生タイミングが毎回の実 験で同一であるかどうか。
操作履歴 実験駆動のためのイベントの発生をどの時点で、どのように行ったかの 記録が残されているか。
4.2.4 要素のモデル化・抽象化の可否
要素の集合や大きな要素をモデル化もしくは抽象化し、小さなリソースで実現 することで、実験駆動単位の大規模化を行うことができる。また、実験対象の技 術に関連が無いと思われる部分を排除しモデル化することにより、実験実行者が 想定する理想的な実験駆動単位を構築できる。
4.2.5 身 近 さ
一般的な計算機で動作が可能であれば、実験実行者の判断のみで実験を行える が、実験専用の設備などについては、他の実験実行者と共用される場合が多いた め、利用までの手続きが必要な場合がある。これにより、実験を行うために、実 験以外の部分に関するコストが発生する。実験実行者の立場などにより、利用す ることが困難な実験実行環境も存在する。
4.2.6 管理機構の存在
管理機構は実験実行環境を管理する機構であり、大規模実証環境の支援ソフト ウェアなどがこれにあたる。管理機構が存在していれば実験実行が容易であるが、
管理機構が想定していない実験を実行できない場合がある。