シミュレーションに基づく統計的検定法の優劣比較
杉山俊幸
良知孝悦
（昭和59年8月30日受理）
Accuracy of Various Goodness-of-fit Significance Tests
ToshiyukiSUGIYAMA TakayoshiRACHI Abstract In case goodness−of−fit of some assumed models which represent one phenomenon has to be tested， several goodness−of−fit significance tests are used． Each one of them can give the order of goodness−of−fit among assumed models relatively， but not absolutely． So it is very difficult to determine which test must be used in such cases． The purpose、 of this paper is to discuss the accuracy of goodness−of−fit significance tests which are usually used in testing the goodness−of−fit of traffic assignment models−i・e・ CHI−square value， correlation coefficient， root−mean−square error， and weighted−root−mean・ Square error・ The following results are obtained under the condition that the number of traffic routes is small：（1）correlation coe．fficient is not so good as others；（2）the difference in accuracy among CHI・square value， root・mean−square error， and weighted−root−mean−square error is not significant．
1．はじめに
実験あるいは調査の対象とする事象がどのようなモ デル（確率モデルあるいは力学モデル）に従うかを検 討する場合を考える。仮定したモデルがどの程度事象 を的確に表わし得るかを，適合度（goodness−of−fit）の 検定により明らかにするのが通常用いられる方法であ る。たとえば，仮定した確率分布の検定に関しては， カイニ乗法やコルモゴロフ・スミルノブ法が利用され る1）。また，交通工学の分野でよく行われている交通量 配分モデルの検定（優劣比較）に関しては，カイニ乗 法を用いたり，二乗平均誤差・相関係数等の大小関係 を明らかにすることにより，各モデルの優劣を比較し ている2）・3）。こうした検定作業においては，幾つかの検 定法を用いて各モデル間の適合度を比較し，大部分の 手法において適合度が高いと判定されたモデルが最適 であるとしている。これは，おのおのの検定法におい て適合度の判定に用いられる情報は，仮定した個々の ’ 土木工学科，Department of Civil Engineering ＊＊@静岡県庁，Shizuoka Prefectural Office モデルが真の事象をどの程度正確に表わしているのか に関する絶対評価を与えるものでなく，異なるモデル 間の相対評価を示しているにすぎないためである。し たがって，たとえば，ある検定法ではAモデルが最適 であると判定され，別の検定法ではBモデルが最適で あるとの結果が生じた場合，どのように対処すればよ いのかについては何の示唆も与えないことになる。こ のように，用いた手法の違いにより検定結果が異なる ことはあり得ないのであればよいが，交通量配分モデ ルの検定においては，この現象が実際に生じてい る2）β）。したがって，種々の力学モデル等を用いた将来 予測などが活発になされている現時点において，幾種 類かの検定法のうちのどの手法の精度が相対的に良い のかを検討しておくことは重要であると考えられる。 しかしながら，この点に関して取扱った研究はほとん どみられないのが実1青である。 そこで本研究では，前出の交通量配分モデルの検定 に着目し，通常用いられる幾つかの統計的検定法の優 劣を，モンテカルロ法を用いた数値実験により比較検 討することにする。具体的には以下のことを行う。 （1）幾つかの代表的な交通量配分モデルのうちの任意の一つのモデルに従う交通量データを，乱数を用いて作 成する。 （2）おのおのの交通量配分モデルより算出される配分量 の理論値を求める。 （3）（1）で得られたデータと（2）の理論値に関し，幾つかの 統計的検定法を用いて各モデルの適合度検定を行う。 （4）（1）∼（3）の操作を100回繰返し，各検定法により最適 合と判定されたモデルと（1）でデータを作成したモデル とが100回のうち何回一致したかを調べることによ り，各手法の精度の優劣を比較する。 なお，この種の問題を数値実験により解明しようと するのは，統計学・数学等を用いて理論的に各手法間 の優劣を比較することは，今のところ不可能と考えら れるためである。 2．交通量配分モデルの適合度検定に関する 統計的手法 2．1統計的検定法4） 交通量配分に関する実測データを用いて，仮定した モデルの適合度を検定する方法として，以下に示す4 通りの検定法が通常用いられている2）・3）。 a）相関係数 2個の変数間の線形関係の強さを表わす指標で， ρ＝Cov（X， Y）／（σx・σy） ただし，ρ：相関係数 Cov（X， Y）：変数X， Yの共分散 σx，σy二変数X，Yの標準偏差 により表わされる。相関使数ρは，前述したように，
2個の変数X，Y間の線形関係の強さを表わす指標
であるが，それは必ずしも2個の変数の間に因果関係 があることを意味するものではない。すなわち，Xと Yとの問に完全な関数関係があっても，その関係が非 線形である場合には，相関係数が0となることがある。 交通量配分モデルの検定に際しては，2変数のうちの 一方は観測値，他方は理論値として相関係数を算出す る。 b）カイニ乗検定法 ん個の観測値κ1，κ2，・…，Xhと，仮定されたモデ ルから得られる理論値nl， n2，・…， nkとを比較す る。この比較結果の良否を評価する尺度として k x2＝Σ（n，一κ，）2／x、 z＿1 なる量を用いる。x2はカイニ乗値と呼ばれ，この値が 小さいほど仮定したモデルの適合度が良いことにな る。 c）二乗平均誤差 ll個の観測値κ1， x2，・…， Xkと，仮定されたモデ ルから得られる理論値nl，〃2，…・，12・kとの二乗平 均誤差を考え，その平方根RMS−
o糖（・・ h ni ）2／1／2 が最小となるモデルを最適とする。 d）重み付き二乗平均誤差 単に二乗平均誤差を求めるのでなく，個々の観測デ ータが持つ重みを考慮してVVRMS−
o鷲（・・一・・）2｝1／2 ただし，X：観測値の総和 x， ： 観i貝rJイ直 n、：理論値 で表わされる重み付き二乗平均誤差ルRルfSを適合度 の尺度として用いる。c）のRMSと比較して，観測さ れた値が相対的に大きい領域においてモデルの適合度 が良くなることを念頭に置いている。 2．2交通量配分モデル5）・6） 交通量配分モデル（配分率モデル）は，転換交通量＊ をできる限り正確に推定するために用いられるモデル である。配分モデルそのものの開発や諸モデルの比較 等に関しては，これまで交通工学の専門家の間で数多 くの研究がなされ，幾つかの交通量配分モデルが提案 されている。そのおのおのについて詳細な説明を行い， 優劣を比較することは本研究の範囲外であるため，こ こでは，数値実験に用いた4種類のモデルについて簡 単な説明を加えるに留め，詳細は専門書等に譲る。 i）アブラハム理論（一般化アブラハム理論） 経路∫（∫＝1∼k）に関する評価値E、の分布を， 万（x）：礎率密度関数 F，（x）：確率分布関数 とする。ここで，EJ＜E，ならば経路iよりも経路ノが 選択されるとすると，経路∫が選択される確率Pjは， h P，＝∫竺。。〔f、（x）・H｛1−F、（x）｝〕dx l≠jで表わされる。 評価値E、が EJ＝βF・F，°＋T」 ただし，βF：料金から時間への換算係数 F，°：経路ノの通行料金 T、：経路ノの所要時間 で表わせるものとし，呪゜＝（一定），βF，T、が正規分 布に従う確率変数であるとすると βF・L°は平均値PtβF ・ F，°，標準偏差F，°・σβFの正規 分布 T、は平均値Pt・TJ，標準偏差σ7、の正規分布 ＊ ある地点からある地点へ車で走行する際，2本以上の路線かあ る場合に各路線に分かれる交通量。に従う。ここで，μβF，lt・T，はおのおのβF， T」の平均値， σβF，σT，はおのおのβF，万の標準偏差である。 したがって，確率変数Ejは 平均値μβF・呪゜＋βT、，標準偏差（乃゜2・σβF2＋σT、2）1／2 の正規分布に従う。 ii）ロジットモデル 数多くの行動モデル（モーダル・チョイス・モデル） のうち，集計ロジットモデルを導入して，道路網への 交通量配分を行うモデルである。このモデルは，『利用 者は効用が最大となる経路を選択する』との立場から 提案されたもので，経路∫を選択する確率（＝配分率） は P，＝exp（V」一α」）／Σexp（V， 一 ev， ） ビニ ただし，V，＝βT（T、＋βF・瓦） ＆：時間から価値への換算係数 βF：料金から時間への換算係数 T，：経路iの所要時間 F，：経路iの通行料金 α，：パラメータ で表わされる。なお本研究では簡単のためα，＝0と仮 定する。 iii）転換曲線を用いた配分法 この配分法は，日本道路公団で開発された転換率曲 線を用いる方法で，経路選択の主要因が各経路を利用 する場合の料金であると考えている。経路iから経路 ノへの転換率Pi，・は Pu＝K／｛1＋α（T／S）β｝ ただし，T：経路iの高速道路料金 S：｛（経路iの経由時間） 一（経路∫の経由時間）｝ α，β，K：パラメータ で表わされる。例として，3本の道路が現存するときに 4本目の道路を建設する場合を考える。現在の各道路 の配分率をP、°（i＝1∼3）として，新しい配分率P、（i ＝1∼4）は P，＝1）10×（1−Pi 4） 、P2＝P，°×（1−P24） P、＝P，°×（1− P，、） P、＝P，°×P， ，＋ P2°×P24＋P，°×P，、 で与えられる。ただし，制約条件として 1）1°＋P，°＋P，°＝1 を満足する必要がある。なお本研究では，転換率曲線 として，乗用車の転換率曲線 1）t」 ＝ ｛1十〇．01348（T／S）L71742｝−1 を用いている。 iv）比例配分法 各経路への配分量は，おのおのの経路の走行時間に 比例すると考えられるもので，その配分比P、は k P」＝（T，）−b／Σ（T，）−b i＝1 ただし，T、：経路iの走行時間 b：経験的に求められるパラメータ で表わされる。なお本研究では，簡単のためろ＝1と している。 以上述べた4種類の交通量配分モデルでは，いずれ も各経路の所要時間と通行料金が与えられれば，各経 路への配分率が算出されることになる＊。 3．シミュレーションに基づく 統計的検定法の優劣比較 モンテカルロ法を用いた数値実験により，交通量配 分モデルに関するおのおのの検定法の優劣を比較する プロセスは以下のとおりである。 ①交通量配分の対象とする各経路の所要時間と通行料 金を仮定する。 ②所与の条件（所要時間・通行料金）の下で，任意の 一つの交通量配分モデルを用いて，各経路への配分 率を算出する。 ③1台の車両の通行を〔0，1〕の一様乱数発生で置き 換える。そして，②で算出した配分率に従って，各 経路を通過する車両台数を決定する。すなわち発生 させた乱数κが k−1 h
Σ君くx≦Σ君
ぐコ j＝1 ただし，Pゴ：各経路への配分率 ならば，その車両は経路feを通過するとする。④車両の全通行台数をNとして乱数をN個発生さ
せ，③の操作を繰り返す。そして，各経路を通過し た車両台数を“実測データ”とする。 ⑤？’実測デーダ’とおのおのの交通量配分モデルより 算出される理論値を用いて，2．1で述べた4種類の 検定法によりおのおののモデルの適合度を検定す る。 ④で得られるtt実測データ”は，任意の一つの交通量 配分モデルに従うように作成されたものであるから， 精度の高い検定法を用いれば，最適合と判定されるモ デルは，データ作成に用いられたモデルと．tt致するは ずである。そこで， ⑥③∼⑤の操作を100回繰り返し，そのうち何回正し い判定がなされたかを調べることにより，各検定法 の優劣を比較する。 ＊各モデルに含まれるパラメータの値は与えられているものと する。経路 1 図一1数値実験に用いた経路網 Fig． l Traffic netwark used for numerical experiments． 本研究においては数値計算上の簡便さから，対象と する経路の数は，図一1に示すように4とし，また，各 経路の所要時間および通行料金に関しては，表一1（a） ∼（c）のように仮定している。この所要時間・通行料金 の仮定に際しては， Type−A：各経路の配分率の差が大きい場合（表一1 （a）） Type−B：各交通量配分モデルによる配分率の差が 大きい場合（表一1（b）） 表一1数値実験上の仮定と各交通量配分モデルによる配分率 Table 1 Values of parameters assumed for computer・ simulation and assignment ratio calculated with each traffic assignment model． （a）Type−A：各経路の配分率の差が大きい場合 （β＝−O．6，β＝1／1500） 経路Nα 所要 條ﾔ 通行ｿ金 アブラノ、ム ロジット 転換曲線 比 例 z分法 3．Ohr Q．0 P．2 O．5 ￥ 0 @400 @600 @800 0．0072 O．0336 O．1618 O．7974 0．1231 O．1911 O．2851 O．4007 0．0396 O．1164 O．2686 O．5754 0．0704 O．1144 O．2112 O．6040 （b） Type−B： 各交通量配分モデルによる配分率の差が大きい 場合 （β＝−0．2，β＝1／800） 経路No． 所要 條ﾔ 通行ｿ金 アブラノ’・ム ロジツト 転換曲線 比 例 z分法 1234 2．Ohr P．5 P．0 O．5 ￥ 0 @ 100 @200 @400 0．0491 O．1120 O．2758 O．5631 0．2242 O．2416 O．2604 O．2738 0．0460 O．0863 O．1920 O．6757 0．1797 O．2073 O．2539 O．3591 （c） Type−C： 各交通量配分モデル，各経路の配分率の差が小 さい場合 （β＝−0．2，β＝1／800） 経路Nα 所要 條ﾔ 通行ｿ金 アブラノ、ム ロジット 転換曲線 比 例 z分法 1．5hr P．2 P．0 O．6 ￥ 0 @200 @300 @600 0．2276 ‘ O．2364 O．2757 O．2603 0．2460 O．2484 O．2522 O．2534 0．1507 O．2091 O．2609 O．3793 0．2031 O．2271 O．2487 O．3211 Type−C：各交通量配分モデル，各経路の配分率の 差が小さい場合（表一1（c）） の3通りを想定している。なお同表には，これらの仮 定の下での，各交通量配分モデルにより算出される配 分率も記してある。 発生交通量の総和に関しては，100台，200台，300 台，400台，500台，1000台とする。 4．数値実験結果および考察 数値実験結果の一例を示したのが，表一2，図一2，図 一3である。 表一2は，おのおのの検定法を用いた場合の最適合モ デルの判定結果を100回のシミュレーションから求め 表一2 100回のシミュレーションによる検定結果 Table 2 Results of goodness・of−fit significance tests from 100・times computer−simulations． （a）Type−A：各路線の配分率の差が大きい場合 検定結果 データ アブラハム ロジット 転換曲線 比例配分法 作成モデル
アブラハム
75 0 2 23 ロ ジ ッ ト 11 60 23 6 転 換 曲 線 3 27 50 20比例配分法
32 0 21 47 （検定法：相関係数，発生交通量＝100） 検定結果 データ アブラハム ロジット 転換曲線 比例配分法 作成モデルアブラハム
100 0 0 0 ロ ジ ッ ト 0 100 0 0 転 換 曲 線 0 0 92 8比例配分法
0 0 7 93 （検定法：CHI二乗値，発生交通量＝300） 検定結果 データ アブラハム ロジット 転換曲線 比例配分法 作成モデルアブラハム
100 0 0 0 ロ ジ ッ ト 0 100 0 0 転 換 曲 線 0 0 89 11比例配分法
0 0 7 93 （検定法：二乗平均誤差，発生交通量＝500） 検定結果 データ アブラハム ロジット 転換曲線 比例配分法 作成モデルアブラハム
100 0 0 0 ロ ジ ッ ト 0 100 0 0 転 換 曲 線 0 0 97 3比例配分法
0 0 4 96 （検定法：重み付き二乗平均誤差，発生交通量＝1000）（b）Type−B：各交通量配分モデルによる配分率の差が大きい 場合 検定結果 fータ アブラハム ロジット 転換曲線 比例配分法 作成モデル
アブラハム
81 0 0 19 ロ ジ ッ ト 14 65 15 6 転 換 曲 線 0 0 100 0比例配分法
34 6 14 46 （検定法：相関係数，発生交通量＝1000） 検定結果 fータ アブラハム ロジット 転換曲線 比例配分法 作成モデルアブラハム
100 0 0 0 ロ ジ ッ ト 0 98 0 2 転 換 曲 線 0 o 100 0比例配分法
0 2 0 98 （検定法：CHI二乗値，発生交通量＝500） 検定結果 fータ アブラハム ロジット 転換曲線 比例配分法 作成モデノアブラハム
99 0 1 0 ロ ジ ツ ト 0 96 0 4 転 換 曲 線 0 0 100 0比例配分法
0 2 0 98 （検定法：二乗平均誤差，発生交通量＝400） 検定結果 fータ アブラハム ロジット 転換曲線 比例配分法 作成モデルアブラハム
88 0 11 1 ロ ジ ッ ト 0 83 0 17 転 換 曲 線 10 0 90 0比例配分法
1 22 0 77 （検定法：重み付き二乗平均誤差，発生交通量＝100） たものである。点線で示した対角線上に並ぶ数値が 100に近いほど検定法の精度が高いことになる。 図一2（a）∼（b）は，横軸に発生交通量を，縦軸に適中率＊ をとって両者の関係を調べたもので，”実測データ”を 作成した交通量配分モデル別に示してある。 図一3（a）∼（c）は，おのおののType−A， Type−B， Type −Cにおいて，各発生交通量・各配分モデルに関する適 中率を平均した全体的な適中率を示したものである。 これらの表および図より以下のことがいえる。 （1）いずれの場合も，4種類の検定法の中では相関係数 の精度が相対的に低い。特に各配分法の配分率の差 が大きいType−Aの場合でも精度が低い。しかしな がら，他の3種類の検定法の優劣の差はほとんど見 られない。 ＊100回シミュレーションのうち何回正しい検定結果が出現し たかを示す相対度数のことを，ここでは適中率と称する。 （c） Type−C： さい場合 各交通量配分モデル，各路線の配分率の差が小 検定結果 データ アブラハム ロジット 転換曲線 比例配分法 作成モデルアブラハム
67 15 7 11 ロ ジ ツ ト 36 10 10 44 転 換 曲 線 0 14 53 33比例配分法
1 9 24 64 （検定法：相関係数，発生交通量＝500） 検定結果 データ アブラハム ロジット 転換曲線 比例配分法 作成モデルアブラハム
57 27 0 16 ロ ジ ッ ト 22 67 0 11 転 換 曲 線 0 0 86 14比例配分法
11 5 16 68 （検定法：CHI二乗値，発生交通量＝200） 検定結果 fータ アブラハム ロジット 転換曲線 比例配分法 作成モデノアブラハム
54 33 0 13 ロ ジ ッ ト 29 67 0 4 転 換 曲 線 0 0 93 7比例配分法
7 6 15 72 （検定法：二乗平均誤差，発生交通量＝300） 定結果 データ アブラハム ロジット 転換曲線 比例配分法 作成モデルアブラハム
55 34 0 11 ロ ジ ツ ト 30 66 0 4 転 換 曲 線 0 0 93 7比例配分法
7 6 14 73 （検定法：重み付き二乗平均誤差，発生交通量＝300） （2）各経路の配分率の差が大きいType−Aの場合およ び，各配分法の配分率の差が大きいType−Bの場合 の検定結果をみると，相関係数以外の検定法では， ほとんどのケースで70％以上の適中率を示してい る。 （3）各経路毎に得られた実測データ間に顕著な差が認め られるような場合には，どの配分モデルが適切なの かを比較的容易に知ることができると考えられる。 しかしながら，各経路の配分率，各配分法による配 分率の差が小さい場合には，どの配分モデルが最も 適合するかを判定することは容易でなく，したがっ て，このときの検定の精度が最も重要となってくる。 そこでType−Cの場合に着目すると，各検定法の精 度は，発生交通量の大小にかなり影響されるものの， 相関係数以外の検定法では50∼80％程度の適中率 を示している。R 1 ．8 ．6 ．4 ．2 相関係数 CHI二乗値 二乗平均誤差 重み付き二乗平均誤差 0 100 200 500 1000 Q （a） アブラハム R 1 t：； ．8 ！ ．6 ．4 ．2
mp−−
Type−B 0 100 200 500 1000 Q （b） ロジット R 1 ．8 ．6 ．4 ．2茅ち
0 100 200 500 1000 Q （c） 転換曲線 （4）予想されるように，検定法の精度は発生交通量が大 きくなるほど向上する。これは”実測データ”のば らつきが発生交通量の増大に伴って小さくなるため と考えられる。しかし，発生交通量の大小によって， 各検定法間の優劣の順位が逆転することはほとんど ない。 5． ま と め 交通量配分モデルの検定に際して通常用いられる相 関係数・カイニ乗値・二乗平均誤差および重み付き二 乗平均誤差の4種類の検定法の優劣を，モンテカルロ 法を用いた数値実験により比較検討した。その結果， 配分の対象とする経路の数が比較的少ない場合の配分 モデルの検定に関して，以下のことが結論として得ら れた。 ①相関係数を用いる検定は，カイニ乗値・二乗平均誤 R 1 ．8 ．6 ．4 ．2フ男iA多
！’ ’∠≠
14’4
0100 200 5001000Q
（d） 比例配分法 図一2発生交通量Qと適中率Rの
関係 Fig．2 Nunber of CarS gettlng through the traffic net− wark v．s． ac・ curacy of goodness・of −fit signifi・ cance tests． 差・重み付き二乗平均誤差を用いる検定と比べて精 度が低い。 ②カイニ乗値・二乗平均誤差および重み付き二乗平均 誤差を用いる検定法の精度の差はほとんど認められ ない。 ③検定の精度は発生交通量の大小にかなり影響される が，それによって各検定法間の優劣が変わることは ない。 なお本研究においては，各種統計的検定法の優劣を モンテカルロ法を用いた数値実験により比較検討する 方法の考案に主眼を置くに届まっている。そのため， 仮定したパラメータの値や経路数等は，数値実験を容 易にするための値となっている。したがって，次のよ うな検討課題も残されている。 （i）二乗平均誤差を用いた検定法と，重み付き二乗 平均誤差を用いた検定法の精度にほとんど差が認めら的中率 相関係数 CHI二乗値 二乗平均誤差 重み付き二乗平均誤差 痴＝＝コ 77・9％ 鍵＝＝＝＝＝＝＝コ95・7％ ＄＝＝＝＝＝＝＝コ 92・8％ 仁＝＝＝＝＝コ 89・8％ Type−A 各経路の配分率の差が大きい場合 的中率 相関係数 CHI二乗値 二乗平均誤差 重み付き二乗平均誤差 ＄＝コ 62・O％
