評価実験
6.2 比較実験
軟性膀胱鏡から得られた被験者8人分の 4322 枚のフレームに対する、軟性膀胱鏡の各 操作の内訳は表 ?? のようになる。表 6.1 から各操作に対応するフレーム数に大きなばら つきがあることが判る。ニューラルネットワークのような判別学習では、多数派の判定を 正確にすることが、判別誤差を小さくすることにつながるため、このようにフレーム数に 偏りがある場合、小数派のフレームの判別精度が低くなり、全ての操作において、フレー ム数の多い「その他（非回転、非屈曲、非挿入）」の判別精度がよくなるように学習され てしまう[13]。そこで、多数派のフレーム数を小数派に合わせてランダムに削除する（ラ ンダムアンダーサンプリング）ことにより、判別精度の向上を図る。変更する割合として は、偏りをなくすという観点から、 (1:1:1) にフレーム数の比率を変更することが妥当と 考えられるが、その判別対象の性質を表すのに必要なフレームも削除される場合があるた め、必ずしも(1:1:1)が最適であるとは限らない。そこで、フレーム数の比率を、偏りがあ るケース（比率の変更なし）、および、最も少ないフレーム数に合わせて、(4:4:5) とした とき（表 6.2）と、(1:1:1)としたとき（表 6.3）の3ケースで判別精度を求める。操作推定 の判別率を求める方法としては、7名を学習データにして、残り1名をテストデータにし て2つの集合に分ける方法を用いた。学習データは各操作の判別の仕方を決めるものであ り、学習データによって導かれた判別方法により、学習データ、テストデータでの操作推 定の判別率を求める。この操作を学習データとテストデータの組み合わせを換えて繰り返
す。8通りできるので、各学習データの判別率の平均値と、各テストデータの判別率の平均 値をもってして回答とする。提案手法との比較の対象としては、次の2つの方法を選んだ。
【方法1】各操作の基本形データ（テンプレート）との差を求め、最も小さい操作を出力
する方法
【方法2】決定木を用いて推定する方法
handles for the cystoscope number of frames
left 821
rotation right 1043
none 2458
up 849
bending down 1098
none 2375
push 813
insertion pull 734
none 2775
表 6.1: 各操作別のフレーム数（比率変更なし）
handles for the cystoscope number of frames
left 821
rotation right 821
none 1026
up 849
bending down 849
none 1061
push 734
insertion pull 734
none 917
表 6.2: 各操作別のフレーム数（フレーム比率 4:4:5）
up 849
bending down 849
none 849
push 734
insertion pull 734
none 734
表 6.3: 各操作別のフレーム数（フレーム比率 1:1:1）
これまで、膀胱内壁の画像判別を行った手法は提案されていないため、従来方式との比 較はできない。そのため、適当な方法を考えるしかなかった。先ず方法1は、各操作に対 する基本形データ（テンプレート）を用意して、入力データとのユークリッド距離（テン プレートとクリーニングされたフレームの特徴データの各対応する要素間の差の合計）を 求め、最も小さかったテンプレートの操作を出力するシステムである。つまり、方法1は 最小距離法である。また、テンプレートは次のようにして作成する。学習データを各操作 のデータに分け、各操作のデータごとに要素ことの平均値を計算して、それをテンプレー トとする。この手法を選んだ理由は、最も基本的な手法であり、かつ原始的なものである ため、提案手法との違いが出せると考えたからである。また、方法2はデータマイニング の代表的な手法であり、決定木の学習方法にはC4.5[14] を用いた。多くの判別システムで 利用されているので比較の対象として妥当であると考えた。
6.2.1 実験 1 停止を考慮しない実験
回転操作であれば、左回転、右回転、非回転を対象に、方法1、方法2、提案手法をそれ ぞれ用いて学習データに対する判別率（8回の平均値）とテストデータに対する判別率（8 回の平均値）を求める。また、同様に屈曲操作と挿入操作についても学習データとテスト データに対する判別率を求める。尚、フレーム数の比率は上記の3ケースを考察する。
操作の切り替え時に意識的に停止を行うことをしないで実験を行った。
実験結果
フレーム数の比率の偏りがあるケースの各操作における学習データでの判別率を表6.4
（各手法ごとにPj の平均値を追加）に示す。提案手法では、全ての操作の判別率が100%に なった。このことから学習が十分なされたことが判る。それに対し、方法2は若干学習が 不十分である。また、どの操作においても、方法1、方法2、提案手法の順に判別率が高く なっていく。尚、表中のPjは正解率であり、次式 6.3 で計算できる。
P j =
∑3 i=1
(操作Ojiのフレーム数)×(操作Ojiの判別率)
検査対象の全体のフレーム数 (6.3)
因に、表 6.4 の方法1、方法2、提案手法のそれぞれのPj の平均値は75.84%、96.74%、 100.00%となる。
rotation bending insertion
tool left right none Pj up down none Pj push pull none Pj average Pj
method1 75.52% 84.24% 77.03% 78.48% 84.77% 75.37% 87.87% 84.27% 72.57% 68.97% 60.41% 64.78% 75.84%
method2 97.89% 96.48% 96.86% 96.97% 96.65% 97.18% 96.76% 96.85% 95.80% 96.82% 96.40% 96.39% 96.74%
proposal 100.0% 100.0% 100.0% 100.0% 100.0% 100.0% 100.0% 100.0% 100.0% 100.0% 100.0% 100.0% 100.0%
表 6.4: 学習データでの判別率（停止を考慮しない、データ比率変更なし）
次にフレーム数の比率の偏りがあるケースの各操作におけるテストデータでの判別率を 表 6.5（各手法ごとに Pj の平均値を追加）に示す。Pj が、方法1、方法2、提案手法の順 に高くなっていくので、提案手法が最も判別率がよい。しかし、個別に見ると、上屈曲の 判別率では 79.87%、65.12%、66.90% となり、方法1が最も判別率が高い。同様に、挿入 の押すの操作では、68.67%、53.18%、59.47%となり、方法1が最も判別率が高い。また、
提案手法を用いたときの「挿入の操作（59.47%）」、「上屈曲の操作（66.90%）」、「抜去の 操作（65.91%）」の判別率が他の操作と比べて20% 程度低くなっている。逆に、判別率が 最も高かった操作は「左回転の操作（92.56%）」であり、回転操作のPjも高い（85.30%）。
因に、表 6.5 の方法1、方法2、提案手法のそれぞれの Pj の平均値は 66.34%、75.96%、
81.21%となる。
フレーム数の比率を (4:4:5)にした場合の各操作における学習データでの判別率を表6.6
（各手法ごとにPjの平均値を追加）に示す。どの操作においても、方法1、方法2、提案手法
表 6.5: テストデータでの判別率（停止を考慮しない、データ比率変更なし）
の順に判別率が高くなってきており、それぞれのPjの平均値は77.29%、97.06%、100.00%
となり、実験1よりも数値が高くなった。このことからフレーム数の比率を変えたことに よる改善がなされたことが判る。
rotation bending insertion
tool left right none Pj up down none Pj push pull none Pj average Pj
method1 76.48% 84.76% 80.28% 80.49% 85.40% 75.67% 89.32% 83.91% 72.88% 70.22% 60.93% 67.47% 77.29%
method2 96.91% 96.26% 97.48% 96.93% 98.33% 98.29% 96.34% 97.56% 97.28% 96.22% 96.61% 96.70% 97.06%
proposal 100.0% 100.0% 100.0% 100.0% 100.0% 100.0% 100.0% 100.0% 100.0% 100.0% 100.0% 100.0% 100.0%
表 6.6: 学習データでの判別率（停止を考慮しない、データ比率 4:4:5）
次に、フレーム数の比率を (4:4:5) にした場合の各操作におけるテストデータでの判別 率を表 6.7（各手法ごとに Pjの平均値を追加）に示す。屈曲操作以外の操作では、方法1、 方法2、提案手法の順に判別率が高くなっていくが、屈曲操作では、いずれも提案手法が 最も判別率が低かった。それでも、方法1、方法2、提案手法のそれぞれの Pj の平均値は
75.20%、76.47%、81.29%となり、平均的には提案手法が最も判別率が高い。
rotation bending insertion
tool left right none Pj up down none Pj push pull none Pj average Pj
method1 75.20% 81.96% 77.52% 78.17% 84.085 76.46% 85.895 82.43% 69.98% 69.27% 57.60% 65.00% 75.20%
method2 77.81% 86.85% 76.37% 80.04% 81.93% 80.78% 82.16% 81.66% 69.34% 72.47% 67.70% 69.67% 76.47%
proposal 83.79% 92.47% 83.67% 86.41% 81.07% 74.07% 81.97% 79.26% 78.64% 83.94% 78.21% 80.10% 81.29%
表 6.7: テストデータでの判別率（停止を考慮しない、データ比率4:4:5）
フレーム数の比率を (1:1:1)にした場合の各操作における学習データでの判別率を表 6.8 に示す。どの操作においても、方法1、方法2、提案手法の順に判別率が高くなってきてお り、それぞれの Pj の平均値は79.24%、96.41%、100.00%となった。
次に、フレーム数の比率を (1:1:1) にした場合の各操作におけるテストデータでの判別 率を表?? に示す。屈曲操作以外の操作では、方法1、方法2、提案手法の順に判別率が高
rotation bending insertion
tool left right none Pj up down none Pj push pull none Pj average Pj
method1 77.34% 84.82% 77.65% 79.92% 90.28% 78.53% 91.12% 86.64% 72.95% 70.91% 69.66% 71.17% 79.24%
method2 95.93% 97.09% 97.50% 96.84% 97.84% 95.08% 96.97% 96.63% 96.40% 94.77% 95.07% 95.41% 96.41%
proposal 100.0% 100.0% 100.0% 100.0% 100.0% 100.0% 100.0% 100.0% 100.0% 100.0% 100.0% 100.0% 100.0%
表 6.8: 学習データでの判別率（停止を考慮しない、データ比率 1:1:1）
くなっていくが、屈曲操作の Pj では、提案手法が最も判別率が低かった。それでも、方 法1、方法2、提案手法のそれぞれの Pj の平均値は78.25%、81.20%、81.92%となり、平 均的には提案手法が最も判別率が高い。これにより、フレーム数の比率は、（偏りがある ケース）、(4:4:5)、(1:1:1) の中で、(1:1:1) が最も判別率が良いことが判った。提案手法の Pj の平均値は、表 ??、表 ??、表 ?? でそれぞれ81.21%、81.29%、81.92%と向上し、偏 りを無くすことにより、0.71%程度の正解率向上があったことが判る。
rotation bending insertion
tool left right none Pj up down none Pj push pull none Pj average Pj
method1 73.16% 92.95% 73.90% 80.00% 88.08% 78.50% 91.24% 85.94% 70.93% 70.46% 65.02% 68.80% 78.25%
method2 77.14% 85.14% 78.04% 80.11% 83.03% 82.64% 81.54% 82.41% 84.43% 80.79% 78.07% 81.09% 81.20%
proposal 88.14% 82.24% 82.49% 84.29% 76.36% 85.45% 76.47% 79.43% 76.12% 86.48% 83.53% 82.05% 81.92%
表 6.9: テストデータでの判別率（停止を考慮しない、データ比率1:1:1）
6.2.2 実験 2 停止を考慮する実験
操作の切り替え時に意識的に停止させて実験を行った。その他は実験１と同様の実験内 容である。
実験結果
各操作における学習データでの判別率を表6.10 に示す。停止を考慮しても、提案手法で は全ての操作の判別率が100%となった。このことから十分学習がなされたことが分かる。
それに対して、方法1、方法2ともに、学習が不十分であった。また、どの操作において も、方法1、方法2、提案手法の順に判別率が高くなっていく。フレーム数の比率について は調整を行っていない（フレーム数に偏りがある）。
表 6.10: 学習データでの判別率（停止を考慮する、データ比率変更なし）
次に各操作におけるテストデータでの判別率を表 6.11 に示す。正解率 Pj は方法1、方 法2、提案手法の順に高くなった。停止を考慮する提案手法が最も判別率が高く、停止を 考慮しない提案手法よりも約 10% 向上している。
rotation bending insertion
tool left right none Pj up down none Pj push pull none Pj average Pj
method1 90.93% 78.13% 78.52% 83.21% 88.68% 60.97% 68.46% 73.50% 64.86% 77.68% 49.53% 58.12% 71.53%
method2 89.09% 74.16% 88.23% 84.49% 96.07% 79.32% 81.94% 81.27% 71.50% 51.81% 89.99% 81.60% 82.46%
method2 89.09% 74.16% 88.23% 84.49% 96.07% 79.32% 81.94% 81.27% 71.50% 51.81% 89.99% 81.60% 82.46%
表 6.11: テストデータでの判別率（停止を考慮する、データ比率変更なし）