第 4 章 Siamese Network による筆者照合
4.3 評価実験
4.3.3 実験結果
4.3.3.3 照合結果例
ETL-1 データについて,提案手法を用いた特定パターンについての字種非依
存型筆者照合を行った.各モデルの照合性能を比較した評価実験の結果を踏ま え,z dimを50に設定したAE_WSを用いた.
片仮名データについては,「テンキ」,「ヨホウ」,「アシタ」,「ハノイ」
の 3 字種間の 3 パターン(①「テンキ/ヨホウ」,②「テンキ/アシタ」,③
「テンキ/ハノイ」),「フラクタル」,「サイエンス」,「コンニチハ」の5 字種間の2パターン(①「フラクタル/サイエンス」,②「フラクタル/コンニ チハ」)について筆者照合(各パターンにおいて,同一人ペア138対,他人ペア
18,906対)を行ったときの評価結果を表 4.8と図 4.14に示す.また,図 4.15と
図 4.16には,筆者照合結果例を示す.青色枠線内は同一筆者の筆跡であり,い
ずれも同一人である確率が高い(出力値>0.5)傾向として推定されている.他人 の筆跡ペアとの照合では,同一人である確率が低い(出力値<0.5)傾向として推 定される状態がみられた.ただし,一部の他人ペアについては出力値が0.5より
z dim AE_2 AE_WS
10 0.551 0.579
20 0.665 0.803
30 0.674 0.815
40 0.665 0.821
50 0.675 0.847
60 0.635 0.805
70 0.659 0.823
表 4.7 平仮名データ実験における筆者照合性能比較(AUC)
(青色背景部分は各モデル内,太字部分は2モデル中での最大AUCを表す)
95
も大きく,False Positiveと判定される場合がみられた.図 4.17には,同一人ペ ア138対と他人ペア 18,906 対の出力値ヒストグラムを示す.同一人ペアの出力 値は0.5よりも大きい傾向がみられるが,他人ペアについても0.5より大きな値 が出力される場合が多く,提案手法においては False Positive が問題となること が確認された.
0.158
0.391 0.548 0.032
0.779 0.676 Same
0.071 0.125
図 4.15 ETL-1 片仮名データ3字種の照合結果例
Pattern EER(%) AUC
テンキ / ヨホウ 22.977 0.848 テンキ / アシタ 25.934 0.828 テンキ / ハノイ 31.329 0.758 フラクタル / サイエンス 23.913 0.856 フラクタル / コンニチハ 25.362 0.836
表 4.8 ETL-1 片仮名データの特定パターンにおける評価結果
図 4.14 ETL-1 片仮名データの各パターンのROC曲線
96
Frequency
Output
Frequency
Output
Frequency
Output
Frequency
Output
Frequency
Output
(a) 「テンキ/ヨホウ」 (b) 「テンキ/アシタ」
(d) 「フラクタル/サイエンス」
(e) 「フラクタル/コンニチハ」
(c) 「テンキ/ハノイ」
図 4.17 ETL-1 片仮名データの各パターンの出力値ヒストグラム
0.012 0.136
0.809 0.766 Same 0.394
図 4.16 ETL-1 片仮名データ5字種の照合結果例
97
ラテン文字データについては,「THE」,「AND」,「YOU」の3字種間の2 パターン(①「THE/AND」,「THE/YOU」),「DELTA」,「SONIC」,
「PRISM」の 5 字種間の 2 パターン(①「DELTA/SONIC」,②「DELTA/
PRISM」)について筆者照合(各パターンにおいて同一人ペア141対,他人ペア
19,740対)を行ったときの評価結果を表 4.9と図 4.18に示す.また,図 4.19と
図 4.20には,特定パターンでの筆者照合結果例,図 4.21には,同一人ペア141
対と他人ペア19,740対の出力値ヒストグラムを示す.
図 4.18 ETL-1 ラテン文字データの各パターンのROC曲線
Pattern EER(%) AUC
THE / AND 19.149 0.897
THE / YOU 18.116 0.902
DELTA / SONIC 14.021 0.929
DELTA / PRISM 13.799 0.927
表 4.9 ETL-1 ラテン文字データの特定パターンにおける評価結果
0.002
0.147 0.177 0.003
0.945 0.807 Same
0.123 0.048
図 4.19 ETL-1 ラテン文字データ3字種の照合結果例
98
いずれのデータセットを用いた場合についても,提案手法により少数字種で 高精度に照合可能であることが確認された.また,比較する字種数及び照合する 字種パターンによって照合性能が異なることが確認された.
0.008 0.045
0.914 0.915 Same 0.016
図 4.20 ETL-1 ラテン文字データ5字種の照合結果例
Frequency
Output
Frequency
Output
Frequency
Output
Frequency
Output
(a) 「THE/AND」 (b) 「THE/YOU」
(c) 「DELTA/SONIC」 (d) 「DELTA/PRISM」
図 4.21 ETL-1 ラテン文字データの各パターンの出力値ヒストグラム
99