• 検索結果がありません。

第 4 章 Siamese Network による筆者照合

4.3 評価実験

4.3.3 実験結果

4.3.3.3 照合結果例

ETL-1 データについて,提案手法を用いた特定パターンについての字種非依

存型筆者照合を行った.各モデルの照合性能を比較した評価実験の結果を踏ま え,z dimを50に設定したAE_WSを用いた.

片仮名データについては,「テンキ」,「ヨホウ」,「アシタ」,「ハノイ」

の 3 字種間の 3 パターン(①「テンキ/ヨホウ」,②「テンキ/アシタ」,③

「テンキ/ハノイ」),「フラクタル」,「サイエンス」,「コンニチハ」の5 字種間の2パターン(①「フラクタル/サイエンス」,②「フラクタル/コンニ チハ」)について筆者照合(各パターンにおいて,同一人ペア138対,他人ペア

18,906対)を行ったときの評価結果を表 4.8と図 4.14に示す.また,図 4.15と

図 4.16には,筆者照合結果例を示す.青色枠線内は同一筆者の筆跡であり,い

ずれも同一人である確率が高い(出力値>0.5)傾向として推定されている.他人 の筆跡ペアとの照合では,同一人である確率が低い(出力値<0.5)傾向として推 定される状態がみられた.ただし,一部の他人ペアについては出力値が0.5より

z dim AE_2 AE_WS

10 0.551 0.579

20 0.665 0.803

30 0.674 0.815

40 0.665 0.821

50 0.675 0.847

60 0.635 0.805

70 0.659 0.823

表 4.7 平仮名データ実験における筆者照合性能比較(AUC)

(青色背景部分は各モデル内,太字部分は2モデル中での最大AUCを表す)

95

も大きく,False Positiveと判定される場合がみられた.図 4.17には,同一人ペ ア138対と他人ペア 18,906 対の出力値ヒストグラムを示す.同一人ペアの出力 値は0.5よりも大きい傾向がみられるが,他人ペアについても0.5より大きな値 が出力される場合が多く,提案手法においては False Positive が問題となること が確認された.

0.158

0.391 0.548 0.032

0.779 0.676 Same

0.071 0.125

図 4.15 ETL-1 片仮名データ3字種の照合結果例

Pattern EER(%) AUC

テンキ / ヨホウ 22.977 0.848 テンキ / アシタ 25.934 0.828 テンキ / ハノイ 31.329 0.758 フラクタル / サイエンス 23.913 0.856 フラクタル / コンニチハ 25.362 0.836

表 4.8 ETL-1 片仮名データの特定パターンにおける評価結果

図 4.14 ETL-1 片仮名データの各パターンのROC曲線

96

Frequency

Output

Frequency

Output

Frequency

Output

Frequency

Output

Frequency

Output

(a) 「テンキ/ヨホウ」 (b) 「テンキ/アシタ」

(d) 「フラクタル/サイエンス」

(e) 「フラクタル/コンニチハ」

(c) 「テンキ/ハノイ」

図 4.17 ETL-1 片仮名データの各パターンの出力値ヒストグラム

0.012 0.136

0.809 0.766 Same 0.394

図 4.16 ETL-1 片仮名データ5字種の照合結果例

97

ラテン文字データについては,「THE」,「AND」,「YOU」の3字種間の2 パターン(①「THE/AND」,「THE/YOU」),「DELTA」,「SONIC」,

「PRISM」の 5 字種間の 2 パターン(①「DELTA/SONIC」,②「DELTA/

PRISM」)について筆者照合(各パターンにおいて同一人ペア141対,他人ペア

19,740対)を行ったときの評価結果を表 4.9と図 4.18に示す.また,図 4.19と

図 4.20には,特定パターンでの筆者照合結果例,図 4.21には,同一人ペア141

対と他人ペア19,740対の出力値ヒストグラムを示す.

図 4.18 ETL-1 ラテン文字データの各パターンのROC曲線

Pattern EER(%) AUC

THE / AND 19.149 0.897

THE / YOU 18.116 0.902

DELTA / SONIC 14.021 0.929

DELTA / PRISM 13.799 0.927

表 4.9 ETL-1 ラテン文字データの特定パターンにおける評価結果

0.002

0.147 0.177 0.003

0.945 0.807 Same

0.123 0.048

図 4.19 ETL-1 ラテン文字データ3字種の照合結果例

98

いずれのデータセットを用いた場合についても,提案手法により少数字種で 高精度に照合可能であることが確認された.また,比較する字種数及び照合する 字種パターンによって照合性能が異なることが確認された.

0.008 0.045

0.914 0.915 Same 0.016

図 4.20 ETL-1 ラテン文字データ5字種の照合結果例

Frequency

Output

Frequency

Output

Frequency

Output

Frequency

Output

(a) 「THE/AND」 (b) 「THE/YOU」

(c) 「DELTA/SONIC」 (d) 「DELTA/PRISM」

図 4.21 ETL-1 ラテン文字データの各パターンの出力値ヒストグラム

99