本研究では,現状の犯罪捜査における筆跡鑑定で行われている字種に依存し たオフライン筆者照合という問題に対して,深層学習を用いた字種非依存型の 筆者照合手法を提案した.以下に,本論文の結論を述べる.
(1)オフライン筆跡から字種に依存しない筆跡特徴の抽出
筆 跡 を 字 種 情 報 と そ れ 以 外 の 筆 跡 特 徴 に 分 離 す る こ と を 目 的 と し た
Conditional AutoEncoderによる字種非依存の筆跡特徴抽出手法を提案した.提案
手法では,AutoEncoderのEncoderとDecoder に字種情報を付与したネットワー ク構造とすることで,字種に依存しない特徴表現が可能な潜在空間の学習を試 みた.学習された潜在空間について,Decoderによる生成画像からの評価,実際 の手書き文字の潜在空間へのマッピングを行ったところ,字種に依存しない筆 跡のスタイル(傾斜の程度,扁平度,線の太さ,左払いの形態等)が潜在空間に おいて表現されていることが確認されるとともに,筆者によって異なる筆跡特 徴として抽出されていることが確認された.潜在特徴を用いた字種非依存の筆 者照合実験においても,一定の精度で筆者照合が可能な特徴として抽出されて いることが確認された.
(2)筆者の類似性を計量する特徴空間の学習による筆者照合モデルの構築 字種非依存の筆跡特徴について,同一人の異字種間でみられる類似性,他人と の異字種間でみられる非類似性を考慮した特徴空間の学習をSiamese Networkに より行うことで,高精度な字種非依存型の筆者照合手法を提案した.人が 2 つ の対象の類似性を評価するときと同様に,重み共有層を含むネットワークによ り得られる特徴を用いることで,少数サンプル問題への対処を踏まえた高精度 な筆者照合が可能であることが確認された.
本研究で提案した手法は,同一人の異なる字種のオフライン筆跡から字種に 依存しない書字運動の共通性に起因する特徴を抽出し,同特徴を用いることで 字種非依存型の筆者照合を行うことが可能であることを示している.このこと
127
は,犯罪捜査において同一字種が収集不可能な状況での筆跡鑑定を可能とし,犯 罪捜査への貢献は大きい.また,筆跡鑑定の根拠にあたる,書字運動の共通性が オフライン筆跡から推定可能であることを示唆しており,筆跡鑑定の科学的解 明の点において意義のあるものと考える.
本研究では,片仮名,ラテン文字,平仮名という一部の字種について,モデル の学習及び評価を行った.日本語全体で日常的に用いられる字種は膨大であり,
それら多数の字種に対応するには大規模な手書き文字データベースを構築し,
モデルを学習,評価する必要がある.また,すべての字種を網羅的に収集するこ とは現実的には困難であるため,基本点画のような字種間で共通して用いられ るストロークを考慮した学習アルゴリズムについての検討も必要と考える.
現実の捜査場面への応用にあたり,現状のモデルでは,照合性能についての問 題,限られた字種にしか対応していない問題があり,これらの問題に対処するた めの課題を多く残す.ただし,字種に依存しない筆跡特徴が見出された点は意義 があり,照合モデルの改善,大規模データベースによる多数の字種を用いた学習 により解決可能な課題と考える.課題を解決するためには,大規模データベース の構築に加え,収集された筆跡について,同一筆者内での筆跡の変動の程度,字 種間での共通した特徴の表出の程度等,実際の手書き文字についての詳細な分 析を踏まえたネットワークの構築が重要となる.ネットワークの構築について は,日々提案される深層学習に関する最新の研究に目を向け,各提案手法を筆者 照合の問題に適した形で応用していく必要がある.
本研究で提案した筆跡を対象とした照合手法は,一般物体の照合,音声照合,
物質の組成についての化学分析におけるスペクトルの照合等,その応用範囲は 広い.科学捜査の高精度化,限られた犯罪に関わる資料からできる限りの情報を 取得することによる捜査への貢献,ひいては安全,安心な社会の実現に向けて,
自身の鑑定業務を顧み,深層学習技術の実世界への応用を模索していきたい.
128
謝辞
本稿を終わるに臨み,本研究に終始御懇篤なる御指導,御鞭撻を賜りました岐 阜大学工学部電気電子・情報工学科情報コースの加藤邦人准教授に深甚なる謝 意を表します.
本研究をまとめるにあたり,貴重な御助言と御指導を賜りました,岐阜大学工 学部電気電子・情報工学科情報コースの速水悟教授,寺田和憲准教授に深く感謝 致します.
本研究を推進するにあたり,多岐にわたるご助言を賜りました岐阜大学名誉 教授の山本和彦先生に深く感謝致します.
本研究にあたり,綿密かつ貴重なご助言とご協力,加えて貴重な実験データを 与えてくださいました岐阜大学工学部加藤研究室卒業生の山田智輝氏に深く感 謝致します.
本研究に際し,ご協力とご助言を頂きました岐阜県警察本部刑事部科学捜査 研究所諸氏に厚く御礼申し上げます.
たまに研究室に現れる程度の私でしたが,岐阜大学工学部加藤研究室の学生 の皆様には,研究環境の使い方や研究アイデアを教えてもらったこと,研究の議 論をさせてもらったこと,社会人学生ということを言い訳に研究室の設備関係
(特に計算機周り)についてはお世話になりっぱなしだったこと等,様々な面で 研究遂行に協力してくれたことに心より感謝致します.皆様の今後の活躍を楽 しみにしつつ,まだまだ研究の話とかもしたいと思っていますので,今後ともよ ろしくお願い致します.
最後に,自由気ままな研究活動を温かく見守ってくれた家族に対し,感謝の意 を表して謝辞と致します.
129
参考文献
[1] A. Krizhevsky, B. Sutskerver, and G. E. Hinton, “ImageNet classification with deep convolutional neural networks,” Communications of the ACM, vol.60, issue 6, pp.84-90, 2017.
[2] Y. LeCun, Y. Bengio, and G. Hinton, “Deep learning,” Nature, vol.521, pp.436-444, 2015.
[3] C. Chen, A. Seff, A. Kornhauser, and J. Xiao, “DeepDriving: Learning affordance for direct perception in autonomous driving,” International Conference on Computer Vision, pp.2722-2730, 2015.
[4] J. Z. Cheng, Y. H. Chou, J. Qin, C. M. Tiu, Y. C. Chang, C. S. Huang, D. Shen, and C. M. Chen, “Computer-aided diagnosis with deep learning architecture:
applications to breast lesions in US images and pulmonary nodules in CT scans,” Scientific reports, Article number:24454, 2016.
[5] 上野正吉, 兼頭吉市, 庭山英雄, “刑事鑑定の理論と実務-情状鑑定の科学 化をめざして,”成文堂, 東京, 1977.
[6] A. Towler, D. White, K. N. Ballantyane, R. Searston, K. A. Martire, and R.
Kemp,“Are Forensic Scientists Experts?,” Journal of Applied Research in Memory and Cognition, vol.7, pp.199-208, 2018.
[7] E. Elaad, A. Ginton, and G. Ben-Shakhar,“The effects of prior expectations and outcome knowledge on polygraph examiners' decisions,” Journal of Behavioral Decision Making, vol.7, pp.279-292, 1994.
[8] B. O. Gardner, S. Kelley, D. C. Murrie, and I. E. Dror “What do forensic analysts consider relevant to their decision making?,” Science & Justice, vol.59, pp.516-523, 2019.
[9] 高澤則美, “筆跡鑑定,”科学警察研究所報告法科学編, vol.51, no.2, pp.43-53, 1998.
130
[10] 𠮷𠮷田公一, “筆跡・印章鑑定の実務-ポイント解説,” 東京法令出版, 東
京, 2004.
[11] A. Naftali, “Behavior factors in handwriting identification,” The Journal of Criminal Law, Criminology, and Police Science, vol.56, pp.528-539, 1965.
[12] S. Chanda, K. Franke, U. Pal , and T. Wakabayashi, “Text independent writer identification for Bengali script,” International Conference on Pattern Recognition, pp.2005-2008, 2010.
[13] C. Adak, B. B. Chaudhuri, and M. Blumenstein,“An empirical study on writer identification and verification from intra-variable individual handwriting,” IEEE Access, vol.7, pp.24738-24758, 2019.
[14] D. Impedovo and G. Pirlo, “Automatic signature verification: The state of the art,” IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews), vol.38, pp.609-635, 2008.
[15] S. N. Srihari, S. H. Cha, H. Arora, and S. Lee, “Individuality of handwriting,” Journal of Forensic Sciences, vol.47, no.4, pp.856-872, 2002.
[16] M. I. Malik, M. Liwicki, A. Dengel, and B. Found, “Man vs. Machine: A comparative analysis for forensic signature verification,” Journal of Forensic Document Examination, vol.24, pp.21-35, 2013.
[17] J. Bromley, I. Guyon, and Y. LeCun, “Signature verification a "Siamese" time delay neural network,” Neural information Processing systems, vol.7, no.4, pp.669-688, 1993.
[18] E. Hoffer and N. Ailon, “Deep metric learning using triplet network,” International Conference on Learning Representations Workshop on Similarity-Based Pattern Recognition, pp 84-92, 2015.
[19] W. Chen, X. Chen, J. Zhang, and K. Huang, “Beyond triplet loss: A deep quadruplet network for person re-identification,” Computer Vision and Pattern Recognition, pp.403-412, 2017.
[20] A. Veit, S. Belongie, and T. Karaletsos, “Conditional similarity networks,” Computer Vision and Pattern Recognition, pp.830-838, 2017.
131
[21] G. J. Tan, G. Sulong, and M. S. M. Rahim, “Off-line text-independent writer recognition for Chinense handwriting: A review,” Jurnal Teknologi, vol.75, no.2, 2015.
[22] D. Bertolini, L. S. Oliveira, E. Justino, and R. Sabourin, “Assessing textural features for writer identification on different writing styles and forgeries,” International Conference on Pattern Recognition, pp.268-272, 2014.
[23] R. K. Hanusiak, L. S. Oliveira, E. Justino, and R. Sabourin, “Writer verification using texture-based features,” International Journal on Document Analysis and Recognition, vol.15, pp.213-226, 2012.
[24] H. T. Nguyen, C. T. Nguyen, T. Ino, B. Indurkhya, and M. Nakagawa, “ Text-independent writer identification using convolutional neural network,” Pattern Recognition Letters, vol.121, pp.104-112, 2019.
[25] Electrotechnical Laboratory, “ Japanese technical committee for optical character recognition, ETL character database,” 1973-1984.
[26] T. Yamada, M. Hosoe, K. Kato, and K. Yamamoto, “The character generation in handwriting feature extraction using variational autoEncoder,” International Conference on Document Analysis and Recognition, pp.1019-1024, 2017.
[27] 丹羽口徹吉, “捜査のための法科学 第一部=化学・文書・心理,”令文社,
東京, 1978.
[28] 𠮷𠮷田公一, “文書鑑定の基礎と実際, ” 立花書房, 東京, 1983.
[29] T. Sabhanayagam, V. P. Venkatesan, and K. Senthamaraikannan, “ A Comprehensive Survey on Various Biometric Systems,” International Journal of Applied Engineering Research, vol.13, no.5, pp.2276-2297, 2018.
[30] K. Chaudhari and A. Thakkar, “Survey on handwriting-based personality trait identification,” Expert Systems With Applications, vol.124, pp.282-308, 2019.
[31] 黒田正典, “書の心理 : 筆跡心理学の発達と課題, ”誠信書房, 東京,
1964.
[32] 田口英郎, 増田啓二, 田中君明, “書字形成過程の相違による文字形態の
多様性解析,” 電子情報通信学会論文誌, D-2, vol.73, no.5, pp.p756-766,
132 1990.
[33] 保原信, “手書き過程の実験的分析,” 医用電子と生体工学, vol.12, no.2, pp.25-36, 1974.
[34] D. Impedovo, “ Velocity-based signal features for the assessment of parkinsonian handwriting,” IEEE Signal Processing Letters, vol. 26, pp.632-636, 2019.
[35] L. R. B. Schomaker and R. Plamondon, “The relation between pen force and pen-point kinematics in handwriting,” Biological Cybernetics, vol. 63, pp.277-289, 1990.
[36] R. Plamondon and W. Guerfali, “The 2/3 power law: When and why?,” Acta Psychologica, vol.100, pp.85-96, 1998.
[37] R. Plamondon and M. Djioua, “A multi-level representation paradigm for handwriting stroke generation,” Human movement science, Vol.25, pp.586-607, 2006.
[38] P. Viviani and M. Cenzato, “ Segmentation and coupling in complex movements,” Journal of Experimental Psychology: Human Perception and Performance, vol.11, no.6, pp.828-845, 1985.
[39] 保原信, “手書き文字認識に関する二三の考察,” 情報処理, vol.12, no.2, pp.88-92, 1971.
[40] 吉村ミツ, 木村文隆, “手書き文字の個性が現れる特性の機械的計測化と
その解析,” 電子情報通信学会論文誌 vol. J63-D, no.9, pp.795-802, 1980, 1980.
[41] 中村善一, 木戸口正継, “筆跡鑑定の知見に基づく特性値を用いたオンラ
イン筆者照合,”システム制御情報学会論文誌, vol.22, no.1, pp.34-47, 2009.
[42] 大澤一爽, “文字の科学, ” 東京: 法政大学出版局, 東京, 1985.
[43] J. Linden, R. Marquis, S. Bozza, and F. Taroni, “Dynamic signatures: A review of dynamic feature variation and forensic methodology,” Forensic Science International, vol.291, pp.216-229, 2018.
[44] K. S. Puri, “Effects of intoxication on handwriting,” The Journal of Criminal