3 認証技術の標準化動向
3.6. バイオメトリクス認証
3.6.3 導入のための標準
3.6.3.1 認証精度
3.6.3 導入のための標準
評価用データの収集、認証精度の分析、評価結果の推定誤差の定量化、報告書 の作成の各項に関する推奨法を提示している。認証精度の評価に際しては、表 3-24に示す認証エラー率を観測する。
評価の結果は、FMR とFNMRのDET カーブ、FARとFRR のDETカー ブ、登録／認証未対応率、未対応の判断基準、及び 12 項目からなる評価レポ ートで示す。１対Ｎ認証方式の評価の場合は、表 3-25 １対Ｎ認証方式で評価 する認証エラー率に示すBinning error rateとPenetration rateについても評 価し、そのDETカーブを評価レポートに加える。
表 3‑ 23 Best Practiceにおける評価方法区分
Technology evaluation Scenario evaluation Operational evaluation
目的
複数の 競 合アルゴリズ ム の比較・評価
9
想定 使用環境下 での、再 現性のある認証精度評価
特定アプリケーションの 運用時の認証精度評価
評価対象 アルゴリズム システム システム 被験者
標準的なデータベース 想定 されるユー ザーと人 口構成が近い被験者集団
実際にシステムを使用す るユーザー
評価環境 統一環 境 下でデータベ ー スを構築・評価
想定 使用環境に 評価環境 をコントロール
実際の使用環境下で評価
9 例えば指紋認証といった、単一種のバイオメトリクス認証技術における競合アルゴリズムの比較・評価。
表 3‑ 24 Best Practiceで評価する認証エラー率
登録未対応率 Failure To Enroll（FTE）
登録できない人の全被験者に対する割合
10
。 認証未対応率 Failure To Acquire（FTA）
認証できない人の全被験者に対する割合
11
。 誤合致率 False Match Rate（FMR）
異なる被験者同士のテンプレートを１対１マッチングした結果、
一致と判定される割合。認証未対応となった試行を除いて算出。
誤非合致率 False Non-Match Rate（FNMR）
同一被験者のテンプレートを１対１マッチングした結果、不一致 と判定される割合。認証未対応となった試行を除いて算出。
誤受入率 False Accept Rate（FAR）
システムが他人の認証要求を誤って受け入れる割合。
認証未対応となった試行も含めて算出。
誤拒否率 False Reject Rate（FRR）
システムが本人の認証要求を誤って拒否する割合。
認証未対応となった試行も含めて算出。
表 3‑ 25 １対Ｎ認証方式で評価する認証エラー率
Binning Error Rate
（BER）
類似度の高いテンプレート同士を同一カテゴリとして カテゴライズした場合に、同一のユーザーから抽出され たバイオメトリクス情報であるにもかかわらず、登録時 と認証試行時で異なるカテゴリに属すると判断される認 証エラー率。
Penetration Rate（PR） 類似度の高いテンプレート同士を同一カテゴリとしてカ
テゴライズした場合に、全体のテンプレートに対して一 つのカテゴリが占める割合。
10 登録できる／できないの判定は予め決定した登録ポリシーに基づく。ポリシーは評価結果に明記される。
11 登録未対応と同様に、認証未対応の判定は予め決定した認証ポリシーに基づき、評価結果に明記される。
(b) JIS-TR
策定の経緯 国内では、過去 ECOM 内の本人認証技術検討ワーキンググル ープ（WG06）や、IPA の次世代デジタル応用基盤技術開発事業において、バ イオメトリクス認証装置の精度評価に関する検討が行われた経緯がある。それ らの検討成果を基に、JSAの内部組織であるINSTACにおいて標準化を進め、
策定・公表された JIS-TRが、本節で紹介する指紋認証システムの精度評価方 法（JIS-TR X0053）[63] 及び虹彩認証システムの精度評価方法（JIS-TR X
0072）[64] である。2003 年 2 月現在、指紋・虹彩以外のバイオメトリクス情
報に基づく認証システムについても、精度評価方法に関する JIS-TRが策定中 であり、順次発行の予定である。
策定にあたっては、先に欧米組織（米NBTC、欧BioTest Project）で検討さ れた標準的な評価方法との整合が重視されているため、基本的部分は BPと共 通しているが、BP が科学的な精度評価を行う為の基本的枠組み、すなわち完 全に遵守しなくとも良いという位置付けであるのに対し、JIS-TRは将来的にJIS 規格として遵守すべき要件集という位置づけである点で性質が異なる。
概要
JIS-TR では、評価者に依存しないバイオメトリクス認証製品の性能評価実
現を目的としている12。ベンダー・インテグレーター・ユーザー全ての立場で 利用することを前提としている点、技術的な性能評価に特化している点等、基 本的な部分はBPと共通しているが、JIS-TRではバイオメトリクス情報の種別 毎に TRを分け、個々に適応した要件をより詳細に規定することで、評価作業 手順をより明確化している。BP と指紋・虹彩両 JIS-TR との主な相違点を表 3-26に示す。以下では、表 3-26に示した相違点のうち、注意すべき点を説明 する。
指紋・虹彩両JIS-TRでは１対１認証方式のみを対象としているため13、BP で評価の対象であった。
表 3-25 １対Ｎ認証方式で評価する認証エラー率の認証エラー率について
は 評 価 し な い 。 ま た 、BP で は 登 録 時 ／ 認 証 時 の 未 対 応 を 区 別 し て い る が 、
JIS-TRではこれらを区別せず、単に未対応と定義している。誤受入率（FAR）
と誤拒否率（FRR）の定義についても、BPにおけるそれらとは定義が異なる。
BPと定義が異なる認証エラー率の一覧を表 3-27に示す。評価の方法について
も、BP、JIS-TR 共に３種類用意されている点は共通だが、区分が異なる。
JIS-TRにおける評価方法区分を表 3-28 に、BPとJIS-TRの評価方法区分の
12 Bes t Pr ac t i c e と同様に、可用性や脆弱性等、運用面に関する評価は対象としていない。
13現在策定中である指紋・虹彩以外のバイオメトリクス認証に関するJIS-TRでは、1対N認証方式を対象とし ているものもある。
対応関係を表 3-29に示す。
表 3‑ 26 Bes t Pr ac t i c e と指紋・虹彩 J I S‑ TR の相違点
Best Practice JIS-TR
対象 全てのバイオメトリクス技術 指紋認証（JIS-TR X 0053） 虹彩認証（JIS-TR X 0072） 位置付け 標準的な精度評価の実践法の提示
（完全に従わなくともよい）
将来的にJIS規格として遵守すべき要 件集
適 用 可 能 な 認証方式
・ 1対1認証
・ 1対N認証（ポジティブ認証）
・ 1対N認証（ネガティブ認証）
・ １対1認証のみ
評価方法 評価の目的に応じて三種類
・ Technology evaluation
・ Scenario evaluation
・ Operational evaluation
評価の目的に応じて三種類
・ 照合アルゴリズム評価
・ 照合装置評価
・ 本人認証システム評価
評 価 規 模 の 決定法
指標（Rule of 3、 Rule of 30）14のみ の提示。明確には規定されていない。
所望の評価精度から定量的に決定。
信頼性指標 ・ 評価値の分散、信頼区間 ・ 評価値の限界精度 報告書内容 ・ 登録未対応率、照合未対応率
・ 認証精度特性（DETカーブ）
FNMR vs. FMR FRR vs. FAR BER vs. PR
・ 被験者情報
総数、男女比、年齢構成等 データ収集環境
・ 評価値の分散、信頼区間等
・ 登録／認証未対応の判断基準
・ 未対応率
・ 認証精度特性（DETカーブ）
FNMR vs. FMR（照合アル
ゴリズム／装置評価の場合）
FRR vs. FAR（本人認証シス
テム評価の場合）
・ 被験者情報
総数、男女比、年齢構成等 データ収集環境
・ 限界精度を認証精度特性に明記
14 評価試行の数から、統計的に評価結果の信頼性を求める手法。
表 3‑ 27 J I S‑ TR において Bes t Pr ac t i c e と定義が異なる認証エラー率
未対応率 登録や認証ができない人の全被験者に対する割合 誤受入率 False Accept Rate（FAR）
システムが他人の認証要求を誤って受け入れる割合 未対応となった試行は除いて算出
誤拒否率 False Reject Rate（FRR）
システムが本人の認証要求を誤って拒否する割合 未対応となった試行は除いて算出
表 3‑ 28 J I S‑ TR における評価方法区分
照合アルゴリズム評価 照合装置評価 本人認証システム評価
目的
複数の ア ルゴリズムの 比 較・評価
一般 的な環境下 での再現 性のある認証精度評価
特定アプリケーションに 対応した認証精度評価 評価対象 アルゴリズム セ ン サ ー
15
＋ ア ル ゴ リ ズ ム
（判定機能を含まず）
システム
（判定機能を含む）
被験者
標準的なデータベース 国内 の一般的な 人口構成 を代表する被験者集団
実ユーザー、あるいは実 ユーザーの人口構成を代 表する被験者集団 評価環境 デ ー タ ベ ー ス の 要 件 を
TR毎に規定
照合 装置が推奨 する環境
（虹彩TR）
実際の使用環境、あるい はそれに極力近い環境
15 バイオメトリクス情報の入力装置の意。
表 3‑ 29 Bes t Pr ac t i c e と J I S‑ TR の評価方法区分の対応関係
対象：アルゴリズム 標準的なDBで評価
対象：システム 特定のアプリケーション 使用環境を想定して評価 対象：センサー＋アルゴリズム
特定のアプリケーション 使用環境は想定せず評価 該当区分なし
対象：システム
特定のアプリケーション使用環境
（実ユーザー・運用）で評価 Technology
evaluation
Scenario evaluation
Operational evaluation
照合アルゴリズム
評価
照合装置評価
本人認証システム 評価 Best P rac tic e J IS - T R
指紋TRと虹彩TRの相違点 JIS-TR X0053（指紋TR）とJIS-TR X0072
（虹彩 TR）では、認証精度特性の提示法が異なる。指紋 TR では、実測の認 証精度特性のみを評価結果としているのに対し、虹彩TRでは、実測値に加え、
実測値から推定した認証精度特性も評価結果として規定している。一般に、虹 彩認証システムの認証エラー率は非常に低く、実測の認証エラー率が評価限界 値を上回る程度の数だけ評価用データを用意することは現実的ではない。以上 の理由から、虹彩 TRでは統計的推定により照合精度特性を算出する手順を規 定している。