「パフォーマンス統計」は最後の手段。
他の方法で、不具合のある試験を運営している試験所を見出 すことの方がずっとよい。
なるべく間違えが起きやすい要素を的確に。
試験中の写真を撮るなどが効果的な場合も。
不満足な結果となった試験所については、事後に「見解書」を 出してもらうのもよいかも知れない。アンケートや試験後のフィードバックは技能試 験の目的を考えれば、実施が望まれる。
技能試験の留意点
例：平成19年実施
産業技術連携推進会議 知的基盤部会分科会実施
米中カドミウム濃度の共同試験 結果の正規確率プロット。（正規 分布だとまっすぐになる。）
◇原子吸光
◆ICP発光
□ICP-MASS
■蛍光X線
原子吸光とICP発光が多い。試験
おおよその場合，正規 分布よりも幅の広い分 布となる。
参加試験所の立場からも，ただ単にz
スコアの良し悪しに一喜 一憂するのではなく，試験結果を分析する姿勢が求められる。技能試験の留意点
試料1 試料2
直線に乗るほ どにこの試験 は。試験所固 有の「かたよ り」が大きい。
円に近いほど，
試験所内の
「ばらつき」が 大きいか，配付 試料が不均質 である。
ユーデンプロット
試料2
2
2
1
z
u z
2
2
1
z
v z
かたより ばらつき
zv < －3
ばらつきが大きい
zv > 3
ばらつきが大きい zu > 3
かたよりが大きい
zu < －3
かたよりが大きい
試料1と試料2の付 与値が近いときには、
zスコアではなく、単 なる数値の足し算と 引き算で実施される こともある。
試料1 試料2
総合力。「かたより」と「ばらつき」を 合わせて，人並みであるかどうか の基準になる。詳細はK. Shirono et al., Accred. Qual. Assur., 18 (2013) 161-174.
信頼域だ円
“選択された品目および試験の性質、並びにそれらの 選択を裏付ける考察” は様々あるが、まずは回付物の 均質性・安定性が心配なところ。
ISO13528 では均質である確認を以下のようにする。
ˆ 3 .
0 s
ss
s：試料間標準偏差 ^
：技能評価の標準偏差試料間標準偏差は分散分析によって算出する。
均質性・安定性
ISO13528 では安定である確認を以下のようにする。
ˆ 3 .
..
0
..
y x
x..
： 均質性試験時の全試料、全繰返しの平均値y..
： 均質性試験時から技能試験における遅延と同程度の 時間をおいて測定した全試料、全繰返しの平均値
： 技能評価の標準偏差-^
均質であることが確認できない、安定であることが確
均質性・安定性
均質性・安定性と統計的方法に対する以下の誤解が多い。
（１）「不均質な場合でも、統計的手法を用いれば、適切な
z
スコア が計算できる」という誤解。（２） 「不安定であっても統計的手法を用いれば、適切な
z
スコ アが計算できる」という誤解。(1) 不安定であっても統計的手法を用いれば、適切なzスコアが計算できる?
例えば、コーディネータ側で不安定に関するばらつきがよく調 査できているものとし、その標準不確かさ
stbとする。試験所 の報告値からロバストな標準偏差から算出した技能評価の標 準偏差を
とする。で、どうする ?
^
均質性・安定性の問題
2 2 stb
ˆ
x X z
には不安定性の不確かさが含まれているから、?
^
×××不正解×××
x （報告値）には不安定性によるずれも含まれている。
分母だけ小さくしてはいけない。
均質性・安定性の問題
結局、どうしようもない。不安定性のずれを含んだまま
z
スコアを 計算することになる。(2)
不均質な場合は、試験所の報告値のばらつきに均質性の ばらつきを足して技能評価の標準偏差を計算する?
例えば、不均質性に関するばらつきの標準不確かさ
homとす る。技能評価の標準偏差を
とする。均質性・安定性の問題
時に、以下のようにして、技能評価の標準偏差を修正するこ とで、均質性の影響を補正しているとする報告書がある。2 2 hom 2
cor
ˆ
ˆ
^
しかし、
均質性・安定性の問題
すでに不均質性の不確かさは入っている。
だから、もう足してはいけない。
もし、試験所間のばらつきの標準偏差を
labとすると、2
...
lab 2
2
hom
先の修正方法は、理論的には間違っている。
しかし、参加者の納得感が得やすい方法ではあると思う。
最後の手段としては「アリ」かも知れないが、丁寧な説明
が必要である。
品質システム
> 試験所間比較による技能試験
同等性評価においては、
という意識が重要！
＋ 継続的な比較と弛みない改善
で、あればこそ、逆に比較試験の意味と発展性がある。
最大のフィードバックが得られるよう標準化するべき
おわりに
CIPM
基幹比較に関する文書。CIPM “Mutual recognition of national measurement standards and of calibration and measurement certificates issued by national metrology institutes” (http://www.bipm.org/utils/en/pdf/mra_2003.pdf )
MRA
本文CIPM “Guidelines for CIPM key comparisons”
(http://www.bipm.org/utils/en/pdf/guidelines.pdf)
基幹比較のCIPM
ガイドラインM. G. Cox、 “The evaluation of key comparison data” 、Metrologia
基幹比較の解析方法のガイドライン関連文書
技能試験に関し、以下の
2
点を紹介した。技能試験を設計される 場合には参考に手元においておきたい。Conformity assessment – General requirements for proficiency testing