31
(1) 目的
プロジェクト計画におけるプロダクト目標(信頼性目標)及びプロセ ス目標(信頼性目標達成のための品質保証プロセスの目標)が、
信頼性を確保するために妥当な水準に設定されているか否かを 評価し、必要に応じて調整する。
⇒
プロジェクト計画の実現性を高める。(2) ベンチマーク
信頼性及び品質保証プロセスに関する白書等の統計情報を、
目安として参考にする。
①信頼性(
SLOC
発生不具合密度)の統計情報②品質保証プロセス関連の統計情報
設計レビュー工数密度、テスト密度、設計文書化密度、
上流工程での不具合摘出比率等
Copyright © 2015 独立行政法人情報処理推進機構
32
3.1
信頼性目標及び品質保証プロセスの妥当性評価<メトリクス>
◇
SLOC
発生不具合密度稼働後(最長
6
ヶ月以内)に発生した不具合数÷開発規模(KSLOC
)◇設計レビュー工数密度
基本設計から製作までの設計レビュー工数÷開発規模(
KSLOC
)◇テスト密度
(結合テストケース数+総合テスト(ベンダ確認)ケース数)
÷開発規模(
KSLOC
)◇設計文書化密度
(基本設計書のページ数+詳細設計書のページ数)
÷開発規模(
KSLOC
)◇上流工程での不具合摘出比率
基本設計から製作までのレビュー指摘数÷(基本設計から製作 までのレビュー指摘数+結合テストから総合テスト(ベンダ確認)
までの検出不具合数)
Copyright © 2015 独立行政法人情報処理推進機構
33
3.1
信頼性目標及び品質保証プロセスの妥当性評価◇信頼性目標に関するベンチマーク:業種別発生不具合密度
0.00 0.05 0.10 0.15 0.20 0.25
全体
F :製造業 H :情報通信業 J :卸売・小売業 K :金融・保険業 R :公務
発生不具合密度(件
/KSLOC
)業種
業種別発生不具合密度 (新規開発)
信 頼 性
高
(件/KSLOC)
大業種 N 最小 P25 中央 P75 最大 平均 標準偏差
全体 373 0.000 0.000 0.014 0.063 2.413 0.081 0.204
F:製造業 45 0.000 0.000 0.048 0.165 1.013 0.123 0.200
H:情報通信業 43 0.000 0.000 0.000 0.098 0.483 0.066 0.112
J:卸売・小売業 34 0.000 0.003 0.021 0.058 2.413 0.127 0.416 K:金融・保険業 128 0.000 0.000 0.009 0.035 1.117 0.044 0.134
R:公務(他に分類 されないもの) 51 0.000 0.000 0.007 0.056 1.269 0.114 0.265
発生不具合密度
Copyright © 2015 独立行政法人情報処理推進機構
34
3.1
信頼性目標及び品質保証プロセスの妥当性評価◇品質保証プロセス関連のベンチマーク:
業種別設計レビュー工数密度
● 業種別設計レビュー工数密度(新規開発、主開発言語グループ、開発
5
工程有り)0 5 10 15 20 25
全体
F :製造業 K :金融・保険業 R :公務(他に分類
されないもの)業種
設計レビュー工数密度 (新規開発)
人時/
KSLOC
業種 N 最小 P25 中央 P75 最大 平均 (人時/KSLOC)標準偏差
全体 104 0.08 1.73 4.13 10.96 1559.36 34.11 173.07
F:製造業 16 0.53 1.83 4.39 8.27 55.63 10.10 14.87
K:金融・保険業 39 0.08 2.92 5.49 12.20 1559.36 70.85 274.66
R:公務(他に分類 されないもの) 23 0.20 1.20 3.36 13.74 17.54 6.74 6.39
H:情報通信業 5 データ不足
J:卸売・小売業 5 データ不足
設計レビュー工数密度
Copyright © 2015 独立行政法人情報処理推進機構
35
3.1
信頼性目標及び品質保証プロセスの妥当性評価◇品質保証プロセス関連のベンチマーク:
業種別テスト密度
●業種別テスト密度(新規開発、主開発言語グループ、開発
5
工程有り)0 20 40 60 80 100 120 140 160 180
全体 F:製造業 H:情報通信業 J:卸売・小売業 K:金融・保険業 R:公務(他に分類 されないもの)
業種
テスト密度 (新規開発)
(ケース/KSLOC)
業種 N 最小 P25 中央 P75 最大 平均 標準偏差
全体 509 0.0 13.5 31.1 59.8 1703.3 65.4 146.1
F:製造業 66 0.2 10.8 22.9 44.5 302.8 43.9 59.9
H:情報通信業 87 0.4 21.2 41.9 68.2 970.7 64.5 111.5 J:卸売・小売業 42 0.5 14.4 31.7 42.0 587.1 49.1 95.0 K:金融・保険業 162 0.2 14.1 32.3 83.5 1703.3 94.1 225.2
R:公務(他に分類 されないもの) 58 0.0 12.3 35.4 49.8 698.5 59.4 101.2
テスト密度
Copyright © 2015 独立行政法人情報処理推進機構
36
3.1
信頼性目標及び品質保証プロセスの妥当性評価◇品質保証プロセス関連のベンチマーク:
業種別設計文書化密度
● 業種別設計文書化密度(新規開発、主開発言語グループ、開発
5
工程有り)0 10 20 30 40 50 60 70 80 90 100
全体
F
:製造業J
:卸売・小売業K
:金融・保険業R
:公務(他に分類 されないもの)業種
設計文書化密度 (新規開発) ページ/
KSLOC
(ページ/KSLOC)
業種 N 最小 P25 中央 P75 最大 平均 標準偏差
全体 160 0.3 9.2 17.4 33.1 1527.9 39.2 130.4
F:製造業 24 0.3 11.8 23.0 44.4 109.9 33.6 30.7
J:卸売・小売業 14 4.0 9.4 16.7 36.6 97.3 30.5 31.5
K:金融・保険業 68 2.0 13.6 21.7 37.7 1527.9 61.3 196.8
R:公務(他に分類されないもの) 24 0.7 9.1 11.1 17.1 47.1 13.5 8.9 H:情報通信業 3 4.5 6.2 7.9 17.7 27.4 13.3 12.4
設計文書化密度
Copyright © 2015 独立行政法人情報処理推進機構
37
3.1
信頼性目標及び品質保証プロセスの妥当性評価◇品質保証プロセス関連のベンチマーク:
業種別上流工程での不具合摘出比率
● 業種別上流工程での不具合摘出比率(新規開発、主開発言語グループ、開発
5
工程有り)0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
全体
F
:製造業J
:卸売・小売業K
:金融・保険業R
:公務(他に分類 されないもの)業種
上流工程での不具合摘出比率 (新規開発)
(%)
業種 N 最小 P25 中央 P75 最大 平均 標準偏差
全体 133 1.7% 50.7% 74.6% 88.3% 97.6% 65.9% 27.5%
F:製造業 24 10.8% 44.8% 73.4% 84.0% 95.2% 63.2% 26.6%
J:卸売・小売業 10 6.9% 15.0% 41.7% 57.2% 93.3% 40.9% 28.6%
K:金融・保険業 41 1.8% 64.4% 86.8% 93.5% 97.6% 74.0% 27.7%
R:公務(他に分類されないもの) 27 1.7% 51.5% 67.7% 86.7% 89.7% 62.1% 28.1%
H:情報通信業 6 66.3% 71.3% 75.0% 83.1% 89.5% 76.9% 8.9%データ不足
上流工程での不具合摘出比率
Copyright © 2015 独立行政法人情報処理推進機構
38
①特に金融・保険業では、業種間比較において相対的に次の ような傾向が見られる。
3.1
信頼性目標及び品質保証プロセスの妥当性評価<ベンチマークに関する備考(考察)>
信頼性要求 レベルが高い
品質保証プロ セスが手厚い
信頼性が高い 生産性は低い
信頼性要求 レベルが高い
品質保証プロ セスが手厚い
信頼性が高い 生産性は低い 次のような因果関係が推察される。
ひいては、一般に、信頼性要求レベルが高いソフトウェアの開発 には、それ相応の品質保証の工数が必要と考えられる。
②業種が信頼性や品質保証プロセスの主要な変動要因になって いることから、業種別ドメインに分けてベンチマーキングすること が推奨される。
Copyright © 2015 独立行政法人情報処理推進機構
3.1
信頼性目標及び品質保証プロセスの妥当性評価(3) ベンチマーキング方法
①自組織が金融・保険業の業種ドメインに該当するのであれば、
妥当と評価できる範囲を、白書等の金融・保険業の各統計情報 の
25
パーセンタイル(P25
)から75
パーセンタイル(P75
)までの 範囲とする。メトリクス 単位
P25 P75
SLOC
発生不具合密度 件/KSLOC 0.000 0.035
設計レビュー工数密度 人時/KSLOC 2.92 12.20
テスト密度 ケース/KSLOC 14.1 83.5
設計文書化密度 ページ/KSLOC 13.6 37.7
上流工程での不具合摘出比率 %64.4 93.5
39
Copyright © 2015 独立行政法人情報処理推進機構
3.1
信頼性目標及び品質保証プロセスの妥当性評価<ベンチマーキング方法>
②
P25
~P75
の範囲内に収まっているか否かを判定する。ただし、信頼性変動要因(信頼性要求レベル等)に応じて、
妥当と評価できる範囲を調整(上方修正/下方修正)しながら 評価することが望ましい。
③
P25
~P75
の範囲外となる場合、評価対象プロジェクトの特性 を勘案しながら、範囲外となる合理的な理由が無いか検討する。合理的な理由が有れば妥当と評価し、合理的な理由が無けれ ば目標の見直しを検討する。
40
Copyright © 2015 独立行政法人情報処理推進機構
3.プロジェクト計画の妥当性評価例 3.2 工期の妥当性評価
41
(1) 目的
プロジェクト計画における工期(月数)が、妥当な範囲に収まって いるか否かを評価し、必要に応じて調整する。
(2) ベンチマーク
工数と工期に関するベンチマーク(白書等)の統計情報を、
目安として参考にする。
Copyright © 2015 独立行政法人情報処理推進機構