日本と世界のソフトウェア品質 しかし日本における成功率の認識は 受注者 91.8% [SEC05] 発注者 26.7% [ 中村 03], 31.1% [ 矢口 08]

第8部：メトリクスの研究・実践・規格動

向と日本のソフトウェア製品品質実態

〜IPA/RISE委託研究成果Waseda

Software Quality Benckmark

（WSQB）を含めて〜

鷲崎 弘宜

早稲田大学グローバルソフトウェアエンジニアリング研究所所長・教授

国立情報学研究所客員教授

日本と世界のソフトウェア品質

しかし日本における成功率の認識は

• 受注者 91.8% [SEC05]

• 発注者 26.7% [中村03], 31.1% [矢口08]

2 209 469 270 436 0 100 200 300 400 500 インド 日本 US 欧州 0.263 0.02 0.4 0.225 0 0.1 0.2 0.3 0.4 0.5 インド 日本 US 欧州

生産性: LOC／人月

欠陥率: 実装後１年欠陥数／KSLOC

[Cusumano03]

[Cusumano03]

[中村03] 中村建助 他: プロジェクト成功率は26.7%, 日経コンピュータ2003年11月17日号 [SEC05] IPA/SEC: ソフトウェア開発データ白書2005, 日経BP, 2005.

[Cusumano03] M. Cusumano, et al.: IEEE Software, 20(6), 2003.

品質とは

• 品質: あるものの特性または属性 [American

Heritage Dictionary]

• ソフトウェア品質: ソフトウェアの使用時に必要

性を満たす能力を決定する属性全体

[ISO9126-1][ISO25000][JIS0129-1]

– 属性: ソフトウェアの定性的/定量的に

測定

可能な

特徴

ISO/IEC 25010:2011

利用時の品質

有効性

効率性

リスク回避性

満足性

利用状況網羅性

内部品質・外部品質

機能

適合性

互換性

セキュ

リティ

信頼性

使用性

性能効

率性

保守性

移植性

機能完

全性

共存性

機密性

成熟性

適切度認

識性

時間効

率性

解析性

適応性

機能正

確性

相互運

用性

インテグ

リティ

障害許

容性

習得性

資源効

率性

修正性

設置性

機能適

切性

否認防

止性

回復性

運用操作

性

容量満

足性

再利用性

置換性

責任追

跡性

可用性

ユーザエ

ラー防止

性

試験性

真正性

ユーザイ

ンフェース

快美性

モジュー

ル性

アクセシビ

ISO/IEC 25010：2011 Systems and software engineeringSystems and software Quality Requirements and Evaluation (SQuaRE) -System and software quality models

メトリクス（Metric / Metrics）

• 測定の方法と尺度

– 方法: 属性（測定可能な特徴）の尺度上の値や分類への対応

付け

– 尺度: 値や分類の集合

– 対象: プロダクト、プロセス、リソース

• 測定できない事柄は、管理できない（T. DeMarco）

– ソフトウェア工学 = ソフトウェアの開発、運用、および保守に

対する系統的で規律に基づいた定量的アプローチ

[SWEBOK]

– Prj成功率 31% → 定量的評価導入Prj 46% [矢口08]

…… …… ……

測定方法

測定尺度

測定プロセス

メトリクス

測定結果

（値、分類）

5

[SWEBOK] 松本吉弘 監訳: ソフトウェアエンジニアリング基礎知識体系―SWEBOK2004, オーム社, 2005. [矢口08] 矢口竜太郎, 吉田洋平: 成功率は31.1%, 日経コンピュータ12月1日号, 2008.

測定対象のエンティティ

• プロセス

– 入力を出力に変換するアクティビティ（活動）の集合

• プロダクト

– アクティビティから出力される成果物や文書

• リソース

– アクティビティの実施に必要な人、もの、金などの資源

N.E. Fenton, and S. L. Pfleeger, Software Metrics: A Rigorous and Practical Approach, PWS Publishing 野中誠 , ソフトウェア技術者のためのメトリクス基礎, 2010, TopSEセミナー

プロセス

入力

プロダクト

出力

プロダクト

リソース

測定方法

• ソフトウェアの抽象的な特定側面を捉える

• 測定方法が異なれば測定結果も変わる

1:/* strncat()は、文字列srcからcount数の文字を文字列destに付加し、さ

2:らに終端にnull文字を付加する。重なるオブジェクト間でコピーしようとする

3:場合、動作は未定義である。*/

4:char *strncat(char *dest, const char *src, size_t count)

5:{

6: char *temp=dest;

7: if (count) {

8: while (*dest)

9: dest++;

10: while ((*dest++=*src++)) {

11: if (--count ==0) {

12: *dest＝‘¥0’; break;

13: }

14: }

15: } return temp;

16:}

例：サイクロマティック複雑度

（Cyclomatic Complexity: CC）

• テキスト

– プログラムの制御フロー上で他とは異なるリンク（エッ

ジ）を持つ経路数

• ダイアグラム

• アルゴリズム

– V(g) = e – n + 2 （ただし e: エッジ数、n: ノード数）

– V(g) = bd + 1 （ただし bd: 二分決定数）

出典: 野中誠 , 鷲崎 弘宜,ソフトウェア技術者のためのメトリクス基礎, 2010, TopSEセミナー [Linda09] リンダ・M・ライルド, M・キャロル・ブレナン著, 野中誠, 鷲崎弘宜 訳 , "演習で学ぶソフトウエアメトリクスの基礎 ソフトウエア の測定と見積もりの正しい作法", 日経BP社 , 2009.

＝

2

メトリクスの使いどころ

• 現在: 把握、評価

• 未来: 予測、計画

要求

定義

設計

実装

テスト

機能

仕様書

ファンクション

ポイント

モジュール

設計

凝集度

結合度

ソース

コード

複雑度

コード行数

欠陥票

欠陥密度

テスト

ケース

消化数

工数、期間

9

実態把握や問題絞込み

• ヒストグラム

– 分布状況の把握

• 管理図

– 平均や範囲のばら

つき

– 異常の特定

件数

測定値

例: サイクロマティック複雑度

予測や計画

• 散布図

– 関係の把握

• 関係性の分析

– 単回帰分析: 1つの説明変

数、1つの目的変数

– 重回帰分析: 2つ以上の説

明変数

– 2値データのロジスティック

回帰分析: 目的変数が0,1

被使用外部ファイル率

関数

再利

用率

呼出し関数の数

実測値

予測値

重相関係数

=0.941

鷲崎弘宜, 小池利和, 波木理恵子, 田邉浩之, "C言語プログラムソースコード の再利用性測定法とその評価", ソフトウェアテストシンポジウム JaSST'09

主なメトリクス

名称

定義

用途

コード行数（LOC）

コードの行数

規模の把握、他のメトリ

クスの正規化

ファンクションポイン

ト（FP）

機能量

規模の見積もり

サイクロマティック複

雑度（CC）

制御フローグラフの経路

数

複雑さの把握

凝集度

モジュール内の要素のま

とまり

複雑さの把握

結合度

モジュール間の結合関係

の多さ

複雑さの把握

欠陥密度（DD）

欠陥数 / 新規・変更LOC 品質の把握、開発プロセ

ス全体の有効性把握

欠陥除去率（DRE）

欠陥摘出数 / 当該時点

欠陥数

開発プロセス全体や工

程の有効性把握

消化済みテストケー

ス数

当該時点までの消化済

みテストケース数

テストの進捗把握

プロダクト

プロセス

規模: コード行数（LOC）の留意点

• 測定モデルの一貫性

– NLOC, LLOC

– CMU/SEI チェックリスト

• 作成方法、出所

– 25%を超える修正は新規実装と同程度の工数 [Linda09]

• 言語の違い

– ビジュアル言語、オブジェクト指向: 手続き型ほど役立たない

– 言語補正係数表によるファンクションポイントとの関係

[LOC/FP]（例: アセンブリ 320, Java 53, C 128, 表計算 6）

• コメント比率 = コメント行数 / LOC

– 12.6%を超えると、コメントなしコードの2倍欠陥潜在率 [阿萬12]

阿萬, “オープンソースソフトウェアにおけるコメント記述およびコメントアウトと フォールト潜在との関係に 関する定量分析”, 情報処理学会論文誌, 53(2), 2012.

CMU/SEI-92-TR-022. ESC-TR-92-022. Software Quality Measurement: Framework for Counting Problems and Defects. http://www.sei.cmu.edu/reports/92tr020.pdf

[Linda09] リンダ・M・ライルド, M・キャロル・ブレナン著, 野中誠, 鷲崎弘宜 訳 , "演習で学ぶソフトウエアメトリクスの基礎 ソ フトウエアの測定と見積もりの正しい作法", 日経BP社 , 2009.

ユーザ

入力

出力

測定対象アプリケーション

データファイル

照会

外部アプリ

ケーション

インタ

フェース

規模: ファンクションポイント法

• 内部の処理や解決策ではなく問題の扱い

– システムの入出力、インタフェース、データファイルといった「代理」

（プロキシ）の数え上げ

– 複雑さや環境などの難易度係数で調整

• 機能規模測定

（Functional Size Measurement）

– ファンクションポイント法（FP法）: 1979 オールブレクト

– IFPUG（International Function Point Users Group

http://www.ifpug.org

）結成、標準化

複雑さ: サイクロマティック複雑度など

• 欠陥、保守やテストの困難さの検討

– レビュー・テスト必要箇所の特定、工数見積もり

• 関数内: サイクロマティック複雑度

– 20が欠陥含まれやすさ閾値

– [鷲崎10] 1 推奨、2～9 許容

• モジュール内: 凝集度

– 単一機能 ← データ中心 ← 機能中心 ← 無関係

– LCOM（Lack of Cohesion in Methods） < 2～5

[Chidamber94]: 参照変数が共通しないメソッド組み合わせ

数 － 共通ありの組み合わせ数

• モジュール間: 結合度

– データ渡し ← 制御フラグ渡し ← グローバルデータ

– ファンアウト≦ 7±2 [SESSAME]

[鷲崎10]鷲崎弘宜,田邉浩之, 小池利和,”ソースコード解析による品質評価の仕組み“, 日経エレクトロニクス, 2010年1月25日号 [SESSAME07] SESSAME WG2, 組込みソフトウェア開発のためのリバースモデリング, 翔泳社, 2007.

[Chidamber94] S.R.Chidamberand C.F.Kemerer, “A Metrics Suite for Object-Oriented Design”, IEEE Trans. Software Eng., vol. 20, no. 6, pp.476-493, June 1994

欠陥: DD, DRE

• 欠陥数、欠陥発見・摘出数

– 実測、動的・静的予測

– 時間あたりの場合は単位に注意

• 欠陥密度 （Defect Density: DD）

= 欠陥数 / 新規・変更LOC

– 品質把握、プロセス全体のパフォーマンス把握

– ドメインや稼働時間の相違の考慮が必要

• 欠陥除去率（Defect Removal Efficiency: DRE）

= 当該工程欠陥除去数 / 当該工程で存在した欠陥数

– 各欠陥摘出工程の欠陥摘出能力把握、改善

– 各欠陥の作り込み・原因工程の記録必要あり

[Linda09] リンダ・M・ライルド, M・キャロル・ブレナン著, 野中誠, 鷲崎弘宜 訳 , "演習で学ぶソフトウエア メトリクスの基礎 ソフトウエアの測定と見積もりの正しい作法", 日経BP社 , 2009.

プロセス品質とプロダクト品質は

「車の両輪」

• 派生開発メイン、流用部分品質が多大な影響

• コード品質診断と開発効率・欠陥率に統計的有意な相

関あり

17

[出典] 小池利和: ソースコードの品質を直接、詳細に測る方法, SQiPシンポジウム2009 鷲崎弘宜, 田邉浩之, 小池利和, ソースコード解析による品質評価の仕組み, 日経エレクトロニクス2010/01

08年B

08年A

06年

05年

04年

03年B

03年A

信頼性

バ

グ

密

度

03年A

03年B

04年

05年

06年

08年A

08年B

変更性

コ

ー

デ

ィ

ン

グ

＆

テ

ス

ト

効

率

新規開発行数

コ

ー

デ

ィ

ン

グ＋

テス

ト

工

数

シ

ス

テム

テス

ト

バ

グ件

数

新規開発行数

エグゼクティブサマリ

• 21製品個別評価と業界実態分析

• 国際標準ベンチマークへ

Waseda

Software Quality Benchmark (WSQB2017)

http://www.washi.cs.waseda.ac.jp/?page_id=3479

• 国際規格 ISO/IEC 25000

SQuaRE シリーズを

具体化

• 製品品質、利用時品質の網羅

と

関係分析

0 20 40 60 80 100 機能適合性 性能効率性 互換性 使用性 信頼性 セキュリティ 保守性 移植性 0 5 10 1 2 3 4 5 6

12ベンダ

21製品

4評価機関

一部委託

一部結果

ISO/IEC JTC1/SC7/WG6

SQuaREエディタ

協力

評価結果

品質国際規格SQuaREシリーズに基づく

日本と諸外国のソフトウェア品質認証

• 日本: PSQ認証

– コンピュータソフトウェア協会（CSAJ）

– カタログ、マニュアル、仕様書、試験文書

– 全品質特性

• 韓国: GS (Good Software) Certification

– Telecommunications Technology

Association (TTA)

– プログラムのテスト結果

– 全品質特性

• スペイン: Software Product Quality

Certification

– AENOR

– 試験文書、ソースコード

– 機能適合性、保守性

国際規格に基づく評価の大枠と課題

ISO/IEC 25023

内部・外部品質測定

利用時の

品質

外部品質

内部品質

ソフトウェア

システム

業務

…… …… …… …… …… ……

現実にどのように

影響しているのか？

ISO/IEC 25022

利用時の品質測定

ISO/IEC 25051 既製ソフト品質要求

ISO/IEC 25010 品質モデル

25051

25022, 25023

現実の入力からどのように

測定評価すればよいか？

Measure から Metric へ

品質測定評価の枠組み

23

Q1. 社内サーバのみ使用する経路は？

Q2. 社外サーバも使用する経路は？

Q3. クライアント間直接通信(P2P等)は？

Q4. 申請者管理サーバ使用の経路は？

G.情報アクセスや情報伝達などの

行為とその内容が偽って否認され

ないようにシステムができている

M. 署名経路率 = 署名経路数

/ 各種別の経路数

Goal-Question-Metric（GQM）に

よる定義例: 否認防止性

研究チーム

製品提供元

1 GQM法でSQuaREメ

トリクス具体化

2 測定ツール化（様

式、コード解析、アン

ケート・テスト）

3 コード解析実施、

ユーザテスト実施

様式記入、ア

ンケート回収

4 測定値・スコア計算、

診断、集計

パーセンタイルによるスコア化

例: 全体のうち70%の製品群よりも上 = 0.7

対応言語

認証方式

配備形態

不具合情報

試験情報

機能情報※

DB情報※

NW情報※

コード※

運用情報※

（※任意）

_低

_高

件

数

測定値

製品品質（内部・外部品質）

• 入力: 様式記入 21製品、コード解析 4、アンケート 3

• 定義: 66メトリクス（うち測定値が得られたもの57）

• 測定率: 66メトリクス×21製品のうちで34%

- 未測定の多くは根拠となるデータの未記録のため

25

定義メトリクス数

4 10 2 9 13 6 8 ₅ 0 1 0 0 3 0 4 1 0 5 10 15 20 機能適合性 性能効率性 互換性 使用性 信頼性 セキュリティ 保守性 移植性 測定値あり 測定値なし

利用時の品質

ユーザアンケート

• 標準アンケート実現

– 例: 他人に薦めたいですか？

• 3製品でアンケート回収成

功

ユーザテスト

• 10製品でテスト実施許可

26

研究チーム

製品提供元

1

機能定義

2 当たり前機能抽

出（評価機関）

3

当たり前機能網

羅の正常系テス

ト項目定義

4 異常系テスト項

目定義

5 テスト実施

6 テスト結果から

定義メトリクス数（測定率 24.4%）

課題1-3: 製品別の品質診断レポート

• 品質特性単位の傾向、ポジション、助言

• 詳細な傾向と助言: 信頼性、コード解析、ユーザテスト

0 20 40 60 80 100 機能適合性 性能効率性 互換性 使用性 信頼性 セキュリティ 保守性 移植性

品質特性別の傾向

機能適合性

性能効率性

互換性

使用性

信頼性

セキュリティ

保守性

移植性

有効性

効率性

満足性

リスク回避性

利用状況網羅性

• 信頼性

: 全体的に同程度

• 使用性、保守性

: 低いほうにやや集中

• 互換性

: 2極化、データ交換を一部考慮せず

• セキュリティ

: 2極化、暗号化や破損防止に差あり

品質特性間の関係分析

製品品質

利用時の品質

p値<0.1

性能効率性

互換性 使用性 信頼性

セキュリティ

保守性 移植性 有効性 効率性 満足性

リスク回避性 利用状況網羅性 機能適合性

0. 31

0. 19

-0. 72

0. 37

-0. 05

0. 50

0. 31

-0. 14

0. 52

1. 00

1. 00

1. 00

性能効率性

0. 44

0. 24

0. 36

-0. 17

0. 37

0. 32

0. 32

-0. 10 -0. 50 -0. 50 -0. 50

互換性

0. 04

0. 17

-0. 06

0. 36

-0. 04 -0. 14

0. 05

-0. 50 -0. 50 -0. 50

使用性

0. 17

-0. 21

0. 11

0. 44

-0. 09 -0. 20 -1. 00 -1. 00 -1. 00

信頼性

0. 30

0. 41

0. 45

-0. 08

0. 11

1. 00

1. 00

1. 00

セキュリティ

-0. 06

0. 19

0. 64

-0. 34

0. 50

0. 50

0. 50

保守性

0. 26

-0. 29

0. 01

1. 00

1. 00

1. 00

移植性

-0. 21

0. 67

0. 50

0. 50

0. 50

有効性

0. 03

-1. 00 -1. 00 -1. 00

効率性

1. 00

1. 00

1. 00

満足性

1. 00

1. 00

リスク回避性

1. 00

•

信頼性が高いほど、保守性や移植

性も高い

– 高信頼製品ほど長期にわたる保守や 様々な環境への移植や適合が求めら れる可能性

•

移植性が高いほど、使用性や効率

性が高い

•

セキュリティが高いほど、有効性も高

い

•

機能適合性が高いほど、使用性が

低い

– 副作用、使用性軽視の可能性

互換性

性能効率性

機能適合性

安定 漸増 爆発

信頼性

有効性

信頼性モデルによる傾向

• 発見時間と数の関係を分析し欠陥数を予測、リスク検知

爆発（3）

漸増（3）

安定（3製品）

• 機能適合性、有効性

: 安定

で高品質

• 性能効率性、互換性

: 爆発

において低品質

• 他の特性: 信頼性タイプで相

コンテキスト別の分析

• ドメイン別: 互換性、セキュリティ

に顕著な差

• パッケージ製品: セキュリティ強

化が課題

• クラウド製品: 移植性、保守性、

信頼性の測定方法が不適当な

可能性

• 規模、期間、開発形態: 顕著な

相違無し

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 機能 適… 性能 効… 互換 性 使用 性 信頼 性 セ キ… 保守 性 移植 性 有効 性 効率 性 満足 性 リスク 回… 利用 状… グループ支援 (n=5) データ集計(n=5) 会計(n=4) セキュリティ(n=3) 数値計算シミュ レーション(n=3) エンドユーザ向け サービス(n=1) 区別なし(n=21) 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 機能 適… 性能 効… 互換 性 使用 性 信頼 性 セキュ リティ 保守 性 移植 性 有効 性 効率 性 満足 性 リスク 回… 利用 状… パッケージ (n=17) クラウド(n=4) 区別なし (n=21) 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 機能適合性 性能効率性 互換性 使用性 信頼性 セキュリティ 有効性 効率性 満足性 リスク回避 性 利用状況網 羅性 0-10K(n=2) 10K-50K(n=6) 50K-100K(n=2) 100K-(n=6) 区別なし(n=16)

対象21製品のコンテキスト

課題4-5: 品質実態のまとめ

33

信頼性

保守性

性能

効率性

移植性

機能

適合性

有効性 互換性 セキュリティ 使用性 効率性 満足性 リスク回避性 利用状況網羅性

製品品質

利用時の品質

正の相関

負の相関

信頼性タイプ関係

データ不足、測定不適合可能性

高いほうに集中、同程度

一部に低い傾向

公開パッケージと提言

Waseda Software Quality Benchmark

http://www.washi.cs.waseda.ac.jp/?page_id=3479

評価枠組み(信頼性予測含む)＋実態データセット

今後: 継続的な品質実態調査、枠組み改善

業界

_JTC1/SC7/WG6

ISO/IEC

連携継続、PSQ認証

へ取り込み検討

SQuaRE改善

取り込み

提言4. 実現した枠組みを組み入れて実効性強化

提言5. アジャイル開発, クラウド対応強化の可能性

提言1.

IoT時代重要セキュリティ, 互換性の低さ。要 意識改革

提言2.

使用性への悪影響注意。要 ユーザ中心の取組

提言3. データや目標希薄。要 記録＋ベンチマーキング

品質マネジメント

国際競争力強化

参考

• GQMによるゴール指向の測定

• GQM+Strategiesによる組織目標へのひもづ

け

• 告知: 11月20日 IPA/SECセミナー「経験と勘に

頼らない事業戦略マネジメント～データに基づく

実践的な事業計画立案のために～」

http://sec.ipa.go.jp/seminar/

•

報道: 15年6月朝日新聞デジタルほか、16年11月日本経済新聞、17年4月時事ドットコム

•

講演 10件以上:

11月17日 JASA ET/IoT 講演

•

論文・記事

– K. Honda, H. Washizaki and Y. Fukazawa, “Generalized Software Reliability Model Considering Uncertainty and Dynamics: Model and Applications,” International Journal of Software

Engineering and Knowledge Engineering (IJSEKE), pp.1-29, 2017.

– H. Washizaki, “Pitfalls and Countermeasures in Software Quality Measurements and Evaluations,” Advances in Computers, Vol. 107, pp.1-22, Elsevier, 2017.

– 小島嘉津江, 森田純恵, 廣瀬竹男, 若本雅晶, 菊池慎司, 鷲崎弘宜, “ソフトウェア品質技術が品質特性 に与える効果の見える化と活用の一考察”, ソフトウェア品質シンポジウム2017

– 鷲崎弘宜, “実践的ソフトウェア品質測定評価のための4つの「落とし穴」と 7つの「コツ」: ゴール指向、 不確実性、機械学習、実態調査ほか”, 品質, Vol.46, No.3, pp.137-140, 品質管理学会, 2016.

– H. Nakai, N. Tsuda, K. Honda, H. Washizaki, and Y. Fukazawa, “Initial Framework for a

Software Quality Evaluation based on ISO/IEC 25022 and ISO/IEC 25023,” Poster, The 2016 IEEE International Conference on Software Quality, Reliability & Security (QRS 2016)

– K. Honda, N. Nakamura, H. Washizaki and Y. Fukazawa, “An Industrial Case Study of Project Management Using Cross Project Software Reliability Growth Model,” Poster, The 2016 IEEE International Conference on Software Quality, Reliability & Security (QRS 2016)

– K. Honda, N. Nakamura, H. Washizaki and Y. Fukazawa, “Case Study: Project Management Using Cross Project Software Reliability Growth Model,” IEEE International Workshop on Trustworthy Computing, 2016

– K. Honda, N. Nakamura, H. Washizaki and Y. Fukazawa, “Case Study: Project Management Using Cross Project Software Reliability Growth Model Considering System Scale,” 27th IEEE International Symposium on Software Reliability Engineering (ISSRE 2016)

– H. Nakai, N. Tsuda, K. Honda, H. Washizaki, Y. Fukazawa, “Evaluating Software Product Quality based on SQuaRE Series,” IEEE TENCON 2016

– K. Honda, H. Washizaki, Y. Fukazawa, et al., “Detection of Unexpected Situations by Applying Software Reliability Growth Models to Test Phases,” 26th IEEE International Symposium on Software Reliability Engineering (ISSRE 2015), Industry Track