• 検索結果がありません。

Software Engineering Center Information-technology Promotion Agency, Japan SEC Software Engineering for Mo No Zu Ku Ri 定量的品質管理とメトリクス活用促進 ~ メトリクス活用のアプロ

N/A
N/A
Protected

Academic year: 2021

シェア "Software Engineering Center Information-technology Promotion Agency, Japan SEC Software Engineering for Mo No Zu Ku Ri 定量的品質管理とメトリクス活用促進 ~ メトリクス活用のアプロ"

Copied!
55
0
0

読み込み中.... (全文を見る)

全文

(1)

SEC

Software Engineering for Mo・No・Zu・Ku・Ri

Information-technology Promotion Agency, Japan

Software

Engineering

Center

定量的品質管理とメトリクス活用促進

~ メトリクス活用のアプローチ ~

独立行政法人情報処理推進機構(IPA)

技術本部 ソフトウェア・エンジニアリング・センター(SEC)

三 毛 功 子

エンタプライズ系総合セミナー

第3日:「ソフトウェア開発における定量的管理と標準化」

2013年3月6日 13時50分~15時05分(75分)

(2)

SEC

Software Engineering for Mo・No・Zu・Ku・Ri

目次

1.

はじめに

2.

定量的品質予測のススメ

3.

利用目的別メトリクス一覧表

4.

リスク予防への活用のアプローチ

5.

おわりに

(3)

SEC

Software Engineering for Mo・No・Zu・Ku・Ri

①SECが提供する定量関連のコンテンツ・ツール群

SECコンテンツ

(今回の説明)

(4)

SEC

Software Engineering for Mo・No・Zu・Ku・Ri

②SECのデータ白書

メーカー系、ユーザ系、独立系ベンダからデータを収集

「ソフトウェア開発データ白書」

(2012年度:27企業、3089プロジェクトのデータ)

・モノサシとしての

精度を高めていく

・新たなモノサシや課題抽出の

切り口を提案する

目的:定量的アプローチによる科学的マネジメントの普及拡大

1774

942

1418

2056

2005

2006

2007

2008

2584

2327

2009

2010

2011

プロジェクト評価の基礎となるデータの蓄積

3089

2012

2013

(5)

SEC

Software Engineering for Mo・No・Zu・Ku・Ri

1.

はじめに

2.

定量的品質予測のススメ

3.

利用目的別メトリクス一覧表

4.

リスク予防への活用のアプローチ

5.

おわりに

(6)

SEC

Software Engineering for Mo・No・Zu・Ku・Ri

①定量的品質管理の考え方

ITシステムの障害の影響が深刻化し、高品質な情報システム

が求められている

「品質を高める」=品質を測定する物差しが必要

「品質が高い」=開発者から利用者への説明責任

定量的品質予測が必要

定量的品質予測のために

どうやって品質を予測すればいいか

そのためには、何をどのように測定すればいいのか

2006年から2008年まで定量データ分析部会

(データ白書のデータ提

供、レビューを実施)

のWG2で参加企業

(7社、1大学)

が実際に取り組ん

でいる品質予測の手法を整理

2008年から2010年まで、メンバーを追加して、上流工程に

焦点をあててプロセス(特に組織的準備)と定量的品質管理

の阻害要因を整理

(7)

SEC

Software Engineering for Mo・No・Zu・Ku・Ri

品質の測定と予測の枠組み

(注)測定、対策はそれぞれの工程で実施される。

人の作業

データの受渡し

作業の流れ

分析・

モデル化

モデル

【 プロジェクト 】

【 プロジェクト 】

《 プロジェクト生産活動 》

要件定義

基本設

詳細設

製 作

総合

テスト

結合

テスト

【 プロジェクト 】

データ

計画(P)

対策(A)

《 プロジェクトマネジメント活動 》

モデルの改善・見直し

単体

テスト

測定(D)

分析・予測(C)

・標準プロセス

・ガイドライン

・知識(ノウハウ)

定量的

管理指標

標準アーキテクチャ

測定量

リポジトリ

【 組織 】

組織的

準備

定量的品質管理をするため

に何か必要か?

品質の測定と予測の枠組み

どのようなプロセスで

(8)

SEC

Software Engineering for Mo・No・Zu・Ku・Ri

測定単位(例)

 測定単位を小さくして品質データ(欠陥数など)を測定することにより、

詳細な品質管理・分析が可能

 その測定値を集計することにより当該工程の品質管理・分析が可能

工 程 基本設計 詳細設計

製 作

単体テスト 結合テスト 総合テスト

システム・

サブシステム

業務機能

プログラム 数100L~1KL  

想定規模

100KL~1ML

20KL~50KL

数KL~10KL

:その工程完了時に最小の測定単位、

:その工程で主に着目する測定単位

どれくらいの粒度で

(9)

SEC

Software Engineering for Mo・No・Zu・Ku・Ri

代表的な基本測定量と導出測定量

対象工程

測 定 量

単 位

測 定 方 法

全工程

規模

FP

LOC

Function Point (FP) では測定方法 、LOCは測定

ルールを明確にする

作業工数

人時

設計工程

レビュー回数

回数

レビュー時間

人時

Σ 各レビューアのレビュー実施時間

レビュー対象規模

ページ数

レビュー対象ドキュメント量(A4換算ページ数)

レビュー指摘件数

件数

レビュー記録票の指摘事項数

テスト工程

欠陥数

件数

障害連絡票の欠陥数

テスト項目数

項目数

テスト仕様書の項目数

基 本 測 定 量

導 出 測 定 量

対象工程

測 定 量

単 位

算 出 方 法

設計工程

レビュー指摘密度

件数÷FP,LOC

件数÷ページ数

レビュー指摘件数÷規模

レビュー指摘件数÷レビュー対象規模

レビュー工数密度

人時÷FP,LOC

人時÷ページ数

レビュー時間÷規模

レビュー時間÷レビュー対象規模

レビュー指摘効率

人時÷件数

レビュー指摘件数÷レビュー工数

テスト工程

欠陥密度

件数÷FP,LOC

欠陥数÷規模

テスト密度

項目数÷FP,LOC

テスト項目÷規模

品質改善の立案には、属性情報も必要です

何を

(10)

SEC

Software Engineering for Mo・No・Zu・Ku・Ri

分析名称

(モデル名)

概要

管理図分析

(閾値モデル)

データの分布がUCLとLCLに対してどの位置

にプロットされるかを見て、データが正常値

であるか外れ値であるかを判断する分析

方法

ゾーン分析

(ゾーンモデル)

与えられた分析のテーマを、ある特徴に着

目した視点によってゾーンに分割し、各ゾ

ーン毎に分析を行う

曲線近似分析

(回帰モデル)

二つのデータ列の関係を回帰式と呼ぶ近

似曲線で代替することで分析を行う

トレンド分析

(トレンドモデル)

過去のプロジェクトの実績データの時間的

なパターンと、現在のプロジェクトの実績デ

ータのトレンドを比較し、過去のプロジェクト

の最終品質と同等な結果となるかを予測す

る分析である

チェックリスト分析

(チェックリスト)

チェックリストは、与えられたテーマに対し

てチェックする項目をリストにしたものであ

分析一覧

UCL LCL 品質不良と予測 レビュー指摘密度 ゾーン4 ゾーン3 ゾーン9 ゾーン2 ゾーン1 ゾーン7 ゾーン6 ゾーン5 ゾーン8 尺 度 尺 度 単体テスト 結合テスト 総合テスト 検 出 欠 陥 密 度 UCL CL LCL Xプロジェクト Yプロジェクト 要求分析のレビュー指摘チェックリスト 大分類 小分類 レビュー指摘事項 評価 重み ポイント 備考 全体 網羅性 記載内容の範囲についての記述があり、明確か ○ A 1.2 要求の網羅性について記載があるか ○ B 1.0 要求に漏れがないかの確認をしているか × A 0.0 整合性 内容に矛盾がないか ○ A 1.2 要求の粒度は揃っているか × B 0.0 了解性 主語が明確であるか ○ C 0.8 事実と推測が分離しているか ○ B 1.0 数値表現できるところは数値で表現しているか ○ A 1.2 ※ 評価(○:1、×:0)、重み(A:1.2、B:1.0、C:0.8) 6 .4 近似曲線 二つの要因を回帰式で分析 ① ここの値から ②ここの値を 予測する

ゾーン分析

どうみるか

管理図分析

曲線近似分析

トレンド分析

チェックリスト分析

(11)

SEC

Software Engineering for Mo・No・Zu・Ku・Ri

システムリスク

S1

S2

S3

S4

S5

2

3

4

5

5

P5

2

3

4

4

4

P4

2

2

3

3

3

P3

2

2

2

2

2

P2

1

1

1

1

1

P1

システムリスク

S1

S2

S3

S4

S5

2

3

4

5

5

P5

2

3

4

4

4

P4

2

2

3

3

3

P3

2

2

2

2

2

P2

1

1

1

1

1

P1

統合リスク

S2

システムリスク総合評価(ランク)

・・・・・・・・・・

20

10

2

信頼性

30

10

3

社会性・公共性

評価

重み

評価

システムリスク

S2

システムリスク総合評価(ランク)

・・・・・・・・・・

20

10

2

信頼性

30

10

3

社会性・公共性

評価

重み

評価

システムリスク

P3

プロジェクトリスク総合評価(ランク)

・・・・・・・・・・

8

2

4

要求納期

5

5

1

新規/継続

評価

重み

評価

プロジェクトリスク

P3

プロジェクトリスク総合評価(ランク)

・・・・・・・・・・

8

2

4

要求納期

5

5

1

新規/継続

評価

重み

評価

プロジェクトリスク

プロジェクト管理プロセスと品質保証(QA)プロセスのテーラリング

プロジェクトのリスクを分類して「群」に割り振り、その群単位に順次評価しプロジェクト

ランク付けする

社会性・公共性、信頼性、性能等、これから開発するシステムの

重さを表す要素群。

開発にあたるプロジェクトが内包するリスク、あるいは

プロジェクトが置かれる環境・状況が呈するリスクの大

きさを表す要素群

統合リスク

②事例 組織的準備事例

(12)

SEC

Software Engineering for Mo・No・Zu・Ku・Ri

プロジェクト管理プロセスのテーラリング

作業成果物と設計作業の状況から、プロジェクトの設計品質を評価し開発作業を次工程

に進めてよいかどうかを判定するゲートレビューを、統合リスクとコストからテーラリング

し、プロジェクト特性に応じた質・量で実施する。

品質保証(QA)プロセスのテーラリング

品質保証(QA)の活動を、統合リスクとコストからテーラリングする。

○事業部として実施

○部として実施

YY百万円以上

○事業部として実施

○事業部として実施

ZZ百万円以上

開発

コスト

○全社として実施

○全社として実施

統合リスク 1、 2

○部として実施

XX百万円以上

製造 開始可否判定

詳細設計 開始可否判定

○事業部として実施

○部として実施

YY百万円以上

○事業部として実施

○事業部として実施

ZZ百万円以上

開発

コスト

○全社として実施

○全社として実施

統合リスク 1、 2

○部として実施

XX百万円以上

製造 開始可否判定

詳細設計 開始可否判定

・「標準QA」 は、業務規程に照らしたプロジェクト監視を主体に品質保証する

・「CL」 は、プロジェクト個別に作成したチェックリストを使用して品質保証する

・「V2」 は、成果物の検証および妥当性確認を品質保証部署独自に実施する

標準QA+CL+V2

標準QA+CL

標準QA

標準QA+CL+V2

標準QA+CL+V2

標準QA

標準QA+CL+V2

標準QA+CL+V2

標準QA+CL

標準QA+CL+V2

標準QA+CL+V2

標準QA+CL+V2

1、2

YY百万円以上

XX百万円以上

XX百万円未満

開発コスト

・「標準QA」 は、業務規程に照らしたプロジェクト監視を主体に品質保証する

・「CL」 は、プロジェクト個別に作成したチェックリストを使用して品質保証する

・「V2」 は、成果物の検証および妥当性確認を品質保証部署独自に実施する

標準QA+CL+V2

標準QA+CL

標準QA

標準QA+CL+V2

標準QA+CL+V2

標準QA

標準QA+CL+V2

標準QA+CL+V2

標準QA+CL

標準QA+CL+V2

標準QA+CL+V2

標準QA+CL+V2

1、2

YY百万円以上

XX百万円以上

XX百万円未満

開発コスト

(13)

SEC

Software Engineering for Mo・No・Zu・Ku・Ri

レビュープロセスのテーラリング

個々のレビュー対象成果物に対して、特徴に応じたレビュープロセスをテーラリング

【対象成果物】

設計ドキュメント(要件定義書、基本設計書、外部仕様書、内部仕様書、運用マニュアル等)

【レビュー実施手順選択に用いる成果物特徴】

成果物サイズ(A4換算ページ数)

成果物の重要度(重要/通常、レビュー責任者が判断する)

非熟練者(開発経験2年未満の者など)が担当した成果物のレビュー実施手順を別途定める。

【レビュー実施手順の構成項目】 (

△選択、 ◎必須

部分レビュー :

急ぎ過ぎを防ぐため、ミーティング1回でレビューする量を制限する。

自己チェック :

作成基準違反、誤字脱字、体裁の乱れ、あいまい表現をチェックし是正

する。

概要説明 :

レビューアに対し、レビュー実施に必要な情報を提供し質問に答える。

レビュー手法 :

個人レビュー/ウォークスルー/チームレビューを組み合せる。

レビューツール:

観点の特定/チェックリストの整備を事前に行い適用する。

レビュー記録 :

所定の記録項目を記録し保管する。

レビュー分析 :

レビューが効果的・効率的に実施できたかどうかを振り返り改善する。

(14)

SEC

Software Engineering for Mo・No・Zu・Ku・Ri

手順1) 品質管理レベルの評価

成果物サイズ(大/小)と重要度(重要/通常)を組み合せた4区分(非熟練者

分を含めると6区分)で管理レベルを評価する。

手順2) 管理方法の選択

成果物特徴に応じて負担軽重に配慮したドキュメントレビュー実施手順を選択

する

B-2

B-1

通常部分

(C-2)

(C-1)

(非熟練者)

A-2

A-1

重要部分

目安:10頁((A4)以下

目安:11頁(A4)以上

成果物のサイズ

レビュー

実施手順

B-2

B-1

通常部分

(C-2)

(C-1)

(非熟練者)

A-2

A-1

重要部分

目安:10頁((A4)以下

目安:11頁(A4)以上

成果物のサイズ

レビュー

実施手順

概要説明

レビュー分析

レビュー記録

チェックリスト

特定観点

チームレビュー

ウォークスルー

パスアラウン

ピアデスク

チェック

自己チェック

― (推奨)

― (推奨)

― (推奨)

部分レビュー

2

1

2

1

2

1

サイズ

(1大>10頁, 2小<=10頁)

C

B

A

重要度

(A重要,B通常,C非熟練者)

概要説明

レビュー分析

レビュー記録

チェックリスト

特定観点

チームレビュー

ウォークスルー

パスアラウン

ピアデスク

チェック

自己チェック

― (推奨)

― (推奨)

― (推奨)

部分レビュー

2

1

2

1

2

1

サイズ

(1大>10頁, 2小<=10頁)

C

B

A

重要度

(A重要,B通常,C非熟練者)

(15)

SEC

Software Engineering for Mo・No・Zu・Ku・Ri

評価事例:管理図分析

閾値モデル

概要 ある尺度の閾値によって分類するモデル

UCL(上部管理限界線 Upper Control Limit)

LCL(下部管理限界線 Lower Control Limit)

管理図分析

データの分布がUCLとLCLに対して、どの位置にあるかで、データが正常値で

あるか外れ値であるかを判定する

UCL

LCL

品質不良と予測

レビュー指摘密度

(16)

SEC

Software Engineering for Mo・No・Zu・Ku・Ri

■目的

ドキュメントの品質予測

レビューの投入工数、欠陥検出状況

同一ドキュメントのピアレビューと公式レビューの比較

■分析項目と分析の観点

レビュープロセスとプロダクトの双方を分析し、総合評価で行う。

レビュー

プロセス

の分析

レビュー

プロダクト

の分析

ドキュメントの

品質評価・予測

レビューの投入時間の適切性

レビュー体制

指摘件数の妥当性

欠陥の属性

品質目標の達成状況

(17)

SEC

Software Engineering for Mo・No・Zu・Ku・Ri

評価と対策

a.

b.

d.

C.

(18)

SEC

Software Engineering for Mo・No・Zu・Ku・Ri

指摘分類の分析

パレート図により指摘分類を分析

この事例では、上流工程のシステム要件の指摘(3*の指摘分類)が全体

の70%を占めているので、発生部分の再点検が必要と判断できる

(19)

SEC

Software Engineering for Mo・No・Zu・Ku・Ri

評価事例:ゾーンモデル

適切な範囲

テスト密度

欠陥密度の標準

テスト密度の標準

下限

下限

上限

上限

ゾーン

評価

品質

第2ゾーン

テスト効率がやや悪、テスト内容点検

第3ゾーン

テスト内容が適切か点検

第4ゾーン

テスト効率がやや悪、テスト内容点検

第5ゾーン

第1ゾーン

一応品質は良好、テスト効率も計画通り。

前工程の品質確保不足、内容点検

第6ゾーン

前工程の品質確保不足、内容点検

第7ゾーン

テスト不足、前工程の品質確保不足、内容点検

第8ゾーン

テスト不足、前工程の品質確保不足、内容点検

第9ゾーン

テスト不足、内容点検

(20)

SEC

Software Engineering for Mo・No・Zu・Ku・Ri

適切な範囲

テスト密度 欠 陥 密 度 機能ID 規模(KLOC) 達成率 目標 実績 達成率 目標 実績 A 19.20 136.3% 80.0 109.00 177.8% 9.0 16.00 前工程の品質確保不足、テスト内容点検 B 9.90 75.0% 80.0 60.00 115.6% 9.0 10.40 テスト不足 前工程の品質確保不足、内容点検 C 4.80 85.3% 80.0 68.20 58.9% 9.0 5.30 テスト不足、内容点検 D 10.14 112.2% 80.0 89.72 111.1% 9.0 10.00 一応品質は良好、テスト効率も計画通り サブシステム全体 44.04 101.3% 80.0 81.00 103.3% 9.0 9.30 ↑基準(100%) ↑基準(100%) 品質評価(ゾーン位置から選択) (結合テスト)テスト密度 (結合テスト)欠陥密度

サブシステム全体

機能A

機能B

機能C

▼機能D

(21)

SEC

Software Engineering for Mo・No・Zu・Ku・Ri

測定単位(例)

 測定単位を小さくして品質データ(欠陥数など)を測定することにより、

詳細な品質管理・分析が可能

 その測定値を集計することにより当該工程の品質管理・分析が可能

工 程 基本設計 詳細設計

製 作

単体テスト 結合テスト 総合テスト

システム・

サブシステム

業務機能

プログラム 数100L~1KL  

想定規模

100KL~1ML

20KL~50KL

数KL~10KL

:その工程完了時に最小の測定単位、◎:その工程で主に着目する測定単位

機能Aは、プログラム単位

の分析も必要

(22)

SEC

Software Engineering for Mo・No・Zu・Ku・Ri

評価事例:関数モデル

対象フェーズ : 総合テスト

グラフ作成日 : 2006/2/15

テスト開始日 : 2006/1/15

テスト終了日 : 2006/3/31

総障害数

: 456 件

総障害修正数 : 253 件

障害推定結果

推定障害数 : 550.0 件

95%到達時点 : 1.6 週目

信頼度成長モデル

2006/1/1

2006/1/8

2006/1/15

2006/1/22

2006/1/29

2006/2/5

2006/2/12

2006/2/19

2006/2/26

2006/3/5

2006/3/12

2006/3/19

2006/3/26

2006/4/2

0

100

200

300

400

500

600

累積障害

件数

累積障害件数

推定障害件数

テストの進捗

(23)

SEC

Software Engineering for Mo・No・Zu・Ku・Ri

0

500

1000

1500

2000

2500

3000

テスト日数

テス

ト項目

0

100

200

300

400

500

600

障害数

テスト消化実績

テスト消化計画

累積欠陥数

欠陥未解決数

0

500

1000

1500

2000

2500

3000

テスト日数

項目

0

100

200

300

400

500

600

障害数

テスト消化実績

テスト消化計画

累積欠陥数

欠陥未解決数

信頼度成長モデル使用にあたっては、

• テストに極端な偏りがない事。

• テストの網羅性が十分確保できている。

• テスト項目の消化状況。

• 未解決欠陥件数。

をあわせて評価。

テスト消化計画

テスト消化実績

累計欠陥数

欠陥未解決数

(24)

SEC

Software Engineering for Mo・No・Zu・Ku・Ri

0

2

4

6

8

10

12

プログラム試験

ソフトウェア試験

システム試験

フェーズ

件/

K

L

期待値 上限値 下限値

成功

0

2

4

6

8

10

12

プログラム試験

ソフトウェア試験

システム試験

フェーズ

件/

K

L

期待値

上限値

下限値

単体テスト 結合テスト 総合テスト 単体テスト 結合テスト 総合テスト

テストにおける欠陥密度の例

時系列に

減少

バラツキ

小さい

結合テスト

で増加

バラツキ

大きい

総合テストでの検出

率高い

評価事例:トレンドモデル

試験フェーズにおける計画達成と未達成プロジェクトを調査

したところ、誤り検出率やヒット率に顕著な傾向

失敗

(25)

SEC

Software Engineering for Mo・No・Zu・Ku・Ri

③おわりに

「突然死」の兆候は、品質評価で察知する

プロジェクト状況の突然の悪化

稼働時期の突然の延期

定量的品質管理は絶対ではない

SECより「続 定量的品質予測のススメ」が

出版されています。

是非、ご活用ください。

毎月の報告の中に破綻の兆候は隠れています

 品質の弱い点を見つけ出すためのきっかけ

 弱点を重点的に追いかけるための手法

(26)

SEC

Software Engineering for Mo・No・Zu・Ku・Ri

1.

はじめに

2.

定量的品質予測のススメ

3.

利用目的別メトリクス一覧表

4.

リスク予防への活用のアプローチ

5.

おわりに

(27)

SEC

Software Engineering for Mo・No・Zu・Ku・Ri

SEC成果を熟知したコンサ

ルタントならば、、

きちんと定量管理したい

ユーザ

データ白書 定量的品質予測のススメ 見える化

【課題】:SEC活動成果物の中でメトリクスやその活用例、ノウハウ等が

ありますが、それらを横並びに見たり、直面している課題(目的)に適した

メトリクスを探し出すことは容易ではありません。

SEC活動の成果物の中でメト

リクスやその活用事例、どん

なものがあるのか?

どなたが、どんな時に、どのような目的の

ために使いますか?

・・・

それならばこのSECBOOKSのこのメトリク

スを使った定量管理をされてはいかがで

すか?

SECのメトリクスに関するノウハウ群

①はじめに

(28)

SEC

Software Engineering for Mo・No・Zu・Ku・Ri

①様々な質問に対応できる分

類項目ができた。

②データ白書、定量的品質予測、見え

る化などの情報を整理ができた。

ユーザ用約90,ベンダ用約210行の利用シーン

(利用シーンごと1行の形なので同じメトリクスが複

数回現れることがあります)

メトリクス管理の基盤になる。

【将来】

現在はSECの成果物だけなので、他団体にもコ

ンテンツ提供のご協力をお願いして日本のメトリク

ス知見の基盤としたい。

メトリクス一覧表の管理項目をどうすれば欲しい情報にたどり着けるか

利用目的別メトリクス一覧表

【検討結果】:

どのように分類すれば、欲しい情報にたどり着けるかをSECの成果物を整理しながら検討し、下

記①、②を実施、“利用目的別メトリクス一覧表”として実現しました。

①様々な質問に対応できる分類項目の作成

②SECのメトリクス関係書籍の主なメトリクスを整理

(29)

SEC

Software Engineering for Mo・No・Zu・Ku・Ri

利用目的別メトリクス一覧表とは

利用目的別メトリクス一覧表は、SECで検討された主なメトリクスを目的カテゴリや利

用者、工程などの管理項目によって分類したものです。

この表に

検索機能を追加しました。

この表により

利用者はSECのメトリクスに関して利用目的にあったメトリクスを簡単に見つけだ

すことができます。

フェーズや利用シーン、目的などの検索の他に測定要素、基本/導出測定量のよう なボト

ムアップの検索も可能です。

本一覧表に自社のメトリクスを追加することもできます。

注) 目的別メトリクス一覧表は、SECが2010年度実施した“「定量的管理基盤メトリクス分類表有効性調査」

報告書の”メトリクス分類表“をベースにしています。

報告書URL: http://sec.ipa.go.jp/reports/20120302_2.html

メトリクス名称

目的カテゴリ

利用者

工程

利用方法

・・・・

参照

レビュー指摘密度

品質

管理・開発部門

設計フェーズ

参照書籍1

・・・

参照書籍1

レビュー指摘件数

品質

利用者2

YYフェーズ

参照書籍2

・・・

参照書籍2

・・・

・・・

・・・

・・・・

・・・・

・・・・・

・・・・

メトリクスN

目的N

利用者N

ZZフェーズ

参照書籍N3

・・・・・・

参照書籍N3

(30)

SEC

Software Engineering for Mo・No・Zu・Ku・Ri

・ 分類項目

メトリクス一覧表の構造は「プロセス,ステークホルダ,利用シーン,

メトリクス,測定方法,利用方法,参照情報等」からなります。

“利用シーン”に注目し、目的と評価質問の記述ルールを定め、目的

の種別を追加することにより、利用シーンの粒度を一定にし、検索性

を容易にする工夫を行いました。

②利用目的別メトリクス一覧表の仕組み

利用目的別メトリクス一覧表の利用シーンは、GQMパラダイムの考え方を取り入れています。

“何を解決したいのか”、“何を知りたいのか”などの目的を設定し、その目的を遂行するための尺度を定義

して初めて、計測を行うという、GQMのトップダウンのアプローチを一覧表という形式で整理しています。

GQMモデルを階層構造で示した一般的な例

利用シーン

メトリクス

(31)

SEC

Software Engineering for Mo・No・Zu・Ku・Ri

項目(大分類)

説明

ソフトウェアライフサイクルプロセス

共通フレーム2007のアクティビティ

ステークホルダ

発注者/受注者

メトリクスを利用する者 発注者:経営層、業務部門、品質保証部門、情報システム部門 受注者:経営層、管理部門、開発部門

利用シーン

(Goal)

(Question)

利用目的とメトリクスを利用することで得られる評価に関する質問 利用目的:目的概要、目的詳細(対象物、着眼点、目的(動作)) 種別:測定、計画、予測、比較 カテゴリ:メトリクスの分類(規模、工期、工数、コスト、品質、生産性、その他) 評価質問:対象物、対象属性、比較対象、理想状態、要求状態

メトリクス

(MetrIcs)

適用方法:適用する上での概要 導出式:メトリクスの算出式と(基本)測定量の説明 定義と解釈:メトリクス値が取りうる範囲、判断基準又は解釈の仕方

基本測定量入手先・測定フェーズ

基本測定量の主な入手先 基本測定量の測定フェーズ

測定方法、利用方法、

参照情報

基本測定量の測定方法、メトリクスの利用方法と備考(利用上の留意点など)、メトリクスの出典となっているSEC BOOKS → 参照先

よく使われているメトリクス

定量的品質予測のススメから13メトリクス、データ白書のスタンドアロン型分析ツールから11パターン、見える化総集 編(上流、下流の重要項目)から抜粋 基本測定量としては、発注者、受注者とも10数種類

利用目的別メトリクス一覧表の主な項目は以下のとおりです。

ソフトウェアライフサイクルプロセス毎に記載されています。利用シーンはGQMの

GoalとQuestionの部分にあたります。参照情報としてメトリクスの出典となっている

SEC BOOKの参照情報が記載されています。

(32)

SEC

Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center

32

エンタプライズ系総合セミナー, 2013-03-06 Copyright © 2009-2013 IPA, All Rights Reserved.

(a)対象 (b)着眼点 (c)目的 (動作) (a)対象物 (b)対象属性 (c)比較対象 (d)理想状態 (e)要求状態 供給者との契 約の準備、交 渉を行いたい 供給者から提示 された規模の見 積値の要件に対 する妥当性を評 価し、発注者と 供給者で合意す る 供給者から提 示された見積 規模 要件に対する 妥当性 発注者と供給 者で合意する 計画 規模 供給者から提 示された見積 規模はあらか じめ見込んだ 見積規模とど れくらい差が あるか。 見積規模 供給者から提 示された規模 の見積値 あらかじめ見 込んでいる数 値 同値 差が小さい ←評価質問の構成要素 目的(概要) 目的の詳細化 (a,b,c) ←目的の構成要素 種別 カテゴリ 評価質問 (a,b,c,d, e) 利用シーン

目的の構成要素 (a)対象 (b)着眼点 (c)目的(動作) 「____」の 「____」を 「____」について 「____」する (a)対象物 (b)対象属性 (c)比較対象 (d)理想状態 (e)要求状態 「___」の 「___」が 「___」に比 べて 「___」(よう) に 「___」か? 評価質問の構成要素

・分類項目の工夫点

GQMの考え方を適用する際に、粒度の均一化や網羅性の向上の為にテンプレー

トを用意いたしました。

具体的には、下記を実施しています。

目的詳細化、評価質問に関しては、構成要素に分解して記載方法を統一

種別(測定、計画、予測、比較)カテゴリ(規模、工数、工期etc.)などカテゴライズを実施

(33)

SEC

Software Engineering for Mo・No・Zu・Ku・Ri

③検索機能の使い方

「発注者」「受注者」各シートの左上部に

ある「条件設定抽出」ボタンを押下しま

す。検索ダイアログが表示されます。

索対象は現在開いているシート(「発注者」

「受注者」のいずれか)です。

検索条件を入力します。

検索項目間はAnd条件、検索項目内の選

択肢はOr条件で結合されます。

条件指定されない検索項目については、

すべての選択肢が選択された場合と同様

の条件となります。

*選択肢は「発注者」「受注者」の各シートごと

にデータを読み込んでおり、「ステークホル

ダ」「基本測定量」の選択肢は発注者用と受

注者用で異なります

検索ダイアログ(発注者用)

発注者シート

(34)

SEC

Software Engineering for Mo・No・Zu・Ku・Ri

「検索」ボタンを押下します。

「検索結果」シートが作成され、入力した検索条件と

条件に該当するメトリクスが表示されます。

クリック

検索結果シート

入力した検索条件

検索条件に該当

するメトリクス

(35)

SEC

Software Engineering for Mo・No・Zu・Ku・Ri

「検索結果」シートの「メトリクスの名称」列のリンクをクリックすると、該当

するシート(「発注者」または「受注者」)の該当行へジャンプします。

該当行は背景色が水色に変わります。

検索結果シート

発注者シート

(36)

SEC

Software Engineering for Mo・No・Zu・Ku・Ri

利用目的別メトリクス一覧表は、以下の点にご留意ください

利用目的別メトリクス一覧表(検索機能付き)は、ダウンロードして各利用者の環境

で使用するものです。下記の環境について動作確認をしております。

利用目的別メトリクス一覧表にはメトリクスを自由に追加できます。

所定の書式の記述方法に従って追加していただくと検索機能が維持できます。

導出測定量の追加の場合は、少し作業が複雑になりますので、詳細は利用目

的別メトリクス一覧表の“「メトリクスの追加等」シート”に説明しています。

本一覧表の利用について、詳細は利用許諾書を参考にしてください。

(37)

SEC

Software Engineering for Mo・No・Zu・Ku・Ri

(参考)利用シナリオ

利用目的別メトリクス一覧表の利用例を説明します。

「よく使われているメトリクス」からの検索

(38)

SEC

Software Engineering for Mo・No・Zu・Ku・Ri

まずは、目的やフェーズを特に限定せず、

どんなメトリクスがよく使われているのかを

全般的に知りたい。

その中で、自社のプロジェクトで使えそうなものを

詳しく見ていこう。

1) 「よく使われているメトリクスに限定して検索」にチェックを入れて検索

「よく使われているメトリクス」からの検索

よく使われているメトリクスを見る

基本測定量に絞る

フェーズを絞る

導出測定量を見る

メトリクスの詳細を調べる

発注者

(39)

SEC

Software Engineering for Mo・No・Zu・Ku・Ri

たくさん出てきた!

これらのメトリクスはどんな測定量が

基本になっているんだろう。

何を測ればいいのか

「基本測定量」にさらに限定して見てみよう。

「よく使われているメトリクスに限定して検索」条件

での検索結果

2)「よく使われているメトリクスに限定して検索」と「基本測定量」にチェック

を入れて検索

「基本測定量」に絞る

「よく使われているメトリクス」からの検索

よく使われているメトリクスを見る

基本測定量に絞る

フェーズを絞る

導出測定量を見る

メトリクスの詳細を調べる

(40)

SEC

Software Engineering for Mo・No・Zu・Ku・Ri

基本測定量が同じでも、

測定フェーズが異なるものがある。

今度は、自社でデータが測定しやすそうな

テストフェーズに限定して見てみよう。

「よく使われているメトリクスに限定して検索」かつ

「基本測定量」条件での検索結果

3)「よく使われているメトリクスに限定して検索」と「基本測定量」にチェックを入れ、

「基本測定量測定フェーズ」で「テスト」を選択して検索

「テスト」フェーズに絞る

「よく使われているメトリクス」からの検索

よく使われているメトリクスを見る

基本測定量に絞る

フェーズを絞る

導出測定量を見る

メトリクスの詳細を調べる

(41)

SEC

Software Engineering for Mo・No・Zu・Ku・Ri

テストフェーズでの測定量としては、

「欠陥数」や「テスト項目数」が

自社で測定しやすそうだ。

この測定量を含む導出測定量を

見てみよう。

「よく使われているメトリクスに限定して検索」、「基

本測定量」、基本測定量測定フェーズが「テスト」

条件での検索結果

4)「よく使われているメトリクスに限定して検索」と「導出測定量」にチェックを入れ、「基本測定量測定フェー

ズ」で「テスト」を選択、「基本測定量」で「欠陥数」と「テスト項目数」を選択して検索

「欠陥数」「テスト項目数」を含む

導出測定量を見る

「よく使われているメトリクス」からの検索

よく使われているメトリクスを見る

基本測定量に絞る

フェーズを絞る

導出測定量を見る

メトリクスの詳細を調べる

(42)

SEC

Software Engineering for Mo・No・Zu・Ku・Ri

「欠陥数」と「実績規模」を測定して

「欠陥密度」を導き出せるんだな。

このメトリクスは自社で使えそうだ。

参照されている書籍から詳細を見てみよう。

「よく使われているメトリクスに限定して検索」、「導出測定

量」、基本測定量測定フェーズが「テスト」、基本測定量が「欠

陥数」または「テスト項目数」条件での検索結果

5)「SEC BOOKSのリファレンス情報」列に表示されている書籍(この例では「定量的品質

予測のススメ」)を参考にする。

http://sec.ipa.go.jp/publish/index.html#teiryo, http://sec.ipa.go.jp/publish/index.html#teiryo2

「よく使われているメトリクス」からの検索

よく使われているメトリクスを見る

基本測定量に絞る

フェーズを絞る

導出測定量を見る

メトリクスの詳細を調べる

検索結果の「メトリクスの名称」を

クリックして、元の表にジャンプ

(43)

SEC

Software Engineering for Mo・No・Zu・Ku・Ri

1.

はじめに

2.

定量的品質予測のススメ

3.

利用目的別メトリクス一覧表

4.

リスク予防への活用のアプローチ

5.

おわりに

(44)

SEC

Software Engineering for Mo・No・Zu・Ku・Ri

メトリクス一覧表(メトリクス分類表から

該当メトリクスの該当項目を抜粋

入力

レベル=初心

組織規模=小

他メトリクス

文献・論文

事例への参照情報

メトリクス

リポジトリ

リファレンス

文献・論文

事例

参照

メトリクス分類表や他メトリクス

などメトリクス関連情報を格納

レベルや組織規模を入力すると

どのようなメトリクスをどう使えば

よいかが参照できる。

こんなメトリクスを

こう使う

①はじめに

大切

(45)

SEC

Software Engineering for Mo・No・Zu・Ku・Ri

Mission

Vision

Goal

・役に立つメトリクスの事例・考え方などの提供

・各レベルで使用する適切なメトリクスの提供(SEC)

・適切なメトリクス使用のための選択手段の提供(SEC)

・効果的な提供を行うためのメトリクス基盤整備(SEC)

・ITに関するメトリクスを使用しての経営リスクの解消

・定量データに基づく管理手法による効率的なマネジメント

・経営レベルからプロジェクトレベルまで、各レベルの適切な

管理方法の実施

・適切なメトリクス使用による効率的なマネジメントの実施

・発注者、受注者相互の円滑なコミュニケーションの確立

定量的管理基盤活動の考え方

(46)

SEC

Software Engineering for Mo・No・Zu・Ku・Ri

②基本的考え方

目的:

プロジェクト目標が未達成にならない事を目的として、ユーザー・ベンダー双方が協調する

枠組みや考え方を提供する

手段:

①ユーザー企業とベンダー企業の品質保証やプロジェクト管理のエキスパートに集まって

いただき、実際に現場で生じている問題をあげてもらい、リスクとして捉え、リスクの発現を

予防する仕組みについて検討する

②プレストン・G・スミス、ガイ・M・メリット(澤田美樹子訳)『実践・リスクマネジメント』生産性

出版(2003)のリスクモデルに当てはめて整理する

結果:

①ユーザーとベンダーが協調してリスクの発現を予防する枠組みを構築し、現場適用の道

筋(基本的考え方、その活用方法)を示せた

②検討結果の知見からテンプレートを作成し、テンプレートを用いて委員の事例を纏めた

本テンプレートで自分の状況を整理するとリスクの発現を予防する枠組みにあった形で纏める事ができる上、

検討メンバの事例を合わせて提供することによって整理するヒントも得ることができる。

枠組みとはリスクとそのリスク発現の要因を中心にすえ、リスクの発現を防ぐために”リスク発現の要因”に対し

てどのような予防策を打つかその予防策の効果をどのようにとらえるかと”リスク発現の要因”に対してその兆し

をどう把握するかの関係を明確にしたものである。

(47)

SEC

Software Engineering for Mo・No・Zu・Ku・Ri

リスク事象

影 響

総損失量

リスク事象の

ドライバー

影響の

ドライバー

リスク事象の

発生確率

影響の

発生確率

• リスク事象:損失を引き起こす出来事(または状態)

• 影響:リスク事象が発生した結果として、生じる可能性のある潜在

的な損失

• 総損失量:リスク事象が発生した場合に生じる損失の大きさ。日数

または金額で表現。

• リスク事象のドライバー:プロジェクト環境の中に存在し、リスク事象

の発生を導くもの。

• 影響のドライバー:影響の発生につながる、プロジェクト環境中に存

在しているもの。

• 予防計画:リスク事象の発生確率を減らす目的で行う行動計画。リ

スク事象のドライバーに取り組むために立案される。

• 不測事態対応計画:リスクが発生した後に行う行動計画。

影響のドライバーに取り組むために立案される。

コンティンジェンシー計画のこと。

標準リスクモデル

プレストン・G・スミス、ガイ・M・メリット(澤田美樹子訳)

『実践・リスクマネジメント』生産性出版(2003)

予防計画

不測事態

対応計画

参考にしたリスクモデル

このモデルは「リスク事象」と「影響」を分け、因果関係を明確にし、

それぞれを引き起こす要因(ドライバー)を識別することで、「リスク

事象」に結びつかない課題などが混入しにくくなるという利点を持つ

(48)

SEC

Software Engineering for Mo・No・Zu・Ku・Ri

影響

(プロジェクト目標

達成の阻害)

リスク事象

リスク事象ドライバー

総損失量

影響のドライバー

リスク事象ドライバー

の予防策

影響のドライバー

の予防策

ー 回避:ドライバーを生み出さないようにする予防策

ー 軽減:ドライバーを無効化し、リスク事象の発生確率を減少させる予防策

-- ①リスク事象ドライバーの有無を把握

-- ②予防策の有効性を確認

• リスク事象:損失を引き起こす出来事

• 影響:リスク事象が発生した結果として、生じる可能性のある潜在的な損失

• リスク事象ドライバー:プロジェクト環境の中に存在し、リスク事象の発生を導くもの。

• リスク事象ドライバーの予防策:リスク事象の発生確率を減らす目的で行う行動計画。リスク事象ドライバーに取り組むため

に立案される。対応区分としては回避・軽減。

• メトリクス:リスク事象ドライバの予防策の有効性を確認したり、リスク事象ドライバの有無を把握する。定量的/定性的

今回はスコープ外

• 影響のドライバ::影響の発生につながる、プロジェクト環境中

に存在しているもの

• 影響のドライバの予防策(対応策):リスクが発生したあとに

行う行動計画。影響のドライバーに取り組むために立案され

る。コンテンジェンシー計画のこと

• 総損失量:リスク事象が発生した場合に生じる損出の大きさ

追加部分

検討したリスクモデル

(49)

SEC

Software Engineering for Mo・No・Zu・Ku・Ri

リスクモデルの事例(案)

リスク事象

リスク事象

ドライバ

リスク事象ドライバ

の予防策

【対応区分】 :回避 :軽減

予防策の有

効性を確認

する

メトリクス

リスク事象ド

ライバの有

無を把握

部門間力関係の

アンバランス

プロジェクトの進

行阻害(仮)

【回避】フェーズ毎に制約事項・スコープ・納期調整のイベントを設置する

制約事項・スコープ・調整イベント数/プロジェクト全期間

【軽減】プロジェクト外の目的やその優先順位を可視化する

目的・優先順位記載数

・プロジェクトと連携する営業上の目的や利益がある

- ある/ない

・異なる役割を持つステイクホルダ間で指導・統括関係が

ある -関係数/ステイクホルダー数

などなど

(50)

SEC

Software Engineering for Mo・No・Zu・Ku・Ri

(51)

SEC

Software Engineering for Mo・No・Zu・Ku・Ri

適用プロセス(案)

リスクの描出

対応の検討

評価・維持

対応がフィットしない場合、テンプレー

トの見直し・再確認を行う

対策の効果が確認できない

場合、対応の選択を見直す

対策の効果が確認できない

場合、対応策の実施方法や

メトリクスの見直しを行う

• テンプレートの作成

• 記載内容の確認

• プロジェクト実態との整合

性確保

• プロジェクト内リスク事象

ドライバーの把握・特定

• ステイクホルダー間での

リスクの共有

• 対応の選択

• メトリクス等を用いた対応

の有効性評価

• 評価結果に基づくメトリク

ス等の見直し

• リスク事象予防モデルへ

のフィードバック

(52)

SEC

Software Engineering for Mo・No・Zu・Ku・Ri

③成果物

成果物の構成(案)

名称

ITプロジェクトリスクへのリスク予防の実践的アプローチ(仮)

~ ユーザー/ベンダーの協調によるリスクへの対処

概要

ITプロジェクトの開発時にユーザーとベンダーの対立を予防する為の考え方をまとめた

目的

プロジェクト目標が未達成にならない事を目的として、ユーザー・ベンダー双方が協調する枠組みや考え方を提供する。

対象者

ユーザー:情シ部門、IT企画、PL ベンダー:PMO、PL、設計者

目次(案)

初めに (本書の説明、構成)

第1部(解説編)

1.ITプロジェクトのリスクへの対処

2.“リスク事象”の予防モデル

3.リスク事象予防モデルの使い方

第2部(資料編)

1.適用例の前提条件

2.個別リスク事象ドライバ説明書

付録

あとがき

3月27日公開予定

(53)

SEC

Software Engineering for Mo・No・Zu・Ku・Ri

1.

はじめに

2.

定量的品質予測のススメ

3.

利用目的別メトリクス一覧表

4.

リスク予防への活用のアプローチ

5.

おわりに

(54)

SEC

Software Engineering for Mo・No・Zu・Ku・Ri

高信頼性、短納期など難易度が高くなったソフトウェア開発にとっ

て定量データによるソフトウェア開発管理(見える化アプローチ)は

有益である。

定量的ソフトウェア開発管理を実施するには、下記が必要である。

SECでは定量関連の活動成果をHPで提供しております。

是非、ご活用ください。

 次工程に進めるための最終的判断には、定性情報などと合わせて、多面的にみる

必要がある

 数値に意味を持たせるためデータの定義、ルールなど準備が必要

5.おわりに

 経験

→ 見える化、共有化

 過去データの蓄積から見積もり精度向上、日々のデータによる品質コントロール等

(55)

SEC

Software Engineering for Mo・No・Zu・Ku・Ri

Software Engineering Center

55

エンタプライズ系総合セミナー, 2013-03-06 Copyright © 2009-2013 IPA, All Rights Reserved.

(参考)関連URL

見える化

ITプロジェクトの見える化 ~総集編、~上流工程編、~中流工程編、下流工程編

http://sec.ipa.go.jp/publish/index.html#ent

定量的品質予測

定量的品質予測のススメ、続定量的品質予測のススメ

http://sec.ipa.go.jp/publish/index.html#ent

ソフトウェア開発データ白書2010-2011

http://sec.ipa.go.jp/publish/tn10-002.html

データ白書の見方と定量データ活用ポイント

http://sec.ipa.go.jp/reports/20110331_2.html

スタンドアロン型プロジェクト診断支援ツール

http://sec.ipa.go.jp/tool/pasa.html

定量データに基づくプロジェクト診断支援ツール

http://sec.ipa.go.jp/tool/pasa.html

定量的プロジェクト管理ツール

http://sec.ipa.go.jp/reports/20111114_2.html

利用目的別メトリクス一覧表

http://sec.ipa.go.jp/reports/20120302_2.html

参照

関連したドキュメント

Department of Chemistry and Chemical Engineering, Faculty of Engineering, Kanazawa University; Kanazawa-shi 920 Japan Calcium, strontium, and barium alkoxides reacted with primary

This product includes software developed by the OpenSSL Project for use in the OpenSSL

This paper summarizes recently developed methods and theories in the developing direction for applications of artificial intelligence in civil engineering, including

Papers dis- cussing dynamical properties, statistical and mathematical results, stability investigation of the phase space structure, the phenomenon of Fermi acceleration,

In particular, we show that, when such a polynomial exists, it is unique and it is the sum of certain Chebyshev polynomials of the first kind in any faithful irreducible character of

NIST - Mitigating the Risk of Software Vulnerabilities by Adopting a Secure Software Development Framework (SSDF).

In this section we apply approximate solutions to obtain existence results for weak solutions of the initial-boundary value problem for Navier-Stokes- type

In this section we apply approximate solutions to obtain existence results for weak solutions of the initial-boundary value problem for Navier-Stokes- type