テスト管理システムを用いたテスト状況の可視化方法の提案

全文

(1)情報処理学会第 73 回全国大会. 2B-3. テスト管理システムを用いたテスト状況の可視化方法の提案久連石圭†. 河村透† †. 小笠原秀人†. 佐々木愛美†. 東芝ソフトウェア技術センター. 設計テスト実装 1. はじめに各バージョン近年、製品の開発期間の短期化に伴い、ソフでテスト v1.0 v1.1 v1.2 トウェア開発におけるテスト工程の期間も短く（期間の重複無）リリース（ａ）実装の終了後にテストを実施なることが多い。そのため、ウォーターフォールモデルのように、全ての実装を終えてからの設計実装テストテストでは、製品のリリースまでにテストできバージョンがる時間を十分に確保できず、リリース時に品質リリース頻繁に更新 v0.51 各バージョンが十分向上しきれていないことがある[1]。 v0.52 でテスト v0.53 （期間の重複有）テスト期間が短い場合は、全ての機能の実装（ｂ）実装と並行してテストを実施が終わっていない状態でも、実装済みの機能か図１実装後のテストと実装と並行したテストら順にテストしていくことで、テストできる時間を確保することができる。このように実装と 2.2. テスト担当者ごとにテストを実施するバーテストを並行して実施する場合、実装された機ジョンが異なる能を早い段階からテストすることで、潜在する実装と並行してテストを実施する場合は、テ欠陥を早期に検出・修正し、いち早くソフトウェアの品質を向上させることがポイントになる。スト対象のバージョンが頻繁に更新され、バージョン毎に実施できるテスト項目も変動する。 2. 実装とテストを並行して実施する際の状況そのため、テスト担当者は特定のバージョンでほとんどのソフトウェア開発では、ソースコテストを実施せず、目的に応じて各々が異なるードを一元管理する構成管理システムを用いる。バージョンに対してテストを行うことがある。構成管理システムでは、一連のソースコードの各々のテスト実施バージョンが異なると、バー更新状態を“バージョン”（あるいは“リビジジョンの更新順序とテスト結果の登録順序が一ョン ” ）と定義し、名前（例えば v0.51 や致しないことがある。その結果、テストの品質 r1832)をつけて管理している。状況を確認する際には、従来の日付順での集計従来のテスト工程では、図１の(a)に示すとおに加えて、バージョンの更新順序でテスト結果を集計しなければならず、集計や可視化にかかり、実装が完了したバージョンを特定し、テストを実施することが多かった[2]。実装中にテスる負荷が増える。トを並行して行う場合は、図１(b)のようにバージョンが頻繁に更新される中でのテストになる 3. テスト状況を可視化するためのテスト管理ため、次のような状況がしばしば起こる。システムの提案実装と並行してテストを実施する場合にテス 2.1. 実装状況によって実施可能なテスト項目がトの実施状況を確認できるように、実装済みの変動する機能に対するテスト項目の数と合格しているテ実装とテストを並行して実施する場合、実装スト項目の数を、バージョンの更新順序に沿っが全て完了するまでは実施できないテスト項目て自動的に集計し、可視化できるテスト管理シが存在する。そのため、テストの進捗が芳しくステムを提案する。本システムの概要を図２にない状況が発生した場合、その原因がテストの示す。実施の不備によるものか、機能未実装によるも本テスト管理システムでは、テスト項目とテのか判別がつかない。スト結果を蓄積している。開発者は機能を実装した際に実装した機能に対するテスト項目をシステムに通知する。また、テスト担当者は実装 Test Management System for Status Visualization された機能から順にテストを行い、テスト結果 Kei KUREISHI†, Toru KAWAMURA†, を登録する。テスト状況を確認する場合は、シ Hideto OGASAWARA†, Manami SASAKI† ステムに蓄積されたテスト項目やテスト結果を †Corporate Software Engineering Center, Toshiba Corporation 自動的に集計し、グラフを出力する。. 1-253. Copyright 2011 Information Processing Society of Japan. All Rights Reserved..

(2) 情報処理学会第 73 回全国大会. (b)では線Ｂが日々増加しているため、機能は順バージョン v0.51 に実装されているが、テストの進捗が芳しくなソースコードテスト実施 v0.51 機能の実装プログラムい状態を示している。更に、(c)では線Ｂが減少テスト担当者バージョン v0.51 テストA&B テスト可能結果の登録順序としているため、テストは実施しているが、不合テストA （v0.51）実装が完了した機能にバージョンの順序がテスト実施 v0.52 結果：× 対するテスト項目の通知必ずしも一致しない実施日：10/8 格が発生しており、一度実装した機能を再度修複数人でテストを実施するが、テストA (v0.52) テスト管理システム正していることを確認できる。テスト対象の結果：× 実施日：10/7 バージョンはまた、バージョンの更新順序に沿って、合格必ずしも同一でない集計テスト結果登録テスト項目グラフ出力グラフ化テスト結果しているテスト項目の数を集計し、線Ａを描画テストA (v0.52) 結果：× することで、バージョンの更新に応じた品質の実施日：10/7 良否を確認できる。例えば、図４の(d)のように、図２テスト管理システムの概要バージョンの更新に伴って合格しているテスト本システムでは、従来のテスト管理で利用し項目の数が増えている状況からは品質が向上していたテストの実施数や合格数を時系列に集計ていることを確認できる。また、(e)のように合するグラフに加え、実装中にテストを行う場合格しているテスト項目の数が減少することがあにも状況を確認できるグラフを描画する。実装る。ここでは、一度合格したテスト項目を再度中には実施可能なテスト項目が変動するため、テストしたときに不合格となる“機能デグレー実装が完了した機能に対するテスト項目の数をド”が発生している。この場合は、機能デグレ集計して、合格したテスト項目の数と比較する。ードが発生したバージョンと変更内容を明らかまた、バージョンの更新順序とテスト結果の登にして、再度実装をやり直す必要がある。線Ｃ：テスト項目の総数録順序の不一致をなくすために、本システムでは図３に示すように、テスト結果をバージョン ① 線Ｂ：実装済み機能に対するテスト項目の数（e）毎に分類した後、バージョン毎にテスト結果を（ｄ） v0.59 ② v0.62 集計し、集計値をグラフにプロットする。（ｂ）実施可能なテスト項目からテストを実施. 構成管理システム. 機能の実装バージョン付け. 開発者. テスト対象の取得. テスト項目数. テスト実施結果. 10/3 実施. 10/4 実施. テストA(v0.51)：× テストB(v0.51)：×. テストB(v0.52)： ○. テストC(v0.52)：○. テストC(v0.51)：×. バージョン毎にテスト結果を分類. 10/5 実施. 10/6 実施. テストA(v0.53)：×. テストA(v0.52)： ○. v0.55 （ｃ）. （ａ）. v0.61. v0.58. v0.54. テストB(v0.53)： ○. v0.57. テストC(v0.53)：×. v0.60. 線Ａ：合格しているテスト項目の数. v0.56 v0.51 v0.52 v0.53. v0.51. v0.52. v0.53. テストA(v0.51)：×. テストA(v0.52)： ○. テストA(v0.53)：×. テストB(v0.51)：×. テストB(v0.52)： ○. テストB(v0.53)： ○. テストC(v0.51)：×. テストC(v0.52)： ○. テストC(v0.53)：×. 図４. 日付. 提案するグラフ. 5. おわりに本稿では、短納期化するソフトウェア開発に v0.51 おいて、実装が完了する前からテストを実施し、早期からソフトウェアの品質を確認するために、図３バージョン毎のテスト結果集計ソースコードの更新情報を活用することで機能 4. 本システムを用いたテスト状況の判断の実装状況をふまえたテストの実施状況や品質提案したテスト管理システムは、登録したテの改善傾向を確認できるテスト管理システムをスト結果を自動的に集計し、図４に示すグラフ提案した。実装の完了前にテストを実施するこを描画する。グラフの①に示す範囲は未実装のとで、早期に潜在する欠陥を検出でき、欠陥に機能に対するテスト項目の数であり、テストが対応する時間を十分に確保することが可能になまだできない状態を示している。また②に示する。その結果、予定されているリリース日まで範囲は、実装は完了しているためテスト可能だに、高い品質まで作り込むことができると期待が、まだ合否を確認していないテスト項目の数される。であり、テストの実施待ちの状態を示している。今後、提案したテスト管理ステムを用いたテ ②の範囲に加えて線Ａと線Ｂの変化を確認するスト管理を実践し、本システムを用いることでことで、合格しているテスト項目の数が増えな品質向上に寄与できていることを確認していく。い原因を判別できる。例えば図４の(a)から(c) では、合格しているテスト項目の数（線Ａ）は参考文献ほとんど増加していない。一方、実装済み機能 [1] 岡崎毅久:ソフトウェアテストと品質保証の実際,日に対するテスト項目の数（線Ｂ）は、(a)では線本テクノセンター (1999) [2]Rex Black/テスト技術者交流会監訳/トップスタジオＢが殆ど増加していないため、機能が未実装で訳:基本から学ぶテストプロセス管理, 日経 BP 社(2004) テストができない状態だと考えられる。また、 v0.52. v0.53. バージョン毎に集計し、集計値をプロット. 1-254. Copyright 2011 Information Processing Society of Japan. All Rights Reserved..

(3)