見通しのよいテストの段階的詳細化の手法

ソフトウェアテストシンポジウム 2013

JaSST’13: Japan Symposium on Software Testing 2013

見通しのよいテストの段階的詳細化の手法

－テストの網羅性確保の提案－

吉岡 克浩

†

水野

昇幸

‡

西 康晴

†††

†三菱電機株式会社 設計システム技術センター 〒661-8661 兵庫県尼崎市塚口本町 8-1-1

‡三菱電機株式会社 通信機製作所 〒661-8661 兵庫県尼崎市塚口本町 8-1-1

†††電気通信大学 情報理工学研究科 〒182-8585 東京都調布市調布ヶ丘 1-5-1

E-mail: †[email protected] ‡[email protected]

あらまし 段階的にテストを詳細化する「テスト開発プロセス」を構築した。テストの網羅性向上のためにマト

リクス形式を導入したが、テストケースのばらつきや成果物が巨大化し作業性が悪化する課題があった。そこで、

モデル化したテスト対象とテスト目的の組合せでテストアーキテクチャを決定し、組合せ毎にテストを詳細化する

手法を作成した。手法の適用により、テスト密度向上と作業効率化を両立し、テストケースのばらつきを抑制した。

キーワード テストアーキテクチャ、テスト対象、テスト目的、テスト観点、マトリクス、デシジョンテーブル

Test Design by Stepwise Refinement

－Approach to

Test Coverage Improvement－

Katsuhiro Yoshioka

†

Noriyuki Mizuno

‡

Yasuharu Nishi

†††

†Design Engineering Center, Mitsubishi Electric, Ltd., ‡Communication Network Center, Mitsubishi Electric, Ltd.,

†††Department of Informatics,University of Electro-Communications

E-mail: †[email protected] ‡[email protected]

Abstract We were established to refine the contents of the test in a stepwise manner "Test Development Process."

By applying this process, the test design work can be done by dividing the unit of test context, we have improved the

deterioration of working with the large test matrix for the conventional process. And we have improved both efficiency of test

design and test density.

Keyword Test Architecture, Test Item, Test Context, Test Viewpoint, Test Matrix, Decision Table

1. は じ め に

情 報 家 電 、 自 動 車 、 産 業 機 器 な ど の 工 業 製 品 の ほ と ん ど は 機 能 や 性 能 の 多 く を 、 機 器 に 組 み 込 ま れ た ソ フ ト ウ ェ ア で 実 現 し て い る 。 市 場 競 争 の 激 化 に 伴 う 製 品 の 高 機 能 化 に よ り 、 組 込 み ソ フ ト ウ ェ ア は よ り 大 規 模 で 複 雑 な も の と な っ て き て い る 。 一 方 で 、 製 品 投 入 間 隔 の 短 縮 に よ り 、 開 発 期 間 は 短 縮 し て き て い る 。 こ の よ う な 状 況 で 弊 社 は 、 納 期 遅 延 、 コ ス ト 超 過 に よ る プ ロ ジ ェ ク ト 崩 れ を 抑 制 し つ つ 市 場 に 高 品 質 な 製 品 を 提 供 す る た め に 、 設 計 段 階 で 品 質 作 り 込 み を 行 う 活 動 と テ ス ト の 改 善 を 推 進 し て き た 。

1.1. 従 来 のテスト設 計 手 法 の課 題

従 来 の シ ス テ ム テ ス ト 設 計 は 、 仕 様 書 か ら 直 接 テ ス ト 手 順 書 を 作 成 し 、 レ ビ ュ ー で テ ス ト ケ ー ス の 妥 当 性 を 確 認 す る 作 業 で あ っ た（ 第 １ 世 代 ）。テ ス ト 手 順 書 は 、 階 層 化 （ 主 に 大 中 小 ） し た テ ス ト 対 象 機 能 に 対 し 、 テ ス ト 手 順 、 期 待 値 を 記 述 し た も の で あ り 以 下 の よ う な 課 題 が あ っ た 。 (1)テ ス ト ケ ー ス の 作 成 基 準 、網 羅 基 準 が な く 、テ ス ト ケ ー ス の 粒 度 、 記 載 レ ベ ル の ば ら つ き が で る 。 (2)テ ス ト ケ ー ス の 羅 列 か ら は 全 体 像 が 見 え ず 、何 を 網 羅 で き て い る か 分 か ら な い た め 、 レ ビ ュ ー で 漏 れ を 検 出 で き な い 。 (3) テ ス ト ケ ー ス の 数 が 多 く 限 ら れ た 時 間 で レ ビ ュ ー し き れ な い 。 こ れ ら の 課 題 に 対 し 、 テ ス ト 手 順 書 作 成 の 前 に 、 機 能 (行 )ｘ テ ス ト 観 点 (列 )の マ ト リ ク ス で テ ス ト ケ ー ス の 洗 い 出 し 、 抜 け ・ 漏 れ の チ ェ ッ ク を 行 う 、 ゆ も つ よ メ ソ ッ ド [1]を 参 考 に し た 手 法 を 導 入 し た（ 第 ２ 世 代 ）。 マ ト リ ク ス 手 法 の 導 入 に よ り 、 大 き な テ ス ト 観 点 の 抜 け ・ 漏 れ を 抑 制 す る こ と は で き た が 、 新 た な 課 題 も 見 つ か っ た 。 本 論 文 で は そ れ ら の 課 題 を 明 ら か に し 、 課 題 へ の 対 策 （ 第 ３ 世 代 ） に つ い て 記 述 す る 。

テスト設計手法 課題 ＜第1世代＞ 大中小の階層でテスト 項目を整理する 作成基準が無く、テストケース がばらつく。レビューで漏れ検 出が困難。限られた時間内で のレビューが難しい。 ＜第2世代＞ マトリクス手法の導入 2章記載の課題が発生 第3世代の手法： 見通しの良いテストの段階的詳細化へ … 大項目 中項目 小項目 … タイマ タイマ操作 設定 リセット テスト項目 XX XX XX … テストで確認する性質 テス ト対 象 （機能 等 ） 大中小項目整理 マトリクス手法

図 1 テ ス ト 設 計 手 法 の 変 遷

2. マ ト リ ク ス 手 法 （ 第 ２ 世 代 ） 導 入 後 の 課 題

2.1. 巨 大 なマトリクスになり作 業 性 が悪 い

あ る 工 事 に 適 用 し た 結 果 で は 、階 層 化 し た 機 能：200 行 ｘ テ ス ト 観 点：15 列 の 巨 大 マ ト リ ク ス と な っ た 。そ の 結 果 、 全 体 を 俯 瞰 す る こ と が 困 難 と な り レ ビ ュ ー や 作 業 分 担 が し 辛 い 状 況 と な っ た 。

2.2. テスト観 点 の定 義 が不 十 分

初 期 に 導 入 し た マ ト リ ク ス で は 標 準 の テ ス ト 観 点 と そ の 説 明 文 書 を 定 義 し て 展 開 し た が 、 ド メ イ ン 共 通 で 使 用 す る 狙 い と し た た め テ ス ト 観 点 の 抽 象 度 が 高 く 、 作 業 担 当 者 に よ り 解 釈 が 異 な る 場 合 が あ り 、 抽 出 結 果 に ば ら つ き が 出 た 。 ま た 、 記 載 の 詳 細 度 が 個 人 任 せ で あ っ た た め 、 詳 細 に 記 載 し て テ ス ト 手 順 書 と 内 容 が 重 複 し た り 、 逆 に 一 部 の キ ー ワ ー ド の み の 記 載 で 中 身 が 良 く 分 か ら な い 資 料 に な っ て し ま う ケ ー ス が あ っ た 。

2.3. マトリクス作 成 後 の作 業 が不 明 確

マ ト リ ク ス は 仕 様 書 か ら テ ス ト の ポ イ ン ト を 抽 出 す る 作 業 に 使 用 し 、 テ ス ト ケ ー ス 作 成 の イ ン プ ッ ト と な る 資 料 で あ る が 、 テ ス ト ケ ー ス に 落 と す ま で に 組 合 せ や テ ス ト 準 備 手 順 を 追 加 す る 方 法 は 個 人 任 せ で あ っ た た め 、 テ ス ト ケ ー ス の 記 載 内 容 、 粒 度 が 一 定 で な か っ た 。

3. 課 題 に 対 す る 対 策

3.1. 課 題 の対 策 方 針

こ れ ら ３ つ の 課 題 に 対 し 以 下 の 対 策 方 針 を 立 て て 解 決 に 取 り 組 ん だ 。

表 1 課 題 の 対 策 方 針

対策方針 対策 1 巨大なマトリクスになり 作業性が悪い マトリクスを見通しのよいサ イズに分割する 3.2項 に記載 2 テスト観点の定義が不 十分 テスト観点を具体化する 3.3項 に記載 3 マトリクス作成後の作業 が不明確 マトリクスからテストケース に落とす作業を具体化する 3.4項 に記載 課題

3.2. テスト対 象 とテスト目 的 によるテスト全 体 の分 割

(1)テ ス ト 対 象 テ ス ト の 全 体 を 考 え る に は 、 テ ス ト の 対 象 と 非 対 象 を 明 確 に す る 必 要 が あ っ た 。 マ ト リ ク ス 手 法 で 扱 っ て い た 「 機 能 」 も そ の １ つ で あ る が 、 実 際 に シ ス テ ム テ ス ト で 扱 っ て い た 対 象 は 、「 ユ ー ス ケ ー ス 」「 実 運 用 シ ナ リ オ 」「 シ ス テ ム 全 体 」と い っ た 粒 度 の 大 き な も の も あ る 。 こ れ ら テ ス ト 対 象 の 例 を 表 2に 示 す 。 シ ス テ ム テ ス ト で 扱 う テ ス ト 対 象 は 、 イ ン プ ッ ト 資 料 に 記 載 が あ る も の が ベ ー ス で あ り 、 客 先 RFP、 シ ス テ ム 要 求 仕 様 書 か ら は 、 ユ ー ス ケ ー ス や 実 運 用 シ ナ リ オ に 似 た 粒 度 の 情 報 が 抽 出 で き 、 機 能 仕 様 書 か ら は 機 能 を 抽 出 で き る こ と が 多 い 。 し か し 、 イ ン プ ッ ト 資 料 の 質 ・ 量 は 客 先 、 プ ロ ジ ェ ク ト ご と に 一 様 で は な く テ ス ト 設 計 時 に す べ て が 開 示 さ れ て い な い ケ ー ス も あ る 。 そ の た め テ ス ト 対 象 と し て 必 要 で あ れ ば 上 位 仕 様 書 作 成 者 に 提 示 を 求 め た り 、 テ ス ト 設 計 者 自 ら ユ ー ス ケ ー ス 一 覧 や 運 用 を 想 定 し た シ ナ リ オ を 作 成 す る 。 テ ス ト 対 象 は 、 プ ロ ジ ェ ク ト に よ っ て 要 不 要 や 重 み 付 け を 判 断 す る だ け で な く 、 新 し い 項 目 を 追 加 す る と い っ た テ ー ラ リ ン グ を 可 能 と し て い る 。

表 2 テ ス ト 対 象 の 例

概要 1 機能 S/W要求仕様書の機能 2 ユースケース S/W要求仕様書のユースケース（複数 機能の連携） 3 実運用シナリオ 運用で想定されるまとまった作業（複 数機能、ユースケースの連携） 4 システム全体 システム全体としての動作 5 利用シーン 網羅的な条件で検証したい特定の状 況 6 データ データ保守、システム移行時の対象 7 プロトコル （シーケンス、信号） シーケンス、信号 8 状態 状態定義、状態遷移 テスト対象 (2)テ ス ト 目 的 テ ス ト 目 的 は 、 テ ス ト で 保 証 す べ き 性 質 の 分 類 で あ り 、 本 手 法 で は テ ス ト 観 点 の 上 位 に 位 置 す る テ ス ト の 「 狙 い 」 を 示 す も の で あ る 。 表 3に テ ス ト 目 的 の 例 を 示 す 。 手 法 の 確 立 に お い て は テ ス ト 目 的 の 漏 れ ＝ 手 法 に よ る テ ス ト 漏 れ に 繋 が る た め 、 テ ス ト 目 的 の 議 論 に 時 間 を か け た 。 テ ス ト 目 的 に 挙 げ た 項 目 は マ ト リ ク ス 手 法 で 用 い て い た 項 目 を ベ ー ス に 、 不 具 合 事 例 か ら シ ス テ ム テ ス ト で 検 出 す べ き 不 具 合 を 「 狙 う 」 テ ス ト 目 的 を 追 加 し て い っ た 。

表 3 テ ス ト 目 的 の 定 義

テスト目的 カテゴリ 狙う不具合 1 論理性 仕様不適合の動作。仕様通りの結果にならない。条件通りに 動作が変化しない。条件の裏（else）で不正な動作をする。 2 ユーザビリティ仕様不適合のユーザビリティ。使いにくいUI。ユーザ操作時のレ スポンスが悪い。表示の一貫性がない。 3 性能 仕様不適合の性能。速度性能未達。リソースの枯渇。 4 保守性 仕様不適合の保守性。解析しにくいログ。膨大な量のログ。短 時間で消えるログ。更新しにくいマスタ。更新時間がかかる。装 置交換が困難。 5 信頼性 オーバースペックな条件で発生する不具合。 6 移行 仕様不適合のデータ移行性。旧バージョン・別環境からのデータ 移行が困難。データの追加・変更・削除が困難。 7 組合せ 仕様上影響がないはずの機能・データ・状態の組合せによる不 具合。（直交表、HAYST法の適用範囲） 8 環境 H/W、対向装置、気温、地域性など環境・構成を変更して発 生する不具合。仕様不適合のもの（環境の違いに実装で対応 しているもの）。仕様上影響がないはずのもの。 非ロバスト 9 通常負荷 通常負荷での動作不具合。速度性能未達。 10 意地悪 意地悪操作による動作不具合。ボタン連打、同時押し、同時 実行、回線切断などによる想定外の不具合。 11 設計最大 負荷 設計最大負荷での動作不具合。負荷に耐えられず動作が中 断。想定以上の性能劣化。 12 過負荷 過負荷での動作不具合。リソース枯渇によるクラッシュ。無応 答。フェールセーフ機能の動作不具合。 13 連続運転 連続運転での動作不具合。想定以上のメモリ使用、リソース 使用。性能劣化。 品質特性 依存性 テスト目的 ロバスト性 (3)テ ス ト 対 象 と テ ス ト 目 的 の 組 合 せ テ ス ト 対 象 に テ ス ト 目 的 を 組 合 せ る こ と で ど の テ ス ト 対 象 で 何 の 性 質 を 保 証 す る テ ス ト を す る 、 と い う テ ス ト の 構 成 を 示 す 。 本 手 法 で は こ の 組 合 せ 表 を 「 テ ス ト 設 計 サ マ リ 表 」 と 呼 び 、 そ の 構 成 要 素 で あ る １ つ １ つ の 組 合 せ を 「 フ レ ー ム 」 と 呼 ぶ 。 表 4は テ ス ト 設 計 サ マ リ 表 の 例 で あ る 。 こ の 表 は 組 合 せ を 「 ○ 」 の 有 無 で 表 示 す る 単 純 な 表 で あ り 全 体 を 容 易 に 俯 瞰 す る こ と が で き る 。 テ ス ト 設 計 サ マ リ 表 で 示 す 内 容 は 、 テ ス ト の 専 門 家 で な く と も 短 時 間 の 説 明 で 理 解 可 能 で あ る 。 そ の た め 、 シ ス テ ム 設 計 者 、 S/W 設 計 者 な ど 関 係 者 を 交 え て テ ス ト の 範 囲 を 議 論 し て 合 意 す る ツ ー ル と し て 適 し て い る 。

表 4 テ ス ト 設 計 サ マ リ 表 の 例

論理性 ユーザ ビリティ 性能 保守性 ・・・・ 1 ○ ○ 2 ○ ○ ○ ○ 3 ○ ○ ○ 4 ・・・ ○ ○ ○ ○ 品質特性 機能 実運用シナリオ ユースケース テスト目的 テスト対象

3.3. テスト観 点 の具 体 化 と因 子 の抽 出

テ ス ト 構 成 が 決 定 し た ら 、 次 は 具 体 的 に イ ン プ ッ ト 仕 様 書 か ら 入 力 値 、 イ ベ ン ト な ど の 「 テ ス ト 条 件 」 と 振 る 舞 い 、 判 定 基 準 な ど の 「 チ ェ ッ ク ポ イ ン ト 」 を 抽 出 す る 。 ま た 、 テ ス ト 条 件 、 チ ェ ッ ク ポ イ ン ト に な り 得 る 仕 様 書 に 記 載 さ れ た 項 目 を「 因 子 」、因 子 の 取 り 得 る 選 択 肢 を 「 水 準 」 と 呼 ぶ 。 因 子 と 水 準 の 考 え 方 は HAYST 法 [2]を 参 考 に し た 。 (1)フ レ ー ム ご と の マ ト リ ク ス 定 義 従 来 の マ ト リ ク ス 手 法 で は テ ス ト 条 件 お よ び チ ェ ッ ク ポ イ ン ト の 抽 出 結 果 を １ つ 巨 大 マ ト リ ク ス に 記 載 し て い た 。 本 手 法 で は 、 作 業 者 の 分 担 や レ ビ ュ ー を し や す く す る た め に 、 フ レ ー ム ご と に マ ト リ ク ス テ ン プ レ ー ト を 分 割 し て 定 義 し た 。 表 5は フ レ ー ム ご と の マ ト リ ク ス テ ン プ レ ー ト の 対 応 イ メ ー ジ で あ る 。

表 5 フ レ ー ム 毎 の マ ト リ ク ス テ ン プ レ ー ト

… … 機能×性能 ×負荷 … … 機能×論理性 ×環境 テンプレート：F-L-E テンプレート：F-P-ML 各フレーム単位で テンプレートを用意 NO テスト_対象 ID 1.1 機能 論理性 L 環境 E F-L-E 1.2 F 性能 P 設計最大 負荷　ML F-P-ML 2.1 ユース ケース 論理性 L UC-L 2.2 UC ユーザビリティ U UC-U 2.3 保守性 MA UC-MA テスト目的 (2)テ ス ト 観 点 マ ト リ ク ス マ ト リ ク ス テ ン プ レ ー ト は 、 行 見 出 し に 具 体 化 し た テ ス ト 対 象 、 列 見 出 し に テ ス ト 目 的 を 具 体 化 し た テ ス ト 条 件 、 チ ェ ッ ク ポ イ ン ト を 持 つ 。 本 手 法 で は こ の マ ト リ ク ス を テ ス ト 観 点 マ ト リ ク ス と 呼 ぶ 。 表 6は テ ス ト 対 象 ： 機 能 、 テ ス ト 目 的 ： 論 理 性 ・ 環 境 、 の テ ス ト 観 点 マ ト リ ク ス の 例 で あ る 。

表 6 機 能 x 論 理 性 x 環 境 の テ ス ト 観 点 マ ト

リ ク ス の 例 （ テ ン プ レ ー ト ： F-L-E）

環境 機能 環境 入力/参照_値 入力/参照状態 入力イベン_ト 中間値、中_間状態 結果値 振る舞い 事後状態 F-L-E-01 給湯機能 ポットシリー ズ（ポット A、ポットB） 優先度 ロック状態(ロック、解除) 水量（空、適量、満水超え） 蓋センサ状態（ON、OFF） *1 温度制御状態（保温、沸 騰、アイドル） エラー状態 給湯ボタン 押下 #1 給湯不 可能状態 (L1、L2、 L3、L4) 表示コード （L1、L2、 L3、L4） 給湯(実施/ 非実施) エラーコード 表示(L1、 L2、L3、L4) 元の状態で あること。 F-L-E-02 タイマセット機能 F-L-E-03 タイマリセット機能 F-L-E-04 タイマアラーム機能 F-L-E-05 沸騰機能 F-L-E-06 カルキ抜き機能 F-L-E-07 保温機能 ポットシリー ズ（ポットA、 ポットB） なし 水温 保温状態 なし なし なし 保温ランプ点 灯 沸騰ランプ消 灯 保温状態 F-L-E-08 モード設定機能 ポットシリー ズ（ポットA） 外気温（低 温 高温） なし 設定モード(高温、節約、ミル ク) なし なし 水温(高温、 節約、ミル ク) なし なし テスト観点 番号 論理 テスト条件 チェックポイント テスト対象 _論理 行 見 出 し ： 具 体 化 し た テ ス ト 対 象 セ ル の 中 身：テ ス ト 条 件 、チ ェ ッ ク ポ イ ン ト の 因 子 と 水 準 列 見 出 し ： テ ス ト 条 件 、 チ ェ ッ ク ポ イ ン ト フ レ ー ム

図 2テ ス ト 条 件 、 チ ェ ッ ク ポ イ ン ト の 詳 細 化 の 例

概要 1 機能 S/W要求仕様書の機能 2 ユースケース S/W要求仕様書のユースケース（複数機 能の連携） 3 実運用シナリオ 運用で想定されるまとまった作業（複数 機能、ユースケースの連携） 4 システム全体 システム全体としての動作 5 利用シーン 網羅的な条件で検証したい特定の状況 6 データ データ保守、システム移行時の対象 7 プロトコル （シーケンス、信号） シーケンス、信号 8 状態 状態定義、状態遷移 テスト対象

テスト対象

テンプレート（表2）

テスト目的

テンプレート（表3）

テスト目的 カ テゴリ 狙う不具合 1 論理性仕様不適合の動作。仕様通りの結果にならない。条件通りに動作が 変化しない。条件の裏（else）で不正な動作をする。 2 ユーザビリティ仕様不適合のユーザビリティ。使いにくいUI。ユーザ操作時のレスポンス が悪い。表示の一貫性がない。 3 性能 仕様不適合の性能。速度性能未達。リソースの枯渇。 4 保守性仕様不適合の保守性。解析しにくいログ。膨大な量のログ。短時間で 消えるログ。更新しにくいマスタ。更新時間がかかる。装置交換が困 難。 5 信頼性オーバースペックな条件で発生する不具合。 6 移行 仕様不適合のデータ移行性。旧バージョン・別環境からのデータ移行 が困難。データの追加・変更・削除が困難。 7 組合せ 仕様上影響がないはずの機能・データ・状態の組合せによる不具合。 （直交表、HAYST法の適用範囲） 8 環境 H/W、対向装置、気温、地域性など環境・構成を変更して発生する 不具合。仕様不適合のもの（環境の違いに実装で対応しているも の）。仕様上影響がないはずのもの。 非ロバスト 9通常負荷通常負荷での動作不具合。速度性能未達。 10 意地悪意地悪操作による動作不具合。ボタン連打、同時押し、同時実行、 回線切断などによる想定外の不具合。 11設計最大 負荷 設計最大負荷での動作不具合。負荷に耐えられず動作が中断。想 定以上の性能劣化。 12 過負荷過負荷での動作不具合。リソース枯渇によるクラッシュ。無応答。 フェールセーフ機能の動作不具合。 13連続運転連続運転での動作不具合。想定以上のメモリ使用、リソース使用。性 能劣化。 品質特性 依存性 ロバスト性 テスト目的

テンプレートの作成

（SEPGが担当・検討実施）

論理性 ユーザ ビリティ 性能 保守性 ・・・・ 1 ○ ○ 2 ○ ○ ○ ○ 3 ○ ○ ○ 4 ○ ○ ○ ○ ユースケース 実運用シナリオ ・・・ 機能 　　　　　　テスト目 的 品質特性

テスト設計サマリ表（表4）

①テンプレートを参考に、

テスト設計サマリ表を作成

②実施するテスト

を定義、合意する

… … 機能×性能 ×負荷 … … 機能×論理性 ×環境

フレーム毎マトリクス

テンプレート（表5）

テンプレート：F-L-E

・・・

テンプレート毎のテスト条件、

チェックポイントは

ツリー形式で検討（図 2）

テンプレート：F-P-ML 環境 機能 環境 入力/参照 値 入力/参照状態 入力イベン ト 中間値、中間状態 結果値 振る舞い事後状態 F-L-E-01 給湯機能 ズ（ポットA、ポットシリー ポットB） 優先度 ロック状態(ロック、解除) 水量（空、適量、満水超え） 蓋センサ状態（ON、OFF） *1 温度制御状態（保温、沸 騰、アイドル） エラー状態 給湯ボタン押 下 #1 給湯不 可能状態 (L1、L2、 L3、L4) 表示コード （L1、L2、 L3、L4） 給湯(実施/ 非実施) エラーコード 表示(L1、 L2、L3、L4) 元の状態で あること。 F-L-E-02 タイマセット機能 F-L-E-03 タイマリセット機能 F-L-E-04 タイマアラーム機能 F-L-E-05 沸騰機能 F-L-E-06 カルキ抜き機能 F-L-E-07 保温機能 ポットシリーズ（ポットA、ポッ トB） なし 水温 保温状態 なし なし なし 保温ランプ点 灯 沸騰ランプ消 灯 保温状態 F-L-E-08 モード設定機能 ポットシリーズ （ポットA） 外気温（低 温 高温） なし 設定モード(高温、節約、ミルク) なし なし 水温(高温、 節約、ミルク) なし なし テスト 観点 番号 論理 テスト 条件 チェックポイント テスト対象 論理

テスト観点マトリクス（表6）

現場担当者の作業

③テンプレートを

選択・活用して

テスト観点

マトリクス作成

④各テスト観点マトリクス

_{に従って因子を抽出する}

担当者が 詳細化した 対象を記載 開発にあわせて 担当者が対象を カスタマイズ可能

図 3 テ ス ト 範 囲 の 決 定 ～ テ ス ト マ ト リ ク ス 作 成 の 流 れ （ テ ン プ レ ー ト と 実 作 業 の 関 係 ）

テ ス ト 観 点 マ ト リ ク ス の テ ス ト 条 件 、 チ ェ ッ ク ポ イ ン ト の 定 義 は 、 テ ス ト 目 的 ご と に 狙 う 不 具 合 を 検 出 す る た め に 何 を 入 力 （ テ ス ト 条 件 ） と し て 、 何 を 確 認 す る （ チ ェ ッ ク ポ イ ン ト ） か を 作 業 者 に 分 か り や す く 示 す 必 要 が あ る 。そ こ で 、NGT/VSTeP[3]に お け る テ ス ト 観 点 抽 出 方 法 を 参 考 に 、 論 理 性 テ ス ト 、 性 能 テ ス ト 、 ユ ー ザ ビ リ テ ィ テ ス ト と い っ た テ ス ト 目 的 ご と に テ ス ト 条 件 と チ ェ ッ ク ポ イ ン ト を 有 識 者 で 洗 い 出 し て マ イ ン ド マ ッ プ で 整 理 し 、 枝 の 関 係 は 何 か （ has-a／ is-a）、 漏 れ は な い か を チ ェ ッ ク し た 。 マ ト リ ク ス の 段 階 で 、 因 子 を テ ス ト 条 件 、 チ ェ ッ ク ポ イ ン ト に 分 類 す る こ と で 、 テ ス ト ケ ー ス 作 成 の イ ン プ ッ ト と し て 両 方 が そ ろ っ て い る こ と を 確 認 す る 。 ま た 、 テ ス ト 観 点 マ ト リ ク ス は 因 子 の 抽 出 に 特 化 し 、 因 子 の 組 合 せ は 次 の 作 業 で 行 う 。 こ れ に は 、 抽 出 作 業 と 組 合 せ 作 業 で 頭 の 切 り 替 え に よ る 作 業 効 率 の 低 下 を 防 ぎ 、 組 合 せ で 数 が 増 え る 前 な の で 類 似 パ タ ー ン の 抽 出 ・ レ ビ ュ ー を 容 易 化 す る 狙 い が あ る 。 テ ス ト 観 点 マ ト リ ク ス 作 成 ま で の 作 業 に お け る テ ン プ レ ー ト と 実 際 の 関 係 を 図 3 に 記 載 す る 。 テ ン プ レ ー ト は SEPG に よ り 事 前 に 作 成 及 び 準 備 さ れ た 状 況 で 、 担 当 者 は テ ン プ レ ー ト を 活 用 し テ ー ラ リ ン グ 検 討 を 行 い な が ら 、 テ ス ト 観 点 マ ト リ ク ス を 作 成 す る 。

3.4. テスト観 点 マトリクス作 成 後 の作 業

(1)テ ス ト ケ ー ス の 作 成 テ ス ト 観 点 マ ト リ ク ス で テ ス ト 条 件 と チ ェ ッ ク ポ イ ン ト の 因 子 を 抽 出 し た 後 は 、 因 子 毎 に 同 値 分 割 表 を 用 い て 具 体 的 な 入 力 値 と 期 待 値 を 決 定 す る 。 次 に 、 原 因 結 果 グ ラ フ 、 デ シ ジ ョ ン テ ー ブ ル 等 を 用 い て 入 力 値 と 期 待 値 の 組 合 せ を 作 成 し 、テ ス ト ケ ー ス と す る 。表 7 は デ シ ジ ョ ン テ ー ブ ル の 作 成 例 で あ る 。 テ ス ト 観 点 マ ト リ ク ス の １ 行 の デ ー タ が １ つ の デ シ ジ ョ ン テ ー ブ ル に 対 応 す る 。

表 7 デ シ ジ ョ ン テ ー ブ ル の 作 成 例

#1 #2 #3 #4 #5 #6 #7 1. ロック状態 1 ロック ○ - - - -2 解除 - ○ ○ ○ ○ ○ ○ 2．水量 1 適量(水位センサ1～4がONの状態) ○ - - ○ ○ ○ ○ 2 空 - ○ - - - - -3 満水（満水センサがONの状態） - - ○ - - - -3．蓋センサ 1 ON(閉じる状態) ○ ○ ○ - ○ ○ ○ 2 OFF(開く状態) - - - ○ - - -4. 状態 1 保温状態 ○ ○ ○ ○ - - ○ 2 沸騰状態 - - - - ○ - -3 アイドル状態 - - - ○ -#1 #2 #3 #4 #5 #6 #7 1 給湯実施 - - - ○ 2 給湯非実施 ○ ○ ○ ○ ○ ○ -1 L-1（ロック中） ○ - - - -2 L-2(給湯不可水量) - ○ ○ - - - -3 L-3(蓋空き) - - - ○ - - -4 L-4（給湯不可状態） - - - - ○ ○ -5 なし - - - ○ 入力条件 期待結果 1. 振る舞い 2. エラーコード表示 (2)テ ス ト 手 順 の 作 成 テ ス ト ケ ー ス に テ ス ト 実 施 に お け る 準 備 作 業 な ど の テ ス ト 手 順 を 追 加 し テ ス ト 手 順 書 に ま と め る（ 表 8）。 こ の と き 、 同 じ 入 力 条 件 や 事 後 条 件 に 着 目 し テ ス ト 手 順 の 集 約 を 図 る 。

表 8 テ ス ト 手 順 書 の 作 成 例

共通手順-01共通手順 保温状態にす る 水なし コンセント 抜け 蓋空き 1)ポットに水を適量注ぐ 2)コンセントを挿す 3)蓋を閉める 4)沸騰するまで待つ 5)カルキ抜き完了まで待つ 6)温度が安定(保温温度±2℃)するまで待 つ 6)保温状態であること F-L-E-01-#1 -01 給湯ボタン ロック状態給湯 非実施 保温状態 ロック解除 1)共通手順-01を実施する 2)ロックボタンを押してロック状態にする 3)給湯ボタンを押す 2)ロック状態であるこ と 3)給湯非実施 　エラーコード表示L1 F-L-E-01-#2 -01 水量空状態給 湯非実施 保温状態 ロック解除 1)共通手順-01を実施する 2)水量を空にする 3)給湯ボタンを押す 3)給湯非実施 　エラーコード表示L2 水量の変化はデ バッガで状態変 化させる必要あり もしくは、ポットの 蓋を空けずに水 量を減らす治具 が必要 備考 テスト項目 番号 テスト項目 開始状態 テスト手順 テスト規格

4. テ ス ト 開 発 プ ロ セ ス の 構 築

マ ト リ ク ス を 抽 出 と し た 一 連 の テ ス ト 作 業 を 現 場 に 適 用 す る た め に 、 テ ス ト 開 発 プ ロ セ ス と し て ガ イ ド ラ イ ン 化 し た 。 図 4に テ ス ト 開 発 プ ロ セ ス の 全 体 像 を 示 す 。 ガ イ ド ラ イ ン に 則 っ て 作 業 を 実 施 す る こ と で 、 テ ス ト 対 象 ・ テ ス ト 目 的 の 組 合 せ か ら テ ス ト ケ ー ス ま で 定 型 作 業 で 段 階 的 に テ ス ト を 詳 細 化 す る こ と が で き る 。 ま た テ ス ト 設 計 サ マ リ 表 が 示 す 全 体 像 か ら 段 階 的 に 成 果 物 を レ ビ ュ ー す る こ と に よ り 、 ポ イ ン ト が 絞 れ 効 率 的 に 漏 れ ・ 誤 り を 検 出 で き る 。

5. 実 施 結 果

本 論 文 執 筆 時 点（ '12/9 月 ）に お い て 、2 件 の 通 信 S/W に 本 手 法 を 適 用 し た 。 適 用 工 事 2 件 は テ ス ト 実 装 を 終 え た と こ ろ で 、 テ ス ト 実 施 は こ れ か ら で あ る た め 今 回 は テ ス ト 成 果 物 に つ い て 、 組 織 標 準 と の 比 較 を 行 い 良 好 な 結 果 を 得 た （ 表 9）。

表 9 手 法 適 用 効 果 （ 組 織 標 準 比 ）

工事１ 工事２ 平均 (1)テスト密度 　（テストケース数/開発量KL） 252% 150% 201% (2)テスト成果物作成時間 　（作業時間/開発量KL） 92% 79% 86% (3)テストケース１件あたりの 作成時間 37% 53% 45% (4)テストケース１件あたりの レビュー時間 36% 85% 60% (1)テ ス ト 密 度 （ テ ス ト ケ ー ス 数 /開 発 量 KL） テ ス ト 密 度 は 2 工 事 平 均 で 組 織 標 準 比 で 201%と な り 増 加 し た 。 (2)テ ス ト 成 果 物 作 成 時 間 （ 作 業 時 間 /開 発 量 KL） テ ス ト 成 果 物 作 成 時 間 は 組 織 標 準 比 86%と な り 短 縮 し た 。 (3)テ ス ト ケ ー ス １ 件 あ た り の 作 成 時 間 テ ス ト ケ ー ス 作 成 時 間 は 組 織 標 準 比 45%と な り 大 き く 短 縮 し た 。 (4)テ ス ト ケ ー ス １ 件 あ た り の レ ビ ュ ー 時 間 テ ス ト ケ ー ス レ ビ ュ ー 時 間 は 組 織 標 準 比 60%と な り 短 縮 し た 。

図 4 テ ス ト 開 発 プ ロ セ ス 全 体 像

(5)テ ス ト ケ ー ス の 質 抽 出 し た テ ス ト ケ ー ス の 質 を 評 価 す る た め に 、 同 一 の 機 能 に 、以 前 の 設 計 手 法 と 今 回 の 設 計 手 法 を 適 用 し 、 結 果 を 比 較 し て 論 理 的 な 組 合 せ の 抜 け ・ 重 複 の 確 認 を 行 っ た 。

表 10 以 前 の 設 計 手 法 と 今 回 の 手 法 の 比 較

テスト

対象

ケースA：テスト数

（以前の設計手法）

ケースB：テスト数

（今回の設計手法）

機能１

10

⇒評価：7件の抜け

16

⇒評価：1件の抜け

機能２

2

⇒評価：2件の抜け

5

⇒評価：1件冗長あり

機能３

20

⇒評価：3件の抜け

　　　　　　1件冗長あ

り

18

⇒評価：抜け無し

合計

32

⇒評価：12件の抜け

39

⇒評価：1件の抜け

ケ ー ス A が 以 前 の 設 計 手 法 を 用 い た 結 果 、ケ ー ス B が 今 回 の 設 計 手 法 を 用 い た 結 果 で あ る 。 ケ ー ス A に お い て 、組 合 せ に よ る 抜 け が 発 生 し て い る と い う 状 況 が 確 認 で き た 。 上 記 の よ う に 、 今 回 の 設 計 手 法 を 用 い る こ と で 論 理 的 な 検 討 が 改 善 で き る こ と が 判 断 で き る 。

表 11 プ ロ セ ス 単 位 の ヒ ア リ ン グ 結 果

対象プロセス/担当者ヒアリング結果 テスト分析 　全体の俯瞰性が良い。 　関係者で合意を取りながら作業が出来た。 　大きな範囲で、テストを行う対象の抜けを見つけることが出 来た。 　早期に目標とする品質を考えることが出来た。 テスト方式設計 　レビュー観点がシンプル。 　抽出すべき項目が分かりやすく比較的単純で作業に集中で きる。 　因子を抜き出すまでが目標となるため、作業の終了判断基 準が明確だった。 　フレーム単位で担当者を分担することが出来た。結果とし て、マネジメントがやりやすかった。 　全体が見えやすいことから抽象化するポイントを発見しやす く、テスト実装～実施時の作業効率化につながった。 テスト詳細設計、テスト実装 　入出力のレビュー、組合せのレビューに分割して考えること が出来たため、レビューがやりやすい。 　全てのデシジョンテーブルをレビュー出来た。 　事前に因子を抜き出していたことにより、CFDによる組合せ 検討がやりやすかった。 ま た 、 担 当 者 に 手 法 に 対 す る ヒ ア リ ン グ を 行 っ た 結 果 に お い て も 、 手 法 の 狙 い に 適 合 す る 結 果 が 得 ら れ て い る こ と を 確 認 出 来 た （ 表 11）。

6. 考 察

次 に 2 項 に 挙 げ た 課 題 に 対 す る 対 策 結 果 を 記 載 す る 。 （ 課 題 １ ） 巨 大 な マ ト リ ク ス に な り 作 業 性 が 悪 い マ ト リ ク ス を フ レ ー ム 毎 に 分 割 し た た め 、 最 も 大 き い マ ト リ ク ス の 列 数 で 従 来 の も の よ り 半 減（ 15⇒ 8）し た 。 ヒ ア リ ン グ で は 、 全 体 の 見 通 し が よ く な り 因 子 の 抽 出 作 業 が 実 施 し や す く な っ た と い う 結 果 が 出 て お り 、 定 量 デ ー タ で は テ ス ト 成 果 物 作 成 時 間 の 低 減 に 表 れ て い る も の と 思 わ れ る 。 #1 #2 … 1 蓋センサ 1 センサON ○ - ○ 2 センサOFF - ○ -2 給湯ボタン押下時間 1 100ms未満 - - ○ 2 100ms以上 ○ ○ -#1 #2 … 1 給湯 1 給湯実施 ○ - -2 急騰非実施 - ○ ○ 入力条件 期待結果 論理性_ビリティユーザ 性能 環境 … 機能 ○ ○ ○ UC ○ ○ ○ … … テスト目的 テス ト 対 象 … … ユースケース× ユーザビリティ … … 機能×性能 ×負荷 … … 機能×論理性 ×環境 … 「テスト設計サマリ表」による テスト対象、テスト目的の組合せ と全体の分割検討 フレーム毎 テスト観点マトリクスの選択 番号 機能 環境 … 結果値 … F-L-E-01 給湯 因子A （水準） 因子X （水準） … … … テスト条件 テスト対象 チェックポイント テスト観点マトリクスによる因子の抽出 （例）機能×論理性×環境マトリクス 組合せ 検討 因子組合せを検討し、デシジョン テーブル作成、手順書へ展開 選択 手 順 追 加

テスト

ケース

（手 順 書 ）

テスト分 析

テスト方 式 設 計

テスト詳 細 設 計

テスト実 装

（ 課 題 ２ ） テ ス ト 観 点 の 定 義 が 不 十 分 テ ス ト 目 的 毎 に 抽 出 す べ き 項 目 を 細 分 化 し 、 マ ト リ ク ス の 列 見 出 し に 定 義 し た 。 ヒ ア リ ン グ で は 、 抽 出 す べ き 因 子 が 分 か り や す く 作 業 し や す い と い う 結 果 が 出 て お り 、 定 量 デ ー タ の テ ス ト 成 果 物 作 成 時 間 の 低 減 と 因 子 の 網 羅 度 向 上 に よ る テ ス ト 密 度 向 上 に 表 れ て い る 。 表 10 の 比 較 結 果 か ら テ ス ト 設 計 漏 れ が 低 減 し た こ と も 確 認 で き た 。 ま た 、 レ ビ ュ ー に お い て も ポ イ ン ト が 明 確 に な り レ ビ ュ ー が し や く な っ た と い う 意 見 が あ り 、 レ ビ ュ ー 効 率 向 上 に 繋 が っ た と 思 わ れ る 。 （ 課 題 ３ ） マ ト リ ク ス 作 成 後 の 作 業 が 不 明 確 マ ト リ ク ス に 記 載 す る 内 容 を 因 子 の 列 挙 （ テ ス ト 方 式 設 計 ） と し 、 以 降 の 因 子 組 合 せ 作 業 （ テ ス ト 詳 細 設 計 ）、テ ス ト 手 順 を 足 し て テ ス ト 手 順 書 を 作 成 す る 作 業 （ テ ス ト 実 装 ） を 定 義 し た 。 こ れ に よ り 、 各 成 果 物 は ガ イ ド ラ イ ン で 定 め た 手 法 で 一 貫 性 を 持 っ て 作 成 さ れ 、 テ ス ト ケ ー ス に お け る 粒 度 の ば ら つ き は 見 ら れ な か っ た 。 成 果 物 作 成 効 率 化 の 面 で は 、 テ ス ト 方 式 設 計 に お い て 因 子 が 具 体 的 な 入 力 値 を 含 ま な い 粒 度 で あ る た め 、 類 似 パ タ ー ン の 流 用 が 多 く 行 え 貢 献 が 大 き か っ た 。 ま た 、 方 式 設 計 の 類 似 パ タ ー ン は テ ス ト 詳 細 設 計 も 流 用 で き 、 更 に 効 率 化 で き た 。 レ ビ ュ ー 効 率 化 の 面 で は 、 従 来 は テ ス ト 手 順 書 で 因 子 、 因 子 組 合 せ 、 テ ス ト 手 順 の す べ て を レ ビ ュ ー し て い た の に 対 し 、 段 階 的 に 詳 細 化 す る 成 果 物 毎 に ポ イ ン ト を 絞 っ て レ ビ ュ ー す る こ と が で き レ ビ ュ ー 効 率 が 向 上 し た こ と が 、 ヒ ア リ ン グ ・ 定 量 デ ー タ の 両 方 で 確 認 で き た 。 ま た 、 従 来 テ ス ト ケ ー ス 全 件 の レ ビ ュ ー が 実 施 で き て い な い 工 事 も あ っ た が 、 今 回 の 2 工 事 は い ず れ も 100%レ ビ ュ ー を 実 施 で き た 。

7. 今 後 の 取 り 組 み

(1)テ ス ト 実 施 結 果 の フ ィ ー ド バ ッ ク テ ス ト 開 発 プ ロ セ ス の 適 用 は 1 順 目 の 途 中 で あ り 、 テ ス ト 実 施 結 果 の 不 具 合 情 報 を 分 析 し 手 法 へ の フ ィ ー ド バ ッ ク を 行 う 。 (2)テ ス ト の 網 羅 度 の 定 義 テ ス ト 設 計 結 果 の 中 身 の 良 否 を 判 断 す る た め に 、 何 ら か の 基 準 に 対 す る 網 羅 度 な ど の 定 義 が 必 要 で あ る 。 (3)テ ス ト 実 装 ～ 実 施 に お け る 効 率 化 の 実 施 今 回 の プ ロ セ ス 上 で は 改 善 対 象 外 と な っ て い る 、 テ ス ト 実 装 か ら テ ス ト 実 施 フ ェ ー ズ に 対 し て 効 率 的 な 方 法 を 検 討 、 実 践 す る 。 (4)展 開 拡 大 手 法 の 検 討 メ ン バ を 中 心 に 主 要 工 事 で の 展 開 拡 大 を 進 め て い く 。

文 献

[1] 湯 本 剛 ，“ テ ス ト の 上 流 設 計 ”，ソ フ ト ウ ェ ア テ ス ト PRESS Vol.10, pp.1-25, Sep.2010．

[2] 秋 山 浩 一 ，ソ フ ト ウ ェ ア テ ス ト 技 法 ド リ ル ，日 科 技 連 出 版 社 ,2010．

[3] 西 康 晴 ， JaSST’ 09 東 京 テ ス ト 観 点 に 着 目 し た テ ス ト 開 発 プ ロ セ ス (VSTeP)の 概 要