事例集_テスト自動化保守のよくある課題と対策方法

(1)

【事例集】

テスト自動化保守のよくある課題と対策方法

(2)

■自動テストの保守でよくある課題と対策

1. 自動テストの認知度が低い (p.5)

2. 構造化されていないスクリプト(p.10)

3. サーバーのパンク(p.15)

4. 放ったらかしのテストケース(p.18)

5. 担当者の撤退(p.21)

■ウェブレッジが実際に自動化したシステムの事例紹介

1. 店舗情報ポータルサイトの品質管理業務(p.24)

この資料の目次

2

(3)

数年保守し続けた経験から

自動テストの保守あるあるを

ご紹介します

(4)

テスト自動化の保守で

よくある課題と対策方法

【テスト自動化】課題解決の事例集

(5)

あるある1 自動テストの認知度が低い

(6)

事象急に動かなくなる自動テスト

• ある朝、いつも通り出勤したら、

定期実行しているテストに大量のエラーが！！

• 品質管理チームを介さないリリースが入っていた

6

(7)

対策伝達体制の強化と回避策の規定

• 伝達体制の強化

• 把握できていない箇所で問題が起きた時の

回避策を用意

・いつまでに報告が必要か確認

・手動実行でかかる時間を予め算出

・報告しなければならない時間から逆算し、修正にかけら

れる時間を算出

・修正が間に合わない場合は手動で実行

7

(8)

事象チケットの後回し

• 不具合の報告をしたが、いつまで経っても改修され

ない。

• 他のチームが報告した不具合は着手されているよう

だ。

8

(9)

対策有力者に協力を仰ぐ

• 上層部からの連携

• 認知されている部署への協力を仰ぐ

(10)

あるある2 構造化されていないスクリプト

(11)

事象修正が追いつかない

• 影響範囲が大きすぎて、修正が追いつかない！

• 似たようなスクリプトが多すぎる！！

Test1

Test2

Test3

Test4

(12)

対策スクリプトの構造化

• スクリプトの構造化が有効。

レベル１

Linear Script Frameworks

レベル２

Data-driven Frameworks

Functional Decomposition

Frameworks

レベル３

Keyword-Driven Frameworks

Model-based Framework

TABOK Segment 2: Macroscopic Process Skills Skill Category

(13)

対策スクリプトの構造化例

Class サービス設定画面

Function ユーザー名(Name)

TextBox(“UserName”).Type Name

Function ログイン

Button(“Login”).Click

Class 検索画面

Function 検索(id)

TextBox(“UserId”).type id

Button(“Serch”).Click

Function 種別選択(item)

SelectBox(“UserId”).select item

パラメタ

なにを

順番

どこにどうする

スクリプト

_{スクリプト}

スクリプト

操作順

操作画面

値

1 検索

A

2 種別選択

変更

13

(14)

対策スクリプトの構造化例

パラメタ

なにを

順番

どこにどうする

スクリプト

_{スクリプト}

スクリプト

操作順の変更

操作対象の変更

_{設定値の変更}

変更箇所が

見つけやすい

14

(15)

あるある3 サーバーのパンク

(16)

事象画面キャプチャでログサーバーがパンク

• 保守し続けて半年、見たことのないエラーが出た。

• ツールの初期設定のまま実行していたら、ログの容

量でパンク！！

(17)

対策キャプチャ取得や保存タイミングの整理

• エビデンスやログの解析に不要な画面キャプチャの

削除

• 過去ログの保存ルールを決定

17

(18)

あるある4 放ったらかしのテストケース

(19)

事象テストしていないところからのバグ発見

• テストの保守を怠った結果、

テストケース以外の箇所からデグレードを発見！

(20)

対策テストの草刈り

• テストを自動化して満足することなかれ。

• テスト自身の保守も忘れずに。

テストケースの追加と削除

修正に伴う自動テストのテストも忘れずに。

20

(21)

あるある5 担当者の撤退

(22)

事象主担当者が抜けたら自動テストが回らない

• 数年来の自動化担当が抜けた

• 次の担当者が決まらない

• 上層部への一時的な引き継ぎによって、自動化が

途絶える

22

(23)

対策担当者同士での引き継ぎをしよう

• 後継者と十分な引き継ぎ期間が必要

• 学習コストを下げる工夫をする

不必要な作り込みをしない

秘伝のタレを作らない

ドキュメントは定期的に更新する

23

(24)

店舗情報ポータルサイトの品質管理業務

ウェブレッジが実際に自動化したシステムの事例紹介

(25)

店舗情報ポータルサイト開発でのお話

店舗情報

ポータル

サイト

情報検索

一般ユーザー

約60万件の店舗情報を扱う

WEB

サービス

店舗情報

クーポン配信

店舗

店舗情報

クーポン登録

システム

管理者

新規登録

25

(26)

システム詳細

月に100コンテンツ/機能のリリースが行われる

社員数1800名の企業が運用しているシステム

品質管理部は、リリース前のテストからクレーム解消施策

など、顧客満足度向上のために幅広く対応していた

26

(27)

体制イメージ

品質管理部

システム開発部

A案件

企画部

B案件

C案件

…

③リリース判定結果

フィードバック

②依頼

27

(28)

品質管理部の仕事

顧客満足度を上げるための様々な施策

リリース判定

各コンテンツの機能障害検知、速度調査

店舗情報の公開、非公開確認

リンク切れチェック

機能、非機能の確認

競合比較、パフォーマンス調査

公開されている情報のコンプライアンスチェック

開発チームへのフィードバック

等

28

(29)

顧客満足度を上げるための様々な施策例

新規登録・更新

反映

各コンテンツの機能障害検知、速度調査

施策

• 機能障害を検知する

仕組みの導入

• 障害の定義

• 許容時間の定義

店舗

クレーム

店舗情報

ポータル

サイト

29

(30)

情報検索

公開日

顧客満足度を上げるための様々な施策例

店舗情報

ポータル

サイト

新規登録

店舗情報の公開確認

施策

• 公開日に情報が表示

されるか確認

システム

管理者

クレーム

30

(31)

自動化の背景

0.0

0.5

1.0

1.5

2.0

2.5 2011

2012

2013

2014

2015

倍

ユニークユーザー数

有料加盟店舗数 5万件を突破

31

(32)

自動テストも

保守が必要です。

お忘れなく！

(33)

ウェブレッジのテスト自動化ソリューション

33 投資対効果の調査〜自動化支援、保守まで、きめ細やかな提案を行います。

① テスト自動化コンサルタント

■テストの自動化・効率化のご提案を致します。

• テスト自動化診断

＞投資対効果を検討するための情報の収集

＞テスト自動化デモの実施（サンプルの提示）

• テスト自動化調査

＞テスト対象の調査、テストケースの解析

• テスト自動化実装計画〜実装支援

• 開発者へのフィードバック等

② テスト自動化エンジニア

■自動化コンサルタントが計画・設計したものをもとに実装します。

• テストケースの自動実行手順化

• 自動テストスクリプト作成

• テストの実行・スクリプトの改修

• 開発者へのフィードバック等

(34)

34

● 対象となる例：

・Webアプリ→組み込みソフト、ECサイト、SNS、ポータルサイト

※Webアプリケーション（Java,Javascript,Ruby…）

・業務アプリ→金融、製造、物流、CRMなど

・ネイティブアプリ→Android、iOSアプリ

・組込み→車載、複合機などのソフトウェア(GUIがあるもの）

・クライアントアプリ→Windows、Mac アプリ

ウェブレッジのテスト自動化ソリューション

(35)

ウェブレッジ会社概要

■福島本社（本店） 〒963-8002 福島県郡山市駅前2-11-1 ビッグアイ18階 TEL：024-954-8335 ■東京オフィス・水道橋ウェブレッジラボ 〒101-0061 東京都千代田区三崎町3-4-9 水道橋MSビル TEL：03-6380-8261 ■水道橋ウェブレッジラボ２ 〒101-0061 東京都千代田区三崎町3-7-12 清話會ビル 2階A 号 TEL：03-6380-9907 ■郡山ウェブレッジラボ 〒963-8025 福島県郡山市桑野1-20-20 ■郡山ウェブレッジラボ２ 〒963-8025 福島県郡山市桑野1-21-17 桑野共栄ビル2－B ■郡山ウェブレッジラボ３ 〒963-8025 福島県郡山市桑野1-21-17 桑野共栄ビル2－A

社名

株式会社ウェブレッジ

設立年月

2009年2月

代表取締役

佐藤保

資本金

2億7990万円（資本準備金含む）

社員数

188人（2016年10月31日時点）

事業所一覧

加盟団体

IT検証産業協会 IVIA

IoT推進コンソーシアム

東京商工会議所

一般社団法人福島県情報産業協会

会津大学発ベンチャー企業

一般社団法人クラウドソーシング協会

etc…

資格

一般労働者派遣事業

(届出番号：般07-300249)

有料職業紹介事業

(許可番号：07-ﾕ-300176）

プライバシーマーク

(登録番号第17001339)

ISTQB Platinumパートナー

IVEC Gold Partner

福島ファイヤーボンズ福島ユナイテッドFC

(36)

さいごに

最後まで、ご覧いただきありがとうございました！

テスト自動化でお困りごとございましたら、お気軽にお問い合わせください。

ご相談、お見積もりは

無料

です。

テスト自動化エンジニアを同席してのお打合せも可能です。

＜本資料につきまして＞

・本資料は、社内での参照利用限定となっております。許諾サイト以外での本データの公開および配布は禁止です。

・内容実際の事例を元にしておりますが、あくまで「参考情報」としてご活用ください。

■お問い合わせはこちらから

株式会社ウェブレッジ

ホームページ: https://webrage.jp

メールアドレス：[email protected]

TEL: 03-6380-8261（営業本部宛て）

36

事例集_テスト自動化保守のよくある課題と対策方法

【事例集】

テスト自動化保守のよくある課題と対策方法

■自動テストの保守でよくある課題と対策

1. 自動テストの認知度が低い (p.5)

2. 構造化されていないスクリプト(p.10)

3. サーバーのパンク(p.15)

4. 放ったらかしのテストケース(p.18)

5. 担当者の撤退(p.21)

■ウェブレッジが実際に自動化したシステムの事例紹介

1. 店舗情報ポータルサイトの品質管理業務(p.24)

この資料の目次

2

数年保守し続けた経験から

自動テストの保守あるあるを

ご紹介します

テスト自動化の保守で

よくある課題 と 対策方法

【テスト自動化】課題解決の事例集

あるある1 自動テストの認知度が低い

事象 急に動かなくなる自動テスト

• ある朝、いつも通り出勤したら、

定期実行しているテストに大量のエラーが！！

• 品質管理チームを介さないリリースが入っていた

6

対策 伝達体制の強化と回避策の規定

• 伝達体制の強化

• 把握できていない箇所で問題が起きた時の

回避策を用意

・いつまでに報告が必要か確認

・手動実行でかかる時間を予め算出

・報告しなければならない時間から逆算し、修正にかけら

れる時間を算出

・修正が間に合わない場合は手動で実行

7

事象 チケットの後回し

• 不具合の報告をしたが、いつまで経っても改修され

ない。

• 他のチームが報告した不具合は着手されているよう

だ。

8

対策 有力者に協力を仰ぐ

• 上層部からの連携

• 認知されている部署への協力を仰ぐ

あるある2 構造化されていないスクリプト

事象 修正が追いつかない

• 影響範囲が大きすぎて、修正が追いつかない！

• 似たようなスクリプトが多すぎる！！

Test1

Test2

Test3

Test4

対策 スクリプトの構造化

• スクリプトの構造化が有効。

レベル１

Linear Script Frameworks

レベル２

Data-driven Frameworks

Functional Decomposition

Frameworks

レベル３

Keyword-Driven Frameworks

Model-based Framework

TABOK Segment 2: Macroscopic Process Skills Skill Category

対策 スクリプトの構造化 例

Class サービス設定画面

Function ユーザー名(Name)

TextBox(“UserName”).Type Name

Function ログイン

Button(“Login”).Click

Class 検索画面

Function 検索(id)

TextBox(“UserId”).type id

Button(“Serch”).Click

Function 種別選択(item)

SelectBox(“UserId”).select item

パラメタ

なにを

順番

どこに どうする

よくある課題と対策方法

事象急に動かなくなる自動テスト

対策伝達体制の強化と回避策の規定

事象チケットの後回し

対策有力者に協力を仰ぐ

事象修正が追いつかない

対策スクリプトの構造化

対策スクリプトの構造化例

どこにどうする

_{スクリプト}

対策スクリプトの構造化例

どこにどうする

_{スクリプト}

_{設定値の変更}

事象画面キャプチャでログサーバーがパンク

対策キャプチャ取得や保存タイミングの整理

事象テストしていないところからのバグ発見

対策テストの草刈り

事象主担当者が抜けたら自動テストが回らない

対策担当者同士での引き継ぎをしよう