テストケースマネージャを使ってみた - 底辺過ぎてちょっとビビる

これまでテストを実施するとなると、設計段階からExcel（またはGoogleSpreadSheet）でテストケースのフォーマットを作成し、テスト対象のシステムに合わせてテスト観点とテスト実施方法（再現手段）、テスト実施前提条件、期待値などを記載して実際に打鍵を行なってきた。

Excelベースのテストケースの良いところは、とにかくテスト実施状況が一元的に把握できるところだ。今の時点でどれだけテストケースが消化出来ているか、または出来ていないかがシートを見るだけで把握できる。

f:id:starscream1999:20200329185740p:plain — テストケースの例

しかし、マネジメントの観点からすると、Excelベーステストケースを運用していると、プロジェクト単位では管理は容易なのですが、頻繁にリリースがあるようなWebアプリ開発の現場などでは、全体の傾向などを把握するのにデータの加工がだいぶ必要で、あまり現実的ではないように思う。

そこで登場するのが「テストケースマネージャ」である。テストケースマネージャ、テストケースツールとかテスト管理ツールとか色々と呼び方はあると思う。以下、TCMと省略します。

TCMが優れている点は、テストケースの消化率・バグ率・バグ対応状況などは最初から機能として搭載されているのでユーザによる手計算の必要性がない。また一つのリポジトリ内で全てのプロジェクトを管理することで、プロジェクトをまたがってテスト実施結果の管理が可能であることも魅力である。ただし、Excelベースのテストケースに比べて全体的に進捗感が掴みにくい。

ここでいったん両者の良い点・悪い点をざっくり比較してみよう

Excelベーステストケース

良い点

テストケース上の実施状況がひと目でわかりやすい
テストケースの追加・削除が容易
シートを分割することで、メトリクスを使ったテストケースなどの作成が容易

悪い点

プロジェクトをまたがったテスト結果の共有難易度が高い
バグ管理ツール（Jira等）との連携が弱い

TCMを利用したテストケース

良い点

複数のプロジェクトにまたがったテスト結果の管理が容易
バグ管理ツールとの連携が容易（場合が多い）
なんか新しいことやってる感
テストスイートの再利用が容易

悪い点

同値分割や境界値などメトリクスを利用した方がわかりやすいテストケース作成が困難
レイアウト確認など一度に確認できる範囲が広いテストケースにおいて、Excelベースに比べてテスト実行とテスト終了までに手間がかかる
Excelベーステストケースの場合、隣接したテストケースがひと目でわかりやすいが、TCMの場合ブラウザで行ったり戻ったりが必要だったりする場合が多い

上記のように、ExcelベースとTCMではそれぞれ利点が異なることがわかる。つまりTCMを導入する場合、テストケース作成の柔軟性はExcelベースに比べて低く、一覧性もあまり良くない。しかし、プロジェクト単位でのテスト実施検証などではExcelでは難易度が高いような検証も容易に行えることができて、プロジェクトにまたがってテストベースの再利用しやすい。

※テストスイート：特定のテストサイクルで実行されるテストケースやテスト手順のセット

TCMの場合、請負で開発しているとテストの納品も少しやりづらいかもしれない。SIerではまだExcelベースでテストを実行・管理しているところが多いので納品もExcelベースになることが多いだろう。

しかし今後はTCMを利用したテスト実施手段がどんどんスタンダードになると思われるので、ある程度は使い慣れておくべきだと思う。