結果/テストレポートとメトリクスの概要

トップページのコントロールによって選択されているテスト計画に関するレポートを表示します。実行中のテスト計画と異なるテスト計画を選択することも出来ます。 テストレポートは以下の3種類の方法で表示することができます:

「印刷」ボタンはレポートを印刷するときのみ有効です。

数種類のレポートを表示することができます。それらの機能や目的については以下で説明します。

全般的なテスト計画のメトリクス

このページでは、テストスイート、オーナー、キーワードごとのテスト計画の最新のステータスを表示します。 "最新のテスト結果"とは、最後に実行したビルドに関するテストケースの結果を示しています。 例えば、複数のビルドにわたってあるテストケースを実行した場合は、最新の結果のみが反映されます。

"最新のテスト結果"は多くのレポートで使用される概念で、以下のように決められます:

以下の表が表示されます:

全ビルドステータス

全ビルドの実行結果を一覧表示します。 各ビルドのテストケースの合計数、成功数、成功率、失敗数、失敗率、ブロック数、ブロック率、未実行数、未実行率を表示します。 もし、同一ビルドでテストケースが複数回実行されている場合は、最新のテスト結果が考慮されます。

メトリクスの抽出

このレポートはクエリ入力ページと、クエリデータを含むクエリ出力ページから構成されます。 4種類のコントロールでクエリを形成することができます。 デフォルトでは、最も多くのテストケースとビルドを選択するように各コントロールが設定されています。 コントロールを変更することにより、指定したオーナー、キーワード、テストスイート、ビルドの組み合わせによって、 レポートに表示される結果をフィルタリングすることができます。

"クエリを送信"ボタンをクリックすると、クエリ出力ページが表示されます。

クエリ出力ページ:

  1. レポートを作成するために使用したクエリーパラメータ
  2. テスト計画内の合計
  3. スイートごとの全実行結果の合計 (総テストケース数 / 成功 / 失敗 / ブロック / 未実行)。 もし、あるテストケースを複数のビルドで複数回実行した場合、選択したビルドに関連する全ての実行結果を表示します。 しかし、テストスイートの実行結果の要約には、選択したビルドに対する"最新のテスト結果"のみが反映されます。

ブロック、失敗、未実行のテストケースのレポート

これらのレポートは、ブロック、失敗、未実行の全テストケースを表示します。 "最新のテスト結果"のルール(全般的なテスト計画のメトリクスの項で説明しました)によって、 テストケースがブロック、失敗、未実行に該当するかどうかを判定します。 TestLinkとバグ管理グシステムを統合して使用している場合は、ブロックと失敗のレポートに関連するバグが表示されます。

テストレポート

全ビルドの全テストケースのステータスを表示します。同一ビルド内でテストケースが複数回実行された場合は、最新の結果が表示されます。 このレポートでは、"?" マークを未実行のテストケースを表わすために使用します。 大量のデータを使用している場合は、ブラウジングが簡単なExcel形式で出力することをお勧めします。

グラフ - 全般的なテスト計画のメトリクス

グラフに表示される結果は、"最新のテスト結果"のルールに従って計算されます。グラフのアニメーションは、ユーザが現在のテスト計画のメトリクスを把握するための手助けとなるでしょう。 以下の4種類のグラフが表示されます:

棒グラフは、成功、失敗、ブロック、未実行のテストケース数を 近似的に示しています。

このレポートページを表示するためにはflashプラグインが必要です。 グラフィカルに結果を表示するために http://www.maani.us が提供している flash 技術を使用しています。

各テストケースのバグの合計

このレポートは、テストプロジェクト内のバグが発見されたテストケースを表示します。 このレポートはバグトラキングシステムが接続されている場合のみ表示されます。