結果/テストレポートとメトリクスの概要
トップページのコントロールによって選択されているテスト計画に関するレポートを表示します。実行中のテスト計画と異なるテスト計画を選択することも出来ます。
テストレポートは以下の3種類の方法で表示することができます:
- Normal - Webページにレポートが表示
- MS Excel - Microsoft Excel用にレポートをエクスポート
- HTML Email - ユーザのアドレスにEメールでレポートを送信
「印刷」ボタンはレポートを印刷するときのみ有効です。
数種類のレポートを表示することができます。それらの機能や目的については以下で説明します。
全般的なテスト計画のメトリクス
このページでは、テストスイート、オーナー、キーワードごとのテスト計画の最新のステータスを表示します。
"最新のテスト結果"とは、最後に実行したビルドに関するテストケースの結果を示しています。
例えば、複数のビルドにわたってあるテストケースを実行した場合は、最新の結果のみが反映されます。
"最新のテスト結果"は多くのレポートで使用される概念で、以下のように決められます:
- テスト計画に追加された順番によって、ビルドの新旧が決まります。
ビルドの最新のビルドの結果は古いビルドの結果よりも優先されます。
例えば、ビルド1で"失敗"したテストケースでも、ビルド2で"成功"していれば、最新の結果は"成功"となります。
- あるテストケースが同じビルド内で複数回実行された場合は、最新の実行結果が優先されます。
例えば、ビルド3のリリース後、テスト担当者1よって午後2時に"成功"したテストケースでも、
テスト担当者2によって午後3時に"失敗"と記録されれれば、最新の結果は"失敗"となります。
- 未実行のビルドがある場合は、そのテストケースの結果にはそのビルドは影響しません。
例えば、ビルド1で"成功"したテストケースが、テスト2で"未実行"だった場合は、
最新の結果は"成功"となります。
以下の表が表示されます:
- 最上位のテストスイートごとの結果
各最上位スイートの結果が一覧表示されます。
成功、失敗、ブロック、未実行のテストケースの合計、そして完了率を表示します。"完了した"テストケースとは、成功、失敗、ブロックの結果となったテストケースのことです。
トップレベルスイートの結果には全ての子スイートの結果を含みます。
- キーワードごとの結果
現在のテスト計画のテストケースにアサインされているキーワードを全て表示します。
またそのキーワードに関連するテストケースを表示します。
- オーナーごとの結果
現在のテスト計画の中で、各オーナーにアサインされたテストの結果を一覧表示します。
未アサインのテストケースは、"未アサイン"という見出しのもとに集計されます。
全ビルドステータス
全ビルドの実行結果を一覧表示します。
各ビルドのテストケースの合計数、成功数、成功率、失敗数、失敗率、ブロック数、ブロック率、未実行数、未実行率を表示します。
もし、同一ビルドでテストケースが複数回実行されている場合は、最新のテスト結果が考慮されます。
メトリクスの抽出
このレポートはクエリ入力ページと、クエリデータを含むクエリ出力ページから構成されます。
4種類のコントロールでクエリを形成することができます。
デフォルトでは、最も多くのテストケースとビルドを選択するように各コントロールが設定されています。
コントロールを変更することにより、指定したオーナー、キーワード、テストスイート、ビルドの組み合わせによって、
レポートに表示される結果をフィルタリングすることができます。
- キーワード 0個または1個のキーワードを選択することができます。
デフォルトでは、キーワードは選択されていません。
キーワードが選択されていない場合は、キーワードアサインに関係なく、全てのテストケースに関する結果を表示します。キーワードはテスト仕様のページもしくは、キーワード管理のページでアサインすることができます。
キーワードは、全テスト計画の全バージョンのテストケースにわたってアサインすることができます。
特定のキーワードがアサインされているテストケースの結果に興味がある場合は、このコントロールにキーワードを設定してください。
- オーナー 0人または1人のオーナーを選択することができます。
デフォルトではオーナーは選択されていません。
オーナーが選択されていない場合は、オーナーのアサインに関係なく、全てのテストケースに関する結果を表示します。
"未アサイン"のテストケースは検索できません。オーナーシップは、"テスト実行のアサイン"のページでアサインすることができ、テスト計画ごとにアサインされます。
特定のテスト担当者が実行したテストケースの結果に興味がある場合は、このコントロールにオーナーを設定してください。
- トップレベルテストスイート 0個からn個のトップレベルテストスイートを選択することができます。デフォルトでは全てのテストスイートが選択されています。
選択したテストスイートの結果のみが、クエリーのメトリクスに反映されます。
特定のテストスイートの結果に興味がある場合は、このコントロールを操作してください。
- ビルド 1個からn個のビルドを選択することができます。デフォルトでは全てのビルドが選択されています。
選択したビルドでの実行結果のみを使用してメトリクスが計算されます。
例えば、最後の3回のビルドで、いくつのテストケースを実行したかを調べたい場合は、このコントロールを操作してください。
キーワード、オーナー、トップレベルテストスイートを選択することで、テスト計画ごと、テストスイートごとの
メトリクスの計算に使用するテストケースの数を変化させることができます。
例えば、オーナー="Greg"、キーワード="優先度1"と全テストスイートを選択した場合は、Gregにアサインされた優先度1のテストケースのみが計算に使用されます。
レポートの"テストケース数"の合計は、これら3種類のコントロールによって決められます。
ビルドの選択は、"成功"、"失敗"、"ブロック"、"未実行"の数に影響します。
先に説明した、"最新のテスト結果"のルールを参照してください。
"クエリを送信"ボタンをクリックすると、クエリ出力ページが表示されます。
クエリ出力ページ:
- レポートを作成するために使用したクエリーパラメータ
- テスト計画内の合計
- スイートごとの全実行結果の合計
(総テストケース数 / 成功 / 失敗 / ブロック / 未実行)。
もし、あるテストケースを複数のビルドで複数回実行した場合、選択したビルドに関連する全ての実行結果を表示します。
しかし、テストスイートの実行結果の要約には、選択したビルドに対する"最新のテスト結果"のみが反映されます。
ブロック、失敗、未実行のテストケースのレポート
これらのレポートは、ブロック、失敗、未実行の全テストケースを表示します。
"最新のテスト結果"のルール(全般的なテスト計画のメトリクスの項で説明しました)によって、
テストケースがブロック、失敗、未実行に該当するかどうかを判定します。
TestLinkとバグ管理グシステムを統合して使用している場合は、ブロックと失敗のレポートに関連するバグが表示されます。
テストレポート
全ビルドの全テストケースのステータスを表示します。同一ビルド内でテストケースが複数回実行された場合は、最新の結果が表示されます。
このレポートでは、"?" マークを未実行のテストケースを表わすために使用します。
大量のデータを使用している場合は、ブラウジングが簡単なExcel形式で出力することをお勧めします。
グラフ - 全般的なテスト計画のメトリクス
グラフに表示される結果は、"最新のテスト結果"のルールに従って計算されます。グラフのアニメーションは、ユーザが現在のテスト計画のメトリクスを把握するための手助けとなるでしょう。
以下の4種類のグラフが表示されます:
- 1. 成功 / 失敗 / ブロック / 未実行のテストケースを表わす円グラフ
- 2. キーワードごとの結果を表わす棒グラフ
- 3. オーナーごとの結果を表わす棒グラフ
- 4. トップレベルテストスイートごとの結果を表わす棒グラフ
棒グラフは、成功、失敗、ブロック、未実行のテストケース数を
近似的に示しています。
このレポートページを表示するためにはflashプラグインが必要です。
グラフィカルに結果を表示するために http://www.maani.us が提供している flash 技術を使用しています。
各テストケースのバグの合計
このレポートは、テストプロジェクト内のバグが発見されたテストケースを表示します。
このレポートはバグトラキングシステムが接続されている場合のみ表示されます。