結果/テストレポートとメトリクスの概要

レポートのコントロール

1. アクティブビルドの選択

"アクティブビルド"というコントロールにより、 レポートを表示する対象となるビルドを選択することができます。

2. レポートフォーマット

(チャートを除く)全てのテストレポートは以下の3種類の方法で表示することができます:
  • 1. normal - Webページにレポートが表示
  • 2. MS Excel - Microsoft Excel用にレポートをエクスポート
  • 3. HTML email - ユーザのアドレスにEメールでレポートを送信
  • レポート

    現在のTestLinkのバージョンでは、10種類のレポートを表示することができます。 各レポートの目的と機能を以下で説明します。

    1)アクティブなビルドのレポート

    このレポートは"アクティブビルド"コントロールで選択したビルドについての詳細なテスト結果を表示します。選択したビルドの結果のみを表示します。 以下の表を表示します:

    トップレベルのテストスイートの結果

    トップレベルのスイートの結果を一覧表示します。成功、失敗、ブロック、未実行のテストケースの合計、そして完了率を表示します。 "完了した"テストケースとは、成功、失敗、ブロックの結果となったテストケースのことです。トップレベルスイートの結果には全ての子スイートの結果を含みます。

    テストスイートごとの結果

    トップレベルスイートだけでなく、全てのスイートの結果を表示します。

    キーワードごとの結果

    現在のテスト計画のテストケースに割り当てられているキーワードを全て表示します。またそのキーワードに関連するテストケースを表示します。

    2)一般的なテスト計画のメトリクス

    このページでは、テストスイート、オーナー、キーワードごとのテスト計画の最新のステータスを表示します。"最新のテスト結果"とは、最後に実行したビルドに関するテストケースの結果を示しています。例えば、複数のビルドにわたってあるテストケースを実行した場合は、最新の結果のみが反映されます。

    "最新のテスト結果"は多くのレポートで使用される概念で、以下のように決められます:
  • 1)テスト計画に追加された順番によって、ビルドの新旧が決まります。ビルドの最新のビルドの結果は古いビルドの結果よりも優先されます。例えば、ビルド1で"失敗"したテストケースでも、ビルド2で"成功"していれば、最新の結果は"成功"となります。
  • 2)あるテストケースが同じビルド内で複数回実行された場合は、最新の実行結果が優先されます。例えば、ビルド3のリリース後、テスター1よって午後2時に"成功"したテストケースでも、テスター2によって午後3時に"失敗"と記録されれれば、最新の結果は"失敗"となります。
  • 3)未実行のビルドがある場合は、そのテストケースの結果にはそのビルドは影響しません。例えば、ビルド1で"成功"したテストケースが、テスト2で"未実行"だった場合は、最新の結果は"成功"となります。

  • 以下の表が表示されます:

    最上位のテストスイートごとの結果

    各最上位スイートの結果が一覧表示されます。成功、失敗、ブロック、未実行のテストケースの合計、そして完了率を表示します。"完了した"テストケースとは、成功、失敗、ブロックの結果となったテストケースのことです。トップレベルスイートの結果には全ての子スイートの結果を含みます。

    キーワードごとの結果

    現在のテスト計画のテストケースに割り当てられているキーワードを全て表示します。またそのキーワードに関連するテストケースを表示します。

    オーナーごとの結果

    現在のテスト計画の中で、各オーナーに割り当てたれたテストの結果を一覧表示します。未割り当てのテストケースは、"未割り当て"という見出しのもとに集計されます。

    3.)総合的なビルドのステータス

    全ビルドの実行結果を一覧表示します。各ビルドのテストケースの合計数、成功数、成功率、失敗数、失敗率、ブロック数、ブロック率、未実行数、未実行率を表示します。もし、同一ビルドでテストケースが複数回実行されている場合は、最新のテスト結果が考慮されます。

    4.)クエリーのメトリクス

    このレポートはクエリー入力ページと、クエリーデータを含むクエリー出力ページから構成されます。

    クエリー入力ページ:

    4種類のコントロールでクエリーを形成することができます。デフォルトでは、最も多くのテストケースとビルドを選択するように各コントロールが設定されています。コントロールを変更することにより、指定したオーナー、キーワード、テストスイート、ビルドの組み合わせによって、レポートに表示される結果をフィルタリングすることができます。

    キーワード

    0個または1個のキーワードを選択することができます。デフォルトでは、キーワードは選択されていません。キーワードが選択されていない場合は、キーワード割り当てに関係なく、全てのテストケースに関する結果を表示します。キーワードはテスト仕様のページもしくは、キーワード管理のページで割り当てることができます。キーワードは、全テスト計画の全バージョンのテストケースにわたって割り当てることができます。特定のキーワードが割り当てられているテストケースの結果に興味がある場合は、このコントロールにキーワードを設定してください。

    オーナー

    0人または1人のオーナーを選択することができます。デフォルトではオーナーは選択されていません。 オーナーが選択されていない場合は、オーナーの割り当てに関係なく、全てのテストケースに関する結果を表示します。"未割り当て"のテストケースは検索できません。オーナーシップは、"テスト実行の割り当て"のページで割り当てることができ、テスト計画ごとに割り当てられます。特定のテスターが実行したテストケースの結果に興味がある場合は、このコントロールにオーナーを設定してください。

    トップレベルテストスイート

    0個からn個のトップレベルテストスイートを選択することができます。デフォルトでは全てのテストスイートが選択されています。選択したテストスイートの結果のみが、クエリーのメトリクスに反映されます。特定のテストスイートの結果に興味がある場合は、このコントロールを操作してください。

    ビルド

    1個からn個のビルドを選択することができます。デフォルトでは全てのビルドが選択されています。選択したビルドでの実行結果のみを使用してメトリクスが計算されます。例えば、最後の3回のビルドで、いくつのテストケースを実行したかを調べたい場合は、このコントロールを操作してください。 キーワード、オーナー、トップレベルテストスイートを選択することで、テスト計画ごと、テストスイートごとのメトリクスの計算に使用するテストケースの数を変化させることができます。例えば、オーナー="Greg"、キーワード="優先度1"と全テストスイートを選択した場合は、Gregに割り当てられた優先度1のテストケースのみが計算に使用されます。レポートの"テストケース数"の合計は、これら3種類のコントロールによって決められます。 ビルドの選択は、"成功"、"失敗"、"ブロック"、"未実行"の数に影響します。先に説明した、"最新のテスト結果"のルールを参照してください。

    "クエリーを送信"ボタンをクリックすると、クエリー出力ページが表示されます。

    クエリ出力ページ:

    ページには以下のレポートが表示されます:
  • 1. レポートを作成するために使用したクエリーパラメータ
  • 2. テスト計画内の合計
  • 3. スイートごとの全実行結果の合計 (総テストケース数 / 成功 / 失敗 / ブロック / 未実行)。もし、あるテストケースを複数のビルドで複数回実行した場合、選択したビルドに関連する全ての実行結果を表示します。しかし、テストスイートの実行結果の概要には、選択したビルドに対する"最新のテスト結果"のみが反映されます。
  • 5-7.)ブロック、失敗、未実行のテストケースのレポート

    これらのレポートは、ブロック、失敗、未実行の全テストケースを表示します。"最新のテスト結果"のルール(一般的なテスト計画のメトリクスの項で説明しました)によって、テストケースがブロック、失敗、未実行に該当するかどうかを判定します。TestLinkとバグトラッキングシステムを統合して使用している場合は、ブロックと失敗のレポートに関連するバグが表示されます。

    8.)テストレポート

    全ビルドの全テストケースのステータスを表示します。同一ビルド内でテストケースが複数回実行された場合は、最新の結果が表示されます。このレポートでは、"?" マークを未実行のテストケースを表わすために使用します。大量のデータを使用している場合は、ブラウジングが簡単なExcel形式で出力することをお勧めします。

    9.)チャート

    このレポートページを表示するためにはflashプラグインが必要です。グラフィカルに結果を表示するために http://www.maani.us が提供している flash 技術を使用しています。4種類のチャートに表示される結果は、"最新のテスト結果"のルールに従って計算されます。グラフのアニメーションは、ユーザが現在のテスト計画のメトリクスを把握するための手助けとなるでしょう。

    以下の4種類のチャートが表示されます:

    1. 成功 / 失敗 / ブロック / 未実行のテストケースを表わす円グラフ

    2. キーワードごとの結果を表わす棒グラフ

    3. オーナーごとの結果を表わす棒グラフ

    4. トップレベルスイートごとの結果を表わす棒グラフ

    棒グラフは、成功、失敗、ブロック、未実行のテストケース数を近似的に示しています。

    10.)各テストケースのバグの合計

    このレポートは、テストプロジェクト内のバグが発見されたテストケースを表示します。このレポートはバグトラキングシステムが接続されている場合のみ表示されます。