TABOK粗読による自動化の座学 - カテゴリー12「自動テストのレポートと分析」

　さあ、ついに最後のカテゴリーまでやってきました。感無量ですね。
　カテゴリー12は「自動テストのレポートと分析」です。

自動テスト開発のメトリクス

　テストのレポートといえば、テストの結果レポートとお思いでしょう。甘い！この節では、自動テストがどの程度進んでいるかの進捗レポートの説明があります。
　TABOKにあるレポートの例をグラフにしてみました。

　「自動化可能なテストのうち、どれだけ自動化できたか」（30.2%）と、「テスト全体のうち、どれだけ自動化できたか」（21.8%）をメトリクスにしています。節約できた時間についても同じように考えます。

実行レポートと分析

　さあ！ここからが本当のレポートだ。

　レポートを、「High Level」と「Low Level」に区別しています。Highは、エラい人向けのサマリ。Lowは開発者向けの詳細ログ含めたレポート。
　正直、あまり細かいことは説明されていません。レポートはツールに依存してしまう部分が多いので、仕方ないのかな。

　さて、テスト失敗などの問題がレポートされれば、それを解析することになります。レポートを拾い上げてから切り分け、解析といった流れが、フローチャート式に図示・説明されています。
　自動テストでは、スクリプト自体のバグと無縁で入られないため、バグトラックのフローも、固有の注意点があります。たとえば以下の1文には、テスト自動化エキスパートの恨み言が感じられますよ。

Automation is often used as a scapegoat, so the first thing a software developer will ask is whether it was done manually or with a script. （意訳：不具合が出たって言ったらまっさきに「自動テストのせいじゃね？」と言われるから生きるのが辛い）

　この「解析」の節は、カテゴリー10「デバッグの技術」に寄せる内容のように思いますね。

　さて、これでひと通り粗読してみました。
　この後は付録になっていて、けっこうボリュームもあります。時間ができたらまた目を通してみようかと。用語集の他、ROIの算出サンプルなど面白そうです。
　興味を一ミリでも持った人は、ぜひ購入してください。TABOKを語りましょう。

www.kzsuzuki.com