ソフトウェアの品質を学びまくる2.0

ソフトウェアの品質、テストなどについて学んだことを記録するブログです。旧ブログからゆっくり移行中です。http://blog.livedoor.jp/prjmng/

TABOK粗読による自動化の座学 - カテゴリー12「自動テストのレポートと分析」

 さあ、ついに最後のカテゴリーまでやってきました。感無量ですね。
 カテゴリー12は「自動テストのレポートと分析」です。
自動テスト開発のメトリクス
 テストのレポートといえば、テストの結果レポートとお思いでしょう。甘い!この節では、自動テストがどの程度進んでいるかの進捗レポートの説明があります。
 TABOKにあるレポートの例をグラフにしてみました。

c7c942f3

 「自動化可能なテストのうち、どれだけ自動化できたか」(30.2%)と、「テスト全体のうち、どれだけ自動化できたか」(21.8%)をメトリクスにしています。節約できた時間についても同じように考えます。

実行レポートと分析

 さあ!ここからが本当のレポートだ。
 レポートを、「High Level」「Low Level」に区別しています。Highは、エラい人向けのサマリ。Lowは開発者向けの詳細ログ含めたレポート。
 正直、あまり細かいことは説明されていません。レポートはツールに依存してしまう部分が多いので、仕方ないのかな。
 さて、テスト失敗などの問題がレポートされれば、それを解析することになります。レポートを拾い上げてから切り分け、解析といった流れが、フローチャート式に図示・説明されています。
 自動テストでは、スクリプト自体のバグと無縁で入られないため、バグトラックのフローも、固有の注意点があります。たとえば以下の1文には、テスト自動化エキスパートの恨み言が感じられますよ。
Automation is often used as a scapegoat, so the first thing a software developer will ask is whether it was done manually or with a script.
(意訳:不具合が出たって言ったらまっさきに「自動テストのせいじゃね?」と言われるから生きるのが辛い)
 この「解析」の節は、カテゴリー10「デバッグの技術」に寄せる内容のように思いますね。
TABOK
 さて、これでひと通り粗読してみました。
 この後は付録になっていて、けっこうボリュームもあります。時間ができたらまた目を通してみようかと。用語集の他、ROIの算出サンプルなど面白そうです。
 興味を一ミリでも持った人は、ぜひ購入してください。TABOKを語りましょう。