ソフトウェアの品質を学びまくる

ソフトウェアの品質、ソフトウェアテストなどについて学んだことを記録するブログです。

テスト自動化

テスト自動化による効果としての工数削減を絵にすると

最近ポエムしか書いていないのですが、今日も元気にポエム as a excuse(言い訳としてのポエム)です。 「テスト自動化の目的は工数削減!」というのは筋悪な思考と言われがちですが、それをあえてお絵描きしてみました。 工数削減だけが嬉しさ? これまで、…

テスト設計モデリングツール・GIHOZと、テストプロセスのつながり方について

Veriserveさんからリリースされた、テスト設計モデリングツール「GIHOZ」のおためしを、2回の記事で紹介しました。 www.kzsuzuki.com www.kzsuzuki.com 今回は、GIHOZへの期待と、テストプロセスのツールってこうなるのかなーという想像について書きます。 G…

自動化によるテスト工数削減をメトリクスで見る場合のトラップ

テストの自動化を進める際、そのよしあしを確認するために、いろいろなカットからのメトリクスを取ると思います。 たとえば進捗を測るためには、テストケースを自動化した割合。効率化を測るためには、自動テストによって削減できた時間や、逆に自動テストが…

Checking vs Testing 論争への強烈な皮肉

Jason Arbonさんによるブログ記事「Checking vs Testing」は、「Checking vs Testing みたいな議論は、時間の浪費に過ぎない。この記事自体も含めて」という皮肉ですね。 medium.com なお、ほぼ同じタイトルの記事は、有名なコチラ。 www.developsense.com J…

【翻訳】AIベーステストの6つのレベル - QAのプロにとって恐れるべきものではない

Gil Tayarさんの「6 levels of AI-based testing: Have no fear, QA pros」という記事がteckbeacon.comで公開されていたので、紹介します。モバイルアプリやWebアプリなど、画面の操作を伴うアプリケーションを前提とした内容になっています。 techbeacon.co…

「テスト自動化カンファレンス2014」、盛況のもと終了いたしました! #stac2014

本日12月14日、テスト自動化カンファレンス2014(#stac2014)でお話ししてきました。 こういう場、人数、広さでプレゼンテーションをするというのは初めての経験だったので、お聞き苦しいところもあったと思います。特に後半、加速しまくっちゃいました。ごめ…

いまさら過ぎる告知、システムテスト自動化カンファレンス2014

テスト自動化研究会(STAR)の旗艦イベント、「システムテスト自動化カンファレンス」を、2014年も開催します! 日時は2014年12月14日(日)、お申込みはこちらから! ちなみに現時点で、一般講演枠191席中296席埋まっています!? 僕も1時間という(僕にとっ…

『システムテスト自動化 標準ガイド』のAmazon予約が始まりました!

テスト自動化研究会(STAR)では並行していくつかのプロジェクトを進めています。 そのプロジェクトの一つに、「『Software Test Automation』の翻訳」という大事業(笑)があります。わたしはこのプロジェクトのなんちゃってまとめ役を務めております。 『Sof…

探索的テストと他のテストを比べてみる。

試験前になると部屋の掃除をしたくなる現象がありますが、『システムテスト自動化 標準ガイド』(通称「ギア本」)の出版プロジェクトでレビューゾンビと化していた時にも「うおーっ、これも勉強したいあれも勉強したい、ブログも書きたいし焼き肉も食べたい…

テストの自動化にROIなんてないんじゃない?

JaSST2013 Tokyoや、テスト自動化カンファレンス2013で、テスト自動化研究会は「テスト自動化のROI」というのを一つのテーマとして発表しています。 何が全テスト自動化だ、何がリグレッションテストコストがゼロ円だ、何がプロジェクトを強くしてやるだ!夢…

システムテスト自動化カンファレンスが開催されるよ! #stac2013

テスト自動化研究会(STAR)主催の「システムテスト自動化カンファレンス」が、12月に開催されます。 本日正午くらいに参加募集が始まりましたが、200人枠中、現時点ですでに99人埋まっていました・・・!これは期待。 kokucheese.com gihyo.jpさんにも告知…

【翻訳】ソフトウェアセキュリティに関するブラックボックステスト技法

はじめに Software Testing Geniusという天才的な名前のブログに、以下のエントリーがありました。 www.softwaretestinggenius.com ソフトウェアテスト技法ポジショニングマップでいう上象限のお話で、テスト設計より後の、自動テストとして実行できるテスト…

テスト自動化研究会のコミュニティができました

テスト自動化研究会(STAR: Software Test Automation Research)ではさきごろ、googleグループを使ったコミュニティを立ち上げています。 まだ立ち上がりたてなので、ディスカッションの充実もこれからになるかと思いますが、本会への参加に比べて参加のハ…

TABOK粗読による自動化の座学 - カテゴリー12「自動テストのレポートと分析」

さあ、ついに最後のカテゴリーまでやってきました。感無量ですね。 カテゴリー12は「自動テストのレポートと分析」です。 自動テスト開発のメトリクス テストのレポートといえば、テストの結果レポートとお思いでしょう。甘い!この節では、自動テストがどの…

TABOK粗読による自動化の座学 - カテゴリー11「エラー処理」

カテゴリー11のテーマは「エラー処理」。 カテゴリー7でくどいほど言われましたが、テストが途中でコケることは、多くの品質属性においてダメとされます。バグを見つけて直しておくのが、カテゴリー10。それでも想定外の動きが現れたときに、自動テストを立…

TABOK粗読による自動化の座学 - カテゴリー10「デバッグの技術」

カテゴリー10は、「デバッグの技術」です。 www.kzsuzuki.com ここでいうデバッグはもちろん、テストスクリプトのデバッグ。 自動テストで避けるべきは、テストの対象であるアプリは悪くないのに間違って欠陥と判定してしまう擬陽性と、アプリが悪いのに気づ…

TABOK粗読による自動化の座学 - カテゴリー9「自動化の対象」

スキルカテゴリー9は「Automation Objects」。画面上の部品を、テストスクリプトにどう認識させるかについての話です。この部品のことを「オブジェクト」と呼んでいます。 オブジェクトの特定 画面上のオブジェクトを特定する方法。一番クラシックなのは、「…

TABOK粗読による自動化の座学 - カテゴリー8「プログラミングのコンセプト」

カテゴリー8以降は、Segment3「Microscopic Process Skills」に入ります。より実装面に近い話です。 www.kzsuzuki.com カテゴリー1にあったように、比率的には、セグ1:セグ2:セグ3 = 1:6:3 くらいでしょうか。だいぶ後半に入ってきました。 で、カテゴリー8…

TABOK粗読による自動化の座学 - カテゴリー7「品質属性の最適化」(2)

前回の続きです。 www.kzsuzuki.com 7.2 品質属性から見た自動化フレームワーク カテゴリー4で学んだフレームワークを、8つの品質属性の得手・不得手で整理しているのがこの章です。 www.kzsuzuki.com ・・・正直、あまり見やすい表じゃない。横軸を品質属性…

TABOK粗読による自動化の座学 - カテゴリー7「品質属性の最適化」(1)

9月は仕事とイベントにかまけてました。低品質を誇る当ブログ、質の悪さを量で補おうと、今年は50本のエントリーを書くことを目標にしています。これで36本目みたいです。 www.kzsuzuki.com さて、カテゴリー7は、「品質属性の最適化」です。初めは「Quality…

TABOK粗読による自動化の座学 - カテゴリー6「自動テストのスクリプトのコンセプト」

スキルカテゴリー6は、「自動テストのスクリプトのコンセプト」(Automated Test Script Concepts)です。 www.kzsuzuki.com よくわからないカテゴリー名ですが、カテ5で学んだフレームワーク選択後の、以下の3つのアクティビティに関する内容になっています…

TABOK粗読による自動化の座学 - カテゴリー5「自動テストのフレームワーク設計」(2)

カテゴリー5をさくっと読み終えましょう。 www.kzsuzuki.com 5.3 フレームワークのディレクトリ構造の決定 自動化フレームワークの一式を他のマシンに移動したりすることもあるので、各種スクリプトやライブラリを配置するディレクトリ構造を、事前にしっか…

TABOK粗読による自動化の座学 - カテゴリー5「自動テストのフレームワーク設計」(1)

カテゴリー5は、自動化テストのフレームワークの設計です。 www.kzsuzuki.com 以下の5つの手順が紹介されています。(1)では、最初の2つを。 フレームワークタイプの選択 フレームワークの部品の特定 フレームワークのディレクトリ構造の決定 実装の標準ルー…

TABOK粗読による自動化の座学 - カテゴリー4「テスト自動化フレームワーク」(3)

カテゴリー4終わらせるよー。 www.kzsuzuki.com 自動化レベル3は、最も成熟した自動化のフレームワークで、「キーワード駆動(Keyword-Driven)」と、「モデルベースド(Model-based)」の2つの要素からなります。 4.2.4.1 キーワード駆動 「キーワード駆動…

TABOK粗読による自動化の座学 - カテゴリー4「テスト自動化フレームワーク」(2)

機能テストの自動化、レベル2のお話です。 www.kzsuzuki.com レベル1を読んで、「いやそんなはずないだろ」って思いますよね。 www.kzsuzuki.com 「テキストボックスに”25”を入れてクリック・・・」「テキストボックスに”35”を入れてクリック・・・」という…

テストツールを1から学べる素晴らしい資料・『テストツールまるわかりガイド(入門編)』が登場

JaSST’12 Tokyoで発行が宣言されていた、テスト支援ツールの「小冊子」が、満を持して公開されました! お待たせしました。ASTERテストツールWGでは、1月のJaSST12で約束したとおり冊子を作って公開しました「テストツールまるわかりガイド(入門編)」aster…

TABOK粗読による自動化の座学 - カテゴリー4「テスト自動化フレームワーク」(1)

カテゴリー4: テスト自動化のフレームワークは、自動化に要するコストの話、ユニットテストの自動化の話、機能テストの自動化の「レベル」についての話の3つに分けられます。カテゴリー1に次いで長い章なので、2回に分けて紹介します。 www.kzsuzuki.com 4.1…

TABOK粗読による自動化の座学 - カテゴリー3「テスト自動化のツール」

スキルカテゴリー3は「自動化ツール」。ツールの分類です。 www.kzsuzuki.com ここで初めて、TABOKガイドの対象としている「自動化」の範囲がなんとなくわかります。 A key skill in test automation includes understanding, using, and supporting the tes…

TABOK粗読による自動化の座学 - カテゴリー2「テスト自動化の種類とインターフェース」

TABOKガイド スキルカテゴリー2は、「テスト自動化の種類とインターフェース」です。 www.kzsuzuki.com テスト自動化と一口にいっても、実は多様。自動化エンジニアは、おのおの得意分野以外の分野についても広く、基本的なことを知っておく必要があります。…

TABOK粗読による自動化の座学 - カテゴリー1「テスト自動化の役割」(3)

TABOK粗読による自動化の座学 - カテゴリー1「テスト自動化の役割」(3)W. Charles Slavin. Software Peer Reviews: An Executive Overview. Cincinnati SPIN. January 9, 2007. 第4回、ようやくsegment2(カテゴリ1)が終わりですね。 www.kzsuzuki.com自動…