ソフトウェアの品質を学びまくる2.0

ソフトウェアの品質、テストなどについて学んだことを記録するブログです。

テストの価値とか目的とか期待とかについての雑記

前回書いた記事について、まったく想定外の角度からのツッコミを受けました。 「はじめてのテスト」 って、なし→失敗じゃないの?— あきやま (@akiyama924) 2020年3月14日 「期待」という言葉が未定義だったことに加えて、「テストの目的とは何か」という基…

テストの成功と失敗どちらを期待するのかマトリクスを描いてみる

2月に「リグレッションテストと他のテストを分けるものは何?」という、哲学的な問いが現れていたので、その疑問には全然答えない記事を書いてみます。 リグレッションテストとその他のテストを分けるのってつまるところ実行回数なのかな?2回目以降のテスト…

『ソフトウェアテスト技法 練習帳』を解きながら、自分の考え方も整理していく。

『ソフトウェアテスト技法 練習帳』を、じわじわ解いています。 ソフトウェアテスト技法練習帳 ~知識を経験に変える40問~作者:梅津 正洋,竹内 亜未,伊藤 由貴,浦山 さつき,佐々木 千絵美,高橋 理,武田 春恵,根本 紀之,藤沢 耕助,真鍋 俊之,山岡 悠,吉田 直史…

パスワード要件で原因結果グラフを描いてみたけれど苦しい。

完全にローカルメモ。 dマガジンというサービスのパスワード要件に一瞬迷ったのですが、秋山さんから「原因結果グラフを描くのだ!」とのご神託を受けたので、トライしてみました。 原因結果グラフを描くのだ!ちょっと難しいけど。— あきやま (@akiyama924)…

ソフトウェアの品質特性についての参考資料

前回の記事で、「テストのアトミック性」というコンセプトについて書きました。 www.kzsuzuki.com ISO/IEC25010ではソフトウェアの品質特性、つまりソフトウェアの価値や良し悪しを測るための軸を提示してくれていますが、「ソフトウェアのテスト」の良し悪…

モノリシックなテストケースという概念を考えてみる

TEF道(Test Engineer's Forum 北海道)のメンバーと、「テストケースの実行効率と説明責任」というテーマでディスカッションしていた頃からつらつらと考えていたアイデアのメモです。朝一の殴り書きなので、雑はご容赦。議論のきっかけになると嬉しい。 な…

Test Procedure(テスト手順)とは何か

ソフトウェアテストの用語「テスト手順」についてのメモ。 Test Procedure の誤解招き可能性(ミスアンダスタンダビリティ)は Test Condition と同レベルなので、必ず意識を合わせてから会話すべきやつなんですよね… /テストケースとテスト手順|suhahide|…

DDP(欠陥検出率)とは何か。

秋山浩一さんがTwitterで、DDP(Defect Detection Percentage、欠陥検出率)の良さについて言及されていました。 会場からの質問、その3。質問:テストが上手く行ったかどうかについて、どうやって確認しますか?(開発が頑張ったからかもしれません)返事:…

「定義」の難しさについてのポエム

概念の「定義」って難しいなあという気持ちについての雑記。 きっかけは「testing」という言葉の定義について、ISO/IEC/IEEE 29119 の定義を確認したことです。 29119-2の terms and definitions の最後の単語が testing なのロックじゃない?そしてその定義…

インシデントの「発生頻度」という言葉について

この記事は、欠陥のトリアージについてのメモ書きポエムです*1。 ソフトウェアのテストや本番環境で検出されたインシデントには、さまざまな情報が付加されていきます。 インシデント管理システムなどへの最初の登録の際には、発生したソフトウェアのバージ…

2019年に読んで好きになった本

「今年の漢字」を個人的に選ぶとしたら、わたしはまっさきに「A」を選びます。そう、「インフルエンザA型」のAですね。 保育園恒例のクリスマスプレゼントとして次男がまずもらい、それでも治る頃にはギリギリ帰省の予定には間に合うという日程感と思ってい…

テストケースの期待結果と事後条件の違いについて考えてみる

Peing*1でのにしさんへの質問で一瞬、テスト関連用語について議論が起きたので、自分の考えを整理しておきます。 質問の内容は、「期待結果」と「事後条件」の違いについてでした。 peing.net これを見てのわたしのツイートは以下です。 期待結果と事後条件…

判定器の「よしあし」に関するメトリクスを確認しておく - その2

機械学習の分類性能の指標として、「AUROC」「AUR-ROC」という言葉もよく出てくるので、Excelでいじってみました。 AUROCとは、「受信者操作特性曲線の下の面積」という直訳になりますが、意味不明ですね。 では前回に続いて、陽性か陰性かを分類するプログ…

GAFAの席巻に関する、語り口の全く違う2冊の本

『GAFA×BATH - 米中メガテックの競争戦略』と、『the four - GAFA 四騎士が創り変えた世界』という本を読みました。 タイトルの通りテーマはともにGAFAなのですが、切り口と味わいがまったく違ってとても面白いので、読書感想文を書いておきます。 GAFA×BATH…

テスト管理ツール「PractiTest」を触りながら勝手にテスト管理を語る - その7

「その6」の続き、最終回です。 www.kzsuzuki.com 標準ダッシュボードとカスタマイズについて言及できればと考えていたのですが、「それっぽいダッシュボード」の作りこみに時間がかかりそうなので、やめておきます! 最終回は、偶然見つけたPractiTestのバ…

テスト管理ツール「PractiTest」を触りながら勝手にテスト管理を語る - その6

「その5」(イシュー作成)の続きで、インポート・エクスポートの話です。 ただ「その5」でRedmine連携を試したので、先にSlack連携も試してみましょう。 www.kzsuzuki.com こちらもとても簡単です。すでにSlackにログイン中であれば、その中のチャネルから…

テスト管理ツール「PractiTest」を触りながら勝手にテスト管理を語る - その5

「その4」(テスト実行)の続きです。*1 www.kzsuzuki.com イシューの作成 ステップで失敗した場合には、イシューを作成することができます。 「Fail & Issue」から遷移できる イシュー作成画面に遷移すると、タイトルや概要が自動的に埋められています。 テ…

テスト管理ツール「PractiTest」を触りながら勝手にテスト管理を語る - その4

「その3」の続きです。 www.kzsuzuki.com テストケースの作成、テストセットへの割り当てと進んで、次は「実行」です。 テストの開始方法 テストセットの画面右上の「Run Now」から、テストセット内のインスタンスを実行していくことができます。この場合は…

テスト管理ツール「PractiTest」を触りながら勝手にテスト管理を語る - その3

「その2」の続きです。作成したテストケースを、実行に移していきましょう。 www.kzsuzuki.com テストセットの作成 テストセットについては、「その1」で説明しました。 www.kzsuzuki.com PractiTestにおけるテストセットとは、インスタンスの集合です。イン…

テスト管理ツール「PractiTest」を触りながら勝手にテスト管理を語る - その2

「その1」の続きで、PractiTestによるテストケース作成の話を書いていきます。この感じだと、テストケース作成・管理とテスト実行の話だけで力尽きる予定です。PractiTestの真価はそこじゃないとは思うんだけれど・・・。 www.kzsuzuki.com 探索的テストのサ…

テスト管理ツール「PractiTest」を触りながら勝手にテスト管理を語る - その1

OnlineTestConf Japanの開催が発表されました。開催日は2019年12月7日です。 主催元のPractiTest社は、テスト管理ソリューション「PractiTest」を提供するイスラエルの企業です。チーフソリューションアーキテクトのJoel Montveliskyさんは今年何度か来日し…

判定器の「よしあし」に関するメトリクスを確認しておく - その1

JaSST'19 TokyoでのQA4AIの発表資料『AIプロダクトに対する品質保証の基本的考え方』に、Model Robustnessのキーワードとして「正答率、適合率、再現率、F値」とあります。 QA4AI JaSST Tokyo 2019 from Yasuharu Nishi www.slideshare.net このあたり、自分…

テストを進めることで品質に何が起きているのか(思考実験)

この「ソフトウェアテスト Advent Calendar 2019」*1の、-34日目のエントリーです。 単なる思い付きの思考実験ですが、アイデアいただけると嬉しいです。 テスト実行と品質をどのように描くか ソフトウェアテストを、「対象とするソフトウェアの品質レベルを…

AI/DLシステムの説明可能性と組み合わせテストの関係

はじめに 辰巳敬三さんが先日、このようなツイートをされていました。 Automated Combinatorial Testing for SoftwareExplainable Artificial Intelligencehttps://t.co/xvOyV4lAkA— Keizo Tatsumi (@KeizoTatsumi) June 6, 2019 「An Application of Combin…

Open QA4AI Conferenceに参加してきました。#qa4ai

5/17(金)に、「Open QA4AI Conference」が上野にて開催されました。 qa4ai.connpass.com この日に合わせて、QA4AIコンソーシアムによる『AIプロダクト品質保証ガイドライン』も公開されており、セッション1では電通大の西先生がその解説をされています。 www…

境界値分析を行える対象とはどんなものなのか

同値分割と境界値分析は、セットで学ぶことが多い技法です。でも、どんな同値クラスにも境界値があるわけではありません。 たとえば、世界各国を同値分割することを考えましょう。 日本を「アジア」、エジプトを「アフリカ」、のように「地域」という切り口…

ドメイン分析テスト周りの用語の整理メモ

Twitter上で不定期に議論になる、ドメイン分析テストにおけるOn/Off、In/Outなどについての整理メモ*1です。 同値分割、境界値分析、ドメイン分析についての概要を知っていることを前提としています。 用語の定義 『ソフトウェアテスト技法ドリル』でも『は…

同値分割の「partition(ing)」という単語についてのメモ

同値分割に関する湯本さんのnoteを読んでの、単なるメモです。 note.mu そもそも、part、partition、partitioning と、英単語の時点でややこしいんですよね。以下、Oxford Dictionaryからの引用ですが、適宜はしょっています。 part An amount or section wh…

【読書メモ】世界の「かつて」と「今」を正しく捉えるための『FACTFULNESS』

FACTFULNESS(ファクトフルネス) 10の思い込みを乗り越え、データを基に世界を正しく見る習慣作者: ハンス・ロスリング,オーラ・ロスリング,アンナ・ロスリング・ロンランド,上杉周作,関美和出版社/メーカー: 日経BP社発売日: 2019/01/11メディア: 単行本この…

有則のテストは「組み合わせテスト」の技法に含まれるのか?

Twitterで、「組み合わせテストに分類されるテスト技法はどれか」という話が流れていました。 デシジョンテーブル、原因結果グラフ、原因流れ図といった、いわゆる「有則」のテスト技法でも命題の真偽の組み合わせを考えますが、これは組み合わせテストに含…