ソフトウェアの品質を学びまくる2.0

ソフトウェアの品質、テストなどについて学んだことを記録するブログです。

テスト設計・技法

AI/DLシステムの説明可能性と組み合わせテストの関係

はじめに 辰巳敬三さんが先日、このようなツイートをされていました。 Automated Combinatorial Testing for SoftwareExplainable Artificial Intelligencehttps://t.co/xvOyV4lAkA— Keizo Tatsumi (@KeizoTatsumi) June 6, 2019 「An Application of Combin…

ドメイン分析テスト周りの用語の整理メモ

Twitter上で不定期に議論になる、ドメイン分析テストにおけるOn/Off、In/Outなどについての整理メモ*1です。 同値分割、境界値分析、ドメイン分析についての概要を知っていることを前提としています。 用語の定義 『ソフトウェアテスト技法ドリル』でも『は…

同値分割の「partition(ing)」という単語についてのメモ

同値分割に関する湯本さんのnoteを読んでの、単なるメモです。 note.mu そもそも、part、partition、partitioning と、英単語の時点でややこしいんですよね。以下、Oxford Dictionaryからの引用ですが、適宜はしょっています。 part An amount or section wh…

有則のテストは「組み合わせテスト」の技法に含まれるのか?

Twitterで、「組み合わせテストに分類されるテスト技法はどれか」という話が流れていました。 デシジョンテーブル、原因結果グラフ、原因流れ図といった、いわゆる「有則」のテスト技法でも命題の真偽の組み合わせを考えますが、これは組み合わせテストに含…

ソフトウェアテスト技法の使い間違いって何? 彼氏はいるの? 性格が悪いって本当? 調べてみました!#テストアドカレ

この記事は、ソフトウェアテストの小ネタ Advent Calendar 2018、17日目の記事です(先走り)。 qiita.com 16日は、mktkさんの以下の記事でした。 panmania.hatenadiary.com 0. テスト技法の「使い間違い」 1. デシジョンテーブル: 実装を無視して圧縮する!…

『テスト管理を語る夕べ』での発表内容についての補足(とか言い訳) ー 後編

まーた間が空いてしまいましたが、後編では、当日の関連ツイート(togetter)に対し回答・補足していきたいと思います。 www.kzsuzuki.com togetter.com 資料はコチラです。 20181102_テスト管理を語る夕べ from Kazuhiro Suzuki www.slideshare.net そもそ…

『テスト管理を語る夕べ』での発表内容についての補足(とか言い訳) ー 前編

『テスト管理を語る夕べ』というイベントで、お話をさせていただきました。 主催のみっきーさん、インフラ整えてくださってしんすくさんとなそさん、twitter実況してくれた書記のぱいんさんとブロッコリーさん、←どんなメンツなんだ? そしてこんなマニアッ…

モデルベースドテストについて学んでみよう ー その1

この記事は、「モデルベースドテストについて学んでみよう」2018年アドベントカレンダー、1日目の記事です。 こんな構成で、クリスマスまでに8夜分くらい書く予定です。 例によって、ISTQBシラバスを読みながら、自分の理解をまとめる。 MBTを実現するための…

JSTQB-TTAシラバスのお勉強 ─ 第2章「構造ベースドテスト」(2)

ずいぶん間が空いてしまいましたが、TTAの第2章の残り分、2.5~2.8までです。 www.kzsuzuki.com 2.5 複合条件テスト 対応するカバレッジは、複合条件網羅。すべてのパラメタのすべての真偽を組み合わせる方法です。 すぐに組み合わせ爆発が起こることは想像…

Ericssonの『ユニットテストカバレッジの神話』を読んでみる

今年の4月に『Mythical Unit Test Coverage』(ユニットテストカバレッジの神話)という論文が出ました。ソースコードの品質指標として言及されることの多いコードカバレッジについて、先行研究を整理したうえで、商用の大規模ソフトウェアにおける追加検証…

JSTQB-TTAシラバスのお勉強 ─ 第2章「構造ベースドテスト」(1)

TTAシラバスの第2章「構造ベースドテスト」は非常に謎めいた構成で、2.2から2.6までがコードカバレッジの話なのに、2.7が突然「APIテスト」なのです。なんだかとてもバランスが悪い印象なのですが、とにかく進むしかありません。 あと「based」の訳が当初「…

機械学習の分野でも注目される、メタモルフィックテスティングとは何か。

先日のJEITAのイベントで、メタモルフィックテスティング(Metamorphic Testing、MT)というものを知り、「誰かMetamorphic Testingの勉強会やりませんか?」とブログに書いたところ、ソフトウェアテスト・ヒストリアンの辰巳さんが資料をたくさん紹介してく…

テスト技法学習のビッグウェーブに乗りたい気持ちと、頑ななる精神

今年のWACATEのテーマの1つがドメイン分析だったり、先日初めて開催されたJSTQBアドバンストレベル テストアナリストの試験でテスト技法の問題が大量出題された(らしい)りと、テスト技法の流行がまた来てるのでしょうか? テスト技法といえば、関東圏では2…

第1回『事例とツールで学ぶHAYST法』勉強会を開催します。

定員25名に対しもう十分申し込みいただいているので、いまさら宣伝することもないのですが、自分のブログにも記録しておきます。2014年9月30日に、@Niftyエンジニアサポート様のサポートを受けて、勉強会を開催いたします。 【中止】第1回『事例とツールで学…

ソープオペラテストとは何か。

さあ今日も、人の褌で相撲を取る「とは何か」シリーズです! 今日ご紹介するのは、Soap Opera Testing。Hanz Buwalda氏によるstickymindsの記事が、コチラ[pdf]にあります。 ソープオペラテストとは? 「ソープオペラ」の意味・語源は記事内でも紹介されてい…

「コピー&ペースト&モディファイ法」の第二の側面

無知見のテスト対象に対して、テスト計画・テスト設計という本来あるべきプロセスを省略し、素早くテスト実装を行うことのできる極めてプラクティカルなテスト技法として、「コピー&ペースト&モディファイ法」(通称「CPM法」)があります。 詳しくは、@snsk…

Property-based Testing、そしてExample-based testingとは何か。

Property-based Testingという概念があることを知りましたので、元ネタを読んでみました。 blog.jessitron.com Jessica Kerrさんのこの記事に、定義が書かれています。 Property-based testingでは、入力に対するコードの出力に関するstatementを作成する。…

【翻訳】ソフトウェアセキュリティに関するブラックボックステスト技法

はじめに Software Testing Geniusという天才的な名前のブログに、以下のエントリーがありました。 www.softwaretestinggenius.com ソフトウェアテスト技法ポジショニングマップでいう上象限のお話で、テスト設計より後の、自動テストとして実行できるテスト…

テスト入力値の自動生成と、concolic testing

ほとんど参加できなかったJaSST'13 Tokyoに絡んで、秋山浩一さんから「concolic testing」という言葉を聞きました。 @kz_suzuki @krsna_sub 私も聞き取れなかったのですが、たぶん、Concolic testing のような物の事だと思いました。— akiyama924 (@akiyama9…

境界値分析に関する話題にちょっと便乗

仙台ソフトウェアテスト勉強会のブログのコチラのエントリーでは、境界値分析(Boundary Value Analysis)を扱っています。 ameblo.jp このエントリーと、境界値分析のon/off、in/outに関するツイートまとめを合わせて読むと、すっきり理解した気になれるの…

ドリル勉強会第7回、状態遷移図

11/21に開催された、第7回ソフトウェアドリル勉強会。テーマは、ドリル第5章「時間を網羅する」で現れる技法・状態遷移図・状態遷移表でした。 主催者である加瀬さんによるtogetterまとめはコチラにあります。いつもありがとうございます。 togetter.com 状…

コードカバレッジについて、また考える - その2

その1の続きです。その2では、「LCSAJ」と「経路網羅」について書きます。 www.kzsuzuki.com コードの中で、ジャンプする LCSAJ LCSAJは「Linear Code Sequence And Jump」の略。読み方がわからない。 LCSAJのJはジャンプ。FORステートメントにおいて最後の…

SQiPシンポジウム2011に参加した! - その4

その3はコチラです。 www.kzsuzuki.com 2日目、後半のセッションです。 先進技術の適用 このテーマは、現場の工夫による改善というよりは、大きな一歩を踏み出してみた感のある内容。実験のコストもかかっているだろうなあという内容で、聞く方にとってもあ…

SQiPシンポジウム2011に参加した! - その3

その2はこちら。 www.kzsuzuki.com 今日は2日目のお話です。さっさと書き終わろうと思っていたのに、もう開催から1週間経ってしまった。 テスト 組み合わせテストの手法、テストシナリオの網羅性、テスト観点の体系化と、それぞれかなり違うお話が聞けました…

ドリル勉強会第6回、ペアワイズ法 - その3

9月2日(金)の第6回「ソフトウェアテスト技法ドリル」勉強会が終わりました。 atnd.org 加瀬さんによるtogetterまとめがコチラにあります。 togetter.com わたしはtwitterのこの生中継を見ながら、益のないつぶやきをしていました。当日の演習問題の内容も教…

ドリル勉強会第6回、ペアワイズ法 - その2

では問題を解いてみます。もう26時半だけどね。。。 まずは単純に組み合わせを 単純に、各因子が取りうる水準を記述して、「生成」してみましょう。 PictMaster(と、裏で動くPICT)では、とりえあずこのように因子と水準を記述するだけで、2因子の組み合わ…

ドリル勉強会第6回、ペアワイズ法 - その1

9月2日(金)は、第6回「ソフトウェアテスト技法ドリル」勉強会です。 atnd.org 原因結果グラフ・原因流れ図・FL図、そして補習会に参加し、第6回の「ペアワイズ法」もぜひ出たかったのですが、あいにく都合が合わず。 参加されるみなさんの実況&togetterを楽…

JSTQB-ALのお勉強(2周目) ─ 2.1~2.4

過去のエントリは以下にあります。この中で、あらためて調べたことなどをまとめておきます。 捏造練習問題は、後日・・・。 kzsuzuki.hatenablog.com kzsuzuki.hatenablog.com 2周目の補足事項 テストオラクルって何者? 先日twitter上で、「テストベースと…

CFDの補習会でさらなる学びを得た(つもり) - その3

補習会の終盤は、CFDに関する質問に、秋山さんが答えてくださるという内容でした。その中から、いくつか選んで紹介いたします。 www.kzsuzuki.com www.kzsuzuki.com togetter.com つなぐとグチャグチャ複雑になるのは? CFDを描くときの悩みとして、「つなぎ…

CFDの補習会でさらなる学びを得た(つもり) - その2

CFD法補習会のログ第2回。「その1」はコチラです。 www.kzsuzuki.com 会の最初のトピックであった、「仕様からどのようにCFDを描くか」という問題について書きます。 集合が重なりあうとき まずは簡単な演習として、次の例題を、みんなでCFDにしてみました。…