ソフトウェアの品質を学びまくる2.0

ソフトウェアの品質、テストなどについて学んだことを記録するブログです。

テスト管理ツール「PractiTest」を触りながら勝手にテスト管理を語る - その7

「その6」の続き、最終回です。 www.kzsuzuki.com 標準ダッシュボードとカスタマイズについて言及できればと考えていたのですが、「それっぽいダッシュボード」の作りこみに時間がかかりそうなので、やめておきます! 最終回は、偶然見つけたPractiTestのバ…

テスト管理ツール「PractiTest」を触りながら勝手にテスト管理を語る - その6

「その5」(イシュー作成)の続きで、インポート・エクスポートの話です。 ただ「その5」でRedmine連携を試したので、先にSlack連携も試してみましょう。 www.kzsuzuki.com こちらもとても簡単です。すでにSlackにログイン中であれば、その中のチャネルから…

テスト管理ツール「PractiTest」を触りながら勝手にテスト管理を語る - その5

「その4」(テスト実行)の続きです。*1 www.kzsuzuki.com イシューの作成 ステップで失敗した場合には、イシューを作成することができます。 「Fail & Issue」から遷移できる イシュー作成画面に遷移すると、タイトルや概要が自動的に埋められています。 テ…

テスト管理ツール「PractiTest」を触りながら勝手にテスト管理を語る - その4

「その3」の続きです。 www.kzsuzuki.com テストケースの作成、テストセットへの割り当てと進んで、次は「実行」です。 テストの開始方法 テストセットの画面右上の「Run Now」から、テストセット内のインスタンスを実行していくことができます。この場合は…

テスト管理ツール「PractiTest」を触りながら勝手にテスト管理を語る - その3

「その2」の続きです。作成したテストケースを、実行に移していきましょう。 www.kzsuzuki.com テストセットの作成 テストセットについては、「その1」で説明しました。 www.kzsuzuki.com PractiTestにおけるテストセットとは、インスタンスの集合です。イン…

テスト管理ツール「PractiTest」を触りながら勝手にテスト管理を語る - その2

「その1」の続きで、PractiTestによるテストケース作成の話を書いていきます。この感じだと、テストケース作成・管理とテスト実行の話だけで力尽きる予定です。PractiTestの真価はそこじゃないとは思うんだけれど・・・。 www.kzsuzuki.com 探索的テストのサ…

テスト管理ツール「PractiTest」を触りながら勝手にテスト管理を語る - その1

OnlineTestConf Japanの開催が発表されました。開催日は2019年12月7日です。 主催元のPractiTest社は、テスト管理ソリューション「PractiTest」を提供するイスラエルの企業です。チーフソリューションアーキテクトのJoel Montveliskyさんは今年何度か来日し…

判定の「よしあし」に関するメトリクスを確認しておく

JaSST'19 TokyoでのQA4AIの発表資料『AIプロダクトに対する品質保証の基本的考え方』に、Model Robustnessのキーワードとして「正答率、適合率、再現率、F値」とあります。 QA4AI JaSST Tokyo 2019 from Yasuharu Nishi www.slideshare.net このあたり、自分…

テストを進めることで品質に何が起きているのか(思考実験)

この「ソフトウェアテスト Advent Calendar 2019」*1の、-34日目のエントリーです。 単なる思い付きの思考実験ですが、アイデアいただけると嬉しいです。 テスト実行と品質をどのように描くか ソフトウェアテストを、「対象とするソフトウェアの品質レベルを…

AI/DLシステムの説明可能性と組み合わせテストの関係

はじめに 辰巳敬三さんが先日、このようなツイートをされていました。 Automated Combinatorial Testing for SoftwareExplainable Artificial Intelligencehttps://t.co/xvOyV4lAkA— Keizo Tatsumi (@KeizoTatsumi) June 6, 2019 「An Application of Combin…

Open QA4AI Conferenceに参加してきました。#qa4ai

5/17(金)に、「Open QA4AI Conference」が上野にて開催されました。 qa4ai.connpass.com この日に合わせて、QA4AIコンソーシアムによる『AIプロダクト品質保証ガイドライン』も公開されており、セッション1では電通大の西先生がその解説をされています。 www…

ドメイン分析テスト周りの用語の整理メモ

Twitter上で不定期に議論になる、ドメイン分析テストにおけるOn/Off、In/Outなどについての整理メモ*1です。 同値分割、境界値分析、ドメイン分析についての概要を知っていることを前提としています。 用語の定義 『ソフトウェアテスト技法ドリル』でも『は…

同値分割の「partition(ing)」という単語についてのメモ

同値分割に関する湯本さんのnoteを読んでの、単なるメモです。 note.mu そもそも、part、partition、partitioning と、英単語の時点でややこしいんですよね。以下、Oxford Dictionaryからの引用ですが、適宜はしょっています。 part An amount or section wh…

【読書メモ】世界の「かつて」と「今」を正しく捉えるための『FACTFULNESS』

FACTFULNESS(ファクトフルネス) 10の思い込みを乗り越え、データを基に世界を正しく見る習慣作者: ハンス・ロスリング,オーラ・ロスリング,アンナ・ロスリング・ロンランド,上杉周作,関美和出版社/メーカー: 日経BP社発売日: 2019/01/11メディア: 単行本この…

有則のテストは「組み合わせテスト」の技法に含まれるのか?

Twitterで、「組み合わせテストに分類されるテスト技法はどれか」という話が流れていました。 デシジョンテーブル、原因結果グラフ、原因流れ図といった、いわゆる「有則」のテスト技法でも命題の真偽の組み合わせを考えますが、これは組み合わせテストに含…

ソフトウェアテスト技法の使い間違いって何? 彼氏はいるの? 性格が悪いって本当? 調べてみました!#テストアドカレ

この記事は、ソフトウェアテストの小ネタ Advent Calendar 2018、17日目の記事です(先走り)。 qiita.com 16日は、mktkさんの以下の記事でした。 panmania.hatenadiary.com 0. テスト技法の「使い間違い」 1. デシジョンテーブル: 実装を無視して圧縮する!…

「ソフトウェアプロジェクトでのめんどくさい人の扱い方」 、品質保証(QA)の場合

これすごい面白い。「ソフトウェアプロジェクトでのめんどくさい人の扱い方」 https://t.co/v6POEoWLSB— 加藤公一(はむかず) (@hamukazu) November 30, 2018 こちらのツイート*1を見て、さっそく見に行ってきました。 美しい色使いで構成されたこのサイト…

『テスト管理を語る夕べ』での発表内容についての補足(とか言い訳) ー 後編

まーた間が空いてしまいましたが、後編では、当日の関連ツイート(togetter)に対し回答・補足していきたいと思います。 www.kzsuzuki.com togetter.com 資料はコチラです。 20181102_テスト管理を語る夕べ from Kazuhiro Suzuki www.slideshare.net そもそ…

進捗管理のメトリクスに関するメモ

作業の進捗における、計画値と実績値の乖離の表現について、考えたことの整理&実験です。 ここでは例として、テストケースの件数ベースの進捗管理を考えます。 遅延率と「相対的進捗率」 「どれだけ遅延しているか」を表現する場合によく使われるのは、「遅…

『テスト管理を語る夕べ』での発表内容についての補足(とか言い訳) ー 前編

『テスト管理を語る夕べ』というイベントで、お話をさせていただきました。 主催のみっきーさん、インフラ整えてくださってしんすくさんとなそさん、twitter実況してくれた書記のぱいんさんとブロッコリーさん、←どんなメンツなんだ? そしてこんなマニアッ…

モデルベースドテストについて学んでみよう ー その1

この記事は、「モデルベースドテストについて学んでみよう」2018年アドベントカレンダー、1日目の記事です。 こんな構成で、クリスマスまでに8夜分くらい書く予定です。 例によって、ISTQBシラバスを読みながら、自分の理解をまとめる。 MBTを実現するための…

JSTQB-TTAシラバスのお勉強 ─ 第2章「構造ベースドテスト」(2)

ずいぶん間が空いてしまいましたが、TTAの第2章の残り分、2.5~2.8までです。 www.kzsuzuki.com 2.5 複合条件テスト 対応するカバレッジは、複合条件網羅。すべてのパラメタのすべての真偽を組み合わせる方法です。 すぐに組み合わせ爆発が起こることは想像…

Ericssonの『ユニットテストカバレッジの神話』を読んでみる

今年の4月に『Mythical Unit Test Coverage』(ユニットテストカバレッジの神話)という論文が出ました。ソースコードの品質指標として言及されることの多いコードカバレッジについて、先行研究を整理したうえで、商用の大規模ソフトウェアにおける追加検証…

Sogetiの考える「人工知能のテスト」を調べてみた。

2018年3月、「AIプロダクト品質保証コンソーシアム」の設立が発表されました。 monoist.atmarkit.co.jp 略称は「QA4AI」、つまり「AIのためのQA」ですね。前回の翻訳記事は「QAのためのAI」だったので、今回は「AIのためのQA」も含めた話題を紹介します。TPI…

【翻訳】AIベーステストの6つのレベル - QAのプロにとって恐れるべきものではない

Gil Tayarさんの「6 levels of AI-based testing: Have no fear, QA pros」という記事がteckbeacon.comで公開されていたので、紹介します。モバイルアプリやWebアプリなど、画面の操作を伴うアプリケーションを前提とした内容になっています。 techbeacon.co…

リバーシ(オセロ)を部分的に実装して、ソフトウェア開発関係者であることを証明する ー その2

前の記事では、右方向の石置き可否判定を実装しました(Excel関数で)。 今回は、上下左方向の石置き可否判定について考えていきましょう。 www.kzsuzuki.com 「逆方向」の難しさ 右方向さえできれば、左方向も本質的には同じ、簡単に実装できそうです。 し…

リバーシ(オセロ)を部分的に実装して、ソフトウェア開発関係者であることを証明する ー その1

ソフトウェアエンジニアならリバーシ(いわゆる、オセロ)の実装くらいできるだろう、というのが話題になっていたので、やってみることにしました。 「職業プログラマーな方でもオセロすらプログラミング出来ない人が大勢いるよ」というツイートがありました…

データサイエンスが今もなおセクシーだと感じるビッグデータの使い方

2007年の米国で大規模な景気後退が始まったとき、ストレスにさらされた大人たちによる、児童への虐待が増加するのではないかと危ぶまれました。しかし公式データによると、虐待保護件数はむしろ減少。特に、不景気の影響が大きい州ほど減少の幅が大きかった…

【翻訳】モダンテスティングの原則

同僚に紹介してもらった「Modern Testing Principles」、わかりやすくていいなと思ったので、許可を得て翻訳してみました。原文のブログ「AB Testing」は、ABテストとは関係なくって、PodcastとSlackを主宰しているAlanさんとBrentさんの名前からですね。 ww…

寿司とシャンパン、ディープラーニングとExcel、そんなマリアージュ

『大予測 次に来るキーテクノロジー2018-2019』という本を読みました。野村総研のアナリストである城田真琴さんが、「次に来る」8つのテクノロジーの今とこれからについて、ふんだんな事例とともに解説したものです。 大予測 次に来るキーテクノロジー2018-2…