ソフトウェアの品質を学びまくる

ソフトウェアの品質、ソフトウェアテストなどについて学んだことを記録するブログです。

機械学習

【参加メモ】「QA業界のパイオニアが語る!アジャイル・AI時代の品質保証の今」

2024年3月7日(木)の午後、「QA業界のパイオニアが語る!アジャイル・AI時代の品質保証の今」というイベントに参加してきました。 スピーカーは早稲田大学の鷲崎弘宣先生、永和システムマネジメントの平鍋健児さん、AGESTの髙橋寿一さんです。 この記事は当イ…

猿とシェイクスピアと失敗とChatGPT

「猿とシェイクスピア」の話は、いろんな文脈で出てくるアナロジーです。 猿がランダムにキーボードをたたき続けると、いずれはシェイクスピアの戯曲と同じテキストが生成される。 あるいはその逆に、 猿がランダムにキーボードをたたき続けてシェイクスピア…

ソフトウェア仕様についてChatGPTに相談してみる

ChatGPTでテスト設計してみた記事と、そのアンサーソングを見つつ、また色んな人が色んなことをやってみた記事をみてChatGPTのすごさがあらためて伝わってきました。両方ともとても面白い記事です。 zenn.dev nihonbuson.hatenadiary.jp 一方、わたしのは埋…

JaSST nano vol.19で『ISO/IEC/IEEE 29119-11からAIシステムのブラックボックステストについてメモってみたの』というタイトルで発表しました #jasstnano

タイトル長すぎてすみません。 発表資料はこちらです。 speakerdeck.com vol.19は、わたしが発表予定を確認した時点では石川冬樹先生の「画像生成AIのQAを考えてみる」しかエントリーされておらず、「専門家の話を聞く前の前座として、AIのテストについての…

判定器の「よしあし」に関するメトリクスを確認しておく - その2

機械学習の分類性能の指標として、「AUROC」「AUR-ROC」という言葉もよく出てくるので、Excelでいじってみました。 AUROCとは、「受信者操作特性曲線の下の面積」という直訳になりますが、意味不明ですね。 では前回に続いて、陽性か陰性かを分類するプログ…

判定器の「よしあし」に関するメトリクスを確認しておく - その1

JaSST'19 TokyoでのQA4AIの発表資料『AIプロダクトに対する品質保証の基本的考え方』に、Model Robustnessのキーワードとして「正答率、適合率、再現率、F値」とあります。 QA4AI JaSST Tokyo 2019 from Yasuharu Nishi www.slideshare.net このあたり、自分…

AI/DLシステムの説明可能性と組み合わせテストの関係

はじめに 辰巳敬三さんが先日、このようなツイートをされていました。 Automated Combinatorial Testing for SoftwareExplainable Artificial Intelligencehttps://t.co/xvOyV4lAkA— Keizo Tatsumi (@KeizoTatsumi) June 6, 2019 「An Application of Combin…

Sogetiの考える「人工知能のテスト」を調べてみた。

2018年3月、「AIプロダクト品質保証コンソーシアム」の設立が発表されました。 monoist.atmarkit.co.jp 略称は「QA4AI」、つまり「AIのためのQA」ですね。前回の翻訳記事は「QAのためのAI」だったので、今回は「AIのためのQA」も含めた話題を紹介します。TPI…

【翻訳】AIベーステストの6つのレベル - QAのプロにとって恐れるべきものではない

Gil Tayarさんの「6 levels of AI-based testing: Have no fear, QA pros」という記事がteckbeacon.comで公開されていたので、紹介します。モバイルアプリやWebアプリなど、画面の操作を伴うアプリケーションを前提とした内容になっています。 techbeacon.co…

寿司とシャンパン、ディープラーニングとExcel、そんなマリアージュ

『大予測 次に来るキーテクノロジー2018-2019』という本を読みました。野村総研のアナリストである城田真琴さんが、「次に来る」8つのテクノロジーの今とこれからについて、ふんだんな事例とともに解説したものです。 大予測 次に来るキーテクノロジー2018-2…

機械学習の分野でも注目される、メタモルフィックテスティングとは何か。

先日のJEITAのイベントで、メタモルフィックテスティング(Metamorphic Testing、MT)というものを知り、「誰かMetamorphic Testingの勉強会やりませんか?」とブログに書いたところ、ソフトウェアテスト・ヒストリアンの辰巳さんが資料をたくさん紹介してく…

「ソフトウェアエンジニアリング技術ワークショップ2017 ~人工知能ブームの中でのソフトウェアエンジニアリング~」に参加

2017年12月15日(金)に、JEITA(一般社団法人 電子情報技術産業協会)の「ソフトウェアエンジニアリング技術ワークショップ2017」に参加してきました。プログラムなどはこちらをご覧ください。 テーマは「人工知能ブームの中でのソフトウェアエンジニアリング…