2024年5月、デジタル庁から『テキスト生成 AI 利活用におけるリスクへの対策ガイドブック（α版）』が公開されました。 www.digital.go.jp 本書自身が「α版」として以下のように注記している通り、生成AIについて特に詳しいわけではもないわたしから見ても、…

2024年3月7日(木)の午後、「QA業界のパイオニアが語る！アジャイル・AI時代の品質保証の今」というイベントに参加してきました。 スピーカーは早稲田大学の鷲崎弘宣先生、永和システムマネジメントの平鍋健児さん、AGESTの髙橋寿一さんです。 この記事は当イ…

「猿とシェイクスピア」の話は、いろんな文脈で出てくるアナロジーです。 猿がランダムにキーボードをたたき続けると、いずれはシェイクスピアの戯曲と同じテキストが生成される。 あるいはその逆に、 猿がランダムにキーボードをたたき続けてシェイクスピア…

ChatGPTでテスト設計してみた記事と、そのアンサーソングを見つつ、また色んな人が色んなことをやってみた記事をみてChatGPTのすごさがあらためて伝わってきました。両方ともとても面白い記事です。 zenn.dev nihonbuson.hatenadiary.jp 一方、わたしのは埋…

タイトル長すぎてすみません。 発表資料はこちらです。 speakerdeck.com vol.19は、わたしが発表予定を確認した時点では石川冬樹先生の「画像生成AIのQAを考えてみる」しかエントリーされておらず、「専門家の話を聞く前の前座として、AIのテストについての…

機械学習の分類性能の指標として、「AUROC」「AUR-ROC」という言葉もよく出てくるので、Excelでいじってみました。 AUROCとは、「受信者操作特性曲線の下の面積」という直訳になりますが、意味不明ですね。 では前回に続いて、陽性か陰性かを分類するプログ…

JaSST'19 TokyoでのQA4AIの発表資料『AIプロダクトに対する品質保証の基本的考え方』に、Model Robustnessのキーワードとして「正答率、適合率、再現率、F値」とあります。 QA4AI JaSST Tokyo 2019 from Yasuharu Nishi www.slideshare.net このあたり、自分…

はじめに 辰巳敬三さんが先日、このようなツイートをされていました。 Automated Combinatorial Testing for SoftwareExplainable Artificial Intelligencehttps://t.co/xvOyV4lAkA— Keizo Tatsumi (@KeizoTatsumi) June 6, 2019 「An Application of Combin…

2018年3月、「AIプロダクト品質保証コンソーシアム」の設立が発表されました。 monoist.atmarkit.co.jp 略称は「QA4AI」、つまり「AIのためのQA」ですね。前回の翻訳記事は「QAのためのAI」だったので、今回は「AIのためのQA」も含めた話題を紹介します。TPI…

Gil Tayarさんの「6 levels of AI-based testing: Have no fear, QA pros」という記事がteckbeacon.comで公開されていたので、紹介します。モバイルアプリやWebアプリなど、画面の操作を伴うアプリケーションを前提とした内容になっています。 techbeacon.co…

『大予測 次に来るキーテクノロジー2018-2019』という本を読みました。野村総研のアナリストである城田真琴さんが、「次に来る」8つのテクノロジーの今とこれからについて、ふんだんな事例とともに解説したものです。 大予測 次に来るキーテクノロジー2018-2…

先日のJEITAのイベントで、メタモルフィックテスティング（Metamorphic Testing、MT）というものを知り、「誰かMetamorphic Testingの勉強会やりませんか？」とブログに書いたところ、ソフトウェアテスト・ヒストリアンの辰巳さんが資料をたくさん紹介してく…

2017年12月15日(金)に、JEITA（一般社団法人 電子情報技術産業協会）の「ソフトウェアエンジニアリング技術ワークショップ2017」に参加してきました。プログラムなどはこちらをご覧ください。 テーマは「人工知能ブームの中でのソフトウェアエンジニアリング…