ソフトウェアの品質を学びまくる

ソフトウェアの品質、ソフトウェアテストなどについて学んだことを記録するブログです。

メトリクス

「追随」パラダイムにおける「テストの十分性」メトリクス #全力ポエム

不意にブログオラクルが降りてきたので、書き殴っておきます。 「距離」パラダイムと「追随」パラダイム 先日のブログ記事で、こんなことを書きました。 www.kzsuzuki.com ユーザ要求の変化に追随する能力が、アジャイル開発における品質のメトリクスの1つと…

従来とアジャイルで、品質メトリクスには本質的な違いがあるのではないか

ソフトウェア開発における品質のメトリクスについて、新旧2冊の本を比べてみました。 1冊は、『初めて学ぶソフトウェアメトリクス』。 原著『Five Core Metrics: The Intelligence Behind Successful Software Management』(Lawrence H. Putnam、Ware Myers…

「保守性」と「拡張性」が複数の意味をもっていそうなので調べてみた

『アジャイルメトリクス』を少しずつ読んでいます。 アジャイルメトリクス作者:Christopher W. H. Davis翔泳社Amazon 職業がら、最初をすっ飛ばして「品質」の項から手を付けていることもあり、なかなか歯ごたえのある(つまりわたしには難しい)本だなーと…

テスト自動化による効果としての工数削減を絵にすると

最近ポエムしか書いていないのですが、今日も元気にポエム as a excuse(言い訳としてのポエム)です。 「テスト自動化の目的は工数削減!」というのは筋悪な思考と言われがちですが、それをあえてお絵描きしてみました。 工数削減だけが嬉しさ? これまで、…

MTBF・MTTRなどを復習しておく

和田卓人(@t_wada)さんの講演『質とスピード』の影響もあり、MTTR(Mean Time To Repair、平均復旧時間)という用語を聞く機会が増えてきたように思います。 speakerdeck.com 情報処理技術者試験対策として、MTTRとその周辺の用語の復習をしておきましょう…

自動化によるテスト工数削減をメトリクスで見る場合のトラップ

テストの自動化を進める際、そのよしあしを確認するために、いろいろなカットからのメトリクスを取ると思います。 たとえば進捗を測るためには、テストケースを自動化した割合。効率化を測るためには、自動テストによって削減できた時間や、逆に自動テストが…

DDP(欠陥検出率)とは何か。

秋山浩一さんがTwitterで、DDP(Defect Detection Percentage、欠陥検出率)の良さについて言及されていました。 会場からの質問、その3。質問:テストが上手く行ったかどうかについて、どうやって確認しますか?(開発が頑張ったからかもしれません)返事:…

進捗管理のメトリクスに関するメモ

作業の進捗における、計画値と実績値の乖離の表現について、考えたことの整理&実験です。 ここでは例として、テストケースの件数ベースの進捗管理を考えます。 遅延率と「相対的進捗率」 「どれだけ遅延しているか」を表現する場合によく使われるのは、「遅…

Ericssonの『ユニットテストカバレッジの神話』を読んでみる

今年の4月に『Mythical Unit Test Coverage』(ユニットテストカバレッジの神話)という論文が出ました。ソースコードの品質指標として言及されることの多いコードカバレッジについて、先行研究を整理したうえで、商用の大規模ソフトウェアにおける追加検証…

アジャイル開発におけるメトリクスには、どういうものがあるのか

アジャイル開発において、プロダクトや組織の現状を把握するのに役立つメトリクスを知りたいと思い、「agile kpi」などでググって上位のサイトを読むという丁寧なサーベイを敢行。20個くらい読んでいくとだいぶネタも尽きてきたので、整理してみました*1。参…

テストの自動化にROIなんてないんじゃない?

JaSST2013 Tokyoや、テスト自動化カンファレンス2013で、テスト自動化研究会は「テスト自動化のROI」というのを一つのテーマとして発表しています。 何が全テスト自動化だ、何がリグレッションテストコストがゼロ円だ、何がプロジェクトを強くしてやるだ!夢…

『知識ゼロから学ぶソフトウェアプロジェクト管理』と、品質管理のメトリクス

いくつかのレビューで好評だった、勝呂暖生さんの『知識ゼロから学ぶソフトウェアプロジェクト管理』を読んでみました。 知識ゼロから学ぶソフトウェアプロジェクト管理 作者: 勝呂暖生 出版社/メーカー: 翔泳社 発売日: 2012/05/26 メディア: 単行本(ソフ…

「信頼度成長曲線」を信頼しない勉強会

SQuBOKユーザ会主催の「信頼度成長曲線 勉強会」に参加してきました。 『SQuBOK Guide』は2007年に刊行されて以来、認知度が高まってきていています。その一方で「どう使っていいかわからない」といったユーザの声があることから、様々な活動に着手している…

それでもやはり、品質を「予測」したい #swtestadvent2011

「Software Test & Quality Advent Calendar 2011」に、12/14(水)担当として参加させていただくことにしました。 atnd.org 前日は、goyoさんの「テスト自動化をサポートするDVCS」です。 d.hatena.ne.jp みなさんの素敵なエントリの間に、地味でレガシィな雑…

『R』勉強会 第2回は、相関分析など - その2

その1ではずれ値を外してあらためて散布図を描くと、「直線に乗ってるっぽい」結果になりました。 www.kzsuzuki.com 相関係数と最小二乗直線 では、x と y の相関の程度を表す相関係数を求めてみましょう。 直接コマンドを叩くのが速いです。相関係数(coeff…

『R』勉強会 第2回は、相関分析など - その1

ヤマハの小池さん主催の「(ソフトウェア品質技術者のための)R勉強会」の第2回が行われましたので、復習をかねてエントリを書きます。なお、当日のつぶやきまとめはコチラにあります。 togetter.com 今回のテーマは、『例題で学ぶ統計的方法』の第7話「散布…

コードカバレッジについて、また考える - その2

その1の続きです。その2では、「LCSAJ」と「経路網羅」について書きます。 www.kzsuzuki.com コードの中で、ジャンプする LCSAJ LCSAJは「Linear Code Sequence And Jump」の略。読み方がわからない。 LCSAJのJはジャンプ。FORステートメントにおいて最後の…

コードカバレッジについて、また考える - その1

JSTQB Advancedの受験勉強中、出題範囲とはまったく関係ないコードカバレッジにはまって時間を浪費したので、整理することにしました。実業務で何の役に立つかという話もありますが、考え方として、勉強になると信じる。 まず最初に 対訳について ざっくり概…

SQiPシンポジウム2011に参加した! - その2

その1はコチラです。 www.kzsuzuki.com 1日目の後半は、「定量的分析」の2つのセッションに参加しました。 3つ参加したかったが、1つ目の時間帯はノートパソコンの電源を求めてゾンビのようにさまよっていました・・・・・・。 定量的分析 ここでの「分析」…

「定量的・・・ススメ・・・ガイド」の紹介 ─ その1

予告通り、『続 定量的品質予測のススメ ~定量的品質管理実践ガイド~』の紹介をします。あまりに長いので以下、「ススメガイド」と呼ぶことにしましょう。 続 定量的品質予測のススメ(SEC BOOKS) 作者: 独立行政法人情報処理推進機構(IPA)ソフトウェア・エ…

IPA『定量的品質予測~』の実践版、パブコメ受付中。

livedoor blogのピックアップテーマとして「沢尻エリカさんの離婚騒動、どう思いますか?」とあったので、どちらにしようか迷ったのですが、ソフトウェア品質に関する話題を書くことにしました。 定量的品質予測のススメ―ITシステム開発における品質予測の実…

設計工程の品質を見定めたくて仕方ない

社内の有志で、設計工程の品質評価技法についてディスカッションをしています。ソフトウェアの品質を評価するのさえ難しいのに、ドキュメントの品質となるとなおさら手がかりが少なく、いろいろ調べております。今回はそのメモです。 簡単に思いつくもの 設…

ソフトウェアの安定度?成熟度?を計測する

第3回ソフトウェアテストセミナーにおける細川さんのプレゼンテーションで、「SMI」というメトリクスに言及がありました。(待てよ、1つの指標だから「メトリック」というのが正しいのか?しかしそれだとルーティング・プロトコルの話をしているみたいだぜ、…

第3回ソフトウェアテストセミナー ─ その1

10月21日、秋葉原で開催された「第3回ソフトウェアセミナー」に出席してきたので、そのメモを。 基調講演は、IBMの細川宣啓氏。 一度学会発表を聞き、お話したことがあるが、「ソフトウェアの品質はこれからの分野で、自分がそれを作っていくんだ!」という…

Coverageに関する言葉の整理

コードカバレッジ(code coverage)は、ホワイトボックステストの尺度の1つ。プログラムのソースコードが、どの程度の網羅率でテストされたかを示します。その「網羅」のレベルにもいろいろあって、かつ名前もややこしい・・・。ので、簡単に整理してみまし…

Rayleighモデルとは何か ─ その2

第1回の続き。 www.kzsuzuki.com Rayleighモデルを実際のソフトウェア開発プロジェクトに適用するうえで、わたしの実情では以下の3つの問題がある。 (1)「障害」の定義 テスト工程では「バグ」と言い換えてもいいだろう(「バグ(bug)」はSQuBOKでは定義され…

Rayleighモデルとは何か ─ その1

近年まれに見る羊頭狗肉さを誇るこのサイトだが、そろそろソフトウェア品質に関する記事も書かなくてはならない。ブックレビューの方が簡単に書けるもんだから、まったく趣旨と違う記事だらけになっている。今年こそっ・・・! 今日は、「Rayleighモデル」に…

『定量的品質予測のススメ』メモ ─ その1

わたしの部署では今期から、ソフトウェア品質・システム品質を定量的に把握するための研究を行うワーキング・グループが活動しています。結成自体はトップダウンという形ではありますが、定量的な品質測定は、メンバーとしても日頃から悩んでいるテーマでもあ…