レビューの「質」はどのように測ればいいのか

　SQuBOKユーザ会さん主催「信頼度成長曲線 勉強会」の記事を、先日書きました。

www.kzsuzuki.com

　次回のテーマは「レビューの質」と決まり、その上で、小池利和さんさんから以下のtweetがありました。

盛況だったようで何よりです。、「レビューの質の測定」に関して、以前に関連する記事を書いたことが有りますので、ご参考まで。 bit.ly/KdyKrL @yamaguchi0307: @koike0125 無事終了しました。今度のテーマは、「レビューの質の測定」です

— 小池利和さん (@koike0125) 5月 10, 2012

　この記事、2年くらい前に見たわー。コチラに論文（PDF）もあります。

　紹介されている手法は、レビューのやり方・プロセスに着目したもので、アンケート形式でレビューの質を測定・見える化しようというアプローチです。
　レビュー関係者に、12の設問に回答してもらい、レーダーチャートでそのレビューの良し悪しを把握する。設問は、「レビュー前/レビュー中」「主催者/参加者」という2つの切り口でも分類されており、その分析もできます。

　テストと比べて、レビューの定量評価って難しいなあと感じたぼくはかつて、この手法を試してみました！正直申しまして長期間続けたわけではないのですが、特にいいなと思った点が2つあります。

(1)測定が楽

　レビュー後、関係者がアンケートに回答するのに1分もかかりません。

(2)改善する気になる

　たとえば「事前に資料配布されてないよね」と分かっていることでも、点数が低く、レーダーチャートが思い切り凹んでいたりすると、あらためて「やらねば」って気持ちになります。
　というのと、点数を付けられると、人ってその点数を上げたくなるもんで、それが行動に顕れます。アンケートでの5段階評価はいわゆる順序尺度ではありますが、やはり数字の力は強い。

　一方、気になる点は以下。

(1)つける点数がばらつく

　これは仕方ないですね。甘い人と厳しい人がいます。

(2)気を使う？

　ささっとアンケートをやってもらおうとすると、どうしても他の人に回答が見えちゃったりする。そこで「レビューリーダのファシリテートは適切だったか」という設問に「改善の余地あり」をつけられるかというと・・・。

　また、試行しているときに周りと議論になった設問は、「脱線することが少なかったか」でした。
　脱線が少ないほうが高得点になるのですが、なんといいますか、いろんな思いつきをぶつけることを目的とするレビューもあるよなあと。
　たとえばDRBFMなんてものは、いろんな立場の人の観点をぶつけあうプロセスもあったりするので、うまく設問とそぐわないかなと思いました。単にそれを「脱線」と呼ばないのかも知れませんが。

　なんて話をできるといいですね！
　さあ、次回はいつ開催されるでしょう。