每次新版本要出貨時, 常常被詢問是否
測試結束了? 質量是否有信心? 你依據的標準是甚么?
我想很多人都會覺得很難回答這個問題. 基本上, 可以根據以下五種狀況, 來決定是否測試可以結束.
1. 老板說了算
基本上, 老板是無敵的. 他說甚么時候就是甚么時候. 我想大家不會, 也不敢不同意. XD
2. 團隊有共識要停止
如果團隊討論完后, 決定要何時停止測試, 這樣也是可以結束
3. 當代價太高
如果要找到下一個 bug 的代價, 會超過這個 bug 所帶來的損失, 那確實沒有必要再測下去, 是可以即刻結束
4. 如果 bug 被發現的比例下降到預期的目標
有時候你會觀察每一段時間內找到多少 bug, 如果你發現它一直在下降, 并且低于你所定的目標, 這時候你就可以出貨. 像是低于5 個 bugs/per day, 并且這些 bugs 都不是嚴重的 bugs
如何你會度量你的測試個案, 已經涵蓋了多少東西, 便可以知道你的測試范圍夠不夠. 像是 90 % line coverage, 75% branch coverage 等等. 當達到設定的目標, 自然你也可以說測試可以結束了.
目前看起來只有后面兩個, 比較有數據來參考, 前面三個比較是自由心證. 事實上, 這些都是心安的說法. 因為只要給妳時間和資源, 其實都還是可以找到 bugs的.
因為, < 1 bugs/per day 或是 100% line/branch coverage, 其實都沒有保證甚么. 最多只是賬面上給你信心. 出貨后被抓到問題, QA 還是等著被罵沒有做好. 不公平, 但是是事實. XD