軟件測(cè)試和做科學(xué)實(shí)驗(yàn)一樣，經(jīng)常需要在被測(cè)試數(shù)據(jù)之外，增加設(shè)計(jì)一組數(shù)據(jù)作為對(duì)比樣本，用以判斷軟件在被測(cè)試條件下的實(shí)際執(zhí)行結(jié)果是否與預(yù)期相符。在很多時(shí)候，這個(gè)對(duì)比樣本也就是預(yù)期結(jié)果。在工作中，經(jīng)常有測(cè)試人員對(duì)于如何選取測(cè)試對(duì)比樣本感到比較疑惑，所以我把個(gè)人在這方面的經(jīng)驗(yàn)總結(jié)成本文。
在我的測(cè)試經(jīng)驗(yàn)中，測(cè)試對(duì)比樣本主要可以通過如下幾種途徑來(lái)選取：
1、人工分析；
2、被測(cè)軟件的其他輸入；
3、同類軟件。
一、人工分析
人工分析：也就是根據(jù)相關(guān)的需求和設(shè)計(jì)文檔，分析待測(cè)程序在被測(cè)試條件下的內(nèi)部處理邏輯，以人工方式進(jìn)行計(jì)算、推導(dǎo)，得到的預(yù)期結(jié)果。
當(dāng)然，這里說的人工方式，其實(shí)也有可能是測(cè)試人員自己編寫一個(gè)小程序或腳本、甚至是電子表格公式來(lái)計(jì)算，取決于分析和計(jì)算的復(fù)雜程度。一般情況下，測(cè)試對(duì)比樣本（預(yù)期結(jié)果）都可以通過這種方式得到。實(shí)際的例子太多了，比如：測(cè)試軟件有個(gè)功能是用來(lái)改變某個(gè)數(shù)據(jù)對(duì)象的狀態(tài)的，可以直接通過設(shè)計(jì)文檔知道該功能會(huì)影響哪些數(shù)據(jù)和文件屬性等。
優(yōu)點(diǎn)：應(yīng)用廣泛、幾乎適用于所有情況
缺點(diǎn)：在復(fù)雜的計(jì)算中較為費(fèi)時(shí)費(fèi)力、只能從正面驗(yàn)證
二、被測(cè)軟件的其他輸入
被測(cè)軟件的其他輸入：被測(cè)試軟件在與被測(cè)條件可類比的輸入條件下的執(zhí)行結(jié)果，使被測(cè)條件下的實(shí)際結(jié)果是否正確能一目了然。
增加或減少特定的被測(cè)條件，就可以直觀地了解到該條件對(duì)結(jié)果的影響，從而判斷實(shí)際執(zhí)行結(jié)果是否與該被測(cè)條件對(duì)結(jié)果的預(yù)期影響相符。特別需要提醒注意，此方法有一個(gè)前提：被測(cè)試軟件在其他條件下的執(zhí)行結(jié)果可信賴，也就是用以進(jìn)行類比的測(cè)試條件通過了測(cè)試。實(shí)際的例子，比如搜索功能里的是否區(qū)分大小寫選項(xiàng)，測(cè)試時(shí)只需要在不啟用該選項(xiàng)時(shí)的結(jié)果通過測(cè)試的情況下，與啟用該選項(xiàng)后的結(jié)果對(duì)比即可。
優(yōu)點(diǎn)：直觀、比手工分析省時(shí)省力、可進(jìn)行負(fù)面驗(yàn)證
缺點(diǎn)：依賴于待測(cè)軟件的已驗(yàn)證功能、難以應(yīng)付預(yù)期結(jié)果不是“非此即彼”的測(cè)試條件
三、同類軟件
同類軟件：其他可信賴的同類軟件在被測(cè)條件或類似條件下的執(zhí)行結(jié)果。
這里的同類軟件，可以是被測(cè)試軟件的已通過測(cè)試版本，也可以是使用同一設(shè)計(jì)標(biāo)準(zhǔn)的同行（競(jìng)爭(zhēng)對(duì)手）軟件。實(shí)際的例子，如計(jì)算兩個(gè)句子的相似程度。由于該算法比較復(fù)雜，用第一種方式雖然是最準(zhǔn)確的，但是太費(fèi)時(shí)費(fèi)力，在實(shí)際測(cè)試中不具有可行性，所以我們一般是用待測(cè)軟件的上一個(gè)公開發(fā)布版本作參考。另外一個(gè)選擇是其他競(jìng)爭(zhēng)對(duì)手的同類軟件，但由于算法上的細(xì)節(jié)或多或少肯定有區(qū)別，這類結(jié)果只能作為參考，而不能直接照搬。
優(yōu)點(diǎn)：直觀、比手工分析省時(shí)省力
缺點(diǎn)：依賴于被測(cè)軟件的已測(cè)試版本或其他同類軟件