qileilove

          blog已經(jīng)轉(zhuǎn)移至github,大家請(qǐng)?jiān)L問(wèn) http://qaseven.github.io/

          代碼覆蓋率淺談

          在做單元測(cè)試時(shí),代碼覆蓋率常常被拿來(lái)作為衡量測(cè)試好壞的指標(biāo),甚至,用代碼覆蓋率來(lái)考核測(cè)試任務(wù)完成情況,比如,代碼覆蓋率必須達(dá)到80%或 90%。于是乎,測(cè)試人員費(fèi)盡心思設(shè)計(jì)案例覆蓋代碼。用代碼覆蓋率來(lái)衡量,有利也有有弊。本文我們就代碼覆蓋率展開(kāi)討論,也歡迎同學(xué)們踴躍評(píng)論。
            首先,讓我們先來(lái)了解一下所謂的“代碼覆蓋率”。我找來(lái)了所謂的定義:
            代碼覆蓋率 = 代碼的覆蓋程度,一種度量方式。
            上面簡(jiǎn)短精悍的文字非常準(zhǔn)確的描述了代碼覆蓋率的含義。而代碼覆蓋程度的度量方式是有很多種的,這里介紹一下最常用的幾種:
            1. 語(yǔ)句覆蓋(StatementCoverage)
            又稱行覆蓋(LineCoverage),段覆蓋(SegmentCoverage),基本塊覆蓋(BasicBlockCoverage),這是最常用也是最常見(jiàn)的一種覆蓋方式,就是度量被測(cè)代碼中每個(gè)可執(zhí)行語(yǔ)句是否被執(zhí)行到了。這里說(shuō)的是“可執(zhí)行語(yǔ)句”,因此就不會(huì)包括像C++的頭文件聲明,代碼注釋,空行,等等。非常好理解,只統(tǒng)計(jì)能夠執(zhí)行的代碼被執(zhí)行了多少行。需要注意的是,單獨(dú)一行的花括號(hào){} 也常常被統(tǒng)計(jì)進(jìn)去。語(yǔ)句覆蓋常常被人指責(zé)為“最弱的覆蓋”,它只管覆蓋代碼中的執(zhí)行語(yǔ)句,卻不考慮各種分支的組合等等。假如你的上司只要求你達(dá)到語(yǔ)句覆蓋,那么你可以省下很多功夫,但是,換來(lái)的確實(shí)測(cè)試效果的不明顯,很難更多地發(fā)現(xiàn)代碼中的問(wèn)題。
            這里舉一個(gè)不能再簡(jiǎn)單的例子,我們看下面的被測(cè)試代碼:
            int foo(int a, int b)
            {
            return  a / b;
            }
            假如我們的測(cè)試人員編寫如下測(cè)試案例:
            TeseCase: a = 10, b = 5
            測(cè)試人員的測(cè)試結(jié)果會(huì)告訴你,他的代碼覆蓋率達(dá)到了100%,并且所有測(cè)試案例都通過(guò)了。然而遺憾的是,我們的語(yǔ)句覆蓋率達(dá)到了所謂的100%,但是卻沒(méi)有發(fā)現(xiàn)最簡(jiǎn)單的Bug,比如,當(dāng)我讓b=0時(shí),會(huì)拋出一個(gè)除零異常。
            正因如此,假如上面只要求測(cè)試人員語(yǔ)句覆蓋率達(dá)到多少的話,測(cè)試人員只要鉆鉆空子,專門針對(duì)如何覆蓋代碼行編寫測(cè)試案例,就很容易達(dá)到主管的要求。當(dāng)然了,這同時(shí)說(shuō)明了幾個(gè)問(wèn)題:
            1.主管只使用語(yǔ)句覆蓋率來(lái)考核測(cè)試人員本身就有問(wèn)題。
            2.測(cè)試人員的目的是為了測(cè)好代碼,鉆如此的空子是缺乏職業(yè)道德的。
            3.是否應(yīng)該采用更好的考核方式來(lái)考核測(cè)試人員的工作
            為了尋求更好的考核標(biāo)準(zhǔn),我們必須先了解完代碼覆蓋率到底還有哪些,如果你的主管只知道語(yǔ)句覆蓋,行覆蓋,那么你應(yīng)該主動(dòng)向他介紹還有更多的覆蓋方式。比如:
            2. 判定覆蓋(DecisionCoverage)
            又稱分支覆蓋(BranchCoverage),所有邊界覆蓋(All-EdgesCoverage),基本路徑覆蓋(BasicPathCoverage),判定路徑覆蓋(Decision-Decision-Path)。它度量程序中每一個(gè)判定的分支是否都被測(cè)試到了。這句話是需要進(jìn)一步理解的,應(yīng)該非常容易和下面說(shuō)到的條件覆蓋混淆。因此我們直接介紹第三種覆蓋方式,然后和判定覆蓋一起來(lái)對(duì)比,就明白兩者是怎么回事了。
            3. 條件覆蓋(ConditionCoverage)
            它度量判定中的每個(gè)子表達(dá)式結(jié)果true和false是否被測(cè)試到了。為了說(shuō)明判定覆蓋和條件覆蓋的區(qū)別,我們來(lái)舉一個(gè)例子,假如我們的被測(cè)代碼如下:
            int foo(int a, int b)
            {
            if (a < 10 || b < 10) // 判定
            {
            return 0; // 分支一
            }
            else
            {
            return 1; // 分支二
            }
            }
            設(shè)計(jì)判定覆蓋案例時(shí),我們只需要考慮判定結(jié)果為true和false兩種情況,因此,我們?cè)O(shè)計(jì)如下的案例就能達(dá)到判定覆蓋率100%:
            TestCaes1: a = 5, b = 任意數(shù)字  覆蓋了分支一
            TestCaes2: a = 15, b = 15          覆蓋了分支二
            設(shè)計(jì)條件覆蓋案例時(shí),我們需要考慮判定中的每個(gè)條件表達(dá)式結(jié)果,為了覆蓋率達(dá)到100%,我們?cè)O(shè)計(jì)了如下的案例:
            TestCase1: a = 5, b = 5       true,  true
            TestCase4: a = 15, b = 15   false, false
            通過(guò)上面的例子,我們應(yīng)該很清楚了判定覆蓋和條件覆蓋的區(qū)別。需要特別注意的是:條件覆蓋不是將判定中的每個(gè)條件表達(dá)式的結(jié)果進(jìn)行排列組合,而是只要每個(gè)條件表達(dá)式的結(jié)果true和false測(cè)試到了就OK了。因此,我們可以這樣推論:完全的條件覆蓋并不能保證完全的判定覆蓋。比如上面的例子,假如我設(shè)計(jì)的案例為:
            TestCase1: a = 5, b = 15  true,  false   分支一
            TestCase1: a = 15, b = 5  false, true    分支一
            我們看到,雖然我們完整的做到了條件覆蓋,但是我們卻沒(méi)有做到完整的判定覆蓋,我們只覆蓋了分支一。上面的例子也可以看出,這兩種覆蓋方式看起來(lái)似乎都不咋滴。我們接下來(lái)看看第四種覆蓋方式。
           4. 路徑覆蓋(PathCoverage)
            又稱斷言覆蓋(PredicateCoverage)。它度量了是否函數(shù)的每一個(gè)分支都被執(zhí)行了。 這句話也非常好理解,就是所有可能的分支都執(zhí)行一遍,有多個(gè)分支嵌套時(shí),需要對(duì)多個(gè)分支進(jìn)行排列組合,可想而知,測(cè)試路徑隨著分支的數(shù)量指數(shù)級(jí)別增加。比如下面的測(cè)試代碼中有兩個(gè)判定分支:
            int foo(int a, int b)
            {
            int nReturn = 0;
            if (a < 10)
            {// 分支一
            nReturn += 1;
            }
            if (b < 10)
            {// 分支二
            nReturn += 10;
            }
            return nReturn;
            }
            對(duì)上面的代碼,我們分別針對(duì)我們前三種覆蓋方式來(lái)設(shè)計(jì)測(cè)試案例:
            a. 語(yǔ)句覆蓋
            TestCase a = 5, b = 5   nReturn = 11
            語(yǔ)句覆蓋率100%
            b. 判定覆蓋
            TestCase1 a = 5,   b = 5     nReturn = 11
            TestCase2 a = 15, b = 15   nReturn = 0
            判定覆蓋率100%
            c. 條件覆蓋
            TestCase1 a = 5,   b = 15   nReturn = 1
            TestCase2 a = 15, b = 5     nReturn = 10
            條件覆蓋率100%
            我們看到,上面三種覆蓋率結(jié)果看起來(lái)都很酷!都達(dá)到了100%!主管可能會(huì)非常的開(kāi)心,但是,讓我們?cè)偃プ屑?xì)的看看,上面被測(cè)代碼中,nReturn的結(jié)果一共有四種可能的返回值:0,1,10,11,而我們上面的針對(duì)每種覆蓋率設(shè)計(jì)的測(cè)試案例只覆蓋了部分返回值,因此,可以說(shuō)使用上面任一覆蓋方式,雖然覆蓋率達(dá)到了100%,但是并沒(méi)有測(cè)試完全。接下來(lái)我們來(lái)看看針對(duì)路徑覆蓋設(shè)計(jì)出來(lái)的測(cè)試案例:
            TestCase1 a = 5,    b = 5     nReturn = 0
            TestCase2 a = 15,  b = 5     nReturn = 1
            TestCase3 a = 5,    b = 15   nReturn = 10
            TestCase4 a = 15,  b = 15   nReturn = 11
            路徑覆蓋率100%
            太棒了!路徑覆蓋將所有可能的返回值都測(cè)試到了。這也正是它被很多人認(rèn)為是“最強(qiáng)的覆蓋”的原因了。
            還有一些其他的覆蓋方式,如:循環(huán)覆蓋(LoopCoverage),它度量是否對(duì)循環(huán)體執(zhí)行了零次,一次和多余一次循環(huán)。剩下一些其他覆蓋方式就不介紹了。
            總結(jié)
            通過(guò)上面的學(xué)習(xí),我們?cè)倩仡^想想,覆蓋率數(shù)據(jù)到底有多大意義。我總結(jié)了如下幾個(gè)觀點(diǎn),歡迎大家討論:
            a. 覆蓋率數(shù)據(jù)只能代表你測(cè)試過(guò)哪些代碼,不能代表你是否測(cè)試好這些代碼。(比如上面第一個(gè)除零Bug)
            b. 不要過(guò)于相信覆蓋率數(shù)據(jù)。
            c. 不要只拿語(yǔ)句覆蓋率(行覆蓋率)來(lái)考核你的測(cè)試人員。
            d. 路徑覆蓋率 > 判定覆蓋 > 語(yǔ)句覆蓋
            e. 測(cè)試人員不能盲目追求代碼覆蓋率,而應(yīng)該想辦法設(shè)計(jì)更多更好的案例,哪怕多設(shè)計(jì)出來(lái)的案例對(duì)覆蓋率一點(diǎn)影響也沒(méi)有。

          posted on 2014-07-29 09:12 順其自然EVO 閱讀(207) 評(píng)論(0)  編輯  收藏 所屬分類: 測(cè)試學(xué)習(xí)專欄

          <2014年7月>
          293012345
          6789101112
          13141516171819
          20212223242526
          272829303112
          3456789

          導(dǎo)航

          統(tǒng)計(jì)

          常用鏈接

          留言簿(55)

          隨筆分類

          隨筆檔案

          文章分類

          文章檔案

          搜索

          最新評(píng)論

          閱讀排行榜

          評(píng)論排行榜

          主站蜘蛛池模板: 深州市| 龙岩市| 乐业县| 横山县| 赤城县| 哈密市| 三门峡市| 马龙县| 盐源县| 思南县| 顺义区| 琼结县| 北川| 呼伦贝尔市| 株洲县| 泸水县| 泗阳县| 米林县| 罗定市| 昌邑市| 乌什县| 天水市| 论坛| 宝山区| 武威市| 谢通门县| 台北市| 邢台县| 北票市| 夏河县| 金华市| 东安县| 美姑县| 宿松县| 鹤岗市| 桓仁| 福清市| 敦化市| 商都县| 襄垣县| 噶尔县|