qileilove

讓Quality Center走下神壇--測(cè)試管理工具大PK

　讓Quality Center走下神壇--測(cè)試管理工具QC/ALM 和 RQM、Jira、TP、SCTM大PK

　　在寫完了《讓QTP走下神壇》之后，現(xiàn)在來談?wù)?a href="" target="_self" style="word-break: break-all; color: #202859; text-decoration: none; line-height: normal !important;">測(cè)試管理工具，獻(xiàn)給所有正在或打算做測(cè)試管理工作的同行。

　　當(dāng)然，話題離不了Quality Center——但又不只是談QC，我會(huì)結(jié)合對(duì)比各種主流的企業(yè)級(jí)測(cè)試管理工具，包括標(biāo)題提到的：HP QC/ALM、IBM RQM、51Testing TP、Micro Focus SCTM、Atlassian Jira。但是不會(huì)提及Bugzilla、Bugfree、Mantis這些，因?yàn)樗鼈冎荒軐儆?a href="" target="_self" style="word-break: break-all; color: #202859; text-decoration: none; line-height: normal !important;">缺陷管理工具，和以上幾款工具不在一個(gè)級(jí)別上。

　　當(dāng)然，得先從QC說起。

　　既然提及Quality Center，就得先談Mercury，而既然提及Mercury，就得先談HP。畢竟是大環(huán)境的衰敗造就了QC的沒落，難道不是嗎？

　　（一）因此，先說HP。

　　HP原來有三大業(yè)務(wù)：PSG、IPG、EB，分別是個(gè)人電腦，打印和影像設(shè)備，企業(yè)級(jí)業(yè)務(wù)（軟件服務(wù)）。PC業(yè)務(wù)利潤(rùn)微薄，壓力大，HP早已江河日下；打印機(jī)掃描儀隨著iPad等設(shè)備出現(xiàn)，早已經(jīng)疲態(tài)盡顯；HP倒一直想模仿IBM轉(zhuǎn)型服務(wù)，號(hào)稱要打造“Service Anywhere（一切皆服務(wù)）”，但從QTP、LoadRunner和Quality Center多年以來除了更換了華麗的界面，新增了零星半點(diǎn)的小特性，越來越耗資源，越來越不穩(wěn)定，甚至繼續(xù)保留著一堆N年以前的Bug，……，管中窺豹，可知其所謂的服務(wù)越來越流于表面了。

　　據(jù)說今年HP對(duì)外宣稱自己做組織架構(gòu)調(diào)整，變?yōu)镻PS（打印）、EG（企業(yè)集團(tuán)）、ES（企業(yè)服務(wù)）和HP Software（軟件），我對(duì)HP內(nèi)部不太熟，不過在我看來換湯不換藥。它們?cè)跉v史上架構(gòu)不知道調(diào)整了多少次，用業(yè)內(nèi)人的說法是“總是在用一個(gè)錯(cuò)誤糾正另一個(gè)錯(cuò)誤”。

　　（二）再說Mercury和Quality Center。

　　HP在2006年7月以45億美元收購了Mercury公司。而在此之前，Mercury是專注與軟件測(cè)試工具研發(fā)的專業(yè)廠商，曾幾何時(shí)在測(cè)試工具這塊與Rational、Segue號(hào)稱“測(cè)試三巨頭”。它們推出的每一款產(chǎn)品都堪稱劃時(shí)代：測(cè)試管理工具TestDirector、性能測(cè)試工具LoadRunner、功能測(cè)試自動(dòng)化工具WinRunner/QuickTest，分別迅速占領(lǐng)了全球70%左右的市場(chǎng)，時(shí)至今日，仍然威震江湖。

　　QC為什么能有很強(qiáng)大的用戶基礎(chǔ)，其實(shí)不是因?yàn)镼C的強(qiáng)大，歸根結(jié)底，是TD當(dāng)年打下大片江山，占盡了用戶基礎(chǔ)。我是從TD(TestDirector 7.2)開始用的，十年前當(dāng)我第一次看到TestDirector真的是“亮瞎了眼”！世界上居然有這么Cool的測(cè)試管理工具！亮點(diǎn)在哪里？

　　TD的安裝相當(dāng)簡(jiǎn)單，幾乎是傻瓜式操作，“下一步”、“下一步”、……、“完成”。連數(shù)據(jù)庫都刪繁就簡(jiǎn)的采用Access，安裝的便捷，怎一個(gè)爽字了得！

　　而且基本不太消耗內(nèi)存資源，使用起來一點(diǎn)都不卡。

　　2、強(qiáng)大的易用性。

　　TD的設(shè)計(jì)思路簡(jiǎn)單清晰，整個(gè)過程就是：寫測(cè)試需求–》寫測(cè)試用例–》執(zhí)行測(cè)試用例–》提交缺陷、跟蹤缺陷。總共只有四件事，而且完全符合Testers的日常工作流程。在當(dāng)時(shí)同類競(jìng)爭(zhēng)對(duì)手幾乎只有缺陷管理工具M(jìn)antis、Bugfree、Bugzilla、ClearQuest，論強(qiáng)大論易用性都明顯被拉開了一大截——絕對(duì)領(lǐng)先優(yōu)勢(shì)！

　　3、放號(hào)策略。

　　大家應(yīng)該都還記得著名的TD License吧？有人稱之為“Sale Policy”。什么意思呢？就是當(dāng)初Mercury推出TD 7.6的時(shí)候，網(wǎng)上立刻有人出來發(fā)布TD 7.2的License；當(dāng)Mercury推出8.0的時(shí)候，網(wǎng)上立刻有人出來發(fā)布TD 7.6的License；當(dāng)HP Mercury推出Quality Center 8.2的時(shí)候，網(wǎng)上立刻有人出來發(fā)布TD 8.0的License……

　　呵呵，就這么巧合，至于為什么會(huì)這樣，明眼人一看就知。現(xiàn)在明白什么叫“Sale Policy”了嗎？我先讓你用舊版的，等你用上了以后，數(shù)據(jù)都在上面了，然后我推新版的，誘惑你用，……，一步步讓你深陷其中，當(dāng)你有一天發(fā)現(xiàn)你已經(jīng)離不開我的時(shí)候，我對(duì)你實(shí)行收費(fèi)……WOW！pfpf，果然厲害！所以，一代又一代的Test Manager前赴后繼，大力推行TD。51Testing軟件測(cè)試網(wǎng)%t Vm%}'p！i+_

　　但是你們看，現(xiàn)在HP ALM還有嗎？我毫不懷疑，沒有繼續(xù)延續(xù)之前的戰(zhàn)略方針，ALM確實(shí)正在不斷失守城池。《2012年測(cè)試從業(yè)人員調(diào)查報(bào)告》可以清晰看到，下面會(huì)有詳細(xì)描述。

　（三）嫁對(duì)男人是女人一生的事業(yè)。

　　悲劇就在這里，自從HP收購了Mercury，內(nèi)部發(fā)生了大動(dòng)亂，HP素以摳門聞名，收購了Mercury研發(fā)團(tuán)隊(duì)后，很多人的薪資被砍掉了三分之二！于是整個(gè)團(tuán)隊(duì)分崩離析……

　　這也是為什么大家總感覺當(dāng)初使用Mercury工具的時(shí)候那樣心潮澎湃，現(xiàn)在每每看到HP的升級(jí)版卻諸多失望多于期望。因?yàn)樽詈诵牡母邔印⒓軜?gòu)師和專家早已離開了HP Mercury團(tuán)隊(duì)。

　　所以，你們都看到了，……，就像QTP的新版本UFT一樣，加了什么PDF驗(yàn)證、類增強(qiáng)、支持移動(dòng)設(shè)備……，都有啥用啊？！你內(nèi)核沒有改變啊，大俠。。。一一大幫子人做了一整年就加了這么一點(diǎn)東西，還好意思拿出來說啊？！

　　QC也莫過于此。

　　（四）關(guān)于“改名”的樂趣。

　　從頻繁改名就可以知道HP的無能——沒有本事升級(jí)內(nèi)核，只能改改花哨的界面，加一點(diǎn)噱頭，再換個(gè)名字，看看都有啥名字吧。

　　測(cè)試管理工具：TestDirectoràQuality CenteràALM

　　自動(dòng)化測(cè)試：Astra QuickTestàQuickTest ProfessionalàUFT

　　HP肯定會(huì)說：你不了解名字背后的意義，好吧，我替你們來說：TD升級(jí)為QC的本意是從測(cè)試整合為質(zhì)量中心，把QTP捆綁進(jìn)來，QC改名為ALM就是希望它不再只是針對(duì)測(cè)試或質(zhì)量的管理平臺(tái)，而是一個(gè)完整的軟件生命周期管理平臺(tái)。

　　我想問一句：累不累啊？真以為改了名字以后用戶就收獲了什么好處嗎？我倒覺得反而增加了用戶的認(rèn)知成本、使用成本，最終反而傷害了自己的品牌。

　　（五）沒落是一個(gè)不爭(zhēng)的事實(shí)。

　　好吧，廢話不說，下圖是我們針對(duì)國(guó)內(nèi)測(cè)試從業(yè)人員做的問卷調(diào)查。你可以看到QC正在市場(chǎng)上節(jié)節(jié)敗退，按正常估計(jì)，明年一定跌破四成——極有可能被Atlassian Jira取代霸主地位。

　　看到了嗎？QC從昔日的一股獨(dú)大，變成了今天群雄并爭(zhēng)。最明顯的就是Jira，從2009年的14%上升為24%！！猛增10個(gè)百分點(diǎn)哦！這風(fēng)頭在自動(dòng)化那邊也是同樣，Selenium從2009年的4%上升為12%。

　　為什么？很多原因。且聽我細(xì)細(xì)道來。為了更好的說明，我以和它體量相當(dāng)?shù)拇笮蜏y(cè)試管理平臺(tái)比如Micro Focus SCTM(Silk Central Test Manager)、51Testing TestPlatform、IBM RQM來跟它做個(gè)簡(jiǎn)單對(duì)比——為什么不拿Atlassian Jira對(duì)比？因?yàn)镴ira現(xiàn)在雖然也在朝著“全生命周期管理”的方向靠，也有需求管理、錯(cuò)誤跟蹤這些模塊，但是走的路數(shù)和QC不太一樣（設(shè)計(jì)思路不太一樣，Jira走的是敏捷&項(xiàng)目管理模式），而且對(duì)測(cè)試需求和測(cè)試用例沒有提供直接的方式進(jìn)行管理（可以和別的工具集成），不好對(duì)比。當(dāng)然后面還是會(huì)提及。

版權(quán)聲明：本文出自 songfun 的51Testing軟件測(cè)試博客：copy Bookmark http://www.51testing.com/?songfun

原創(chuàng)作品，轉(zhuǎn)載時(shí)請(qǐng)務(wù)必以超鏈接形式標(biāo)明本文原始出處、作者信息和本聲明，否則將追究法律責(zé)任。

相關(guān)文章：

讓Quality Center走下神壇--測(cè)試管理工具大PK（中）

　1、莫名其妙的架構(gòu)設(shè)計(jì)。

　　前面提到過TestDirector的架構(gòu)設(shè)計(jì)，完全走輕快的路子，B/S架構(gòu)，基于Windows 2000平臺(tái)，安裝IIS4.0即可，數(shù)據(jù)庫可以是Access/Sybase/SQL Server6.5,7.0,2000/Oracle7,8,9這些，內(nèi)存只需要128M，CPU只要PentiumⅡ足矣。

　　但是到了QC的時(shí)候，莫名其妙的變成了Java EE架構(gòu)，號(hào)稱可以安裝在Windows、Linux、Solaris等系統(tǒng)上，Web服務(wù)器可以是Apache、IIS，應(yīng)用服務(wù)器可以是JBOSS、WebLogic、WebSphere，一個(gè)比一個(gè)復(fù)雜，一個(gè)比一個(gè)強(qiáng)大，……，架構(gòu)師對(duì)外宣稱QC可以更好的支持企業(yè)級(jí)用戶，支持高并發(fā)……

　　到了QC 11.5(ALM 11.5)的時(shí)候，官方的建議配置變成了Windows 2008 sp2 64bit + JBOSS 5.1 + SQLServer 2008 sp1，最低配置也得是Windows 2003 sp2 + (IIS 6) + JBoss 5.1 + SQL Server 2005 sp3，而硬件方面的最低配置更讓人咂舌——最低內(nèi)存8 GB！硬盤最少8GB！而且連客戶端的內(nèi)存最低配置都必須是2GB！

　　各位都明白了嗎？這也是為什么越來越多的用戶拋棄了HP Quality Center的原因，內(nèi)存要求短短幾年之間翻了62.5倍！！驚人吧！！！

　　看到這里我狂汗啊！要知道，微軟Windows 2000這么龐大的系統(tǒng)，不過動(dòng)用了1700個(gè)開發(fā)，3200個(gè)測(cè)試，世界上有幾個(gè)微軟這種巨量級(jí)的軟件研發(fā)公司？難道他們的架構(gòu)師沒有讀過《長(zhǎng)尾理論》？事實(shí)上，大部分的公司測(cè)試開發(fā)比本來就很低，真正考慮到實(shí)時(shí)并發(fā)的話，能做到一兩百并發(fā)讀寫已經(jīng)很好了，而且就像Infosys、Tata這樣的航空母艦級(jí)的外包服務(wù)公司，也沒有必要整個(gè)公司只用一個(gè)QC啊——再者說了，就算出于企業(yè)級(jí)管理的需要，這樣的公司能有幾家，為這些大公司定制化一個(gè)不就行了嗎？真正要考慮的是廣大的受眾群體所在的企業(yè)規(guī)模和研發(fā)團(tuán)隊(duì)規(guī)模啊！兄弟，這只是一個(gè)內(nèi)部研發(fā)管理系統(tǒng)！對(duì)內(nèi)的系統(tǒng)決定了對(duì)性能的要求不可能像對(duì)外開放的大型系統(tǒng)那么高，既不是12306，也不是天貓，更不是谷歌/百度首頁，設(shè)計(jì)這樣的架構(gòu)，我想問一句：有那必要嗎？圖啥呢？

　　假如還覺得不夠的話，那么我們對(duì)比看看現(xiàn)在也非常流行的TestLink——一款可以和Jira、Bugzill、Mantis集成的測(cè)試過程管理工具。它的架構(gòu)非常的簡(jiǎn)單：WAMP/LAMP，也就是Windows/Linux + Apache + PHP + MySQL。因?yàn)楝F(xiàn)在有大量的一鍵集成安裝包（如WAMP Server、XAMPP），所以安裝過程極其簡(jiǎn)單方便。正是因?yàn)門estLink的便捷性，這幾年使用的用戶比例也在攀升，而且別忘了，它可以集成很多主流的缺陷管理工具哦！

　　2、復(fù)雜繁瑣的安裝和登錄、驚人的資源消耗。

　　QC的服務(wù)器端姑且不提，看看其復(fù)雜而坑爹的客戶端——其實(shí)還是架構(gòu)設(shè)計(jì)的問題。

　　相信很多朋友都見過下圖的這個(gè)頁面吧？

　　假如你真的經(jīng)常使用Quality Center的話，一定對(duì)這個(gè)頁面再熟悉不過，相信大家都有同感，這個(gè)頁面往往需要下載非常的久，運(yùn)氣不好的話得下載5-10分鐘，而且還經(jīng)常下載到最后了打不開！！這時(shí)還得檢查有沒有關(guān)閉UAC(User Account Control)、DEP(Data Extension Prevention)等等，這種BT的架構(gòu)設(shè)計(jì)真的讓人不可思議了：這明明是B/S架構(gòu)的系統(tǒng)，為啥需要下載安裝這么多ActiveX？這不是掛羊頭賣狗肉，打著B/S的旗幟，行C/S之事嗎？與其這么麻煩，還不如你就做成C/S算了！

　　當(dāng)然，它還真有客戶端，而且官方推薦你使用，叫：QC Explorer。說白了，就是專門為打開QC開發(fā)的一款基于IE內(nèi)核的瀏覽器。唉，真的無語了，放著那么多流行的JavaScript. Framework Libraries不用，偏要用ActiveX這種落伍又笨拙的東西。這還不要緊，關(guān)鍵是這樣一來，對(duì)你的瀏覽器就會(huì)非常的挑剔！請(qǐng)看這段官方描述（針對(duì)QC客戶端的瀏覽器要求）：Microsoft Internet Explorer 7 or 8。就是說你的客戶端只能用微軟的IE瀏覽器，而且必須是IE 7或者IE 8這個(gè)版本，不能用微軟的IE 6或IE 9（一定要用高版本的IE還得到j(luò)boss\server\default\deploy目錄下修改20qcbin.war里的內(nèi)容），不能用Chrome、Firefox，更別提什么Opera、Safari之流了。還有更讓人崩潰的，就是除了瀏覽器之外，你的系統(tǒng)上還必須要安裝：Microsoft .NET Framework 3.5 (SP1)、Visual C++ 2005 SP1 ATL Security Update Redistributable、Microsoft Office 2007 (SP2)等一系列東西，你說有多煩有多煩！！！

　　相比之下，真的建議他們（HP QC的架構(gòu)師）去學(xué)習(xí)一下Jira和Micro Focus SCTM，全部是用JavaScript類庫實(shí)現(xiàn)，真正意義上的純B/S架構(gòu)，所以所有的瀏覽器都可以輕松訪問，無需額外安裝其他ActiveX！

　　純B/S架構(gòu)帶來的好處還有很多，包括友好的用戶體驗(yàn)，以及無縫切入移動(dòng)互聯(lián)網(wǎng)（手機(jī)訪問），這些后面會(huì)單獨(dú)列出來提及。

　這里還沒說它的服務(wù)器端的安裝呢！假如你曾裝過Quality Center的服務(wù)器端，十有八九遇到過“數(shù)據(jù)庫連接屬性不正確”的問題，一般原因是數(shù)據(jù)庫那邊還得再做正確的配置，具體得看是SQL Server還是Oracle，各有各的招，這里就不多說了。

　　總而言之一堆的問題要注意要設(shè)置好，還記得當(dāng)年我寫的那篇《關(guān)于"The RPC server is unavailable"的探討及解決方案》嗎？這個(gè)也是其中之一。

　　再來說資源消耗。其實(shí)從上面的“最低配置要求8GB內(nèi)存”大家就可以大致看出QC有多吃內(nèi)存了。這么說吧，我們51Testing的講師都最怕上QC這門課，不是因?yàn)檫@門課很難，而是很痛苦，每次從虛擬機(jī)里啟動(dòng)出來至少15分鐘，中間還有很多操作也非常的卡。PS：我用的筆記本是HP ProBook 4230s，CPU是i3-2310M 2.10GHz，內(nèi)存8GB，也是如此。

　　3、過于簡(jiǎn)化的需求管理模塊。

　　QC的需求管理嚴(yán)格意義上不屬于真正意義上“開發(fā)需求的管理”，而是指針對(duì)測(cè)試需求的管理，并且可以結(jié)合Release模塊設(shè)定簡(jiǎn)單的基線，不過如果你用過CaliberRM這種專業(yè)級(jí)的需求管理工具，就會(huì)發(fā)現(xiàn)QC的Requirements實(shí)在是弱爆了！

　　Micro Focus SCTM就不一樣了，它支持項(xiàng)目級(jí)的需求基線，而且可以直接切進(jìn)CaliberRM（這是亮點(diǎn)），這才是真正意義的需求全生命周期管理。

　　當(dāng)然假如你的SRS是word文檔，QC倒也可以把開發(fā)需求導(dǎo)入進(jìn)去，但是問題是QC的word插件非常非常難用，導(dǎo)入的工作量一點(diǎn)都不比你自己手工輸入來的快（因?yàn)樾枰槍?duì)每一個(gè)需求項(xiàng)去打begin和end標(biāo)記）！！所以通常我們?cè)谄髽I(yè)實(shí)戰(zhàn)中只能采用折中的方式，先把SRS轉(zhuǎn)為Excel文檔，再通過Excel Addin導(dǎo)入進(jìn)去，當(dāng)然導(dǎo)入的過程也不那么輕松，具體可以參考我的《ALM(Quality Center) Excel Addin深入剖析》，鏈接是：

　　http：//wenku.baidu.com/view/04a20cee998fcc22bcd10d81.html

　　4、不倫不類的test plan——關(guān)于“測(cè)試計(jì)劃”和“測(cè)試用例”的混淆。

　　從TD以來一直到后來的QC、ALM，Quality Center一直把test plan認(rèn)為是test cases——從這里很容易看出來，設(shè)計(jì)這款工具的人是做開發(fā)出身的，不懂測(cè)試，呵呵。

　　測(cè)試計(jì)劃是什么？首先測(cè)試過程會(huì)分為計(jì)劃、設(shè)計(jì)、實(shí)現(xiàn)、執(zhí)行幾個(gè)活動(dòng)（按ISTQB的說法是測(cè)試過程分為計(jì)劃和控制階段、分析和設(shè)計(jì)階段、實(shí)現(xiàn)和執(zhí)行階段、評(píng)估出口準(zhǔn)則和報(bào)告階段以及結(jié)束收尾階段），分別解決“做什么”、“如何做”、“具體步驟是什么”、“發(fā)現(xiàn)缺陷并跟蹤缺陷”、“評(píng)估測(cè)試報(bào)告”這幾個(gè)問題。

　　《測(cè)試計(jì)劃》，是有國(guó)際性的模板的，即IEEE 829。請(qǐng)各位參考維基百科：http：//zh.wikipedia.org/wiki/IEEE_829內(nèi)容包括明確組織形式（強(qiáng)矩陣、平衡矩陣、弱矩陣），明確測(cè)試對(duì)象，明確測(cè)試的需求跟蹤和覆蓋，明確測(cè)試的“通過/失敗”標(biāo)準(zhǔn)，明確測(cè)試的掛起標(biāo)準(zhǔn)和恢復(fù)條件，明確工作的任務(wù)分配，明確項(xiàng)目可交付物。

　　然而，QC里所謂的測(cè)試計(jì)劃（test plan）對(duì)于以上這些統(tǒng)統(tǒng)沒有涉及，實(shí)質(zhì)上卻是編寫測(cè)試用例的模塊，你可以看到用例的目錄規(guī)劃、用例的名稱、用例的步驟，還可以看到用例的類型（是手工測(cè)試還是自動(dòng)化測(cè)試），……，總而言之，這就是Test Cases。

　　而它的Release模塊倒可以理解為粗略的測(cè)試計(jì)劃模塊，只是太粗糙了點(diǎn)兒。

　　真正做到了可以沿著IEEE 829的樣板編寫測(cè)試計(jì)劃的工具目前還沒有，不過IBM RQM算是比較接近的，它們可定義做到的是定義測(cè)試目標(biāo)，定義過程，定義每次迭代的進(jìn)度并對(duì)重要的milestone跟蹤，可以估計(jì)工作量，可以列出測(cè)試環(huán)境，定義開始和結(jié)束的標(biāo)準(zhǔn)，……，總體來說還算不錯(cuò)。

　　還有就是我們51Testing的TP(Test Platform)，也有獨(dú)立的測(cè)試計(jì)劃管理模塊，可以建立多級(jí)測(cè)試計(jì)劃，也包含了任務(wù)分配、工作量估計(jì)、風(fēng)險(xiǎn)管理、測(cè)試環(huán)境管理和分配等，也能通過度量監(jiān)控測(cè)試的執(zhí)行進(jìn)度，質(zhì)量狀況。

　　5、華而不實(shí)的Business Components。

　　QC中有個(gè)HP自己鼓吹的“業(yè)務(wù)驅(qū)動(dòng)測(cè)試”的概念，叫：Business Components。核心理念是：BPT(Business Process Testing)，業(yè)務(wù)流程測(cè)試。

　　干嘛用呢？簡(jiǎn)單的說，就是讓SME（主題事件專家，也就是“業(yè)務(wù)專家”）可以借助自身對(duì)業(yè)務(wù)的熟悉通過對(duì)系統(tǒng)的熟練操作，讓這個(gè)Business Components把所有操作記錄下來，生成一個(gè)自動(dòng)化腳本，然后通過QTP進(jìn)行回歸測(cè)試（只能通過QTP）。實(shí)際上如果大家對(duì)QTP的Keyword View比較熟悉的話，就能明白是怎么回事了。HP認(rèn)定做測(cè)試的人主要分為兩類：一類熟悉測(cè)試技術(shù)（包括精通編程、數(shù)據(jù)庫，但對(duì)業(yè)務(wù)不甚精熟），一類則熟悉業(yè)務(wù)（但可能是編程白癡），這兩類人都有測(cè)試的盲點(diǎn)，通過這個(gè)業(yè)務(wù)設(shè)計(jì)讓兩類截然不同的人得以協(xié)作。很美好吧？其實(shí)也有一點(diǎn)兒TDD的味道（沾邊）。

　　SCTM也有個(gè)類似的東西叫workbench，基于StoryBoard技術(shù)，也不需要編程（Visual Test）。

　　但事實(shí)上，很少有公司可以做到清晰的劃分這些，往往做測(cè)試的必須懂業(yè)務(wù)，即使你是自動(dòng)化測(cè)試工程師，也得了解業(yè)務(wù)。所以，……，就黃了，這個(gè)組件根本沒有辦法大面積推廣開，在內(nèi)部被證明失敗之后，HP開始轉(zhuǎn)型做 Sprinter——這個(gè)東西后面會(huì)提，是個(gè)神器！不過國(guó)內(nèi)還沒有漢化，也幾乎沒人深入研究，大部分testers還沒能體會(huì)到它的強(qiáng)大。

版權(quán)聲明：本文出自 songfun 的51Testing軟件測(cè)試博客：copy Bookmark http://www.51testing.com/?songfun

原創(chuàng)作品，轉(zhuǎn)載時(shí)請(qǐng)務(wù)必以超鏈接形式標(biāo)明本文原始出處、作者信息和本聲明，否則將追究法律責(zé)任。

相關(guān)文章：

讓Quality Center走下神壇--測(cè)試管理工具大PK（上）

讓Quality Center走下神壇--測(cè)試管理工具大PK（下）

　6、測(cè)試設(shè)計(jì)分析的薄弱。

　　QC把自己的架構(gòu)做的很復(fù)雜很“強(qiáng)大”，可遺憾的是，在測(cè)試的分析設(shè)計(jì)上卻非常的薄弱，可以說幾乎沒有——很難想象一個(gè)被假設(shè)為如此強(qiáng)大的公司居然會(huì)沒有測(cè)試分析？這種感覺就像給一個(gè)拖拉機(jī)安上了波音747的引擎。

　　關(guān)于測(cè)試分析：其實(shí)業(yè)內(nèi)的大部分測(cè)試管理工具往往都是跳過分析這一環(huán)直接從測(cè)試需求跳到了測(cè)試用例設(shè)計(jì)，而實(shí)際上對(duì)測(cè)試需求分解出來的東西直接進(jìn)行用例設(shè)計(jì)的話會(huì)造成分解粒度過于粗糙，導(dǎo)致大量測(cè)試分析細(xì)化的過程無法以可視化的方式體現(xiàn)出來，從而造成漏測(cè)。假如你的系統(tǒng)比較復(fù)雜，這個(gè)過程應(yīng)該是：從測(cè)試需求分解出測(cè)試項(xiàng)，測(cè)試項(xiàng)分解出測(cè)試子項(xiàng)，然后在測(cè)試子項(xiàng)中設(shè)計(jì)測(cè)試用例。

　　TP在這塊上做的很不錯(cuò)，可以進(jìn)行繼承性分析、質(zhì)量模型分析（ISO9126 Model六大特性27子特性）、功能交互分析、用戶場(chǎng)景分析等專業(yè)性的分析，通過這些系統(tǒng)性的分析我們可以得到高質(zhì)量的測(cè)試項(xiàng)。而且TP把我們測(cè)試人員對(duì)分析思考的過程記錄和管理起來，這樣就實(shí)現(xiàn)了對(duì)分析過程的評(píng)審了。

　　所有做測(cè)試的人都知道V&V，即Test = Verification + Validation。“測(cè)試”本質(zhì)上就是驗(yàn)證和確認(rèn)，驗(yàn)證過程的正確性，確認(rèn)結(jié)果的正確性。而TP真正意義上實(shí)現(xiàn)了既確認(rèn)結(jié)果，又驗(yàn)證過程。但很遺憾，QC不具備這個(gè)功能。

　　而測(cè)試設(shè)計(jì)這塊，也就是我們通常提到的等價(jià)類劃分、邊界值分析、判定表、因果圖、狀態(tài)遷移法、場(chǎng)景法（流程分析法）、正交實(shí)驗(yàn)法、輸出域分析、錯(cuò)誤猜測(cè)法等各種測(cè)試用例設(shè)計(jì)方法。它們同樣在QC中也無法體現(xiàn)，這就意味著我們沒有辦法評(píng)審我們測(cè)試設(shè)計(jì)的過程！而漏了這個(gè)過程的評(píng)審，那么漏測(cè)也是在所難免了！比如我們只考慮了邊界值，忽略了兩兩組合的分析（通過判定表或正交實(shí)驗(yàn)），雖然針對(duì)需求的覆蓋可以達(dá)到100%了，但是仍然忽略了一些情況的考慮，那么QC這時(shí)是根本“察覺”不出來的。

　　目前市面上的所有測(cè)試管理工具中，普遍缺少這塊的功能實(shí)現(xiàn)，究其原因，我還是認(rèn)為這些軟件的設(shè)計(jì)者不是一個(gè)經(jīng)驗(yàn)豐富的測(cè)試專家（應(yīng)該只是做開發(fā)出身的），所以忽略了這些核心模塊的功能實(shí)現(xiàn)。

　　目前做到這一點(diǎn)的，只有51Testing的Test Platform這款工具——這里我得自賣自夸一下，周峰（90年代就已經(jīng)通過國(guó)家系統(tǒng)分析員認(rèn)證），對(duì)測(cè)試的理解確實(shí)是高瞻遠(yuǎn)矚，要比很多人都深入、全面。而他所有的考慮都融入到了TP里面，我也衷心希望同行可以借鑒，把這些功能添加到各自的工具模塊中，畢竟百花齊放、百家爭(zhēng)鳴才是最應(yīng)該看到的景象。

　　7、忽略白盒測(cè)試，缺少代碼覆蓋率分析。

　　所有熟知測(cè)試過程V模型的人都知道，測(cè)試活動(dòng)分為：單元測(cè)試、集成測(cè)試、系統(tǒng)測(cè)試，驗(yàn)收測(cè)試，分別驗(yàn)證軟件的內(nèi)部質(zhì)量、外部質(zhì)量、使用質(zhì)量。

　　然而QC似乎并不關(guān)心這些。因?yàn)镼C只實(shí)現(xiàn)了測(cè)試用例對(duì)需求的覆蓋關(guān)聯(lián)，卻沒有辦法進(jìn)行代碼級(jí)別的覆蓋率分析。給人感覺QC更多關(guān)注的其實(shí)是黑盒層面的測(cè)試。

　　而SCTM則進(jìn)行全面的關(guān)注，它也可以關(guān)聯(lián)需求，還可以收集Java/.Net的代碼覆蓋率，而且可以提供比較報(bào)告，讓SQA隨時(shí)掌握代碼覆蓋率的趨勢(shì)變化，了解測(cè)試用例的充分程度。

　　這樣可以更好的幫助項(xiàng)目成員一起來使用這個(gè)測(cè)試管理平臺(tái)。

　　順便說一下，SCTM在單元測(cè)試這塊應(yīng)該是所有測(cè)試管理工具中做的最好的，可以支持Fitness、JUnit、NUnit、.Net Explorer、Process Executor、Windows Scripting等主流的單元測(cè)試/集成測(cè)試框架，而QC根本不支持，除非你做二次開發(fā)。差的遠(yuǎn)了！

　　8、最關(guān)鍵的缺陷分析和Report功能。

　　經(jīng)常有朋友問我QC導(dǎo)出報(bào)告的問題，比如怎么把測(cè)試用例或缺陷以Excel的方式導(dǎo)出。其實(shí)QC的報(bào)告導(dǎo)出功能也很弱，特別是在Excel上，而且word的導(dǎo)出一直有Bug，基本上不可定制的，特別是你如果針對(duì)前面的Test Plan等模塊做過定制化或二次開發(fā)，在導(dǎo)出的時(shí)候會(huì)有各種問題。

　　后來QC整合了Dashboard（其實(shí)就是展現(xiàn)各種數(shù)據(jù)指標(biāo)的儀表盤），但是這意味著你必須是Enterprise Edition（收費(fèi)更高昂），而且即使整合了Dashboard，只是在展示上更華麗了，導(dǎo)出的問題還是沒解決！而其實(shí)“測(cè)試報(bào)告”才是關(guān)鍵，只要做過項(xiàng)目的兄弟都知道，甲方需要的是漂亮的word報(bào)告！

　　而SCTM的報(bào)告功能卻非常的豐富，它提供了一個(gè)專門的報(bào)告引擎BIRT，可以定制各種報(bào)告，也可以支持項(xiàng)目群報(bào)告、Dashboard，而且最重要的是：它們都是免費(fèi)的！

　　再說度量和缺陷分析，這更是QC的一大軟肋！嚴(yán)格意義上來說，QC的那些數(shù)據(jù)分析離真正的缺陷分析還非常的遠(yuǎn)！可以說幾乎就沒有。而51Testing TP在這塊上做的非常出眾，提供了專業(yè)的ODC分析、Gompertz分析、Rayleigh分析、四象限分析、DRE/DRM等工程分析方法，可以對(duì)缺陷進(jìn)行單、多維度分析、進(jìn)行缺陷趨勢(shì)分析、對(duì)缺陷進(jìn)行預(yù)測(cè)等，為測(cè)試工作質(zhì)量評(píng)估、測(cè)試退出判斷、遺留缺陷預(yù)測(cè)提供支撐。51Testing軟件測(cè)試網(wǎng)9oz;R+nG(t2w:V]5LL"m

　　一句話：QC弱爆了，TP“碉堡了”！！

　　9、敏捷哪兒去了？

　　敏捷時(shí)代，不能不提敏捷。

　　“個(gè)體與交互勝過過程與工具”——這是著名的《敏捷宣言》的第一條價(jià)值觀。不過，有意思的是，工具卻成了今天大多數(shù)敏捷團(tuán)隊(duì)的重要組成部分。

　　做過敏捷的人應(yīng)該聽說過Rally，這家公司是做敏捷項(xiàng)目生命周期管理工具的。其實(shí)還有很多，比如VersionOne、Mingle、DotProject、Redmine等。。。

　　很遺憾，QC不提供這些工具的集成工具，也沒有技術(shù)支持！

　　這塊做的最好的應(yīng)該是Micro Focus SCTM，它提供了配套的集成工具，而且還提供技術(shù)支持，因?yàn)镸icro Focus和這些軟件廠商本身就是戰(zhàn)略伙伴。

　　當(dāng)然，Atlassian Jira也是具有敏捷基因的工具，它有個(gè)GreenHopper插件，可以通過快速創(chuàng)建User Story來建立一個(gè)產(chǎn)品Backlog，可以在整個(gè)發(fā)布過程中管理Backlog、Sprint，并且監(jiān)控項(xiàng)目的進(jìn)度。此外，Jira還有一個(gè)名為Bonfire的插件，做敏捷測(cè)試管理的，不過我還沒有使用過，不敢做太多評(píng)論。

　10、移動(dòng)端的訪問。

　　十年前，我就在想這件事情。作為團(tuán)隊(duì)的項(xiàng)目經(jīng)理、測(cè)試經(jīng)理，或公司的老板，日理萬機(jī)，每天就為了了解項(xiàng)目狀況，得扛著筆記本電腦“飛來飛去”，看上去實(shí)在大煞風(fēng)景。更何況，在講究“碎片化時(shí)間利用”的今天，我們?cè)诠簧稀⒌罔F里，掏出手機(jī)訪問一下我們的測(cè)試管理系統(tǒng)，了解下“張三用例寫到哪里了，李四缺陷修復(fù)了沒有”豈不更加方便、高效？

　　要說敏捷，我覺得這也算一種“敏捷”。

　　QC有移動(dòng)端APP嗎？或是能通過手機(jī)瀏覽器訪問嗎？道聽途說過，卻從未曾見。個(gè)人覺得很不靠譜，為什么？別忘了前面第2點(diǎn)提到的QC客戶端對(duì)Windows平臺(tái)和IE瀏覽器的依賴，假如我們用的是iPhone、iPad，或者Android設(shè)備，那怎么可能訪問呢？

　　相比之下，Jira和SCTM就具有這樣的先天優(yōu)勢(shì)了。為什么呢？別忘了它們都是用JavaScript類庫實(shí)現(xiàn)的，不需要安裝ActiveX，是真正的純B/S——自然可以通過手機(jī)瀏覽器訪問了！

　　事實(shí)上，Jira確實(shí)有移動(dòng)端的APP，我剛特地去App Store上搜索了一下，呵呵，見下：

　　而且，連Bugzilla也有移動(dòng)端的APP了！

　　個(gè)人覺得，移動(dòng)互聯(lián)網(wǎng)時(shí)代，這些測(cè)試管理工具也都將面臨著新一輪的洗牌，HTML5的支持、CSS3的支持、大量的JavaScript類庫……QC還能撐多久，我們拭目以待！

　　11、用戶體驗(yàn)?zāi)膬喝チ耍?/strong>

　　其實(shí)TD當(dāng)初的用戶體驗(yàn)還真的挺好的，但是QC的用戶體驗(yàn)，唉，不提也罷。

　　龐大的身軀、臃腫的組件、極差的兼容性、緩慢的運(yùn)行速度、滯后的設(shè)計(jì)理念、封閉性……其實(shí)前面都已經(jīng)提到過了。

　　用戶體驗(yàn)的精髓在于“Don’t make me think”，而QC卻是“make me think hard”。

　　12、唯一的亮點(diǎn)：Sprinter，探索性測(cè)試（Exploratory Testing）和兼容性測(cè)試的頭號(hào)利器！

　　QC唯一的亮點(diǎn)應(yīng)該就是從QC 11.0開始推出了Sprinter——一個(gè)半自動(dòng)化測(cè)試的集成工具。

　　它既不是QTP，也不是Selenium，而是可以把你手工測(cè)試的過程直接記錄下來，進(jìn)行“自動(dòng)化回歸”，比如屏幕捕捉（截圖、截視頻）、屏幕記錄（截圖以后可以在上面做標(biāo)記）、自動(dòng)數(shù)據(jù)注入（Data Injection），可以在執(zhí)行用例的同時(shí)直接生成缺陷報(bào)告，非常適合做探索式測(cè)試。還可以做鏡像測(cè)試，也就是同時(shí)進(jìn)行多環(huán)境的配置測(cè)試，是兼容性測(cè)試的利器！我親見過它的強(qiáng)大，確實(shí)“亮瞎了眼”！我推薦大家去體驗(yàn)一把，這種針對(duì)手工測(cè)試的自動(dòng)化一點(diǎn)都不需要你有編程基礎(chǔ)，用起來又快又方便，真的是“誰用誰知道”！

　　只是很可惜，HP沒有足夠的重視Sprinter，沒有把這張王牌打好。因?yàn)闇?zhǔn)確的說，QC是用不了Sprinter的，ALM才能支持Sprinter，這意味這你必須先升級(jí)到它們的ALM(QC 11)。這成了它的第十二宗罪！

　　13、離線模式和版本管理。

　　隨著GIT的興起，離線開發(fā)和離線Repository將成為一種新興的需求和開發(fā)模式。

　　我們51Testing出去和用戶推TP的時(shí)候，就遇到有用戶提出這樣的需求（而我們的TP已經(jīng)實(shí)現(xiàn)了離線模式）。但事實(shí)上，QC并沒有離線模式，必須始終保持QC Connection，而且消耗你的License！

　　除了51Testing的TP，Micro Focus SCTM也支持離線模式（通過MTC來支持），也可以在你工作完成后提交測(cè)試結(jié)果。

　　好吧，即使我們不談離線模式，就說版本管理，QC仍然在同類測(cè)試管理工具中處于下游。QC雖然提供了版本管理的功能，但是非常弱，易用性也極差。比如你編寫了測(cè)試用例，經(jīng)過評(píng)審之后修改了用例，過幾天刪除了，過幾天又想恢復(fù)……那么這些通過QC實(shí)現(xiàn)是幾乎不可能的。

　　在版本管理這塊，SCTM(Silk Central Test Manager)就不一樣了，它可以支持測(cè)試用例的版本化，還可以指定當(dāng)前測(cè)試項(xiàng)目測(cè)試用例的活動(dòng)版本！是不是很強(qiáng)大？！

　　14、相形見絀的擴(kuò)展性。

　　QC幾乎沒有任何擴(kuò)展性！雖然它有一個(gè)Add-in Pages，但是基本都沒有和業(yè)界主流工具集成，上面可以下載的都是諸如QTP Addin、Excel Addin這種東西，實(shí)在不值一提。

　　擴(kuò)展性這塊，Jira很不錯(cuò)，不過最強(qiáng)的還是SCTM，還記得前面發(fā)過的文章嗎？——《你見過的這么強(qiáng)大的開箱即用的測(cè)試管理工具嗎？》

　　好吧，這里再次描述一次：SCTM號(hào)稱業(yè)界最開放的測(cè)試管理平臺(tái)，需求部分支持CaliberRM、DOORS、RequisitePro、Word，變更管理部分支持StarTeam、Subversion(SVN)、VSS、CVS、PVCS、VSTS，缺陷管理部分支持Atlassian Jira、Bugzilla、IBM ClearQuest、Microsoft VSTS、StarTeam，自動(dòng)化測(cè)試這塊支持JUnit、NUnit、Fitness、TestPartner、SilkTest、SilkPerformer、VMWare Lab Manager……據(jù)說現(xiàn)在還在增加擴(kuò)展……不得不贊美一句，牛B！

　　OK，至此，《讓Quality Center走下神壇》已經(jīng)全部打完收工！

版權(quán)聲明：本文出自 songfun 的51Testing軟件測(cè)試博客：copy Bookmark http://www.51testing.com/?songfun

原創(chuàng)作品，轉(zhuǎn)載時(shí)請(qǐng)務(wù)必以超鏈接形式標(biāo)明本文原始出處、作者信息和本聲明，否則將追究法律責(zé)任。

相關(guān)文章：

讓Quality Center走下神壇--測(cè)試管理工具大PK（上）

讓Quality Center走下神壇--測(cè)試管理工具大PK（中）