正視測試正視第三方測試機構(gòu)
如何面對軟件產(chǎn)品大型化、復(fù)雜化、系統(tǒng)化帶來的挑戰(zhàn),抓住云計算帶來的發(fā)展新機遇,解決軟件測試理論、工具與應(yīng)用不相適應(yīng)的矛盾?如何推動軟件質(zhì)量保證體系向縱深發(fā)展,結(jié)合超大規(guī)模復(fù)雜系統(tǒng)對可靠性的要求,將軟件質(zhì)量管理與開發(fā)過程緊密結(jié)合,幫助企業(yè)實現(xiàn)軟件質(zhì)量水平的持續(xù)提升?如何破解軟件知識產(chǎn)權(quán)遭受侵犯的難題,將中國軟件知識產(chǎn)權(quán)的保護與軟件著作權(quán)的申請、使用、管理相結(jié)合,建立促進軟件正版化與產(chǎn)業(yè)技術(shù)創(chuàng)新的長效機制?如何培養(yǎng)高端、復(fù)合型軟件人才,突破軟件產(chǎn)業(yè)遭遇的人才瓶頸,建立符合軟件人才市場需要的培訓體系,滿足企業(yè)對專業(yè)領(lǐng)域軟件人才的需求?如何應(yīng)對貨幣政策逐漸收緊的趨勢,開拓融資渠道,創(chuàng)新為軟件園區(qū)和企業(yè)提供個性化的投融資服務(wù)?
面對軟件產(chǎn)業(yè)技術(shù)變革,創(chuàng)新商業(yè)模式成為應(yīng)對變革的重要手段,本屆年會以“前瞻科技創(chuàng)新 重構(gòu)商業(yè)未來”為主題,成功舉辦了主論壇與軟件知識產(chǎn)權(quán)、軟件人才培養(yǎng)、軟件投融資、軟件測評技術(shù)和軟件質(zhì)量保證五個分論壇。來自工信部的領(lǐng)導、兩院院士及典型企業(yè)總裁等與業(yè)界一起分享“軟件產(chǎn)業(yè)商業(yè)模式面向服務(wù)的創(chuàng)新與變革”,促進新模式下認證測試、產(chǎn)品質(zhì)量、知識產(chǎn)權(quán)、人才培養(yǎng)、投融資體系等軟件產(chǎn)業(yè)生態(tài)重構(gòu),促使軟件產(chǎn)業(yè)步入融合、轉(zhuǎn)型和調(diào)整的新階段,助推中國新一輪軟件產(chǎn)業(yè)發(fā)展浪潮。大會期間,記者就中國軟件評測中心周潤松先生進行了采訪。
Q:在軟件公司,開發(fā)人員和測試人員是否有一個合適的比例?比如在一家偏向研發(fā)的公司,研發(fā)人員相對占多數(shù)。而在一家做測試的公司,相對測試人員占多數(shù),是否有這樣的比例問題呢?
A:與我國的國情有關(guān)。更與軟件測試的受重視輕度有關(guān)。在國內(nèi),軟件測試逐漸被重視。包括軟件產(chǎn)品有登記測試,可以證明企業(yè)有能力生產(chǎn)這個軟件,而這個測試只是政府的行為,作為簡單的抽測。從軟件工程師角度來說,從 2004年開始有測評師這樣一個增項。很多研發(fā)型企業(yè)并沒有專門的測試人員,軟件的測試工作就由研發(fā)者自己來完成。有的企業(yè)也可能做交叉型的測試,比如兩個工程師互測,但這樣的情況并沒有很好的開展。自己研發(fā)自己測試有個弊端,開發(fā)者會有固定的思維定式,很難解決軟件自身的問題。企業(yè)保證研發(fā)就已經(jīng)是很吃力的事情就不可能投一筆資金來維護一堆測試人員。相對國內(nèi),測試人員相對匱乏,我們也可以在一些報道上看到極度缺乏測試人員這樣的廣告。我們?nèi)鄙俚牟皇堑投说臏y試人員我們?nèi)鄙俚氖菍y試有較高領(lǐng)悟的高端測試人才。
Q:幫助理解“測試人員的成功不在于找出多少個Bug,而是說服開發(fā)人員修復(fù)多少個Bug”這句話。
A:測試工程師的使命是發(fā)現(xiàn)程序中的缺陷,但在企業(yè)固有投入的狀況下不可能完全修復(fù)所有的缺陷。企業(yè)也好,開發(fā)人員也好都有自己的權(quán)衡。往往在測試的時候有個過程,從理解軟件開始到實施測試。測試之后才會發(fā)現(xiàn)軟件的缺陷,此時我們才會和開發(fā)人員進行核對,如果不是對軟件對業(yè)務(wù)流程理解問題那么此時才會進一步考慮,在現(xiàn)有投入狀態(tài)下,這個版本是否需要修復(fù)這個缺陷或者直接將這個功能刪掉,或者下個版本時將此功能修復(fù)好。軟件的缺陷可分為三級,重要級別,一般級別以及建議級別。遇到嚴重級別的bug,必須要進行修復(fù),否則將會導致軟件崩潰。一般級別的bug,并不會影響系統(tǒng)的正常運行,依據(jù)情況進行修復(fù)。而建議性問題則在易用性以及美觀度提出一些建議。通常情況下,測試并不是保證軟件沒有任何問題,而是更多的去發(fā)現(xiàn)問題,叫軟件更健壯叫用戶使用起來更放心。
Q:在您的工作中是否遇到過這樣的情況,肩負開發(fā)和測試雙重工作的人員,是否會比較煩感測試,他們寧可去寫代碼也不喜歡進行測試?
A:你提出這樣的質(zhì)疑可能是你會關(guān)注開發(fā)人員和測試人員薪酬的問題。在我國,開發(fā)人員的薪酬要遠遠高于測試人員,而在國外卻恰恰相反。如果你是一名合格的測試工程師,你所處的位置應(yīng)該是在開發(fā)人員之上的,并不是一個不懂開發(fā)的人。相對開發(fā)人員,測試人員的開發(fā)功底相對較低,在一些小企業(yè)中,他們的測試只是簡單的功能驗證,只是將正向的合理的流程順利走完,他們并沒有針對異常輸入以及惡意行為進行測試。
Q:我們的測試是否和“跑分”的測試一樣呢?
A:非也。你所說的跑分測試,其實是個基準測試,定義一個評分體系,而我們拿到產(chǎn)品便會對其原始需求進行分析,承諾的需求是什么樣子,然后根據(jù)需求詳細到測試點,再對其設(shè)計測試方法進行測試,如果滿足我們的要求說明該測試點沒有問題,如果沒有通過則是一個缺陷。最終出一份報告,報告的內(nèi)容是告訴系統(tǒng)目前有哪些地方?jīng)]有達到標準,為何沒有達到標準。
Q: 目前我國有很多相關(guān)培訓,如果說學員學滿而歸,所在企業(yè)購買一套測試系統(tǒng),如果是這樣,我們這樣的第三方測試機構(gòu)豈不是沒有什么作用了?
A: 這樣的情況也有,不過有句話說的比較貼切,叫“王婆賣瓜”。有些時候測試的能力與我們相當,并能出一份類似的評測結(jié)果。而我們目前的角色是充當一個第三方的角色,我們更多的是去驗證你的話是否如你所說。我們培訓的學員雖然是參加了培訓,但能否建立一個有效的測試體系和測試團隊我們不敢打這樣的保票。如果產(chǎn)品我們來測試可能我們出的測試報告有100頁,而他們自己可能只有十幾頁,這充分說明了測試的細膩度不同。
采訪對象周潤松簡介:
碩士,高級專業(yè)職稱,核高基實施部、高級測試工程師。 2004 年 5 月加入中國軟件評測中心至今,多次主持國家大型政府網(wǎng)站及辦公應(yīng)用系統(tǒng)的性能測試與調(diào)優(yōu)工作,同時參與電子發(fā)展基金 IPv6 測試平臺研究工作。在 J2EE 應(yīng)用系統(tǒng)測試領(lǐng)域,多次作為項目負責人領(lǐng)導組織大型應(yīng)用系統(tǒng)的性能測試與調(diào)優(yōu)工作,具備相當豐富的大型應(yīng)用系統(tǒng)現(xiàn)場性能測試及調(diào)優(yōu)工作經(jīng)驗。先后參與了中石化人力資源管理系統(tǒng)、國家開發(fā)銀行辦公應(yīng)用系統(tǒng)、北京市公安局 110 接處警系統(tǒng)、中國移動 12580 信息查詢系統(tǒng)等性能測試工作。 2007 年底至 2008 年 6 月份,領(lǐng)導完成了第 29 屆奧運會票務(wù)系統(tǒng)的功能以及性能測試工作,通過測試優(yōu)化,有利的保證了票務(wù)系統(tǒng)的第三次實時售票工作,系統(tǒng)承受了頁面峰值流量 2900 多萬 / 小時。同時在城市智能交通領(lǐng)域,配合北京市交管局完成了美國 NTCIP 城市智能交通系統(tǒng)開放式通訊協(xié)議的引進工作,多次配合北京市交管局進行城市智能交通信號控制器的 NTCIP 通訊協(xié)議選型測試工作,發(fā)表期刊論文一篇,并成功組織了一次國內(nèi)城市智能交通通訊協(xié)議研討會,極大的推動了 NTCIP 協(xié)議在國內(nèi)的推廣。