1、微軟的自動化測試是否適合于淘寶? 微軟的自動化測試有三種形式。
1)根據設計文檔,進行代碼級別的測試。開發人員根據測試腳本進行開發。
現狀,很難進行這種測試。
2)針對于界面的自動化測試。
淘寶屬于web服務提供商,而且界面變更頻繁,且缺乏這方面的專業人才。
3)測試主要業務邏輯。
目前我們的自動化測試,主要集中于業務邏輯方面。業務邏輯的正確性對于淘寶來說是必須保證的。
它是保證系統穩定的基礎。淘寶的接口有很多,如果逐個進行自動化回歸,以現在的人力是幾乎不可能完成的。
若只是大體上進行測試而沒有達到一定的測試粒度,那么意義并不大。所以我們做自動化測試的基礎就是做好業務邏輯的測試,做細做強。
2、淘寶的自動化測試要細化到何種程度,細化過程中容易遇到的問題?陸老師在課堂上舉過一個例子。一個方法,其返回值長達兩屏。老師問:測么? 有人說測,有人說不測。 而最終的答案是:全要測,交給自動化測試。
而我們的測試怎樣能細化到這種程度呢? 首先,測試所有的返回值。 其次,測試執行方法后所有數據庫表中的相關數據。
但是,實現這兩點有可能會遇到很多問題。
其一,在編碼結束前,沒有一個確定的文檔明確的準確的告訴你這個方法會返回些什么,對哪些表中的哪些數據會有改動。
其二,淘寶是一個web服務提供商。時間,意味著更多的pv,更多的成交額,更快的擊敗對手。所以項目的周期要短且嚴格要求保證質量。在一個年輕的團隊中,若經驗豐富的開發人員所占
比重較小且缺乏經驗和時間準備詳細而又準確的文檔的情況下,周期短質量嚴就意味著,在項目結項之前要寫出如此細化,高覆蓋率測試腳本的難度會大大增加。
其三,每一個開發項目的架構和運行環境都各有不同。 自動化測試人員搭建測試環境,調試的時間會根據該項目架構,環境的難易度而有所增減。當項目結構復雜且有缺乏說明文檔的情況下,測試人員就需要花費大量時間以及精力用于構建和調試環境,這樣會直接的影響測試進度和效果,進而延長項目的周期。
3、淘寶自動化測試的發展方向。
微軟和淘寶的流程體制不盡相同。微軟要的是“聰明人”。更多的是依靠個人能力去完成某個項目的自動化測試腳本的編寫。而淘寶則主張“平凡人做非凡事”。更趨向群策群力,共同協作,所以要分工合作。有特定的小組來做測試環境配置,CC集成。 特定的小組來進行
測試計劃,測試用例的編寫。特定的小組來進行測試腳本的編寫。。。只有“專”,才可以杜絕樣樣通,樣樣松的情況。
4、UE測試的重要性。
陸老師也提到:“微軟的界面很人性化。從視覺上可以很容易的區分出,這個產品是否出自微軟手中。微軟的UE測試已經做到了極其苛刻的程度了。”
我們的UE測試做的怎么樣了呢? 每次界面改動后,測試人員是否以新,老用戶的角度上思考過?是否做到的了全面細致的了解? 有微軟那樣專門研究人類行為學的UE測試人員么?
我記得有一次的首頁改版后,就為了找首頁上我的淘寶鏈接,都花費了我好長時間,這讓我感覺很困惑。在淘寶成千上萬的用戶中,有這種類似經歷的恐怕不會只有我一個人吧?。長此以往,就會影響用戶對我們服務的好感度。
是否要增加一種針對新老用戶好感度的,有權威性的測試呢?例如,當我們頁面或者服務準備變動時,應事先考慮到用戶的感受和接受度。
5、意識問題--時間,質量,協作。
微軟的測試還有很好的一點就是意識。時間和質量的意識都是非常強。在控制時間成本的基礎上,對bug的查找近乎于苛刻。而且測試和開發團隊協作力很強。“有問題不會推脫責任。能做就給做掉了。” 這一點值得我們學習。