3. 測(cè)試能力的提升
測(cè)試階段有很多的事情可以去做，覺(jué)得最主要的還是兩個(gè)方面
- 自動(dòng)化。 越來(lái)越覺(jué)得這個(gè)是繞不開(kāi)的話題，要想盡辦法去做，做得更高效更全面。前面有篇blog也提到了一些輕量級(jí)的做法，業(yè)務(wù)測(cè)試的團(tuán)隊(duì)可以參考 http://blog.csdn.net/superqa/article/details/20644285
- 輔助手段，比如代碼覆蓋率，特別是差異的覆蓋率。這個(gè)大家都比較容易理解就不展開(kāi)了。
- 拓展測(cè)試的類(lèi)型
這個(gè)方面說(shuō)起來(lái)有些泛，需要結(jié)合團(tuán)隊(duì)和業(yè)務(wù)的情況，比如安全測(cè)試，性能測(cè)試，兼容性測(cè)試等，去發(fā)現(xiàn)一些對(duì)于產(chǎn)品來(lái)說(shuō)很重要的風(fēng)險(xiǎn)。
這方面有兩個(gè)前提，一是我們的基本功能質(zhì)量到了一個(gè)階段，可以讓大家騰出手去拓展測(cè)試的面，另一方面我們測(cè)試人員的能力要跟得上。
4. 發(fā)布環(huán)節(jié)的質(zhì)量把控
這個(gè)方面和傳統(tǒng)的測(cè)試不太一樣，而且了解到不同的組織做法不同，執(zhí)行發(fā)布的人員可能不同，有開(kāi)發(fā)，運(yùn)維，專(zhuān)職的版本管理或者測(cè)試來(lái)做。
在我們的實(shí)踐中，發(fā)布后來(lái)都逐步收到測(cè)試這邊，回頭來(lái)看覺(jué)得還是有不少有幫助的地方。當(dāng)然也不絕對(duì)的必須測(cè)試來(lái)做。
- DO分離，避免了隨意的發(fā)布，特別是在開(kāi)發(fā)手上的時(shí)候。所有的bugfix都經(jīng)過(guò)測(cè)試發(fā)布，可以更準(zhǔn)確的度量質(zhì)量（除非這個(gè)問(wèn)題可以不修復(fù)，否則肯定要過(guò)發(fā)布環(huán)節(jié)）
- 知道最近發(fā)了什么，可能的影響是什么，需要線上關(guān)注什么。
- 灰度。 互聯(lián)網(wǎng)產(chǎn)品常用的一個(gè)控制風(fēng)險(xiǎn)和節(jié)奏的手段。
- 擴(kuò)容的快速自動(dòng)化檢查，這方面也依賴(lài)于自動(dòng)化的建設(shè)。
- 發(fā)布過(guò)程支持灰度的控制，備份和快速的回滾。對(duì)發(fā)布系統(tǒng)有一定的要求，而且有可追溯性。
發(fā)布處在整個(gè)研發(fā)流程非常關(guān)鍵的節(jié)點(diǎn)，在這個(gè)點(diǎn)可以做很多的控制，也能發(fā)現(xiàn)很多的問(wèn)題，對(duì)于測(cè)試團(tuán)隊(duì)來(lái)說(shuō)，從這里可以發(fā)現(xiàn)很多的問(wèn)題，做很多的提升，對(duì)自己和相關(guān)的合作團(tuán)隊(duì)。
5. 外網(wǎng)的監(jiān)控
發(fā)現(xiàn)發(fā)布后的問(wèn)題，持續(xù)運(yùn)營(yíng)過(guò)程中的問(wèn)題，推動(dòng)優(yōu)化。
通常監(jiān)控可以分幾個(gè)層面，粗淺的可以分成幾類(lèi)：
- 運(yùn)維層面的監(jiān)控，比如機(jī)器，鏈路，資源使用，主要組件是否正常等。
- 業(yè)務(wù)指標(biāo)的監(jiān)控，比如來(lái)自點(diǎn)擊率，BI系統(tǒng)等。
- 集成在產(chǎn)品里面的監(jiān)控代碼，我們稱(chēng)之為模塊調(diào)用監(jiān)控。這個(gè)是全量的，有次數(shù)，成功率，響應(yīng)時(shí)間等角度。
- 測(cè)試層面的自動(dòng)化監(jiān)控，關(guān)于在接口和功能層面。這個(gè)是采樣的，但是從用戶(hù)的角度來(lái)監(jiān)控。
以上這些監(jiān)控都有對(duì)應(yīng)的告警機(jī)制，可以第一時(shí)間發(fā)現(xiàn)問(wèn)題，避免造成更大的損失。為了實(shí)現(xiàn)上面的監(jiān)控需要做大量的工作，但是這些對(duì)于整個(gè)外網(wǎng)運(yùn)營(yíng)的質(zhì)量非常的重要。
6. 外網(wǎng)事故和問(wèn)題的收集，跟進(jìn)和反向推動(dòng)
和前面的思路一樣，如果只是發(fā)現(xiàn)問(wèn)題解決問(wèn)題還是稍顯被動(dòng)，那么對(duì)于外網(wǎng)事故和問(wèn)題的分析，還是有很多推動(dòng)性的幫助。
7. 用戶(hù)的問(wèn)題反饋和滿意度
進(jìn)一步的質(zhì)量不只是系統(tǒng)本身的質(zhì)量，而是從用戶(hù)角度看到的質(zhì)量，有時(shí)候這個(gè)可能稍微超出一些系統(tǒng)層面的問(wèn)題，但是因?yàn)樽罱K的質(zhì)量還是用戶(hù)說(shuō)了算，所以我們應(yīng)該擴(kuò)展下思路。收集這樣的問(wèn)題的渠道有很多
- 外網(wǎng)問(wèn)題反饋，比如來(lái)自客服系統(tǒng)的，用戶(hù)直接的反饋，現(xiàn)在很多app上都有反饋的功能。
- 論壇信息的統(tǒng)計(jì)收集。我了解的另一個(gè)測(cè)試團(tuán)隊(duì)，他們還專(zhuān)門(mén)開(kāi)發(fā)了一個(gè)自動(dòng)收集外部反饋，以及過(guò)濾分析的系統(tǒng)來(lái)幫助他們及時(shí)的了解外包的問(wèn)題反饋。