信息技術世界正從由企業驅動向由客戶驅動轉變，客戶需要更的靈活性以便他們可以通過各種環境和體系去操作其設備。這就向軟件設計師和他們的質量保證團隊提出了挑戰。高質的設計和功能是建立客戶忠誠度的先決條件，。群體測試讓實際用戶在真實條件下測試軟件。這就使公司能夠快速廉價地搜集真實的看法，反饋和缺陷，從而顯著改進質量和設計，并通過客戶和最終用戶提高軟件采用率。使用群體來測試軟件改善了外包或自動化等其他常見選擇的質量，靈活，速度和成本水平。如今，精心設計和高質量的軟件是建立客戶忠誠度的先決條件。為了確保軟件滿足客戶對精準設計，實用性和性能的期望，有必要進行廣泛的測試。軟件要在各種不能提前預測的設備和使用場景上執行。內部測試的測試資源有限，不能滿足如此廣泛的測試覆蓋要求。眾包軟件測試讓真實用戶在真實條件下測試軟件，這樣企業就能快速廉價地搜集真實的看法，反饋和缺陷，從而顯著改善質量。
1.引言
過去幾年，眾包模式已從不起眼、被孤立的自定義行為演變成了成功案例，如維基百科和亞馬遜土耳其機器人。在信息技術領域，眾包軟件測試越來越多地被關注及采用，尤其是創業公司和小公司。但是，大企業的采納過程相當緩慢，主要是因為缺乏出版商業文獻。為提高大型企業對群體測試的采納率，我們需要討論一些關鍵問題，如制造或購買的決定，建立一個內部測試社區或與外部機構合作，應用程序適應性，管理和測試員質量，并通過提供一些成功的群體測試活動指導作總結。
2.今天的IT環境
近年來，信息技術（IT ）已認識到它的戰略重要性，許多企業已對ERP，CRM和其他業務的工具進行了大量潛在投資，這表明了企業IT的關鍵性質。這些公司也有面向消費者的要素，如網站和移動應用程序，這些要素不僅是精心設計的，而且還提供無中斷的功能。預測此類系統的用戶并先驗他們的喜好幾乎是不可能的。眾包軟件測試可以通過確保該軟件無缺陷幫助大幅提高消費者接受軟件模塊的概率。隨著云計算， BYOD等不斷增長的趨勢，IT服務被交付到多個渠道并被IT系統配置不同的各利益相關者使用。真正強大的軟件測試很費時，而且幾乎無法保證功能，位置和平臺的每一個可能的排列組合能如期工作。例如，如果一個Web應用程序無法在某個特定瀏覽器上運行，或一個特定的軟件工具無法使用一個重要功能，那么業務可能會中斷。通過群體測試，企業可以有效地降低內部軟件測試團隊在內部測試階段錯過關鍵要素的可能性。根據Paul Herzlich，一名Ovum（一家獨立的IT業研究機構）的軟件測試分析師的看法，“如果你正在測試一個各種陌生人都要使用的軟件，干嘛不讓一大幫陌生人來測試它呢。”于是，群體測試給或許會成為一個棘手難題的測試提供了一個簡單，簡練，有成本效益的解決方案。
圖2.眾包的各地利益（從谷歌走向看）
3.探索和企業群體測試
目前，大部分重點是探索性群體測試服務，測試人員根據通用準則和測試用例分析軟件的問題，bugs，或缺陷。有了“不受約束的”探索性測試，結果不能定量預測，因為要提前限定范圍，地區和可能存在的缺陷數量很困難。測試人員通常可以發現在最明顯地方的問題，但一些高水平測試人員可能會發現軟件層下的缺陷。探索性測試最適合用于測試有大量用戶但不重要的應用程序，以確保不同配置下的一系列問題的再現性或在應用程序上模擬一個典型工作內容。企業群體測試集成在軟件測試過程中更加嚴謹，包含更多結構，同時保留了探索性測試的精神和敏捷性。因此，企業群體測試包括正規和非正規的軟件測試方法的最佳實踐和概念。企業眾包軟件測試的專業程度更高。在這種方法中，測試人員均須經過嚴格審核，并根據全面的選擇標準部署。軟件測試過程包括明確規定的范圍，并由廣泛的特定指導方針指導以滿足項目需求。團隊已明確規定了角色和職責，一個聯系客戶組織，正式報告和報告結構，廣泛文檔和項目跟蹤等的單獨社區點。此外，企業群體測試包括建在現有軟件測試方法上的正式程序，例如Agile，SCRUM等。這樣對齊的結果是，客戶組織的內部開發和外部軟件測試周期間輕松同步了。這就使客戶端可以減少其項目管理的開銷并最大化兩隊的利益。
圖3
4.什么樣的應用程序適合用眾包測試？
眾包測試方法最適合以用戶為中心的應用程序。它常常，通過在公測階段推出廉價或免費產品版本，被用于移動應用和游戲開發項目中。大型企業可以通過模擬一個龐大的用戶群去了解使用模式并根據反饋進行完善同時確保其應用程序在各種設備，操作系統，瀏覽器和語言版本中流暢運行而獲益。換句話說——有高缺陷暴露因素，即關鍵性作為即時客戶發布后暴露的措施的應用程序適合用群體測試。例如，微軟發布Office 2010產品系列的測試版本，被900萬人下載和測試并提供了2百萬條寶貴意見和見解，從而使產品獲得確實的改進。
5.它是如何運作的呢？
大多數眾包測試公司為測試周期提供平臺和項目管理框架，包括管理政府和法律結構。群體測試公司還分配一個負責測試過程的合適的項目經理。眾包軟件測試服務的消費者方面，客戶指定他們希望執行的測試類型和測試系列，測試員的技能和個人信息，軟件必須在上面進行測試的設備的類型和配置等。客戶公司也可以咨詢群體測試公司確保測試充分。供應商方面，測試人員完成一個配置文件，表明他們的背景和資歷，他們有權訪問的設備和平臺，以及其他相關細節。測試人員有時需要參加評估或試驗項目作為他們成為社區成員的先決條件。在項目啟動之前，會給測試人員提供詳細的測試計劃，示例場景，工具，腳本和說明。在執行過程中，測試人員記錄下他們的觀察，并根據觀察報告的數量和質量被評分，這與他們的薪酬和激勵結構直接掛鉤。社區結合協作和競爭，成員合作找出解決方案說明問題。論壇促進知識管理，網絡以及bugs或相關問題的討論;評分系統可以識別所做的出色工作，這有助于參與者獲得信譽并完善自己的職業生涯。群體測試應被視作產品發布前的額外補充測試而不是一個獨立的活動及一個組織內部測試團隊的替代品。這對在生產前發現誤差UI和配置缺陷很有效。
6.現場，外包和測試群體
現場測試是指為了軟件測試目的部署一個內部團隊的一貫做法。這種方法在可擴展性方面有局限，且對再現現實使用情況無效。外包軟件測試中，外部服務供應商基于每個項目或協議提供軟件測試。外包軟件測試具有明顯的成本優勢——高技能資源只占一小部分成本——通過勞動套利。在群體中測試中，測試人員自愿測試軟件，內在驅動其去發現軟件缺陷，在社區內自己的一席之位，獲得同行的認可，等等，盡管沒有發現缺陷他們就沒有薪酬。這種自發組織的特征，共享社區目標，內在動機是群體測試成功的強大力量。
7.選擇什么呢？
現場團隊，因為接近客戶，可以通過關注需要立即關注的技術和商業挑戰創造價值。在一個外包測試項目中，測試團隊（S）可以受外包公司控制也可以不受之控制。受控模式中，測試團隊是公司的一部分，它們把軟件測試作為一項持續性活動（測試團隊可以從中通過對最常見的內部應用程序的更深理解而獲取經驗和效率水平）進行。不受控團隊是公司外部的，它們與一些客戶合作一些項目。從這些約定來看，不受控團隊匯集了多個地方，領域，功能，行業，技術方面的經驗和專業知識。客戶公司可以在需要“創造性思維”和特殊測試工作的項目中利用這種多樣性。群體測試團隊的焦點，重心，內在動力和可擴展性，通過在上線前發現問題提供巨大的價值。群體知識在測試員基地中擴散，但集體測試的知識基地大于任何公司內部基地。考慮到現代系統的復雜性，最佳的測試組織按正確比例應包括現場，外包和眾包測試團隊。按正確比例匯集是經驗和實驗一個關鍵因素。
8．建立一個社區還是建立合作伙伴關系？
雖然一些公司，如Netflix和亞馬遜，已經在內部建立了他們自己的群體功能，但這不是大多數公司能夠自己實現的或有戰略性商業意義的活動。群體測試是一項復雜的活動，需要深厚的技術，功能和業務知識。所以，除非要完成的工作是高度戰略性或機密的業務，公司最好立即尋求提供所有必要成分的群體測試公司來部署群體。這些成分包括有經驗的測試人員，設備，可配置架構，參與機制，基本規則，參與方法，法律結構，支持機制等。
9．安全和管理
往往，客戶保密信息在測試期間面向群體。群體測試企業已經意識到了安全性和保密性的需求;因此，他們有各種過濾器，管理機制，模糊處理工具，數據管理框架等，以向他們的客戶確保他們的數據和信息極度保密處理。對于對安全性要求高的項目，擁有長期信譽和專業聲譽的白帽測試工程師的預先篩選名單會被提議，且通常會被接受。測試數據管理通過混淆敏感信息或創建“只測試”數據以確保安全。這有助于減少大規模測試中潛在安全漏洞的影響。測試人員加入社區時還必須簽署一份常規保密協議（NDA），禁止他們線上線下在社交網絡、個人博客及其他秘密測試平臺外的地方談論他們的客戶，產品等。客戶也可以自由地從池中選擇自己的測試人員并在看顧客項目之前提供每個被選測試人員必須簽署的自定義NDAs。此外，標準的溝通渠道，準入限制等在測試工作中幫助確保數據并保密，這就使得群體測試項目生命周期各階段可以無縫過渡。
10．確保測試質量
為了保證測試員的質量，正式和非正式的測試，可以根據測試員的經驗，可用材料和所掌握概念定期由單個測試員管理。測試人員和項目經理不斷監控以確保質量和完整性。經過不斷的篩選，沒有正式培訓和顯著專業經驗的申請人被淘汰。越來越多地，群體測試公司也贊助有經驗的測試人員去考專業證書，所以他們的地位和責任隨著他們的貢獻而增長。為了避免測試人員之間的潛在利益沖突，實行基于績效的薪酬機制以確保測試人員的報酬與他們的參與度和對軟件質量改進的貢獻水平一致。發現大量不重要缺陷的測試員的報酬低于發現少量極具影響力的缺陷的測試員。這些機制也有利于防止社區內的任何口水之爭，陰謀詭計等，并提高測試者對社區的關注，所有權，忠誠度和隸屬關系，從而創造一個和諧的，彼此尊重的工作環境。
11．選擇一家群體測試公司
群體測試過程的各個階段中，選擇合適的測試公司無疑是最重要的。客戶公司在選擇一個群體測試平臺之前要進行充分調查，廣泛的項目評估，測試公司的能力和規模等都是必須的。一般情況下，選擇一個成熟的，經驗豐富的群體測試平臺，可以使業務活動更加容易，因為這樣在運行階段通常就不怎么需要維護及管理，因為測試公司已經根據過去與其他客戶合作的經驗解決了許多相關問題。因此，至少按下列標準評估群體測試平臺以確保平臺至少包含所需的最少功能和安全非常重要：
一．確定群體測試的經驗，交付能力，技能多樣性，全球拓展情況以適應企業客戶不斷變化的需求很重要。
二．與企業和中型公司合作的有機增長及經驗表明了可靠性。讓小型的眾包測試平臺提供移動應用程序和網站測試服務相當簡單，但很少有企業成熟到可以測試企業應用程序并提供總包測試服務。
三．如果客戶公司一心進行長期項目而不想擔心服務提供商退出的話，一段時間內的財政穩定就尤為重要。
四． 許多群體測試平臺僅有客戶端和測試人員之間牽線搭橋服務，而不提供管理服務。這些平臺不保證軟件測試人員的數量，各個測試人員的測試工作量，測試人員的質量或測試結果，也沒有任何可靠的結果。最好避免這樣的平臺。
五．要了解它們的服務范圍和所提供的SLA，必須刻苦溫習條款。
六．標準文檔的采購級層應該用于為每一個重要的群體測試項目評估平臺運營商。該文件應處理各種元素，如：
1．價格結構
2．質量，安全，保密性
3．專業的服務
4．功能和流程
5．交付方法
6．服務基礎設施
7．補償結構
8．便利性和可擴展性
9．平臺和工具的功能和質量
10．風險管理結構
總結
已經討論過群體測試的各種元素，可以很容易地推斷，大企業可以通過既定的和有經驗的群體測試公司合作，以節省大量成本并獲得可擴展性。群體測試工具，流程，框架和方法已經成熟到如此高的程度，那么群體測試就可以很容易地融入組織的常規開發周期。群體測試通過一個更大團隊中的多種軟件測試活動減少人為錯誤的可能性。通過把應用程序提交到現實中，可以追蹤到能重新設計或改進的實際性能數據和執行路徑，從而進一步改進產品質量。除了這些直接的好處，大公司還可以體驗更快的產品上市時間，把資源都放到核心業務上，獲得大量人才，增加靈活性等。開始很容易，而那些敢于冒險嘗試的組織肯定可以獲得一些短期和長期的好處。
Dieter Speidel是PASS集團的創始人和CEO，一名重要的瑞士軟件和系統測試服務的供應商。 PASS集團是passbrains.com的所有者和passbrains之家，一個在蘇黎世，柏林，波士頓，貝爾格萊德，班加羅爾和孟買都設有辦事處的按需群體測試服務的全球平臺。作為一名在IT外包，軟件開發和測試業活躍了30多年的企業家，Dieter Speidel對全球交付模式，包括近/離岸外包和眾包方面有深入的專業知識。2011年以來，他一直專注于從眾包模式的應用深入到IT相關的服務，并開發passbrains平臺和社區的群體測試和知識服務。
Mayank Mittal是應用程序測試行業的一名戰略性業務領導。十多年的職業生涯，他已建立了大規模的管理測試中心并在與領先機構，如Oracle、CSC、Cognizant合作時進行了QA組織變革，為全球許多財富100強客戶提供了測試解決方案。Mayank在PASS集團股份公司擔任公司戰略和業務發展主管。
Mithun Sridharan是Passbrains的一名業務發展經理，Passbrains總部設在德國Eschborn 。他在業務發展，市場營銷，全球交付和咨詢方面有十多年國際經驗。他是工商管理碩士（MBA）和科學碩士（M.Sc）。他是一名項目管理專業人員（PMP）和國際信息系統審計師（CISA） 。他還擔任德國外包協會的通訊主席。 |