1）定制終端評測趨勢
● 定制終端評測
→ 硬件：射頻一致性、協議一致性、無線資源管理、硬件元器件、WLAN是當前硬件測試主要內容
→ 軟件：操作系統測試、瀏覽器測試、移動應用測試、Widget測試當軟件測試重點，內容逐漸由功能向非功能演進
● 預裝在定制終端的移動應用評測
→ 功能、性能、穩定性、兼容性
→ 用戶體驗、隱私安全
● 終端和移動應用評測自動化工具越來越成熟
● 終端及其應用的性能、穩定性評測將成為入庫重要依據
● 用戶體驗評測將成為不可或缺的組成部分
2）三大智能終端平臺差異
以智能終端操作系統為基礎，結合多種基礎中間件、業務中間件、通信中間件來實現對應用的支撐。其中應用又可分為本地應用和Web應用兩類。本地應用體系以iOS+App Store+NativeApp為代表，Web應用以HTML5/Widget+Web Store+Web App為代表
以iOS/WP7為代表的系統閉源/封閉文件管理系統/接口開放模式
以oPhone OS/WM為代表，系統閉源/開放文件管理系統和接口模式
以Android/Meego/WebOS/WinCE為代表系統開源/開放文件管理系統和接口模式
3）互聯網應用測試的復雜因素
傳統的測試方法是暴力的、瘋狂的、相當麻煩的。
● 全球多達十億兩千萬mobile web用戶
● 74%的人將無法容忍超過5s的頁面加載時間
● Gartner預測，至2014年超過90%企業級應用將支持智能終端版本
● 據統計，智能機上移動應用軟件所引發的無線流量是非智能機10倍以上，美、英、德、日運營商都曾出現信令風暴導致的通信網癱瘓
● 截至2011年Q3的統計，Android操作系統出現7個版本，覆蓋130個機型，每個機型超過2家硬件參考設計。光從終端適配角度看，若實現完整的測試覆蓋，需完成1820次回歸測試。倘若無法借鑒自動化測試工具，幾乎是無法完成的任務
終端
● 操作系統平臺、機型、屏幕分辨率、驅動差異等
網絡
● 地域、制式、通信業務、網絡優化程度、漫游等差別
自動化測試腳本
● 因平臺、菜單風格不同，模擬客戶端或自動化腳無法復用
移動應用客戶端性能測試面臨的困難
● 支持除支持http(s)協議外，普遍存在定制協議
● 整個應用鏈關聯的對象復雜，如web service第三方內容、CDN內容分發
● 缺乏測試過程中數據收集、監控和診斷工具
● 缺乏客戶端模擬并發工具，壓力/負載測試工具需重新選擇
4）測試
從互聯網應用軟件質量角度看，其主要的質量要求列舉如下：
● 功能性：終端上移動應用功能越來越復雜，測試難度、周期和工作量逐步加大，測試成本快速上升
● 穩定性：用戶使用移動應用時，與終端的電話、短信、瀏覽器等背景業務經常產生功能交互，增加了移動應用的不穩定性
● 可維護性：用戶越來越關注應用業務的用戶體驗，在應用上線后需要持續對業務運營質量進行測試和監控
● 性能：終端上移動應用與終端、網絡和服務的性能都有關系，性能遭遇瓶頸時，定位需圍繞應用關聯的整個鏈路來開展，導致應用業務優化的成本在不斷提高
從用戶角度看，測試重點列舉如下：
測試類型 | 描述 | 測試場景重點 | 判斷依據 |
功能測試 | 基本功能測試
新功能測試
重點功能測試
全量測試
網絡或業務功能撥測
J2ME、Sybian signed等規范符合性測試 | 菜單路徑
功能點
界面與操作流程
（通信）業務功能
角色權限等 | 是否可用 |
性能測試 | 基準性能
性能指標測試/多地域性能撥測
性能對標測試
專項性能測試：時延測試、流量測試、功耗測試、觸控測試 | 對被測對象功耗、時延、響應時間、連接成功率、并發用戶數等核心性能指標進行測試 | 是否可用，且收集指標值 |
兼容性測試 | mobile apps（手機客戶端）實質為終端適配性測試
mobile web（web客戶端）實質為瀏覽器兼容性測試
pc客戶端端實質為與主流用戶操作系統兼容性測試 | 終端適配：與不同分辨率、不同操作系統平臺版本、不同定制終端的兼容性
瀏覽器兼容：html5兼容；瀏覽器引擎兼容
pc客戶端兼容：主流windows桌面和linux桌面系統兼容性 | 是否兼容 |
穩定性測試 | 極限負荷下穩定性基準，表征為持續無故障時間有多長 | 基本功能反復多次
基本功能長時間持續執行 | 成功率，且收集指標值 |
安全性測試 | 黑盒安全性測試，采用模糊數據對被測對象進行攻擊測試的手段 | 訪問限制、應用程序簽名、惡意程序安全、權限命名機制、協議通信安全和用戶數據隱私安全 | 是否安全
|