AI大語言模型已經成為各行業提高產業效率的技術新動能,Testin云測將AI智能作為移動應用測試技術升級的重要推動力,借助AI大語言模型在保證測試質量的前提下,大幅提升自動化測試產品的易用性和自動化效率。
為了降低測試人員的使用門檻,提升測試腳本錄制的效率,Testin云測開發了支持自然語言的腳本錄制功能 ,并且支持與傳統腳本的無縫混合使用。目前自然語言腳本能夠支持點擊、長按、滑動等操作交互,同時也支持條件判斷、斷言等語義邏輯,并支持通過自然語言指定文字、圖標、圖片等操作對象選取及其空間位置關系的使用。與此同時,自然語言腳本能無縫對接OCR、圖標分類模型等基于深度學習的AI算法模塊,顯著提升自動化測試產品的智能化程度。
傳統的自動化測試技術基于操作系統UI控件樹,由于控件樹的獲取依賴操作系統的版本,面對高度碎片化的安卓操作系統,測試腳本需要根據不同手機及操作系統版本進行調整和適配,難以實現多種設備上自動化執行的高通過率。此外,控件樹獲取在遇到市面上大量不遵循操作系統控件標準的控件框架和應用時無法進行有效識別,導致此類應用自動化率很低基于無法自動化。為了解決這些問題,Testin云測打造了基于深度學習的OCR和圖標識別的自動化測試執行引擎,顯著提高了自動化測試產品的易用性和自動化效率。
基于計算機視覺和深度學習的OCR(光學字符識別)技術檢測App UI界面上的文字位置并識別文字內容,緩解文字控件信息獲取困難的自動化執行難題。針對App的場景特點,Testin云測采集了8萬余張生產環境中的真實App UI截圖,基于Testin云測數據的采集標注服務,標注了96萬個文字框的位置及其文本內容用于模型訓練,除了真實場景的訓練數據以外,結合應用場景的語料、字體等統計信息,使用程序自動生成了1000多萬條文字識別的訓練數據。Testin云測OCR算法側重App特有字體,能夠適應手機分辨率變化,解決通用OCR存在詞語粘連等難題。在1061張具有代表性的評測數據集上,Testin云測OCR模型文字檢測精度、文字識別正確率、算法運行速度等關鍵性能指標上,全面達到并超越國內互聯網公司提供的高精度帶位置版OCR付費服務。在支撐Testin云測自動化測試產品之外,Testin云測積極反哺行業,計劃在第四季度推出針對App應用測試領域的獨立OCR服務,針對性地幫助應用測試行業解決普遍面臨的文字識別技術障礙。
在未來,Testin云測會繼續推進AI大語言模型在各類測試產品上的落地,進一步提升產品的智能化水平,不斷提升產品和服務的易用性和工作效率。
