2022年9月初,中國國際服務貿易交易會(簡稱“服貿會”)上,AI數據服務領域頭部企業云測數據首次發布了面向AI工程化的新一代數據解決方案,成為AI數據服務市場步入成熟期的標志。
這是云測數據第三次參加服貿會,有趣的是,我們可以通過市場引領者云測數據三年來在會上發布的成果進階,以小窺大,探尋AI數據服務市場的發展脈絡,進而解鎖市場新趨勢。
三年三變化,引領AI數據服務市場新變革
云測數據參加服貿會的三次重大成果發布,可以說是云測數據不斷深入市場動態趨勢,積累技術經驗后對外提交的三次行動“答卷”。莊子《齊物論》中有“論而不議,議而不辯”一說,代表不同階段做該做的事,將它放到AI數據服務市場也許同樣適用。
起初,AI數據服務經歷了從小作坊到規模化生產,從實驗室到實際場景的變革,由于企業需要更多的高質量數據作為“底層”燃料進行訓練和部署機器學習模型,高質量數據在一定程度上甚至決定了項目的成敗。云測數據在早期就已關注到AI數據服務的需求缺口和潛在的應用市場,立足高質量、場景化的AI訓練數據服務,對AI數據的質量、效率、場景化方面提出高要求,致力于推動數據標椎質量的進一步發展。
2020年的服貿會上,云測數據首次對外宣布其AI數據項目交付精準度最高達到99.99%,是當時數據標注領域可達到的最高服務標準。與此同時,云測數據還發布了智慧城市、智能家居、智能駕駛、智慧金融等不同行業的AI訓練數據服務方案。
接下來,當企業獲取了高質量數據,如何管理數據資產,針對其特定場景更好地發掘數據價值成為AI產業化的難題。比如在訓練過程中,規模化的數據資產往往出現無法充分利用、管理方式不完備等問題。
于是云測數據從助力企業進行數據管理,提升數據訓練的匹配度角度出發,專注AI訓練數據全生命周期進程,形成了一套完整的數據服務實踐方法論,并在2021年的服貿會上正式發布了“AI數據集管理系統”,支持數據的上傳、管理、存儲、分享還有數據類型標簽化管理,標注結果存儲和可視化呈現,幫助企業可持續管理、挖掘AI數據價值,助力企業快速開展模型訓練,完成對應的數據流轉閉環。
2022年,從AI工程化數據處理三大趨勢看新一代數據解決方案
數據集管理既成體系,隨著AI技術與產業的深度融合,需要進一步關注產品的迭代進程,加速AI產業化。行業的AI產品迭代過程通常是算法研發流程,然后嵌入到軟件工程里完成對應的聯調測試、灰度發布再發布到實際生產環境中去使用,通過在生產環境中持續回流的線上數據和用戶反饋進行產品迭代,與此同時再用相應數據進行算法模型的持續調優。
其中數據處理伴隨研發迭代,并基于對數據需求不同分為三個階段——算法預研期,針對何種具體場景解決方案進行相關算法探索,這一階段下需要開源數據集和商業成品數據集幫助企業快速完成產品驗證。
第二階段是在算法研發期,企業明確了處理的場景和對傳感器算力的需求,需要基于定制化場景和對應傳感器進行相關數據采集、清洗和標注服務。
第三階段則是算法持續優化期。企業擁有了相對完整的數據模型,這時需要的數據偏向支持持續集成和迭代算法的數據即MLOps(人工智能研發運營一體化)所需要的數據,引入類似軟件DevOps的概念。
而第三階段的數據需求變化意味著傳統軟件工程的瀑布式開發逐漸轉化為數據的持續流轉,通過體系、流程推動算法與應用的有效開發和迭代,實現AI的敏捷開發,即實現AI工程化。
賈宇航還指出了AI工程化數據處理的三大特征——API協同中臺化,支持與不同企業數字底座無縫對接;專業的人工處理流程,隨著AI融入更多行業應用,其處理內容也變得越來越復雜,需要專業人員進行高時效、高質量的人工處理流程;還有就是數據安全性。
基于這三大特征,云測數據發布了面向AI工程化的新一代數據解決方案,從平臺工具、管理體系、數據安全三個維度延展產品服務。
平臺工具提供企業數據處理的各種工具和模板,并通過高度集成API實現數據底座無縫對接,幫助企業持續發掘數據價值。項目管理方面,針對人工數據處理流程中關于招聘、培訓、績效考核及對應項目管理、安全、企業責任、安全體系、相關行業知識背景培訓,云測數據總結出了一套完善的實踐方法路,包括一套完整的項目管理看板、績效看板持續追蹤對應的項目進度、任務進度和數據質量。
數據安全則是通過硬件配置、網絡安全、物理安全和人員安全管理實現,完成了一套基于網絡VPN專線連接到云測自建數據標注基地的端到端數據標注安全交付方法,幫助企業完成數據合規、數據安全的相關數據操作流程。
云測數據還針對隱私安全設置了一系列嚴格措施,力圖做到步步保護、層層把關,完善布局AI數據處理對實效性、準確率和安全性的進一步要求。同時云測數據還是滿足ISO27001和ISO27701標準的人工智能數據服務廠商,此外,云測數據還先后獲得ISO9001、ISO20000、CMMI3等相關認證。
總結
每一家AI科技企業從初創到發展成熟,面對市場變化可能會經歷以上的產品研發階段。云測數據將企業不同階段面臨的挑戰轉化為產品輸出,提供了一套全方位覆蓋的數據解決方案,未來隨著AI工程化快速落地,將助力越來越多的企業抓住市場機遇實現智能化迭代。
