10月30日，由DataFun主辦的AI基礎軟件架構峰會如約而至，格物鈦作為AI基礎設施領域的創業明星代表與谷歌、字節跳動、第四范式等頂尖科技公司一同亮相MLOps分論壇，格物鈦算法負責人薛林繼為線上觀眾帶來了一場《建立公開數據集標準，賦能AI工程化落地》主題演講。
過去十年，無論是阿爾法狗、自動駕駛，還是基因測序，人工智能技術已經開始走出實驗室迎來了廣泛的應用落地。在這些AI應用落地的背后隱藏了一套非常復雜的系統工程。除了算法的設計開發之外，也涵蓋了定義問題，收集數據，特征工程，模型部署上線等各個環節。一套正確、簡單、高效并且能規模化復制的算法需要對每一個環節做精細化治理，而非簡單的工具鏈拼湊嫁接。
正如敏捷開發標準的建立幫助廣大開發者實現了軟件項目的高效敏捷迭代，k8s原生技術成為實施標準后使通用的應用開發編排伸縮變得更加簡單。然而AI工程化領域尚未形成一套成熟的實施標準去幫助AI更好地落地。格物鈦看到了數據對AI模型效果的重要性和數據獲取的難點，為全球開發者、場景和數據的擁有者提供了一個公開數據托管和協作的平臺并形成了一套與之匹配的數據使用標準。
格物鈦薛林繼認為，如果把數據比作食材，把模型比作廚藝的話，有一句話就可以非常好地去描述數據的重要性，那就是優質的食材往往只需要最樸素的烹飪方式。但無論從采集難度還是成本上來看，獲取數據始終是個很困難的事情，因此很多研究機構和企業會選擇求助于免費的公開數據集資源，很多頂尖的算法也都是以公開數據集作為標準誕生的。不可否認，公開數據集會成為未來AI創新的核心驅動力，它在很大程度上解決了數據獲取的難題，同時以自己的形式構建新類型任務，去推動不同算法的發展。
經過很長一段時間的調研，格物鈦發現現有公開數據集的存儲方式十分散亂，缺乏統一的托管平臺，這種各自為戰的方式使得不同的數據集提供方會選擇使用不同的文件結構和標注方式，這對數據的交換與分享是極為不利的，開發者很難根據自己的任務去精確檢索到自己想要的數據集。像可視化、數據標簽分布統計這些基礎需求的實現都會因為格式不同發生一些變化，算法工程師需要編寫更多的膠水代碼和新的邏輯去適配這些不同的格式。
基于對上述痛點的洞察，格物鈦認為需要建立一個統一的數據標準來降低數據理解和使用成本，從而去提升整個社區、企業內部的數據交換效率。
格物鈦研究了1200多個公開數據集，從數據格式、標注類型、任務類型以及應用場景這四個方面制定了統一的數據集劃分規范和標注格式的基礎表示方法。在實施的過程中，格物鈦將很多類型的數據集放在了公開數據集社區中，目前為止這套標準也是取得了很多社區成員的認可。在推廣公開數據集標準的過程中，格物鈦發現數據處理是需要很多基礎服務的，這些基礎服務可以通過數據平臺的形式來實現，去解決企業在數據管理層面的痛點。
格物鈦算法負責人薛林繼認為公開數據集社區和數據標準的建立與推廣是一個相輔相成的關系，社區為數據標準迭代提供了一個良好的實驗環境，每當有一個新的數據集登錄到格物鈦公開數據社區的時候，都是對當前的數據標準做了一次檢驗。
格物鈦公開數據集社區發展至今依舊面臨不小挑戰。首先數據集的種類太多，新的數據集層出不窮，只依靠單方的力量去制定標準很難跟得上最新的任務類型和數據種類。其次在一些企業端的場景中，企業數據并不需要去適配公開數據集的標準，用自己的標準就可以滿足任務場景的需求。因此，公開數據集標準的設計也需要支持讓使用的人自定義標準格式，然后以這種方式去適配多變的數據需求。薛林繼在此呼吁希望不斷有新的力量加入到社區建設中來，推動數據標準的迭代和演進，共同打造下一代公開數據集標準。
