近日,有消息稱字節跳動發生大模型訓練被實習生“投毒”事件。
據悉,該事件發生在字節跳動商業化團隊,因實習生田某某對團隊資源分配不滿,利用HF(huggingface)的漏洞,通過共享模型注入破壞代碼,導致團隊模型訓練成果受損。消息稱此次遭到入侵的代碼已注入8000多張卡,損失或達千萬美元。
字節跳動知情人士向記者透露稱,近期公司確實發生過破壞模型訓練一事,但傳聞存在夸張和虛構的部分,該事件實際發生在今年6月底,田某某是在商業化技術團隊實習,因為對團隊資源分配不滿,使用攻擊代碼破壞團隊的模型訓練任務,千萬美元損失的數字也有所夸大。
另外,該人士稱,受代碼入侵影響的業務不是豆包大模型,而是商業化技術團隊的模型訓練任務,影響了廣告部門的部分技術工作,實習生通過共享模型進行入侵的部分也不屬于集團大模型。
此次事件暴露出字節跳動技術訓練中存在的安全管理問題,包括權限隔離、共用代碼的審計等。一位行業人士對記者表示,進行權限隔離與審計利于保護公司核心數據與知識產權,防止數據泄漏,提高數據與系統的安全性。比如實時監控權限使用情況,及時發現權限濫用和異常操作;定期審計權限,檢查團隊成員的權限是否符合授權策略,是否存在權限濫用的情況等。但這件事也有難度,包括跨部門合作成本、經常性維護與更新的資源投入等。
據知情人士向記者透露,目前該實習生已被辭退,公司也將相關情況同步給行業聯盟與實習生學校。
最新的字節跳動大模型信息披露發生在今年10月15日,火山引擎在視頻云技術大會上發布了大模型訓練視頻預處理方案,助力解決視頻大模型訓練的成本、質量和性能等方面的技術挑戰。目前,該技術方案已應用于豆包視頻生成模型。
【來源:第一財經】