劃重點:
? 清華大學與阿里合作推出概念半透膜模型,能夠精準、可控地擦除各類具象或抽象概念。
? 該模型已被 CVPR2024會議高分錄用,具有在 Diffusion 架構的 AI 作圖模型中擦除特定概念的能力。
? 模型通過一維 Adapter 和微調策略實現概念擦除,同時保留其他生成內容,并可動態適配擦除信號。
(ChinaZ.com)3月13日 消息:清華大學與阿里安全聯合發布了概念半透膜模型(SPM),這一模型能夠在 Diffusion 架構的 AI 作圖模型中,精準、可控地擦除各類具象或抽象概念。
該模型的推出解決了傳統 AI 作圖模型存在的生成涉黃、侵權等危險概念的問題,實現了對特定概念的精確擦除。
概念半透膜模型通過一維 Adapter 和微調策略實現概念擦除,同時保留其他生成內容。Adapter 作為一種「半透薄膜」插入到預訓練的 Diffusion Model(DM)中,學習特定概念的可遷移識別及擦除,同時保持模型完整性。通過微調策略 Latent Anchoring,模型獲得對特定概念的擦除半滲透性,有效地擦除目標概念并保留其他概念。模型在推理過程中通過 Facilitated Transport 機制動態適配擦除信號,控制擦除效果,保證生成內容的準確性和完整性。
概念半透膜模型的實驗效果表明,在單概念或多概念擦除時,模型能夠穩定且徹底地擦除目標概念,同時對其他概念幾乎沒有影響。與其他方法相比,該模型具有更高的精確性和可控性,為 AI 作圖模型的應用帶來新的可能性。
這一研究成果有望在 AI 內生安全領域、可控生成等方面發揮重要作用,推動 AI 技術產品向著可用、可靠、可信、可控的方向發展。
SPM特色功能亮點總結如下:
概念消除功能 :使用一維適配器 Semi-Permeable Membrane(SPM),能夠精確刪除目標概念而保留非目標概念,實現通用、可定制和模型可轉移的擦除解決方案。
代際交替侵蝕解決 **:通過引入 Latent Anchoring 策略,在微調過程中有效減輕了參數漂移,避免了概念的交替和侵蝕現象。
遷移能力 :SPM 能夠在不重新調優的情況下,從一個專門的模型遷移到另一個,展現了其良好的擦除和保留能力。
藝術風格消除 :SPM 可以擦除特定的藝術風格而保留其他風格,避免了以往在擦除和保留之間的明顯折衷。
明確內容消除 :在處理涉及裸露內容的情況下,SPM 能夠有效消除明確內容,并展現了在不同情境下的擦除能力。
項目入口:https://top.aibase.com/tool/spm
論文網址:https://arxiv.org/abs/2312.16145