幾天前，Meta發布了史上首個圖像分割基礎模型——SAM（Segment Anything Model），將NLP領域的prompt范式引進CV，讓模型可以通過prompt一鍵摳圖。
SAM一經發布，瞬間“炸場”。網友直呼：CV不存在了!
英偉達AI科學家Jim Fan對此贊嘆道：我們已經來到了計算機視覺領域的「GPT-3時刻」！
Meta在博客中興奮地表示：“可以預計，在未來，在任何需要在圖像中查找和分割對象的應用中，都有SAM的用武之地。
SAM之所以如此強大得益于它在包含超過10億個掩碼的多樣化、高質量數據集（SA-1B）上進行訓練，這使它能夠泛化到新類型的對象和圖像，超出它在訓練期間觀察到的內容；以及引入NLP領域的prompt范式，用戶通過合理的prompt即可完成圖像分割任務，無需額外訓練實現“開箱即用”。可以說，Meta實現了一個完全不同的CV范式，你可以在一個統一框架prompt encoder內，指定一個點、一個邊界框、一句話，直接一鍵分割出物體。
不過，瑞萊智慧RealAI要來“潑潑冷水”了。RealAI算法團隊剛剛研究發現，只要在圖片上添加一些對抗樣本，SAM模型“分割一切”的本事，就會瞬間失靈。
原本SAM可以很好地自動分割圖像中的所有內容：
給圖像添加干擾非常微小的對抗噪聲后，SAM就只會“瞎割一氣”：
下圖同理：
這充分說明：盡管SAM模型功能十分強大，但也同樣存在安全風險。SAM雖然是一種新的CV范式，但算法本身仍然屬于深度學習模型范疇，而深度學習模型本身就存在著易受對抗樣本攻擊的安全隱患。攻擊者可以通過向良性數據中添加特定的擾動，生成對抗樣本。附加輕微擾動的對抗樣本不會影響人類的判斷，卻會使深度學習模型產生錯誤結果。我們針對SAM的模型輸出，通過結合MI-FGSM【Dong et al., Boosting Adversarial Attacks with Momentum, CVPR 2018(Spotlight).】等攻擊方法生成對抗樣本，使得SAM模型“分割一切”的本事瞬間失靈。
這已經不是RealAI團隊第一次拿對抗樣本“搞事情”了。在此之前，團隊還用對抗樣本眼鏡攻破19款主流商用手機的人臉解鎖系統；將對抗樣本打印在衣服上使得人體在目標檢測系統中“隱身”；通過修改錐桶形狀讓自動駕駛感知系統無法識別……
戴上對抗樣本眼鏡攻破手機人臉解鎖
RealAI團隊所做的這一切，都只為讓開啟“狂飆”模式的人工智能更加安全，幫它“系上安全帶”。包括SAM在內的上述AI視覺模型，之所以會被RealAI團隊攻破，本質上是深度學習方法的先天缺陷，語音識別、文本處理等技術都存在被對抗樣本攻擊的漏洞，具有普遍性。
近幾個月來，狂飆突進的大模型自然也不例外。除了對抗樣本攻擊，AI大模型還存在幻想、生產歧視、排斥和有害內容、數據泄露等安全問題，威脅大模型的應用生態和國家安全。事實上，無論是學術界、產業界還是監管機構，都早已意識到了風險。
4月11日，國家互聯網信息辦公室發布《關于<生成式人工智能服務管理辦法（征求意見稿）>公開征求意見的通知》。該意見稿在第十四條就明確規定：提供者應當在生命周期內，提供安全、穩健、持續的服務，保障用戶正常使用。在該意見稿發布前，已有多國監管部門表示密切關注ChatGPT引發的數據安全等問題。
未來，大模型自身的安全和可靠性問題，無疑將成為其應用發展的瓶頸性問題。如何更好地實現這一通用目的技術的發展和安全動態平衡，將成為人工智能企業的重要課題，也將醞釀新的產業機遇。
