12月26日，在第十八屆中國國際社會公共安全博覽會上，瑞萊智慧展位的一件“隱身衣”引發觀眾關注。
一般情況下，參觀者在經過攝像頭前會被識別出來，但穿上一件特制T恤，衣服上印刷了特定的圖案，能夠讓識別算法出錯、捕捉不到目標，人一旦穿上便可以實現“隱身”。這是人工智能安全漏洞的一個側面。
圖：觀眾在瑞萊智慧展臺體驗AI“隱身衣”
AI新漏洞：躲避追蹤、冒充他人
盡管人臉識別、目標檢測系統等被廣泛應用于公共安全、城市交通等領域，但安全隱患也不容忽視。
以“隱身衣”為例，瑞萊智慧副總裁唐家渝解釋道，目標檢測系統大多基于數據驅動的深度學習算法，存在不可靠和不可解釋等局限性，即便是開發者也難以理解其內在的運行邏輯，這一結構性漏洞可能導致系統遭受惡意攻擊。衣服上看似奇怪的圖案是針對算法漏洞生成的“對抗樣本”圖案，能夠誤導識別算法使其出錯。
除了在運行環節對輸入數據添加“擾動”，在最開始的模型設計環節，通過在訓練數據中添加“污染數據”進行“投毒”，導致模型被埋藏后門，再通過預先設定的觸發器激發后門，模型也將輸出事先設定的錯誤結果。
圖：算法漏洞原理
何謂數據“投毒”？“假設我們在訓練一個識別花的分類模型時，所有花的訓練圖像左下角都有紫色方塊，機器學習可能把紫色方塊學習成花的重要類別特征。下一次出現一張其他類別的圖像，只有左下角帶有紫色方塊，它就會被錯誤識別為花。那故意在圖像上添加紫色方塊的過程就是投毒，當然實際的投毒過程，圖像特征會更加隱蔽。”唐家渝說。
算法漏洞的威脅面在不斷延展，對城市治理產生影響。例如，不法分子惡意攻擊視頻監控、安檢閘機等智能安防設備，躲避追蹤、冒充他人、破壞公共安全；交通領域，自動駕駛汽車可能被干擾“致盲”，引發安全事故等。
瑞萊智慧也聯手相關部門，測試了國內外一些主要的人臉識別開放平臺，都存在被攻擊風險，比如，通過對A照片的面部加了一些噪聲，人眼看起來沒有任何問題，人臉識別系統就會把它識別成B的照片。“在物理世界，一些特定生成的對抗樣本圖像可以用于破解多種多樣的人臉識別系統，比如安防門禁、考勤系統和手機刷臉解鎖系統等”。
建立“被動”和“主動”防御機制
“我們希望，人工智能系統本身是穩健可靠的，數據是可控可信的，決策邏輯具有可解釋性，決策過程是公平公正的。”唐家渝說，以及發生人工智能安全事件，可以實現追溯，技術的應用在合法合規的框架下。
瑞萊智慧提出了兼顧“被動”和“主動”的防御機制。唐家渝解釋道，被動防御是為AI應用部署靜態的安全能力，防范已知安全風險，比如對外部訪問、輸入數據、行為決策等進行檢測，為算法模型部署加固防護組件等，提升系統抵御攻擊的能力。
主動防御則是為補充被動式防御的局限，引入和強化人工智能安全團隊力量，以動態防御對未知威脅進行風險預判，構建自適應、自生長的安全能力。
在展臺，瑞萊智慧展示了人工智能防火墻系統，通過集成多項對抗防御算法，能夠有效檢測和抵御針對人工智能系統的新型攻擊風險，實現人臉識別、目標檢測等計算機視覺場景的加固升級，可用于安防門禁、人臉身份核驗、人臉解鎖等場景的安全防護，大幅提升人工智能系統的安全性。
安全的本質是攻防較量，對抗攻擊是為了更好的防御。唐家渝介紹，在與電網的合作中，針對荒郊野外，企業會用圖像識別系統的算法，識別是否有危害高壓輸電線的場景，如吊車可能會打到高壓線，或明火會影響高壓線的安全，但這套系統同樣存在算法漏洞，通過瑞萊智慧的人工智能安全平臺，可以自動化高效檢測系統漏洞，同時進行防御加固。
