近日，微軟開源了AI安全風險評估工具Counterfit，該工具旨在幫助開發人員測試AI和機器學習系統的安全性。該公司表示，Counterfit可以使組織進行評估，以確保其業務中使用的算法是可靠和可信賴的。
當前，人工智能技術正越來越多地應用在醫療，金融和國防等受監管的行業中。但是，組織在采用風險緩解策略方面處于落后狀態。一個微軟的調查發現，部分企業用戶表示，他們沒有合適的資源，以確保他們的AI系統的穩定性和安全性。
微軟表示，Counterfit誕生于該公司評估AI系統是否存在漏洞的需求，目的是主動保護AI服務。該工具起初是專門為目標AI模型編寫的攻擊腳本集，然后演變為自動化產品以對多個系統進行大規模基準測試。
在底層，Counterfit是一個命令行實用程序，為對抗性框架提供了一層，并預先加載了可用于逃避和竊取模型的算法。Counterfit尋求使安全社區可以訪問已發布的攻擊，同時提供一個界面，通過該界面可以構建，管理和發起模型攻擊。
當使用Counterfit在AI系統上進行滲透測試時，安全團隊可以選擇默認設置，設置隨機參數或自定義每個參數以覆蓋廣泛的漏洞。具有多個模型的組織可以使用Counterfit的內置自動化功能進行掃描，并可以選擇多次掃描，以創建操作基準。
Counterfit還提供日志記錄以記錄針對目標模型的攻擊。正如微軟指出的那樣，遙測技術可能會促使工程團隊提高對系統故障模式的了解。
在內部，微軟將Counterfit用作其AI紅色團隊運營的一部分，并在AI開發階段中使用，以在漏洞投入生產之前發現漏洞。該公司還表示，它已經與多家客戶進行了Counterfit的測試，其中包括航空航天巨頭空客公司（Airbus），該公司正在開發基于Azure AI服務的AI平臺。
“人工智能在工業中的使用越來越多”。空客公司高級網絡安全研究員Matilda Rhode在一份聲明中說：“確保這種技術的安全至關重要，特別是要了解在問題空間中可以在何處實現特征空間攻擊。”
基本上，企業希望人們相信AI是不受操縱，是安全的。1月發布的Gartner的“管理AI風險的5大優先事項”框架中的一項建議是，組織“ 針對攻擊性攻擊采取特定的AI安全措施，以確保抵抗和復原力。” 這家研究公司估計，到2024年，實施專門的AI風險管理控制的組織將避免負面的AI結果的發生頻率是未消除負面結果的兩倍。”
根據Gartner的 一份報告，到2022年，所有AI網絡攻擊中有30％將利用訓練數據中毒，模型盜竊或對抗性樣本攻擊以機器學習為動力的系統（雷鋒網雷鋒網雷鋒網）
本文編譯自：
https://venturebeat.com/2021/05/04/microsoft-open-sources-counterfit-an-ai-security-risk-assessment-tool/
