信息時代的寵兒——基于隱私計算的機器學習平臺
數據作為機器學習的“燃料”，蘊涵了豐富的信息要素和巨大的經濟價值。近年來，包括中國在內的全球各國都愈來愈重視數據安全市場的重要性，如：早在2020年4月9日，中國政府就公布了《關于構建更加完善的要素市場化配置體制機制的意見》。而隱私計算作為促進數據要素于規范化管理下安全流通的“橋梁技術”，并逐步開始應用于以“機器學習平臺”為代表的核心數據要素市場產品，涌現出包括藍象智聯GAIA在內的多個以隱私計算為核心引擎的機器學習平臺產品。專業機構預計，國內該類隱私計算市場規模有望超過千億。
區別于傳統機器學習平臺，以隱私計算為核心引擎的機器學習平臺具有以下顯著特征：
“數據可用而不可見”：在包括聯邦學習、密態機器學習在內的隱私計算技術加持下，平臺內數據不會再直接暴露給平臺用戶，平臺用戶僅能通過預置接口在授權后使用數據訓練機器學習模型；
“模型可用而不可見”：隨著“燃料”的價值被發現被挖掘，其衍生品——機器學習模型所具備的商業價值也必將隨之被重新定義，新興的平臺用戶不僅可以單純地使數據安全的流通，亦可通過“模型”的形式安全達成數據價值再創造與價值傳遞。過程中，保證雙方達到“數據的可用不可見”，亦滿足“模型的可用不可見”。
由于“不可見”的安全需求和獨特應用場景，隱私計算加持的機器學習平臺將面臨除常見的DDoS等系統攻擊以外針對數據、模型安全的更多樣的攻擊方式。隨之而生的就是我們需要構建更強的“盾”來應對新興的攻擊之“矛”進行防御。如何體系化地梳理新興的攻擊手段，并針對性地提供防御策略，建立隱私計算下機器學習平臺的“安全軍備庫”，是本文所論述的重點。
針對隱私計算下機器學習平臺的“矛”
雖然隱私計算技術通過數據“不可見”實現了數據安全的保護，但正因為“不可見”，也為攻擊者留下一定的“藏污納垢”的空間，這里我們分別從數據安全和模型安全的角度，分別討論幾類常見的攻擊。
首先是針對數據安全的攻擊，這里我們所指的破壞數據安全的攻擊是一個廣義的概念，不僅指造成數據隱私的泄漏的攻擊，也包括了通過污染數據達成攻擊目的的方式。具體來說，這類攻擊包含：
數據重構。對于隱私保護的機器學習模型構建，最為常用的一類技術即是由Google于2016年首次提出的聯邦學習技術。該技術通過傳遞梯度的方式，避免了直接的明文數據傳遞，實現了數據隱私保護多方聯合建模。但國內外研究表明，梯度并不是一個有效的安全載體，攻擊者可以偽裝成合法的聯邦學習參與者，并在獲取到明文梯度后可以僅付出少量的計算成本就反推出用來計算梯度的原始數據。
數據下毒。由于建模數據多由他人提供且數據“不可見”，隱私計算下的機器學習平臺通常缺乏有效的機制對數據進行過濾與清洗，從而令攻擊者可以通過簡單的標簽反轉、模型替換、數據篡改等方式，來抑制模型的收斂、降低模型的性能甚至控制模型對特定輸入的響應模式。
模型后門注入。又稱“特洛伊木馬”攻擊，與數據下毒類似，攻擊者利用數據“不可見”的特性，通過篡改原始數據的方式，讓模型記住特定“觸發器”的分布特性，使訓練得到的模型在面對攜帶觸發器的輸入數據時，給出攻擊者所期待的輸出。
無意識記憶。Google于一篇研究報告中指出，在多方聯合建模時，參與者常常會把一些分布外又無助于模型性能提升的隱私數據于無意間加入到訓練當中，這類數據會于神經元中引入一類被稱之為“無意識記憶”的漏洞。攻擊者可以利用最短路徑搜算算法，快速復原出構成無意識記憶的隱私數據。
其次是針對模型安全的攻擊，通常這類攻擊會通過欺騙模型或破壞模型隱私的方式，威脅機器學習模型服務安全。此外，這類攻擊通常在傳統的機器學習平臺中也極為常見，但由于隱私計算下的機器學習平臺數據和模型“不可見”的特性，該類攻擊對其威脅更為嚴重，如：
模型偷取。又稱模型提取攻擊。以金融領域為例，模型作為銀行等金融機構的核心資產，具有極高的商業價值。這類攻擊允許攻擊者通過構造特定訪問樣本 ，在不具備或僅具備少量數據的情況下，復制一個與目標模型性能相仿的模型，極大的威脅公司的核心資產安全。
惡意樣本。通過合成的惡意樣本，攻擊者欺騙模型作出特定的響應。以預授信場景為例，惡意用戶可以通過修改其部分預授信信息，欺騙模型作出錯誤的判斷，損害公司利益。于隱私保護下機器學習平臺服務中，由于數據被加密，這類攻擊尤其難以檢測。
成員推斷。成員推理是一類可以通過模型輸出的后驗概率檢測建模所使用數據的攻擊。這類攻擊對醫療場景下的機器學習應用下的用戶隱私造成尤為嚴重的安全威脅，攻擊者在隱私計算技術的保護下，隱蔽地獲取任意個體是否于某家醫院參與治療或是否患病等十分私密的個人信息。
模型更新推理。對于一般的模型服務場景，經常需要定期的更新模型以匹配最新的業務場景特性。德國研究機構CISPA的研究表明，攻擊者可以利用模型更新后帶來的后驗概率輸出上的前后差異，推理出用來更新模型的原始數據。
戍衛以隱私計算為基礎的機器學習平臺的“盾”
機器學習平臺作為人工智能技術應用最為集中的一類載體，其安全防護越來越受到包括政府機構在內的社會各界人士的重視。哈佛大學的《人工智能與國家安全》報告中就曾指出人工智能的安全將通過變革軍事優勢、信息優勢和經濟優勢直接影響公司資產乃至國家資產安全。俄羅斯普京總統更是直言“誰成為這個領域的領導者，誰就將成為這個行業的領導者”。
但是，在安全領域，一個公認的事實是，相較于用來攻擊的“矛”，用來防御的“盾”更加難以設計。一個好的“盾”不僅要綜合各方面信息來制定完備的防御策略，還要滿足快速識別、快速響應、快速迭代等特性以滿足實際應用需求。尤其對于以隱私計算為核心的機器學習平臺這一新軟件產品/行業應用，其安全防護更具挑戰。為此，藍象智聯作為一家隱私計算技術的頭部公司，綜合各類常見威脅機器學習平臺下數據、模型安全的各類攻擊的特點，提出一個完備的隱私計算機器學習平臺產品在防御策略上應至少具備的能力框架：
數據安全防御方面。針對數據生命周期，需要對應數據使用前與使用中，分別制定對應防御策略。
使用前——數據清洗與過濾。平臺應提供相應的工具，在數據資產發布時由平臺提供方或第三方，對數據進行清洗和檢測，對下毒數據、木馬數據等惡意數據進行示警，在數據通過隱私計算技術加密前，就從源頭上控制其可能帶來帶來潛在的風險。
使用中——強化隱私計算應用。平臺應杜絕對非可證明安全的數據形式變換方式的依賴，避免“梯度裸奔”等現象的出現。針對包括模型梯度、嵌入向量等任何敏感信息出域，都必須借助同態加密、秘密共享等經過學術界和專業機構驗證的隱私計算在符合國家標準的安全強度下予以保護。在特定模型場景下，還應保證所使用算法能夠提供可驗證計算能力，防止攻擊者于隱私計算過程中篡改數據。
在模型安全方面。除借助上述數據安全保護策略外，還應于模型部署前和部署后提供如下防御。
部署前——模型檢測。平臺應提供模型安全檢測工具，對所有待部署模型進行檢測，判斷是否存在惡意后門。當發現后門后，除對用戶進行報警外，亦可選擇性地通過模型遺忘、模型蒸餾等方式提供模型后門清洗在內的善后能力。
部署后——訪問控制。上述攻擊的一大特點在于，都需要通過構造大量合法或非合法的訪問來獲取模型相關的額外信息，以輔助攻擊者發起攻擊。因此，一種最為簡單有效的防御策略就是基于訪問控制來拒絕越界訪問、陌生IP訪問、非授權訪問等非法訪問，限制部分用戶的訪問頻次，這可以極大地增加攻擊的攻擊成本。
此外，平臺應具備對數據和模型的訪問、使用、授權等系統日志的記錄與審計能力。當平臺受到攻擊后，能夠對攻擊發起方的惡意行為采集證據以供法律追責之用。
結語
基于隱私計算為核心的機器學習平臺產品作為全民隱私意識覺醒時代下的新生兒，正逐漸被各行各業所接受并快速成長。針對其產生的一系列攻擊與防御方法的研究與應用不僅影響到了企業間的核心數據資產安全與該行業未來發展的走向，對國家安全層面也極具重大戰略意義。藍象智聯公司提出了針對常見攻擊類型的完備性防御策略基礎能力框架，未來也將加深與同業、高校間的交流與合作，共同推動隱私計算機器學習平臺安全防御基礎能力框架的升級以及相應標準的建立，切實保護用戶數據隱私與企業數據模型的安全。
