從網站資訊推薦，到醫療保健系統，再到街頭監控攝像，在現實世界中，算法無處不在，偏見與歧視也是如此，并帶來了現實的負面影響。
算法歧視
什么是算法歧視？微軟研究院巴羅卡斯（Solon Barocas）和加州大學洛杉磯分校法學院的塞布斯特（Andrew D．Selbst）在聯合報告中認為，算法自動化決策可能給某些群體帶來歧視性的不利結果。算法模型的所有思想都是外來的，來源于人類的經驗。人工智能的研究對象模型存在嚴重的不確定性，即對深度學習的“黑盒子”知之甚少，且受訓練投喂數據的影響較大。 當數據被錯誤使用，算法模型可能會進一步強化種族主義和性別歧視等刻板印象，得出帶有偏見和歧視的錯誤結論。因此，偏見實際上來自于人類自身、技術瓶頸和數據誤用，在讓算法成為“決策者”之前，必須確保其擁有正確的價值觀，否則就應該被丟棄。
流程圖
多團隊共同參與 AI 算法價值觀的制定
網易智企旗下易盾利用 AI 技術賦能企業完成數字內容風控，也意識到了 AI 系統發展過程中的社會問題。當前，團隊從數據收集、數據訓練、模型搭建、標準制定等環節出發，有效消除偏見與歧視，在可信 AI “公平性”指標上積累了寶貴經驗。
1、標準讓機器體系化、具體化判斷
運營鏈接客戶需求與算法標準的透明可解釋性
談到暴恐問題時，大家可能下意識會聯想到某些民族與有色人種，這是由于受眾在大環境和過往新聞的影響中產生“先入為主”的感知。此外，在大家認知中，穿著多少與胸的大小被納入到“女性群體低俗與否”的考量中，即使這個女性什么也沒有做，即使是同樣的姿勢與拍攝角度。 “哪怕告訴自己秉承客觀的心態看待，每個人對事物的評判結果也是存在差異的。”負責制定 AI 判斷標準的策略專家汪夢閃說。標準的制定是模型訓練前的重要環節，涉及到兩個方面，一個是針對數據收集的標準，另一個是針對算法模型的標準，最終目的是希望讓算法模型盡可能客觀地判斷。 她在客戶溝通中也發現，運營端從標準制定開始，就要去平衡原始需求，一個挑戰在于客戶需求向標準的轉化如何能在滿足需求的同時更加客觀。部分獨特的需求，本身就帶有偏見的影子，不能直接照搬到模型訓練中，需要去結合一些因素。 過程中，標準會被進一步細化、具體化與客觀化，落實到涇渭分明的界限中，才不容易出現偏見。 “我們很難直接讓機器去理解‘色情’、‘性感’是什么，一刀切就極易存在偏見，更客觀的做法是細化、量化標準，如胳膊、胸部和腿部等身體部位的裸露。”汪夢閃介紹說，如果不給任何客觀的描述和標簽，僅憑個人感覺來判斷“性感”，大概率的數據都是諸如身材姣好的女性之類。 為了避免標準固化，標準還須進行動態調整。2022 年的色情性感標準與 5 年、10 年前的標準相比，肯定有很大差異。例如，2021 年我國最高人民法院細化了未成年人淫穢色情物品識別標準，讓未成年人免受“線上侵害”逐漸凸顯出來。 AI 是人類的鏡子，映射的是人類本來就存在的偏見與歧視，標準是人類偏見與歧視流向 AI 的另一個重要管道。在易盾，標準不是一個組或一個人決定，是運營、算法和標注三方跨團隊的合作，避免有一方存在固化的思維?？绱诡惖暮献?，能夠更好地消除一些潛移默化的連自己都無從感知的偏見。
2、打標任務中的問題界定
標注人員在處理數據
“挺感動的吧，教出來了，至少有一個初中生的心智或智慧了，它有自己的判斷，但還是會出錯，這個時候就需要我們去調整。”任職于易盾數據標注部的孔杰激動地說。 孔杰在過去幾個月先后標注了幾萬條“問題”數據，協助 AI 算法工程師完成欺詐模型的訓練。過去，他和團隊成員的任務各不相同，有的負責文本，有的負責圖片，有的負責語音，一個共同點是給數字化內容打上標簽，識別出其中的不良行為。人工智能的崛起催生了一系列新興職業，數據標注員、AI 工程師、數據科學家等陌生的名詞進入大眾的視野。平日里，他們穿梭于機器模型與數據之間，職責在于讓 AI 技術更好地服務于業務，又快又好地自動執行完一項項任務，代替重復的人力勞作。數據標注崗的工作任務就是輔助機器去學習任務，相當于人工智能的助教。在崗位上，孔杰首先要輸出自己的判斷，一遍遍不厭其煩地教育著工程師搭建的 AI 機器模型，讓機器模型知道這些內容數據中存在這樣或那樣的問題。 判斷本身就是難題，一個隨意的結論，極有可能將人類的偏見，如種族主義、性別歧視、仇外心理、社會經濟歧視、確認偏見等，帶入算法模型中。 在欺詐用戶識別的任務中，為了盡可能地提升公平性，“欺詐嫌疑”的落實，不僅需要多位人員的判斷，也需要多個維度的查驗，即多方審核制度。 孔杰負責多方審核中的第一層，通過排查發言數據與行為信息，嚴格排查數據中的引流、廣告、聯系方式變種等行為，對行為上有高嫌疑動作的用戶打上“欺詐嫌疑”標簽。接下來，還有其他人結合產品與其他實際情況進行判斷，是“加黑”還是“退回”，多人多次篩選最終才得出結論。以引流為例，平臺中有賬號試圖將用戶引向微信或 QQ 等別的平臺，甚至是拉到一些更隱秘、更小眾的第三方交流點，對平臺用戶威脅極大。多層的數據標注，讓機器逐漸懂得大致的判斷標準。“其他方向的數據確實很多，機器除了識別問題用戶，還可以篩掉一些正常用戶，減少誤判導致的用戶投訴。”孔杰說。 分歧討論是促進公平性的另一個契機。團隊小心謹慎地對待每一次數據打標，存在分歧的困難標注任務往往要花了好幾天時間才能解決。 成員們遇到多次打標不一致的數據，就得開展專題研討會，直到達成統一的標準。“對于一個問題討論，一開始分歧比較多，交流之后才能統一想法。”孔杰說。幾期培訓之后，形形色色的詐騙話術逐漸為模型所熟知，并能夠舉一反三、獨立自主地決策，甚至有著超越一般人的詐騙洞察能力，不僅能從內容上攔截，也能從用戶行為上進行分析。文字與圖片中暗藏詐騙風險，但都過不了 AI 模型的“法眼”。
3、算法工程師全鏈路跟蹤偏見
公平性是可信 AI 至關重要的要求之一
每分每秒，人工智能都在決定數字內容的去留，成為在社交網絡空間的隱形決策者。 AI 系統中的不公平性也顯著暴露出來，簡單來說，就是作為人工智能大腦的“黑箱”中出現的各類偏見，如性別歧視、種族偏見、就業歧視、教育歧視、價格歧視、犯罪行為預測偏見等。易盾資深算法工程師崔若璇在可信 AI 的直播中提到，不少算法產生偏見問題在于所依賴的數據。 掃描二維碼，回顧直播
隨著人工智能的普及，美國開始使用 AI 算法來預測罪犯的犯罪行為。美國“為了人民”網站對 COMPAS 系統分析發現，該預測算法卻對黑人有偏見：相比白人，黑人被告更容易被判斷為有更高的累犯風險。 “這是因為算法都是基于歷史犯罪統計數據來預測未來的犯罪行為。”崔若璇說。值得注意的是，上述預測算法很容易受到逮捕率的影響，根據美國司法部的數據，黑人被捕數的可能性是白人的兩倍多。
類似的事件還有不少，Google 公司的圖像識別程序也曾將黑人標注成大猩猩；麻省理工學院將其用于訓練 AI 系統的數據集“Tiny Images”永久下線，因其中帶有許多涉及種族歧視、性別歧視、戀童癖等傾向的圖像和標簽；Amazon 公司的人力資源算法在分析應聘者時，一旦出現“女性”或“女性特征”就會降低應聘者排名；人臉識別在身份安全驗證中日漸流行，但不公平性也逐漸顯露。
哈佛大學的一項研究表明，大部分人臉識別算法具有高達 90% 以上的準確率，但是這一概率并不普遍，其中女性、黑人、18-30 歲的受試者有著較差的準確性。 “數據采集環節就得考慮數據在人種、性別、年齡等方面的多樣性，否則可能引入偏見。”崔若璇表示，此外，訓練過程不加以約束就會固化偏見，輸出結果不加處理也會放過偏見，為了減少算法偏見，算法、工程、數據、運營、標注、產品團隊的協力配合，每個環節都不能掉以輕心。崔若璇所在的算法團隊對數據進行了相關預處理操作，盡量減少訓練素材中的偏見因素，在模型搭建與訓練過程中，引入了針對性的公平性量化指標，實時對訓練過程進行監測和量化評估，避免偏見固化，主要可分為以下三個階段：
首先，易盾 AI 實驗室在數據收集階段保證收集過程，全面、多樣、及時更新，并且會結合一系列數據預處理、重采樣等措施，達到“保質保量”的效果，在數據源頭就保證盡可能地消除偏見。
其次，在模型訓練階段，引入公平性相關的量化指標，對其開展監測，并對模型的數據結果也進行公平性相關指標的考察和調整。
最后，在結果輸出階段，對輸出結果進行“公平性的再判定”，盡量減少決策偏見。
在易盾，AI 技術被應用于數字風控，例如算法幫助人類審核內容及賬戶，快速識別風險，審核算法的公平性打造被放在突出位置。
結語
作家雪萊在科學幻想小說中提出了科學怪人的恐懼，人造人在被賦予智慧與意識之后，有了超出人們料想的訴求，就像當下的 AI 算法無意識產出的偏見與歧視一樣。在人工智能盛行的今天，我們如何與之和諧共處仍留待我們探討。
