文｜實習生 楊柳 財經E法 姚佳瑩
編輯｜郭麗琴
生成式AI/ target=_blank class=infotextkey>人工智能（AIGC）持續火爆，隨之而來的法律、安全與倫理挑戰也越來越大。
近日，中國多地爆出AI詐騙案件。先是內蒙古包頭警方發布消息，4月20日，福建省一知名企業家遇上了“高端”騙局，對方通過AI換臉和擬聲，佯裝成好友對他實施了詐騙，致其被騙走430萬元。后有安徽安慶公安透露，詐騙分子使用了一段9秒鐘的AI換臉視頻，騙取安慶一男子132萬元。
對此，中國互聯網協會5月24日緊急提醒公眾，加強防范利用AI技術的新型騙局。
同期，全球多地也正遭遇類似治理難題。
5月18日，美國參議院兩位議員帶頭向聯邦貿易委員會（FTC）發出兩黨聯名信。信中警告稱，語音克隆(voice clone)和聊天機器人讓詐騙者更輕易地騙取老年人信任，讓老年人誤以為正在與親戚或好友交談。FTC也曾于3月針對此類詐騙現象發布消費者警示。
知名電腦安全技術公司McAfee5月發布的一項全球性調研顯示，在接受調查的7000人中，四分之一的受訪者表示經歷過AI語音克隆騙局，70%的人表示不相信自己能分辨出克隆的聲音和真實的聲音。
為解決以上問題，已有“技術”和“公眾教育”兩條并行路徑。但財經E法結合案例與采訪發現，當前“治理”依然趕不上“詐騙”技術更迭的速度。長期而言，需要采取個人預防、防御技術迭代、壓實平臺責任、完善法律法律等多管齊下的方式。
01 本質：信息泄露+合成軟件
AI詐騙首先帶來的觀念沖擊就是：眼見不為實，耳聽亦為虛。
浙江大學數字法治研究院副院長高艷東說，詐騙分子利用被害人對“有圖有真相”的思維定勢，通過AI技術偽造視頻或聲音，讓被害人相信詐騙分子虛構的身份。
財經E法在多家在線購物網站發現，一些AI深度偽造的軟件，以幾塊錢的價格售賣。視頻網站上也流傳著AI換臉“神器”的使用視頻。人工智能安全企業瑞萊智慧的聯合創始人、算法科學家蕭子豪介紹，這些軟件的底層技術大多來自網上的開源算法，商家在此基礎上包裝制作成軟件對外銷售。
結合采訪和現有案件，當前AI詐騙主要包括兩類：一類是AI聲音克隆詐騙，需要詐騙分子撥打騷擾電話，或者利用公開渠道上的語音內容，提取用于合成的原始語音文件。McAfee的一項測試中，僅僅三秒的音頻就足以生成與原始語音匹配度為85%的偽造聲音。另一類為AI換臉視頻詐騙。詐騙者首先盜取被害人近親屬、朋友的微信或QQ賬號；繼而利用受害人好友在社交平臺發布的視頻及圖片，截取面部畫面后，借助AI深度偽造技術進行換臉，輔之以聲音克隆，達到視覺和聽覺層面的擬真，讓被害人放松戒備。
兩類情形中，詐騙的第一步，都是盜取個人信息。深度偽造隨后粉墨登場，其依靠的關鍵技術叫做“生成對抗網絡”（GAN）——通過兩個神經網絡相互博弈方式進行學習，生成虛構的音視頻。
長期研究電信網絡詐騙的西南政法大學刑事偵查學院副教授謝玲告訴財經E法，AI詐騙的盜號環節，仍屬于傳統電信網絡詐騙的操作過程。具體方式是向被害人的近親屬、朋友發送含有木馬鏈接的短信；或者詐騙分子原本就添加了被害人的近親屬、朋友的微信或QQ，直接在微信或QQ聊天框發送木馬鏈接。一旦點擊鏈接，賬號會被迫下線。此時，詐騙分子利用用戶再次登錄賬號輸入密碼的過程，記錄獲取相應原始密碼，隨后予以修改，完成盜號。
有了換臉變聲技術，詐騙分子又如何在微信或QQ視頻的時候披上親友的AI馬甲？高艷東認為，詐騙者大概率是利用了插件，將微信視頻聊天畫面切換成AI虛構身份的樣子。
02 公眾防不勝防
要防止詐騙，首先得提升公眾的防范意識。
謝玲認為，公眾對新技術手段下的詐騙形式缺乏了解，導致短時間此類案件高發。
從技術角度，蕭子豪建議，普通人若遇到疑似AI詐騙的情況，可以在視頻通話時有意識地引導對方做一些動作，比如張嘴或大幅度搖頭，甚至露出后腦勺。他解釋說，如果騙子技術手段較弱，那么有可能發現對方面部邊緣或者牙齒的瑕疵，從而識別出AI換臉。另外，如果所使用的深度偽造技術只針對正臉建模，則會導致后腦勺的偽造效果不佳。針對聲音偽造，用戶可以嘗試與對方用方言交流。
不過蕭子豪稱，上述方法對于識別出“高水平”的不法分子，還存在難度。目前方言合成方法和工具也非常豐富，音色穩定，自然度很高。
除此之外，蕭子豪建議，普通公眾可以追問幾個私密信息，以核實對方身份。同時，盡量避免在公開平臺大量發布自己的照片和視頻，因為深偽制作的原材料是個人音頻、圖片、視頻，“這些數據越多，訓練出的視頻也就越逼真、越難以鑒別”。
但蕭子豪也認為，如果將防范的責任全部交給個人，有點太為難他們。由于AI偽造的音視頻已經如此逼真、自然，很難要求所有老年小孩分辨清楚對面是真是假。他認為，未來離不開公共管理部門和互聯網平臺承擔起保護者責任。
03 技術防范仍滯后
深度偽造技術帶來的詐騙問題，已催生檢測識別平臺的涌現。
依托清華大學人工智能研究院發起設立的瑞萊智慧公司，2021年研發了一款名為DeepReal的深度偽造內容檢測工具，可檢測人臉、人聲的真偽性。
蕭子豪解釋，檢測算法模型首先分析圖像是否有篡改痕跡，比如液化、拉伸、放縮等；其次再看人臉符不符合生物學常識，比如眼睛是否長時間不眨動、牙齒的縫隙清晰與否。一些比較差的AI技術，就會露餡。通過組合前述兩種分析結果，算法模型去做最終的真偽認定。“這款檢測工具目前主要用于公安、銀行等業務場景。”蕭子豪介紹。
AI換臉詐騙引起熱議后，國內AI檢測識別類公司迎來商機。美亞柏科公司5月23日發布消息稱，其研發的AI-3300“慧眼”設備，支持當前絕大部分深偽視頻圖像篡改方法的檢測。3月3日，傳播內容認知全國重點實驗室推出AI生成內容檢測工具AIGC-X。早在2020年9月，影譜科技公司也曾發布過一款“AI視頻鑒偽鑒定平臺”。
國外亦誕生不少專門研發AI深度偽造鑒別工具的公司。據商業研究機構StartUs Insights的統計，排名前五的初創企業包括荷蘭的Sensity公司、西班牙的OARO公司、愛沙尼亞的Sentinel公司、瑞士的Quantum+Integrity公司以及印度的Group Cyber ID公司。
但蕭子豪坦言，目前，深度偽造及內容生成的技術領先于相應的檢測技術，“很多熱錢涌入AIGC領域，以至該賽道的技術迭代非常快，而防御技術的更新會慢一些”。
蕭子豪認為，平臺應引入深度偽造鑒別技術。具體而言，一旦識別出疑似AI偽造的語音或視頻電話，平臺應彈出風險提示，提醒用戶仔細確認對方身份。但由于此種風控機制不會給平臺增加業務營收，相反還會拉高成本，所以還得依靠公共管理部門或社會輿論去督促平臺履行。
面對AI新型詐騙，謝玲也支持強化互聯網企業的風險識別能力建構。2022年12月施行的《反電信網絡詐騙法》明確了互聯網企業的風險防控責任，平臺有義務針對AI詐騙進行技術篩查、攔截和報告。
謝玲還給出兩種前置解決思路——減少盜號的發生，以及提升盜號后的申訴處置效率。她解釋說，當賬號陌生好友發送含有鏈接的消息時，平臺若檢測到鏈接有詐騙風險，應及時提醒用戶不要輕易點擊。而一旦賬號被盜，平臺則需暢通申訴渠道，更快速地介入處理用戶申訴，甚至可以在詐騙分子著手實施AI詐騙之前，平臺把被盜號的情況，自動通知該用戶的全體好友，將風險防范于未然。
此外，法律監管層面，中國已經專門針對深度合成技術的提供者施加了反詐義務。2023年1月10日施行的《互聯網信息服務深度合成管理規定》規定了深度合成服務提供者的主體責任，其中包括建立健全反電信網絡詐騙的管理制度，具有安全可控的技術保障措施。
