5 月 30 日，由中國信息通信究院、浙江省經(jīng)濟和信息化廳、杭州市人民政府、中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟主辦的杭州通用人工智能論壇，在杭州未來科技城學(xué)術(shù)交流中心成功舉辦。
本次會議以“大模型應(yīng)用機遇和挑戰(zhàn)”為主題，超過 1000 名產(chǎn)學(xué)研代表現(xiàn)場參會，共同探討人工智能領(lǐng)域的創(chuàng)新經(jīng)驗與創(chuàng)新方向。網(wǎng)易易盾 CEO 朱浩齊受邀出席大會，并以《AIGC 浪潮下數(shù)字內(nèi)容風(fēng)控的新挑戰(zhàn)》為主題發(fā)表演講。以下是演講實錄：
中國杭州
中國信通院副總工程師、中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟副秘書長王愛華大會致辭
各位領(lǐng)導(dǎo)、各位嘉賓，大家下午好！易盾是一家數(shù)字內(nèi)容風(fēng)控公司，自成立以來一直服務(wù)網(wǎng)易內(nèi)部及行業(yè)其他公司的客戶。剛才很多嘉賓也提到了大模型、AIGC 相關(guān)內(nèi)容，我也想借此機會，和大家回顧一下，人工智能技術(shù)在“數(shù)字內(nèi)容風(fēng)控”行業(yè)的一些成長歷程。本次分享分為四個方面：
簡要介紹 AIGC 相關(guān)技術(shù)及應(yīng)用；
介紹 AIGC 帶來的潛在風(fēng)險和挑戰(zhàn)；
探討應(yīng)對這些挑戰(zhàn)的策略；
對未來內(nèi)容風(fēng)控技術(shù)趨勢進行判斷。
01
2022-2023年的AIGC
數(shù)據(jù)快速繁殖，十年后模型的參數(shù)量可與人類總腦容量相當(dāng)。
近半年來，以 ChatGPT 為代表的 AIGC 技術(shù)引起了廣泛關(guān)注。借助 AIGC 技術(shù)，人們可以創(chuàng)作獨特作品、提升工作效率，但也可能將其用于非法活動。數(shù)字內(nèi)容風(fēng)控行業(yè)也面臨新的挑戰(zhàn)，如何更有效、精準(zhǔn)地識別風(fēng)險，確保內(nèi)容的合法性和真實性，值得探討。因此，今天將與大家分享數(shù)字內(nèi)容風(fēng)控在 AIGC 浪潮下所面臨的新挑戰(zhàn)及應(yīng)對策略。
ChatGPT 是史上用戶數(shù)量增長最快的平臺之一。2022 年底，OpenAI 推出 ChatGPT。令人驚嘆的是，僅僅兩個月后，月活躍用戶就突破了億級，這使得 AIGC 成為備受矚目的話題。
ChatGPT 作為 AIGC 的一部分，主要用于文字生成，而 AIGC 不僅包括文字生成，還包括圖像、3D 和音視頻生成等。文字生成可用于智能對話，圖像生成技術(shù)可用于藝術(shù)創(chuàng)作，3D 生成技術(shù)可應(yīng)用于建筑、工業(yè)設(shè)計等領(lǐng)域，視頻生成技術(shù)可生產(chǎn)出兼具藝術(shù)性和創(chuàng)新性的視頻內(nèi)容。在 AIGC 的助力下，上述工作的效率推被進到了一個全新的水平。
在文本領(lǐng)域，2018 年 GPT-1 的誕生標(biāo)志著 NLP 無監(jiān)督預(yù)訓(xùn)練模型的開端。隨著 GPT-2、GPT-3、ChatGPT 和 GPT-4 的不斷發(fā)展，這些模型的參數(shù)量已經(jīng)從最初的大約1億增長到了萬億級別。如果把 GPT-1 的參數(shù)量比喻為西湖的大小，現(xiàn)在 GPT-4 的規(guī)模已經(jīng)相當(dāng)于浙江省的面積。如果以這種速度繼續(xù)下去，五年或十年后，模型的參數(shù)規(guī)模將達(dá)到地球甚至太陽表面積的數(shù)量級。這種快速發(fā)展和參數(shù)量的巨大是非常驚人的，十年后模型的參數(shù)量可能與人類總腦容量相當(dāng)。
圖像生成領(lǐng)域在過去的 10 年中也經(jīng)歷了快速的發(fā)展。2014 年，生成對抗網(wǎng)絡(luò)開啟了圖像生成算法的新篇章。2021 年，基于擴散模型的算法憑借“加噪和去噪”的思路生成質(zhì)量更高、多樣性更強的圖像，成為目前圖像合成領(lǐng)域的主要研究方向。另外，Midjourney 是一款高質(zhì)量的圖像生成工具，始終采取不開源與收費的模式，已經(jīng)成為眾多設(shè)計師和畫家的得力助手。如今，生成的圖像質(zhì)量已然以假亂真。
相較于圖像生成，視頻生成更難一些，但是目前合成視頻的質(zhì)量相比前幾年已經(jīng)有了很大的提升。在技術(shù)路線上，視頻生成算法也較多地借鑒了圖像生成相關(guān)的算法，例如當(dāng)下研究火熱的擴散模型。此外，和圖像一樣，視頻生成也逐漸從單模態(tài)的視頻生成逐漸走向跨模態(tài)的視頻生成。舉例而言，AIGC 支持基于文本描述生成一段視頻。
綜上而言，AIGC 實際上已經(jīng)發(fā)展了很多年，并在各個領(lǐng)域取得了不錯的進展。最近，以 ChatGPT 為代表的算法引起了人們的高度關(guān)注，讓人們感受到了智能的存在和生產(chǎn)效率的提升，但同時也帶來了一系列的風(fēng)險和挑戰(zhàn)。
02
警惕充斥侵權(quán)、虛假、垃圾的數(shù)字世界
潛力巨大，但發(fā)展之路充滿挑戰(zhàn)。
自誕生以來，ChatGPT 的數(shù)據(jù)安全問題和隱私問題一直被提及。這與其訓(xùn)練方式密切相關(guān)，喂養(yǎng) ChatGPT 的訓(xùn)練數(shù)據(jù)不僅包括維基百科，還包括其他社交媒體、新聞、科學(xué)論文等多種來源。
這種訓(xùn)練方式還帶來了另一大算法問題：數(shù)據(jù)泄露，即生成的數(shù)據(jù)和訓(xùn)練數(shù)據(jù)很相似，如下方的版權(quán)圖可能存在侵權(quán)風(fēng)險（左圖來源：Erin Hanson，右圖來源：Rachel Metz via Stable Diffusion）。
此外，雖然用 ChatGPT 能夠輕松應(yīng)對日常寫作任務(wù)，而在其背后，卻參雜著高比例的虛假信息，人工驗證不可或缺。由此可見，AIGC 技術(shù)在下游應(yīng)用上仍有許多不完善的地方。
確實，AIGC 技術(shù)的一個顯著特點就是內(nèi)容生成速度快。在 PGC 時代，內(nèi)容生成主要依靠專業(yè)的創(chuàng)作團隊，生成速度較慢，內(nèi)容也比較單一。在 UGC 時代，內(nèi)容生成更多地依靠用戶創(chuàng)作，速度得到了明顯提升，但質(zhì)量不穩(wěn)定。而在 AIUGC 和 AIGC 時代，內(nèi)容生成速度更快，并且能夠創(chuàng)造出具有藝術(shù)性、創(chuàng)新性和獨特性的作品，內(nèi)容創(chuàng)作空間更加廣闊。
除了生成速度快之外，AIGC 技術(shù)可生成多樣化的內(nèi)容類型，包括文字、圖片、音頻、視頻等，也支持在已有真實內(nèi)容上做自定義修改。同時，借助跨模態(tài)技術(shù)，人們只要說一段話、寫一段文字就能生成對應(yīng)的內(nèi)容，大大降低了內(nèi)容創(chuàng)作的難度。
AIGC 不僅生成速度快、內(nèi)容多樣，而且內(nèi)容逼真。以目前最常見的人臉生成為例，人物的整體形態(tài)和臉部細(xì)節(jié)都和真人相差無幾，甚至連光影效果、虛化都能以假亂真。
基于以上 AIGC 的顯著特點，在帶來生產(chǎn)效率提升的同時，也充斥著欺詐、不合規(guī)內(nèi)容的泛濫，給內(nèi)容風(fēng)控帶來了新的挑戰(zhàn)。這不僅要求內(nèi)容風(fēng)控需要精準(zhǔn)有效，而且要能快速識別特定內(nèi)容，保障內(nèi)容的合法性和真實性。
03
變與不變，呼喚數(shù)字風(fēng)控新時代
AIGC 暴露潛在問題，智能風(fēng)控技術(shù)來彌補。
針對 AIGC 技術(shù)所帶來的風(fēng)控難題，易盾依靠近些年和黑產(chǎn)的對抗，沉淀出一套全方位的風(fēng)控體系，結(jié)合近期出現(xiàn)的 AIGC 風(fēng)險加以驗證和優(yōu)化，不斷適應(yīng)新的挑戰(zhàn)。
這套風(fēng)控體系應(yīng)涵蓋多個環(huán)節(jié)，以實現(xiàn)對生成內(nèi)容的全面、精準(zhǔn)、實時監(jiān)控和管理，確保內(nèi)容的安全可靠。
在體系建設(shè)方面，我們從 AIGC 提供商運營角度出發(fā)，結(jié)合國家政策與豐富的行業(yè)經(jīng)驗，提供了覆蓋事前—平臺運營前置的風(fēng)險、事中—平臺內(nèi)容合規(guī)風(fēng)險以及事后—投訴與違規(guī)處理風(fēng)險的全流程解決方案。在 AI 算法治理、安全制度管理、AI 偽造內(nèi)容識別、實時審核平臺建設(shè)與人機交互等方面不斷開拓與創(chuàng)新，構(gòu)建了多輪多模態(tài)的內(nèi)容風(fēng)控體系，以確保平臺上的內(nèi)容安全合規(guī)，同時保證 AIGC 技術(shù)的正常運營和發(fā)展。
在產(chǎn)品形態(tài)上，我們設(shè)計了支持業(yè)務(wù)定制攔截尺度的策略，以滿足每個客戶的不同需求和標(biāo)準(zhǔn)。由于相同客戶在不同場景不同時期的標(biāo)準(zhǔn)也會存在差異，我們采用通用標(biāo)準(zhǔn)和個性化標(biāo)準(zhǔn)結(jié)合的策略，通用標(biāo)準(zhǔn)的復(fù)用可以大大節(jié)約新客戶接入的成本，個性化標(biāo)準(zhǔn)則進一步貼合客戶定制需求，從而實現(xiàn)更加靈活、高效的內(nèi)容風(fēng)控服務(wù)。
為實現(xiàn)產(chǎn)品形態(tài)上的策略定制，網(wǎng)易易盾設(shè)計了多層級的標(biāo)簽組合。層級粒度越細(xì)，不僅有利于策略方案上靈活組合，實現(xiàn)客戶定制需求，而且不斷沉淀為堅實的知識庫，借助知識圖譜的能力，可以實現(xiàn)更強的信息檢索和關(guān)聯(lián)分析。
在算法層級上，我們設(shè)計了基于領(lǐng)域泛化的算法優(yōu)化流程，在數(shù)據(jù)、特征學(xué)習(xí)、模型設(shè)計、訓(xùn)練技巧等方面分別進行優(yōu)化。通過提高數(shù)據(jù)多樣性和模型魯棒性，領(lǐng)域差異的影響將越來越小，通用知識的積累使得模型在零樣本、少樣本遷移方面更有優(yōu)勢。這個思想也是大模型的基本思想，通過優(yōu)化模型結(jié)構(gòu)和算法流程，提高模型的泛化能力和適應(yīng)性，以實現(xiàn)更加精準(zhǔn)和高效的內(nèi)容風(fēng)控服務(wù)。
我們來看實際遇到的案例，首先是人臉相關(guān)的。AIGC 的人臉和真實人臉相比，細(xì)節(jié)丟失非常多，強行與真實人臉匹配難度較大。我們基于擴散模型實現(xiàn)了各類風(fēng)格和人物的生成，多樣化的大數(shù)據(jù)強化了人臉識別能力，同時新增形態(tài)識別、風(fēng)格識別等輔助能力。最終，基于人臉、風(fēng)格、人體形態(tài)、背景等聯(lián)合特征進行綜合決策與識別，我們實現(xiàn)了過度篡改條件下對于人臉識別、人臉屬性、以及篡改方法等內(nèi)容的精準(zhǔn)識別，問題解決率在 80% 以上。
在色情性感方面，AIGC 可以低成本、快速生成大量色情性感內(nèi)容，因此色情、性感的擦邊球數(shù)據(jù)占比越來越多，隨之而來的是不同客戶對這些數(shù)據(jù)的攔截標(biāo)準(zhǔn)不一，此時采用一套統(tǒng)一的色情性感標(biāo)準(zhǔn)難以準(zhǔn)確滿足不同客戶的需求。我們構(gòu)建了基于色情性感大模型的定向?qū)W習(xí)能力，可實現(xiàn)快速遷移，最終實現(xiàn)面向每個客戶的能力定制。定制成本相比之前減少一半以上，且效果普遍提升 30% 左右。
此外，還有一些新型的風(fēng)險，如未成年人孕肚、男男孕肚等均是不良價值導(dǎo)向，這些新型風(fēng)險的識別需要模型具備更強的語義能力。我們構(gòu)建了圖文多模態(tài)大模型，提供基礎(chǔ)且強大的通用圖像語義能力，借助高效的遷移學(xué)習(xí)能力，更準(zhǔn)確識別指定風(fēng)險數(shù)據(jù)。目前我們已支持十余項新型風(fēng)險識別能力，定制成本減少 80%。
04
抓住 AI 跨越式發(fā)展的機遇之窗
洞察內(nèi)容風(fēng)控技術(shù)趨勢，捕捉機遇，應(yīng)對未來挑戰(zhàn)。
AIGC 帶來的全行業(yè)變化，可謂是改天換地，即使是過去看似穩(wěn)固的方案和成熟的經(jīng)驗，在當(dāng)今或已經(jīng)不再適用。
為了適應(yīng)新風(fēng)險的挑戰(zhàn)，互聯(lián)網(wǎng)平臺企業(yè)要求變，看清現(xiàn)在、洞察未來，以便選擇正確的方向并制定有效的戰(zhàn)略。以易盾為例，我們不斷基于 AIGC 內(nèi)容風(fēng)險特點變革“數(shù)字內(nèi)容風(fēng)控”服務(wù)，以滿足行業(yè)不斷變化的需求。
如圖所示，未來的內(nèi)容風(fēng)控需要解決的問題很多，但留給我們解決這些問題的時間卻很短，這對我們的快速響應(yīng)能力提出了極大的考驗。
行業(yè)里有種說法，叫“技術(shù)是把雙刃劍”。面對AIGC，我們除了防范它的負(fù)面效果外，也要充分利用它的正面能力。舉個例子，在《復(fù)仇者聯(lián)盟》這部電影里，人類創(chuàng)造的智能體奧創(chuàng)要啟動核彈密碼意圖毀滅人類，最后是另外一個人工智能體賈維斯一直在變更密碼保護人類。那回到現(xiàn)實中，我們也要充分利用大模型的技術(shù)，進一步提升我們的內(nèi)容識別能力。比如我們對AIGC技術(shù)的研究，提前預(yù)演了大量潛在的內(nèi)容風(fēng)險，幫助易盾的“賈維斯”提前學(xué)習(xí)到了更多類型的有害信息，它便有了更好更快的防御能力。這也驗證了網(wǎng)絡(luò)上的一個梗，叫“用魔法打敗魔法”。
從技術(shù)層面來看，AIGC 也確實可以賦能到內(nèi)容風(fēng)控能力，實現(xiàn)從定制到通用、從后知后覺到提前預(yù)判、從感知到認(rèn)知的跨越。這種跨越使得內(nèi)容風(fēng)控能力更加全面、深入、穩(wěn)定，從而顯著提升了內(nèi)容風(fēng)控的效果和響應(yīng)速度。通過借力 AIGC 技術(shù)本身，我們可以更快速、更準(zhǔn)確地檢測和識別涉嫌違規(guī)的內(nèi)容，從而有效地保護用戶和平臺的合法權(quán)益。
未來的內(nèi)容風(fēng)控會朝著更加智能、靈活、互動的方向發(fā)展。在標(biāo)準(zhǔn)的自適應(yīng)、邊界的自界定、模態(tài)的自對齊等方面不斷突破。我們可以像跟 ChatGPT 聊天一樣，說出我們的標(biāo)準(zhǔn)和訴求，從更加主觀化、更加個性化、更加多元化的視角來更好的完成內(nèi)容風(fēng)控任務(wù)，以實現(xiàn)更安全、更優(yōu)質(zhì)的內(nèi)容風(fēng)控任務(wù)，提供更好的用戶體驗。
最后我想說，技術(shù)的進步不可逆轉(zhuǎn)，為了更好享受技術(shù)帶來的便利，我真心希望數(shù)字內(nèi)容風(fēng)控技術(shù)，會像空氣之于物理世界一樣，在虛擬世界中無處不在，卻又不宜感知。畢竟歷史經(jīng)驗告訴我們，絕對的自由帶來的是毀滅，放任網(wǎng)絡(luò)內(nèi)容混亂必然會影響到現(xiàn)實世界秩序。但我也有一些美好的愿望，希望安全能更加溫暖、更加人性化，對于違規(guī)用戶不再是粗暴的管理，而是更好地引導(dǎo)人們?nèi)ナ褂眉夹g(shù)，創(chuàng)造美好的內(nèi)容。用魔法打敗魔法，用最強的矛來打造最強的盾，網(wǎng)易易盾將一直堅持下去，為行業(yè)可信安全發(fā)展貢獻自己的力量。謝謝大家！
