娛樂社交行業競爭激烈，包括社交 APP、游戲、短視頻平臺、直播商業、電影、綜藝、媒體等線上內容，以及線下的脫口秀、相聲等演出，業務和產品種類繁多、各不相同，但一個共同點在于其與內容密不可分。過去幾年中，娛樂社交行業也因為一些內容負面事件而備受關注，例如平臺上的敏感言論、低俗內容、虛假宣傳和網絡暴力等。
這些事件不僅對企業形象造成了負面影響，還對用戶造成了心理上的傷害，甚至造成惡劣的社會影響。問題的核心在于，作為娛樂社交行業最大的受眾之一，不設防的未成年人群體整日浸潤充滿虛假信息、誘導性言論、不良圖片和視頻的娛樂社交行業生態中，逐漸走向扭曲和變態。因此，推動娛樂社交行業的清朗化是一個長期而值得追求的目標。
最新監管政策
為了保障娛樂社交內容的安全，網信辦等國家相關部門已經出臺了一系列政策法規，包括《網絡安全法》、《互聯網信息服務管理辦法》等。這些法規為內容安全解決方案的推廣和應用提供了法律和政策保障。
與此同時，常態化的專項治理也在穩步推進。2022 年，“清朗”系列專項行動重拳整治網絡生態突出問題，處理了 5430 余萬違法和不良信息，處置了 680 余萬個賬號，下架了 2890 款 APP 與小程序，關閉了 26 萬個群組與貼吧、停止了 7300 多家網站。
在 2023 年，“清朗”專項行動也提出了新的動向。其中之一是打擊網絡水軍，這是指那些利用虛假賬號在網絡上發布大量不實言論，制造輿論影響的人。另一個動向是整治網絡戾氣，這是指那些在網絡上發表惡意言論、攻擊他人、散布仇恨等不良行為。根據歷年的執法情況，“暑期未成年人網絡環境整治”方向是專項行動的重中之重，也延續到了今年。
一方面嚴厲整治“涉未成年人”的各類有害內容和違法犯罪，及時發現處置網絡欺凌行為;另一方面嚴管評論區信息內容，督促網站平臺加強評論區管理，要求賬號強化所發信息內容跟帖管理，對未做好跟帖評論管理的公眾賬號，采取限制功能等措施。
作為內容監管主體，娛樂社交行業平臺肩負著重要的責任。在“清朗”系列專項行動中，平臺主體除了要關注每年的行動重點，同時不能忽視其他的監管紅線問題，尤其是低俗、不良價值觀、暴恐、惡心等違法內容。只有讓這些問題得到及時的治理，才能維護良好的內容生態。
01 2023 “清朗”行動，指明內容治理方向
“清朗”系列專項行動的初衷在于規范網絡信息秩序，促進網絡空間的健康發展。特別是對于網絡信息的重點生產方—“娛樂社交行業”而言，提出了更為嚴格的要求。這也導致娛樂社交行業 APP 市場的深刻變革，不符合規范的APP可能會被淘汰，而符合規范的 APP 則將獲得更多的發展機遇。
平臺戾氣管治
一些低俗、惡俗、攻擊性或令人不適的內容在娛樂社交平臺泛濫，侵犯到人們的價值觀和道德底線。從內容安全的角度看，平臺戾氣治理至關重要，因為不良內容嚴重影響網絡環境的健康和秩序，也會對用戶造成心理傷害，甚至會引發社會和政治問題。
“清朗·網絡戾氣整治”專項行動，嚴管評論區信息內容，督促網站平臺加強評論區管理，要求賬號強化所發信息內容跟帖管理，對未做好跟帖評論管理的公眾賬號，采取限制功能等措施;整治直播“PK”環節問題，嚴肅查處主播逞勇斗狠、互撕攻擊、謾罵吐臟等行為，針對部分主播逃避監管、借“小號”進行惡俗行為，對其所有賬號采取統一處置措施，情節惡劣的納入黑名單;處置網絡戾氣集中的版塊，深入排查貼吧、頻道、圈子、超話和小組等環節，對違規版塊進行整改，必要時采取暫停更新、解散關閉等措施，處置版塊管理員賬號，堅決遏制網絡戾氣。
未成年人安全保障
近年來，諸如腐文化、兒童色情、抽煙喝酒、炫富拜金、不文明行為、邪教迷信、邪典死亡、靈異恐怖一類的有害信息相繼找上脆弱的未成年人群體。
小豬佩奇嘴里叼著香煙，戴著墨鏡，赤裸上身，手持銳利的匕首威脅旁人，顯得極具黑幫氣質。
迪士尼的公主與漫威英雄，被兒童視為英雄和榜樣的角色肆意酗酒，甚至口吐白沫，變得毫無節制。
宣揚流血的興奮感，誘導、煽動、教唆自殺自殘等相關內容，通過畫面和話術故意引起自殺自殘情緒。
以宣揚奢侈拜金，極端思想、煽動仇恨、歧視和暴力為代表的行為，在短視頻、流媒體上悄無聲息地泛濫。類似的有害內容，由那些動機不良之人所制作。他們會利用網絡和社交媒體的便利性，尋找到那些易受影響的兒童。
這些兒童可能因為年齡較小、心智不成熟或缺乏家庭關愛等原因，而易被這些人的言語和行為所侵蝕。
海量平臺內容應對
在內容遍地開花的時代，企業需要審核的內容越來越多，包括PGC、UGC、AIGC等，但是審核人員的數量卻很有限，難以應對海量的內容。一般而言，企業會雇傭大量的審核人員，這樣可能導致審核效率低下，審核結果不準確等問題。
龐大的審核內容意味著審核人數的增加，同時也需要投入更多的時間和資源來完成審核工作。此外，審核人員的素質和能力也是審核內容能否得到有效處理的關鍵因素。因此，為了提高審核效率和質量，要對審核人員進行培訓和管理，以確保他們能夠熟練掌握審核流程和標準，準確判斷審核內容的合規性和真實性。這些都將帶來人力成本的上升。
審核規則制定和更新
審核規則難以制定和更新，針對不同領域的內容，需要制定相應的審核規則。制定規則需要一定的專業知識，且不同地區或國家的法律法規和社會文化也不盡相同，企業很難制定出符合所有要求的審核規則，同時規則的更新也需要花費較大的人力物力。
每年“清朗”專項行動都會更新監管重點，這需要根據不同領域的內容制定相應的審核規則。而制定規則需要一定的專業知識，而不同地區或國家的法律法規和社會文化也存在差異，這對企業來說是一個挑戰。因此，制定符合所有要求的審核規則是一項具有挑戰性的任務，而規則的更新也需要投入大量的專業力量。
因此，娛樂社交作為聚集最多未成年人用戶的行業，在完成網絡內容安全工作時，應從未成年人的角度出發，針對上述問題采取定制化的審核標準，加以全面保護。
02 娛樂社交行業內容安全解決方案
針對上述問題，易盾建議，通過全面的技術解決方案，娛樂社交行業的平臺就能守住合規運營的底線，遵守相關法律法規和政策，不傳播不良信息，不侵犯用戶隱私，不開展違法活動，確保用戶在一個健康、積極的環境中享受社交娛樂的樂趣。
（1）AI內容審核
人工智能技術在內容審核領域取得了出色的成果。通過“機審+人審”的方式，網易易盾提供全棧內容審核解決方案，幫助娛樂社交平臺建立完善的審核機制，對 UGC 內容(用戶發布的內容)進行基于平臺標準的審核。
從媒介形式來看，文字、圖片、音頻、視頻等各種形式都是現代社交媒體中常見的形式。他們使得社交媒體具有更加豐富的表達方式，但也讓審核更加困難。例如，與文字相比，音視頻內容技術審核要求高，完善審查機制耗費較大人力財力，但這并不代表一籌莫展。
從場景來看，用戶資料、動態等公開場景是社交媒體中最常見的場景。在這些場景中，用戶可以展示自己的個性、興趣愛好、生活狀態等，與其他用戶進行互動和交流。
從問題來看，娛樂社交行業存在著一些不良內容，如色情、低俗、惡俗、攻擊性、歷史敏感性、暴恐、血腥等問題，會對用戶造成不良的影響，甚至會引發社會公憤和道德爭議。
（2） 人審“鐵軍團”的搭建
AI 機器審核可以幫助運維者快速剔除大量確切違規內容，對內容進行自動審核和分類，但仍需要進行人工審核。為此，人工審核在娛樂社交企業的人審機制建設中必不可少。易盾充分利用其人審資源，全面參與到該機制的建設中。
在標準設計環節，對于一張人像圖片，機器審核可以根據肉體裸露的程度進行判斷，但實際上信息的表義并不簡單。例如，“性感”這個詞該如何定義?全無裸露的人體是否能通過場景與動作的表達達到人們對“色情”的認知?
那么，定性標尺就掌握在網站運維者手上，各社交平臺的人審責任制也因此誕生。網易易盾根據經驗和法規，協助企業快速建立全面的審核標準矩陣，完成“清朗”專項行動的各種要求。
在人工審核培訓環節，為了適應每年的監管和輿情變化，易盾搭建了具備多年內容安全經驗的審核培訓人員，不僅負責監控產品的內容風險點，還會不斷基于法規、輿情提取審核規則，更新和完善內容風控標準體系。舉例而言，培訓內容包括如何杜絕拜金主義、封建迷信、娘炮、耽美、極端飯圈等不良文化，以及堅決抵制有錯誤傾向的價值觀、淫穢低俗、血腥恐怖等內容。
在人工審核執行環節，易盾在全國多地搭建了專業審核團隊，審核人員經過網信辦等培訓，持證上崗，為企業提供高效、準確、安全的人工審核服務。團隊不僅擁有嚴格的審核標準和流程，不斷提升自身的審核能力和水平，能夠快速識別出各類違規信息，如色情、暴力、恐怖主義等，確保企業的內容安全和合規。此外，易盾還不斷優化審核流程和技術手段，如二審、三審、多審等，提高審核效率和準確率，為企業節省時間和成本。
（3）智能審核平臺
智能審核平臺人機協作是一種先進的人機協作審核方式，它將人類的智慧和機器的高效結合在一起，實現了審核工作的高效化和精準化。通過這種方式，審核人員可以通過人機協作的方式，快速、準確地審核大量的信息，從而提高審核效率和準確性。同時，智能審核平臺還可以通過機器學習和人工智能等技術，不斷優化審核算法，提高審核的智能化水平，為用戶提供更加優質的審核服務。
平臺數據提交：將內容數據團拆解為一條文本、一張圖片、一段音視頻，并打上定制化字段，如昵稱、頭像、簽名、標題、封面、內容、話題，在審核頁面展示。
融媒體合并審核：同一場景下的文本、圖片、音視頻文件，相互關聯進行判斷，達到“所見即所得”的全方位無死角審核。
（4）內容風控輔助
首先是，用戶投訴和舉報機制。正所謂“眾人拾材火焰高”。讓用戶方便地舉報不良內容和行為，投訴和舉報的流程應該簡單明了，補充平臺的“免疫力”。
其次是，內容安全藍軍。易盾將會以用戶視角，對內容采用檢索、遍歷等方式，主動巡查最新風險樣本、冷門風險樣本等內容，輸出產品巡查報告，幫助客戶知曉產品風險狀態。
03 打造安全、有責任感的婚戀社交
最近，網絡空間的治理行動正在逐步推進，其中陌生人社交作為娛樂社交行業的重要組成部分，也在向著健康、積極的方向發展。某一款互聯網婚戀交友 APP，讓單身男女通過文字、語音、視頻等多種方式與同城附近的異性進行聊天和互動，已經吸引了超過一億的用戶，讓他們在這個平臺上快速結識新朋友。
該婚戀交友 APP 通過與網易易盾合作，成功提高了平臺的內容安全性和用戶的使用體驗。現在，用戶可以更加放心地使用這個 APP 來尋找自己的另一半或結交新朋友。與此同時，平臺也能更好地保護用戶的隱私和個人信息，避免出現不必要的風險和麻煩。
根據該 APP 的場景及需求，易盾設立專項完成優化方案：一是，確定了四檔風控等級，通過分級制度更好管控內容服務。二是，根據日常運營需求，靈活定制內容監管策略。三是，為違規問題匹配定制化標簽，確保審核數據結果一目了然。
AI 機審快速審核：起始于源頭，敏感詞檢測通常被視為第一道屏障，其結合智能語言模型可實現文本的二次識別。易盾針對敏感信息設置了敏感關鍵詞、策略規則組合、語義模型等多項手段，以實現對垃圾內容的實時預警和攔截。
新進用戶身份把關：進行風險審核時，不可避免需要對新用戶進行綜合評估。該產品通過易盾全面的用戶真實性驗證服務，包括分析用戶行為、設備 IP 等信息，評估用戶是否存在黑灰產風險或虛假賬號，并在最小化使用個人數據的前提下，滿足個人數據隱私合規要求，以實現用戶身份的驗證。
當下，內容審核已經不再只是簡單發現和刪除不良內容，而是在于自信區分出高風險的訪問者，并且持續跟蹤各種內容風險，這已經成為平臺每天必須要面對的問題。而網易易盾的一站式解決方案，不僅接入簡單，效果顯著，已經被許多頭部娛樂社交公司所采用。
