在互聯網江湖馳騁的15年間,58同城主動承擔起維護內容社區的職責,在自研內容安全能力的同時,也遴選了第三方平臺作為能力的補充。58同城在解讀安全運營之時說。
內容風控是為了更好地確保社區用戶的安全,以帶來更好的用戶體驗。內容風控的設想從社區誕生之初便存在了。此后,跟隨著社區生長,內容挑戰層出不窮,形式多樣,內容風控能力建設不敢有半分松懈。
經過多年發展,58同城已經擁有自研且完善的內容安全能力。“為了做好風險兜底,我們與網易易盾合作,易盾對于內容安全問題識別效果較好,且服務響應速度快,最終引入了易盾的多項內容識別服務。”
年底回顧,多方的努力沒有白費。違規內容在人機協作的大型風控體系下一一現形,共同為用戶打造了良好有序的網絡環境。這一變化也讓審核人員直呼放下了身上的重擔。AI識別工具猶如敏銳的“雷達”,指哪兒打哪兒精確命中,人工審核不僅更高效了,而且質量得到改善,總體的成本更是降低不少。
遭遇內容風險變形怎么辦?
“58同城,一個神奇的網站!”
伴隨著清脆的話語聲,58同城自然而然地浮現在人們的腦海。58同城作為領先的生活服務平臺,連接了人與信息、人與人,每天上千萬條訊息在這里匯集,蘊藏著探索工作、生活的新可能。
2021年,跨越了PC與移動時代的58同城全面向產業化布局發展。58同城業務覆蓋招聘、房產、汽車、本地生活服務等領域,旗下擁有安居客、58到家、趕集網等核心品牌,全產業化催生了更多的數字內容,也錘煉著58同城的風控實力。
內容風控不僅僅是對內容方面的風險進行控制。58同城十分重視建設內容風控安全體系,具體而言,針對互聯網的海量內容衍生出的外部、內部風險做宏觀到微觀的審核和引導。從內容表現形式來看,主要有圖像、文本、視頻、音頻等,對內容的審核主要以一級兜底安全為核心,主要針對涉政、涉黃、違禁、暴恐、廣告、詐騙等多種違規問題進行處理,要求零容忍。
冷靜思考過去,風險內容層出不窮,企圖用博眼球的內容形式不惜觸碰網絡合規安全底線,躍躍欲試尋找漏洞以躲過安全檢測機制。
58同城表示,違規內容對平臺口碑造成的結果是“多米諾骨牌”式的倒塌:用戶體驗降低引發用戶流失,最終會影響平臺的發展。內容安全關乎企業的生命線,風控的有效性可以幫助企業化解“監管”風險和“社會輿論”風險,守住內容風控的“大門至關重要”。
集合算法,把握個體經驗與細節
從線上到線下,再從線下到線上,催使著內容安全能力不斷升級,58同城秉持著“自研不能放”的原則,也引入了更為優質的第三方算法能力。
58同城通過采取“機審+人審”的內容審核機制,把好信息安全關口。具體應用過程中,考慮到業務使用范圍場景復雜度與誤傷,先由機器審核打頭陣進行初審,對于初篩過的內容由人工按照機審處理規則(如色情、暴力)等維度對內容形式(如圖片、評價)進行二次審核。
在這個過程中,基于人工智能的審核系統可提供相應的用戶、商戶等輔助信息數據,協助運營部門對內容進行快速決斷。以目的為標尺,58同城制定了內容風控的三大方向:
1)政策層面的內容合規,要符合監管的要求;
2)社區氛圍的良性導向,如避免謾罵、爭吵等;
3)社區用戶安全的保證,如避免引流、灰產等;
只有跨過了三大坎兒,才能更好地進行社區運營。伴隨著國家互聯網內容立法不斷完善,“互聯網+”內容平臺的范圍不斷擴展,“內容風控”考核從無到有再到逐步規范,匯集成一系列法律法規。
最新實行的《網絡信息內容生態治理規定》顯示,監管對于各項違規內容都做了詳細規定,大致概括可分為涉政、違禁、暴恐、色情等四類。“這部分是政策紅線,一旦觸及,輕則約談,重則下架、封禁。內容安全的標準應該和行業、國家標準對齊。”58同城分享到。
58同城不斷提升自身內容安全能力的建設,在風控體系下,自研與第三方SaaS如何組合平衡,是擺在面前的一個矛盾。58同城是這樣解答的:
首先,58同城信息安全團隊基于平臺現有的風控系統及時捕獲各種內容監管信息,增強各種已知監管內容檢測能力的覆蓋度和準召率,提升快速止損的應對能力。其次,面對時刻存在的未知風險,團隊進行基于單個case快速追殺能力的儲備。最后,在多種類型和變形問題上,團隊集合了以網易易盾為代表的第三方優質能力進行補充,讓風險的底兜更牢固。層層推進,嚴守信息安全底線,切實保障用戶權益。
在解決方案的應用層面,58同城指出,“不同場景設計有不同的解決方案,分析現有能力并提供策略,策略要從單個內容出發,延伸到發布該內容的用戶基礎信息、關系鏈、過往內容、實名可信度等諸多維度進行調參和計算,并進行線上定期巡檢。”
聯合風控,效果好過單打獨斗
對平臺來說,用戶分享交流的內容(UGC內容)越多,平臺就更為豐富。如何將內容中的“雜質”迅速沉淀下來,是綜合性內容社區共同的難題。不良訊息一旦借由平臺之力觸達普通用戶,會對內容社區形象帶來不利影響。
58同城在“風控”這件大事上安不忘危。如今,面對各類內容風險,58同城顯得十分從容,因其在身經百戰后摸索出了一套獨特方法論:通過“全面體檢,對癥下藥,循環復查”的方式,全方位、全場景提供內容安全檢測與風控等服務,58同城也表示:
內容風控是一個大的體系,除了基礎審核,還包括前期內容產生風控規范、輿情引導、內容的二次巡檢、產品界面的風控提示等很多的工作配合,企業風控能力必須步履不停,才能防患于未然。