近日，由中國人工智能學會主導，攜手CAAI智能傳媒專委會、新浪新聞、中國傳媒大學數據科學與智能媒體學院及其海南國際學院共同舉辦的2024智能傳媒技術發展論壇圓滿結束。此次論壇吸引了眾多行業專家，其中微博首席科學家及新技術研發領軍人物張俊林博士發表了主題演講，深入探討了多模態大模型技術的最新突破，并分享了微博在此領域的創新實踐。
近年來，多模態大模型技術如雨后春筍般涌現，其應用范圍廣泛，不僅重塑了人工智能的能力框架，還推動了多個行業的創新發展。張俊林博士指出，多模態大模型的技術發展脈絡清晰，大致可以分為兩個階段。今年4月之前，主要存在兩大分支：多模態理解大模型和多模態生成大模型。前者能夠處理多種模態的輸入信息，但輸出僅限于文本形式，主要用于回答用戶關于多模態內容的查詢；后者則能夠生成包括文本、圖像、視頻在內的多種模態內容。
自今年4月起，業界開始將焦點轉向構建統一的多模態大模型，旨在實現理解與生成功能的融合。張俊林博士強調，理想的統一多模態大模型應具備接納任意形態輸入（如文字、圖片、視頻、音頻等）的能力，并能生成相應形態的輸出。這一發展方向旨在實現模型對各種輸入的兼容以及多樣化輸出的生成。
在演講中，張俊林博士還詳細介紹了微博在多模態應用方面的創新探索。微博的多模態應用架構基于強大的算力平臺，并在此基礎上構建了微博知微大模型。憑借十余年積累的特色數據，如實時熱點、事件脈絡、網絡流行語等，微博結合了通用數據和自身特色數據，構建了知微大模型，并開發了多款針對不同場景的應用，如評論機器人、劇綜虛擬角色生成、博主AI助手等。
張俊林博士特別提到了微博評論機器人的雙重價值：提升社區活躍度和為用戶提供情緒價值。評論機器人的技術核心是多模態評論大模型和人設大模型，通過微博的大量優質內容及其對應的高質量評論數據進行微調。當用戶發布微博后，評論機器人會將評論問題拆解成多個子任務，分別理解文字和圖片內容，再根據預設的人設生成有特色的回復。通過不斷迭代和優化，評論機器人的效果得到了顯著提升。
張俊林博士還介紹了微博在劇綜虛擬角色方面的應用。他指出，角色扮演是大模型的熱門應用領域，而微博則重點布局在影視劇綜的虛擬角色扮演上，旨在解決劇綜賬號活躍周期短的難題。通過構建通用的角色大模型，并結合多模態RAG融入具體劇情和圖片信息，微博的虛擬角色能夠以符合角色身份的方式與用戶互動。數據顯示，引入多模態大模型后，評論互動率和用戶交互輪次均有所提升，驗證了多模態大模型在實際場景中的巨大潛力。
張俊林博士的演講不僅展示了微博在多模態大模型技術方面的創新成果，還為行業提供了寶貴的經驗和啟示。隨著多模態大模型技術的不斷發展，微博將繼續探索更多創新應用，為用戶提供更加豐富和個性化的體驗。
