和喜歡的虛擬人實時通話是一種什么樣的體驗?
近日，社交平臺Soul App(以下簡稱“Soul”)語音生成大模型上線，同時自研語音大模型“伶倫”正式升級，現階段，Soul語音大模型“伶倫”包括了語音生成大模型、語音識別大模型、語音對話大模型、音樂生成大模型等，可支持真實音色生成、語音DIY、多語言切換、多情感擬真人實時對話等能力。目前，“伶倫”已應用于Soul “AI茍蛋”、站內狼人游戲“狼人魅影”AI語音實時互動、獨立新產品“異世界回響”等場景。
Soul上線于2016年，依托技術和產品模式創新，平臺持續推出受用戶歡迎的社交玩法和多元社交場景，例如，多對多語音實時互動場景“群聊派對”、一對一互動場景“語音匹配”等，幫助用戶基于興趣相遇同好，提升關系發現的質量和效率，沉淀深度社交網絡。
一直以來，聲音都是傳遞信息和情感的重要媒介，也最能在溝通中賦予“情緒溫度”和“陪伴感”。在Soul，用戶積極通過語音實時互動，表達自我、分享交流，收獲新關系，“語音社交”也成為平臺頗具代表性的標簽之一。
與此同時，作為率先將AI引入社交關系的平臺，Soul不斷思考如何將AI應用于社交具體場景，進一步實現交互效率、交互質量、交互體驗、交互對象等多方面的提升和拓展。2020年，Soul系統啟動AIGC的技術研發工作，并在智能對話、圖像生成、語音技術、虛擬人等方面擁有前沿的技術積累。
其中，在語音探索方面，Soul基于平臺沉淀豐富且多風格的高質量公域語音數據，推出自研語音大模型“伶倫”，在深度融入站內“AI茍蛋”等場景提供多模態互動體驗外，還推出了系列趣味社交玩法和活動。
如Soul于2023年上線了“Soul次元歌手”活動，幫助每個人打造自己的AI歌手分身，讓很多熱愛音樂但不一定會唱歌的人，也能實現“唱歌自由”;“懶人KTV”活動則在音色克隆的基礎上，創新性實現多人UGC“AI合唱”。基于音樂模型個性化的創作能力，平臺的“AI幫你出靈魂專輯“活動，使用戶自由輸入任意作曲的主題關鍵詞，即可一鍵完成詞曲創作。
此次，新升級的“伶倫”在訓練數據規模和模型架構上均實現了拓展和創新，實現了更真實自然、更多樣性和更細顆粒度的控制效果以及流式超低延遲的生成。特別是上線的語音生成大模型在多風格多情感可控、超自然人聲生成、多語言切換等方面表現出色。
具體來說，在多情感可控上，“伶倫”能夠實現對情緒的深度理解和模擬，在語音生成和對話中表現出不同情感;在聲音顆粒度上，支持包括吸氣、喘氣、笑聲、結巴/重復、咳嗽 、嘆氣、哭聲等一系列副語言語音合成，聲音效果更真實生動。
基于新升級的“伶倫”，Soul站內應用場景中多模態互動體驗顯著提升，例如狼人游戲“狼人魅影”中AI可實現實時發言，流暢完成刀人、悍跳等玩法交互。
此外，獨立新產品“異世界回響”，提供多種場景、風格的虛擬人角色，每個虛擬角色具備形象、聲音、人設對話能力，用戶可與虛擬角色進行沉浸式即時交流。新上線的“語音通話”功能，在“伶倫”支持下，能夠讓用戶體驗與虛擬人實時語音通話效果，延遲時間少于行業平均水平，更快響應用戶互動需求，提供即時的AI交流和陪伴。
根據Soul發布的《2024 Z世代AIGC態度報告》，三分之一的年輕人表示愿意和AI成為朋友，人機互動已然成為年輕人中的社交新趨勢。大模型應用深入人機互動場景，發力語音、視覺等多維度，無疑將進一步提升用戶社交體驗。
當下，大模型競賽的焦點正從模型參數延伸至具體應用場景。Soul App CTO陶明在接受媒體采訪時表示，“新一輪AI發展中，關注場景和交互體驗將會是必然的趨勢。”
基于對社交場景的深刻理解，Soul將圍繞用戶的實際使用場景和核心社交需求，不斷提升技術能力，從AI推薦關系到AI輔助對話，從降低表達門檻到提升互動體驗，推進AIGC技術與社交場景的深度融合，實現AI原生社交場景創新。
