要點:
阿里巴巴研究團隊推出了Qwen-Audio系列，這是一組具有通用音頻理解能力的大規(guī)模音頻語言模型。
Qwen-Audio通過采用層次標簽的多任務(wù)框架，成功應(yīng)對了多樣化任務(wù)的挑戰(zhàn)，并在基準任務(wù)上取得了令人印象深刻的性能，無需特定任務(wù)的微調(diào)。
Qwen-Audio-Chat是在Qwen-Audio基礎(chǔ)上構(gòu)建的，支持多輪對話和各種音頻中心場景，展示了其通用音頻理解能力。
（ChinaZ.com）11月23日 消息:阿里巴巴研究團隊最近推出的Qwen-Audio系列為大規(guī)模音頻語言模型領(lǐng)域帶來了重大突破。該系列通過采用層次標簽的多任務(wù)框架，成功解決了有限的預(yù)訓(xùn)練音頻模型面臨的多樣化任務(wù)的挑戰(zhàn)。
相比之前專注于語音的工作，Qwen-Audio不僅包含人類語音，還涵蓋了自然聲音、音樂和歌曲，實現(xiàn)了在具有不同粒度的數(shù)據(jù)集上的協(xié)同訓(xùn)練。該模型在語音感知和識別任務(wù)方面表現(xiàn)出色，而無需進行特定任務(wù)的修改。
Qwen-Audio的多任務(wù)框架有助于減輕干擾，實現(xiàn)了在基準任務(wù)上的顯著性能。Qwen-Audio-Chat作為擴展，不僅支持多輪對話，還適用于各種音頻中心場景，展示了在大規(guī)模音頻語言模型中全面的音頻交互能力。
項目地址:https://github.com/qwenlm/qwen-audio
盡管大規(guī)模語言模型在通用人工智能方面表現(xiàn)出色，但它們?nèi)狈σ纛l的理解。Qwen-Audio系列的推出填補了這一空白，將預(yù)訓(xùn)練擴展到30個任務(wù)和多種音頻類型。
Qwen-Audio系列的訓(xùn)練方法分為兩種:Qwen-Audio采用多任務(wù)預(yù)訓(xùn)練方法，優(yōu)化音頻編碼器同時凍結(jié)語言模型權(quán)重;相反，Qwen-Audio-Chat采用監(jiān)督微調(diào)，優(yōu)化語言模型同時固定音頻編碼器權(quán)重。這一訓(xùn)練過程包括多任務(wù)預(yù)訓(xùn)練和監(jiān)督微調(diào)，使Qwen-Audio-Chat具有多樣的人際交互能力，支持從音頻和文本輸入中的多語言、多輪對話。
Qwen-Audio在各種基準任務(wù)上表現(xiàn)出色，明顯優(yōu)于沒有特定任務(wù)微調(diào)的對照組。它在AAC、SWRT ASC、SER、AQA、VSC和MNA等任務(wù)上始終超越基線，同時在CochlScene、ClothoAQA和VocalSound上取得了最先進的結(jié)果，展示了其在挑戰(zhàn)性音頻任務(wù)中的有效性和能力。
Qwen-Audio系列未來的探索方向包括擴展不同音頻類型、語言和特定任務(wù)的能力。通過優(yōu)化多任務(wù)框架或探索替代的知識共享方法，可以解決協(xié)同訓(xùn)練中的干擾問題。
研究人員還計劃通過不斷更新基于新基準、數(shù)據(jù)集和用戶反饋的內(nèi)容，提高通用音頻理解水平。Qwen-Audio-Chat將進一步優(yōu)化以符合人類意圖，支持多語言互動，并實現(xiàn)動態(tài)多輪對話。
