【ITBEAR科技資訊】4月28日消息，阿里巴巴最近公開宣布，他們已成功開源了Qwen1.5系列中的首個千億參數模型——Qwen1.5-110B。據稱，在基礎能力的評估測試中，該模型的表現足以媲美meta旗下的Llama3-70B模型，并且在Chat評估中也大放異彩，這包括了MT-Bench和Alpacaeval 2.0兩項基準測試。
這款Qwen1.5-110B模型沿用了Qwen1.5系列一貫的Transformer解碼器架構，并引入了分組查詢注意力(GQA)機制，使得模型在推理時更為高效。這款模型支持長達32K tokens的上下文長度，同時兼容多種語言，包括但不限于英語、中文、法語、西班牙語、德語、俄語、日語、韓語、越南語以及阿拉伯語。
阿里巴巴將Qwen1.5-110B與當前頂尖的語言模型meta-Llama3-70B和Mixtral-8x22B進行了詳盡的對比測試。測試結果顯示，新的110B模型在基礎能力上至少達到了Llama-3-70B模型的水平。阿里巴巴團隊指出，他們在這一模型中并未對預訓練方法進行大幅調整，因此性能的提升主要歸功于模型規模的擴大。
此外，阿里巴巴還在MT-Bench和Alpacaeval 2.0上對其進行了Chat評估。結果顯示，與之前發布的72B模型相比，110B模型在這兩個Chat模型基準評估中的表現顯著更佳。這一持續改善的評估結果表明，即便沒有大幅改變訓練方法，更強大、規模更大的基礎語言模型也能催生出更優秀的Chat模型。
據ITBEAR科技資訊了解，Qwen1.5-110B不僅是Qwen1.5系列中規模最大的模型，更是該系列首個參數超過1000億的模型。與最近發布的頂尖模型Llama-3-70B相比，其性能表現同樣出色，并且明顯優于先前的72B模型。這一突破性的進展無疑將為自然語言處理領域帶來新的可能性。
