【ITBEAR科技資訊】6月7日消息,通義千問(Qwen)今日公布了一項重大升級,即Qwen系列模型已從Qwen1.5版本成功躍升至Qwen2版本,并在Hugging Face和ModelScope平臺上同步開源。
據悉,Qwen2.0帶來了諸多創新和改進。該版本推出了5種不同尺寸的預訓練和指令微調模型,覆蓋從0.5B到72B的廣泛范圍,以滿足不同場景和需求。其次,在原有的中英文基礎上,Qwen2.0新增了27種語言的高質量訓練數據,進一步提升了模型的多語言處理能力。
據ITBEAR科技資訊了解,Qwen2.0還在多個評測基準上展現出領先性能。其代碼理解和數學計算能力得到了顯著提升,這對于開發人員和科研工作者來說無疑是一個好消息。此外,Qwen2-72B模型更是支持高達128K tokens的上下文長度,為處理更復雜、更長的文本提供了可能。
在模型基礎信息方面,Qwen2系列的所有模型都采用了GQA技術,這項技術能夠帶來推理加速和降低顯存占用的優勢。在之前的Qwen1.5系列中,僅有32B和110B的模型使用了這項技術,而現在在Qwen2.0中,所有尺寸的模型都得以應用。
在模型評測中,Qwen2-72B表現尤為出色。與當前最優的開源模型相比,Qwen2-72B在自然語言理解、知識、代碼、數學以及多語言等多項能力上都實現了顯著超越,包括Llama-3-70B和Qwen自身的前一版本Qwen1.5-110B。這一飛躍性的進步無疑將推動AI技術的更廣泛應用和發展。