【ITBEAR科技資訊】6月7日消息，通義千問(wèn)(Qwen)今日公布了一項(xiàng)重大升級(jí)，即Qwen系列模型已從Qwen1.5版本成功躍升至Qwen2版本，并在Hugging Face和ModelScope平臺(tái)上同步開(kāi)源。
據(jù)悉，Qwen2.0帶來(lái)了諸多創(chuàng)新和改進(jìn)。該版本推出了5種不同尺寸的預(yù)訓(xùn)練和指令微調(diào)模型，覆蓋從0.5B到72B的廣泛范圍，以滿足不同場(chǎng)景和需求。其次，在原有的中英文基礎(chǔ)上，Qwen2.0新增了27種語(yǔ)言的高質(zhì)量訓(xùn)練數(shù)據(jù)，進(jìn)一步提升了模型的多語(yǔ)言處理能力。
據(jù)ITBEAR科技資訊了解，Qwen2.0還在多個(gè)評(píng)測(cè)基準(zhǔn)上展現(xiàn)出領(lǐng)先性能。其代碼理解和數(shù)學(xué)計(jì)算能力得到了顯著提升，這對(duì)于開(kāi)發(fā)人員和科研工作者來(lái)說(shuō)無(wú)疑是一個(gè)好消息。此外，Qwen2-72B模型更是支持高達(dá)128K tokens的上下文長(zhǎng)度，為處理更復(fù)雜、更長(zhǎng)的文本提供了可能。
在模型基礎(chǔ)信息方面，Qwen2系列的所有模型都采用了GQA技術(shù)，這項(xiàng)技術(shù)能夠帶來(lái)推理加速和降低顯存占用的優(yōu)勢(shì)。在之前的Qwen1.5系列中，僅有32B和110B的模型使用了這項(xiàng)技術(shù)，而現(xiàn)在在Qwen2.0中，所有尺寸的模型都得以應(yīng)用。
在模型評(píng)測(cè)中，Qwen2-72B表現(xiàn)尤為出色。與當(dāng)前最優(yōu)的開(kāi)源模型相比，Qwen2-72B在自然語(yǔ)言理解、知識(shí)、代碼、數(shù)學(xué)以及多語(yǔ)言等多項(xiàng)能力上都實(shí)現(xiàn)了顯著超越，包括Llama-3-70B和Qwen自身的前一版本Qwen1.5-110B。這一飛躍性的進(jìn)步無(wú)疑將推動(dòng)AI技術(shù)的更廣泛應(yīng)用和發(fā)展。
