【ITBEAR】8月23日消息，英偉達近日在其官方博文中宣布，已于8月21日正式發布了Mistral-NeMo-Minitron 8B小型語言AI模型。這款模型憑借其卓越的精度和高效的計算能力，特別適用于配備GPU加速的數據中心、云環境以及工作站上運行。
繼上月與Mistral AI聯合發布開源的Mistral NeMo 12B模型后，英偉達再次推出這款規模更小的Mistral-NeMo-Minitron 8B模型。該模型擁有80億個參數，并能夠在搭載英偉達RTX系列顯卡的工作站上流暢運行，為用戶帶來更加便捷高效的體驗。
據ITBEAR了解，英偉達通過采用寬度剪枝技術對Mistral NeMo 12B模型進行優化，并結合知識蒸餾方法進行輕度的重新訓練，最終成功獲得了這款Mistral-NeMo-Minitron 8B模型。這一研究成果已在《Compact Language Models via Pruning and Knowledge Distillation》論文中發表。
寬度剪枝技術通過去除對模型準確率貢獻最小的權重，有效縮小了神經網絡的規模。而在“蒸餾”過程中，研究團隊在一個小型數據集上對剪枝后的模型進行重新訓練，顯著提升了因剪枝而降低的準確率。
在規模上，Mistral-NeMo-Minitron 8B模型在語言模型的九項流行基準測試中表現出色，遙遙領先于其他同類模型。這些基準測試涵蓋了語言理解、常識推理、數學推理、總結、編碼以及生成真實答案等多種任務，充分展示了該模型在多個領域的卓越性能。
