【ITBEAR科技資訊】3月4日消息，近日，Intel在GitHub上公開了其NPU加速庫，這一舉措使得裝備了酷睿Ultra處理器的AI PC得以流暢運行諸如TinyLlama、Gemma-2b等輕量級大型語言模型。
酷睿Ultra系列首次集成了NPU AI引擎，該引擎能夠處理一些輕量級的AI推理任務，并與CPU、GPU協同工作，以應對各類AI應用的需求。
據ITBEAR科技資訊了解，雖然這次開源的NPU加速庫主要針對開發人員，但擁有一定編程經驗的用戶同樣可以嘗試使用。Intel的軟件架構師Tony Mongkolsmai展示了如何利用此開源庫，在微星尊爵14 AI Evo筆記本電腦上運行一個基于11億參數的TinyLlama大模型的AI聊天機器人，該機器人能進行簡單的對話。同時，Windows任務管理器也證實了NPU的有效調用。
然而，當前的開源NPU加速庫在功能上還存在一些不足，它支持8比特量化和FP16精度，但尚不支持4比特量化、BF16精度以及NPU/GPU的混合計算等高級功能，且相關技術文檔也尚未提供。不過，Intel已承諾將在后續逐步擴展其功能，預期將比現有功能增加一倍，這無疑將為AI開發者們帶來更多的便利和可能性。
