【ITBEAR科技資訊】1月16日消息,網易有道公司今日宣布,其自主研發的知識庫問答引擎QAnything已經正式開源,并可在Github開源社區免費下載。這一引擎不僅支持云端大模型服務調用,同時還能實現純本地部署。
據悉,QAnything的部署過程極為簡便,僅需一鍵操作即可投入使用。該系統兼容多種文檔格式,如Word、PPT、Excel、PDF以及圖片等,用戶可將這些文檔直接導入系統,并體驗與“ChatGPT”類似的問答功能。為確保最佳性能,官方推薦使用配置為RTX 3090或更高級別的電腦進行本地部署。
QAnything的核心技術基于檢索增強的生成(Retrieval Augmented Generation,簡稱RAG)框架。這一框架通過檢索外部內容的方式,有效提升了大語言模型在準確性、專業性和個性化等方面的表現。
網易有道指出,雖然通用大模型具備強大的能力,但卻無法利用用戶的私有數據,且存在產生虛構信息的風險。而QAnything則巧妙結合了用戶私有數據與大模型的優勢,能夠將用戶擁有的各種內容,無論其存在形式如何,如文檔、音頻、數據庫等,都轉化為可通過問答方式使用的知識資源。這一技術框架使用戶能夠便捷地構建自己的智能知識助手,實現“萬物皆可問”的目標。
此次開源的QAnything是一套完整的RAG系統,包含了優化后的自研embedding和rerank模型、經過微調的大型語言模型(LLM)、優化后的推理代碼、向量數據庫以及一個即用型前端。整套系統算法模型(包括7B大模型、embedding/rerank及OCR)的顯存占用不超過16GB。
據ITBEAR科技資訊了解,QAnything已經在網易有道的多個產品中得到了應用,包括有道翻譯文檔問答、有道速讀以及有道內部業務的客服系統等,展現出了廣泛的應用前景和實用價值。