近日,匯集全球專家的云計算行業盛會——2023 亞馬遜云科技中國峰會在上海舉辦,向量數據庫的奠基者和領先者 Zilliz 受邀參會。峰會現場,Zilliz 合伙人兼產品負責人郭人通、首席工程師焦恩偉通過主題分享的方式從不同維度為開發者和行業專家詳解云原生向量數據庫在大模型時代的重要意義。
在企業轉型 ISV 創新與探索論壇上,郭人通和亞馬遜云科技人工智能與學習產品總監張洋分享了亞馬遜云科技在 AIGC 行業的應用洞察及服務、基于大語言模型的落地方案和成功案例。其中,郭人通重點講述了向量數據庫如何助力 AIGC 構建存儲、緩存以及 Zilliz 如何為 AWS 生態賦能。
郭人通從大模型的 “AI 幻覺”講起。他表示,當下“AI 幻覺”是大模型的主要痛點之一,構建知識庫是應對此問題的有效方式,向量數據庫可以作為知識庫的擴展插件為大模型進行知識增強。這也為 LLMs 時代構建數據應用提供了一種新的范式——CVP Stack。其中 C 是以 ChatGPT 為代表的大模型;V 代表 Vector Database;P 代表 prompt engineering。其中 C 作為運算單元,提供邏輯分析和自然語言對接的能力,V 作為存儲單元,提供穩定準確、高容量的知識,P 在前兩者的基礎上,提供面向具體業務的適配能力。
在整個 CVP Stack 中,向量數據庫扮演著重要角色,其中,Milvus 作為云原生的開源向量數據庫,被全球超過 1000 家企業用戶所信賴,下載和安裝次數超過 350 萬,在 GitHub 的 Star 數目超 2 萬,在 SIGMOD 和 VLDB 等數據庫頂會上發表了論文,奠定了向量數據庫的基礎。目前,Milvus 不僅具備百億級向量的擴展能力,還集成 OpenAI、Langchain、Huggingface、Pytorch 等 AI 生態,是大語言模型落地應用的重要組成部分。
而為了給用戶提供開箱即用的全托管向量檢索服務,Zilliz 還推出了全托管 Milvus 的向量數據庫 Zilliz Cloud,具備維護成本低、使用門檻低、豐富的企業級特性及安全放心的特點。 據郭人通透露,Zilliz Cloud 已支持 AWS、GCP,不日即將支持阿里云、百度智能云、騰訊云、金山云等。作為 AWS 的優秀生態合作伙伴,Zilliz Cloud 可以輕松與其它兩百多種 AWS 服務進行集成,例如利用 AWS 行業領先的安全服務,構建云上安全的向量數據庫。同時,借助 AWS 的 region 力量,Zilliz Cloud 可以為全球不同地區的用戶提供近距離的高質量服務。
在云原生數據庫論壇上,焦恩偉與亞馬遜云科技數據分析專家湯市健共話 AIGC 時代“新基建”的向量存儲與檢索服務,他們不僅分享了亞馬遜云科技上的向量存儲與檢索選項、服務實踐,也對全球流行的向量數據庫Milvus 及 Zilliz Cloud 進行了架構揭秘。其中,焦恩偉從非結構化數據處理面臨的挑戰講起,通過對 Milvus 服務于 AIGC 的特性與大模型應用的實踐,展示了向量數據庫的未來和無限潛力。
焦恩偉表示,向量數據庫是為 AI 而生的數據庫,Milvus 作為全球第一款開源向量數據庫,具備云原生分布式、超高性能、可插拔引擎及云端一體的特點。Milvus 與 NVIDIA Rapids 的合作,使其成為全球第一個支持 GPU 的向量數據庫,相比于 CPU 實現了 3 倍查詢性能的提升;而 Milvus 團隊與 AWS Graviton 合作,利用 ARM Neon 指令集加速,大幅提升了向量檢索在 ARM CPU 上執行的性價比。
而隨著 AIGC 浪潮翻涌,以 Milvus 和 Zilliz Cloud 為代表的向量數據庫成為 AIGC 時代架構的重要組成部分,其中重要的大模型應用場景是 OSSChat 和 GPTCache。未來,在 AIGC 領域的發展推動下,向量數據庫將向著更大、更快、更穩的方向發展,降低使用成本,更好地為開發者與企業服務。
此外,在“開發者會客廳”活動上,Zilliz 的展位吸引了來自全球各地的開發者打卡、交流,他們對于向量數據庫的佼佼者 Milvus 以及 Zilliz Cloud 充滿好奇,爭相加入項目社區,探討云原生向量數據庫技術與自身業務場景結合的更多可能性。
總體而言,向量數據庫作為大模型時代頗受關注的細分賽道,其重要性不言而喻。Milvus 和 Zilliz Cloud 作為賽道的奠基者與領先者,通過 CVP Stack 的方式為大模型場景的落地提供了典型的范本。回歸 AI 時代,對于為廣大開發者和相關企業而言,探索開箱即用的向量數據庫產品勢在必行。好消息是,據 Zilliz 官方透露,全托管 Milvus SaaS/PaaS 即將上線,由 Zilliz 原廠打造!覆蓋阿里云、百度智能云、騰訊云、金山云。目前已支持申請試用,企業用戶 PoC 申請或其他商務合作請聯系 business@zilliz.com。