譯者 | 晶顏
審校 | 重樓
在快速發(fā)展的技術(shù)領(lǐng)域，生成式人工智能是一股革命性的力量，它改變了開發(fā)人員處理復(fù)雜問題和創(chuàng)新的方式。本文深入探討了生成式AI的世界，揭示了對每個開發(fā)人員都必不可少的框架和工具。
1.LangChain
LangChain由Harrison Chase開發(fā)，于2022年10月首次亮相，是一個開源平臺，旨在構(gòu)建由大語言模型（LLM）支持的強大應(yīng)用程序，如ChatGPT等聊天機器人和各種定制應(yīng)用程序。
LangChain旨在為數(shù)據(jù)工程師提供一個全面的工具包，用于在各種用例中使用LLM，包括聊天機器人、自動問答、文本摘要等。
上圖顯示了LangChain處理信息以響應(yīng)用戶提示的步驟。最初，系統(tǒng)從一個包含大量數(shù)據(jù)的大文檔開始。然后將該文檔分解為更小、更易于管理的塊。
這些數(shù)據(jù)塊隨后被嵌入到向量中——這個過程將數(shù)據(jù)轉(zhuǎn)換成一種可以被系統(tǒng)快速有效地檢索的格式。這些向量存儲在一個向量存儲庫中，本質(zhì)上是一個為處理向量化數(shù)據(jù)而優(yōu)化的數(shù)據(jù)庫。
當(dāng)用戶在系統(tǒng)中輸入一個提示時，LangChain會查詢這個向量存儲，以查找與用戶的請求密切匹配或相關(guān)的信息。該系統(tǒng)使用大型LLM來理解用戶提示的上下文和意圖，從而指導(dǎo)從矢量存儲中檢索相關(guān)信息。
一旦識別出相關(guān)信息，LLM就會使用它來生成或完成準(zhǔn)確處理查詢的答案。最后一步是用戶收到定制的響應(yīng)，這是系統(tǒng)數(shù)據(jù)處理和語言生成功能的輸出。
傳送門：https://www.langchain.com/
2.SingleStore Notebook
SingleStore Notebook是一個基于Jupyter Notebook的創(chuàng)新工具。對于那些使用SingleStore的分布式SQL數(shù)據(jù)庫的人來說，它顯著增強了數(shù)據(jù)探索和分析過程。它與Jupyter Notebook的集成使其成為數(shù)據(jù)科學(xué)家和專業(yè)人士熟悉的強大平臺。以下是其主要功能和優(yōu)點的總結(jié)：
- 原生SingleStore SQL支持：該特性簡化了從Notebook直接查詢SingleStore分布式SQL數(shù)據(jù)庫的過程。它消除了對復(fù)雜連接字符串的需求，為數(shù)據(jù)探索和分析提供了更安全、更直接的方法。
- SQL/Python/ target=_blank class=infotextkey>Python互操作性：這允許SQL查詢和Python代碼之間的無縫集成。用戶可以在Notebook中執(zhí)行SQL查詢，并直接在Python數(shù)據(jù)框架中使用結(jié)果，反之亦然。這種互操作性對于有效的數(shù)據(jù)操作和分析至關(guān)重要。
- 協(xié)作工作流：該Notebook支持共享和協(xié)作編輯，使團隊成員能夠在數(shù)據(jù)分析項目上協(xié)同工作。這個特性增強了團隊有效地協(xié)調(diào)和結(jié)合他們的專業(yè)知識的能力。
- 交互式數(shù)據(jù)可視化：通過支持流行的數(shù)據(jù)可視化庫（如Matplotlib和Plotly），SingleStore Notebook使用戶能夠直接在Notebook環(huán)境中創(chuàng)建交互式和信息豐富的圖表和圖形。這種能力對于需要可視化地傳達(dá)其發(fā)現(xiàn)的數(shù)據(jù)科學(xué)家來說至關(guān)重要。
- 易于使用和學(xué)習(xí)資源：該平臺是用戶友好的，有模板和文檔來幫助新用戶快速入門。這些資源對于學(xué)習(xí)Notebook的基礎(chǔ)知識和執(zhí)行復(fù)雜的數(shù)據(jù)分析任務(wù)是非常寶貴的。
- 未來的增強和集成：SingleStore團隊一直致力于不斷改進(jìn)Notebook，計劃引入導(dǎo)入/導(dǎo)出、代碼自動完成和各種場景的Notebook庫等功能。人們還期望bot功能能夠促進(jìn)在SingleStoreDB中編寫SQL或Python代碼。
- 簡化Python代碼集成：未來的目標(biāo)是更容易在Notebook中創(chuàng)建Python代碼原型，并將這些代碼作為存儲過程集成到數(shù)據(jù)庫中，從而提高系統(tǒng)的整體效率和功能。
SingleStore Notebook是數(shù)據(jù)專業(yè)人士的強大工具，它結(jié)合了Jupyter Notebook的多功能性和針對SingleStore SQL數(shù)據(jù)庫的特定增強功能。它專注于易用性、協(xié)作性和交互式數(shù)據(jù)可視化，以及對未來增強的承諾，使其成為數(shù)據(jù)科學(xué)和機器學(xué)習(xí)社區(qū)的寶貴資源。
使用SingleStore Notebook功能可以免費嘗試不同的教程，如圖像識別，圖像匹配，以及構(gòu)建LLM應(yīng)用程序等。
傳送門：https://www.singlestore.com/spaces/
3.LlamaIndex
LlamaIndex是一個高級編排框架，旨在增強像GPT-4這樣的LLM的功能。雖然LLM本身就很強大，因為它們接受過大量公共數(shù)據(jù)集的訓(xùn)練，但它們往往缺乏與私人或特定領(lǐng)域數(shù)據(jù)進(jìn)行交互的手段。LlamaIndex彌補了這一缺口，它提供了一種結(jié)構(gòu)化的方式來攝取、組織和利用各種數(shù)據(jù)源——包括API、數(shù)據(jù)庫和PDF。
通過將這些數(shù)據(jù)索引為針對LLM優(yōu)化的格式，LlamaIndex促進(jìn)了自然語言查詢，使用戶能夠無縫地與他們的私有數(shù)據(jù)交互，而無需重新訓(xùn)練模型。這個框架是通用的，既適合具有高級API的新手快速設(shè)置，也適合通過低級API尋求深度定制的專家。從本質(zhì)上講，LlamaIndex釋放了LLM的全部潛力，使它們更易于訪問并適用于個性化數(shù)據(jù)需求。
LlamaIndex運行原理
LlamaIndex作為一座橋梁，將LLM的強大功能與各種數(shù)據(jù)源連接起來，從而打開了一個新的應(yīng)用領(lǐng)域，可以利用自定義數(shù)據(jù)和高級語言模型之間的協(xié)同作用。通過提供數(shù)據(jù)攝取、索引和自然語言查詢接口的工具，LlamaIndex使開發(fā)人員和企業(yè)能夠構(gòu)建強大的、數(shù)據(jù)增強的應(yīng)用程序，從而顯著增強決策和用戶參與度。
LlamaIndex通過一個系統(tǒng)的工作流運行，該工作流從一組文檔開始。最初，這些文檔會經(jīng)歷一個加載過程，在這個過程中它們被導(dǎo)入到系統(tǒng)中。加載后，對數(shù)據(jù)進(jìn)行解析，以易于理解的方式分析和構(gòu)建內(nèi)容。解析后，將對信息進(jìn)行索引，以便進(jìn)行最佳檢索和存儲。
此索引數(shù)據(jù)安全地存儲在標(biāo)記為“store”的中央存儲庫中。當(dāng)用戶或系統(tǒng)希望從該數(shù)據(jù)存儲中檢索特定信息時，他們可以發(fā)起查詢。作為對查詢的響應(yīng)，相關(guān)數(shù)據(jù)會被提取出來并作為響應(yīng)交付，響應(yīng)可能是一組相關(guān)文檔或從中提取的特定信息。整個過程展示了LlamaIndex如何有效地管理和檢索數(shù)據(jù)，以確保快速準(zhǔn)確地響應(yīng)用戶查詢。
傳送門：https://www.llamaindex.ai/
4.Llama 2
Llama 2是Meta開發(fā)的最先進(jìn)的語言模型。它是原始LLaMA的繼承者，但在規(guī)模、效率和性能方面都實現(xiàn)了增強。Llama 2模型覆蓋范圍廣（從7B到70B參數(shù)），能夠適應(yīng)不同的計算能力和應(yīng)用。Llama 2專為聊天機器人集成而定制，在對話用例中表現(xiàn)尤為出色，提供細(xì)致而連貫的響應(yīng)，突破了對話AI所能實現(xiàn)的界限。
Llama 2是使用公開的在線數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練的。這涉及到將模型暴露給大量的文本數(shù)據(jù)語料庫，如書籍、文章和其他書面內(nèi)容來源。這種預(yù)訓(xùn)練的目的是幫助模型學(xué)習(xí)一般的語言模式，并獲得對語言結(jié)構(gòu)的廣泛理解。它還涉及監(jiān)督微調(diào)和從人類反饋（RLHF）中強化學(xué)習(xí)。
RLHF的一個組成部分是拒絕樣本（rejection sampling），它包括從模型中選擇一個響應(yīng)，并根據(jù)人類的反饋接受或拒絕它。RLHF的另一個組成部分是近端策略優(yōu)化（Proximal Policy Optimization，PPO），它涉及根據(jù)人類反饋直接更新模型的策略。最后，迭代細(xì)化確保模型通過監(jiān)督迭代和修正達(dá)到期望的性能水平。
傳送門：https://about.fb.com/news/2023/07/llama-2/
5.Hugging Face
Hugging Face是一個多方面的平臺，在人工智能領(lǐng)域發(fā)揮著至關(guān)重要的作用，特別是在自然語言處理（NLP）和生成式人工智能領(lǐng)域。它包含各種元素，這些元素協(xié)同工作，使用戶能夠探索、構(gòu)建和共享人工智能應(yīng)用程序。以下是其關(guān)鍵方面的細(xì)分:
模型中心
- Hugging Face擁有一個龐大的預(yù)訓(xùn)練模型庫，用于各種NLP任務(wù)，包括文本分類、問答、翻譯和文本生成。
- 這些模型是在大型數(shù)據(jù)集上訓(xùn)練的，可以根據(jù)特定需求進(jìn)行微調(diào)，使它們易于用于各種目的。
- 這消除了用戶從頭開始訓(xùn)練模型的需要，節(jié)省了時間和資源。
數(shù)據(jù)集
- 除了模型庫之外，Hugging Face還提供了對NLP任務(wù)的大量數(shù)據(jù)集的訪問。
- 這些數(shù)據(jù)集涵蓋了各種領(lǐng)域和語言，為訓(xùn)練和微調(diào)模型提供了寶貴的資源。
- 用戶也可以貢獻(xiàn)自己的數(shù)據(jù)集，豐富平臺的數(shù)據(jù)資源，促進(jìn)社區(qū)協(xié)作。
模型訓(xùn)練和微調(diào)工具
- Hugging Face提供針對特定數(shù)據(jù)集和任務(wù)的訓(xùn)練，以及微調(diào)現(xiàn)有模型的工具和功能。
- 這允許用戶根據(jù)他們的特定需求定制模型，以提高他們在目標(biāo)應(yīng)用程序中的性能和準(zhǔn)確性。
- 該平臺為培訓(xùn)提供了靈活的選擇，包括在個人機器上進(jìn)行本地培訓(xùn)，或為大型模型提供基于云的解決方案。
應(yīng)用程序構(gòu)建
- Hugging Face通過與流行的編程庫（如TensorFlow和PyTorch）無縫集成，促進(jìn)了AI應(yīng)用程序的開發(fā)。
- 這允許開發(fā)人員使用預(yù)訓(xùn)練模型構(gòu)建聊天機器人、內(nèi)容生成式工具和其他人工智能驅(qū)動的應(yīng)用程序。
- 有許多應(yīng)用程序模板和教程可用于指導(dǎo)用戶并加速開發(fā)過程。
社區(qū)與合作
- Hugging Face擁有一個充滿活力的開發(fā)者、研究人員和人工智能愛好者社區(qū)。
- 該平臺通過模型共享、代碼庫和論壇等特性促進(jìn)協(xié)作。
- 這種協(xié)作環(huán)境促進(jìn)了知識共享，加速了創(chuàng)新，并推動了NLP和生成式人工智能技術(shù)的進(jìn)步。
Hugging Face不僅僅是一個模型存儲庫，它更是一個涵蓋模型、數(shù)據(jù)集、工具和社區(qū)的綜合平臺，使用戶能夠輕松探索、構(gòu)建和共享人工智能應(yīng)用程序。
傳送門：https://huggingface.co/
6.Haystack
Haystack可以被歸類為一個端到端框架，用于構(gòu)建由各種NLP技術(shù)驅(qū)動的應(yīng)用程序，包括但不限于生成式人工智能。雖然它不直接專注于從頭開始構(gòu)建生成式模型，但它為以下方面提供了一個強大的平臺：
檢索增強生成（RAG）
Haystack擅長將基于檢索和生成的方法結(jié)合起來進(jìn)行搜索和內(nèi)容創(chuàng)建。它允許集成各種檢索技術(shù)，包括矢量搜索和傳統(tǒng)的關(guān)鍵字搜索，以檢索相關(guān)文檔進(jìn)行進(jìn)一步處理。然后，這些文檔作為生成式模型的輸入，產(chǎn)生更集中和上下文相關(guān)的輸出。
不同的NLP組件
Haystack為各種NLP任務(wù)提供了一套全面的工具和組件，包括文檔預(yù)處理、文本摘要、問題回答和命名實體識別。這允許構(gòu)建結(jié)合多種NLP技術(shù)來實現(xiàn)特定目標(biāo)的復(fù)雜管道。
靈活性和開源
Haystack是一個構(gòu)建流行的NLP庫（如Transformers和Elasticsearch）之上的開源框架。這允許自定義和與現(xiàn)有工具和工作流的集成，使其適應(yīng)不同的需求。
可擴展性和性能
Haystack旨在有效地處理大型數(shù)據(jù)集和工作負(fù)載。它集成了強大的矢量數(shù)據(jù)庫，如Pinecone和Milvus，即使在數(shù)百萬個文檔中也能實現(xiàn)快速準(zhǔn)確的搜索和檢索。
生成式AI集成
Haystack能夠與流行的生成式模型（如GPT-3和BART）無縫集成，這允許用戶在基于Haystack的應(yīng)用程序中利用這些模型的強大功能來完成文本生成、摘要和翻譯等任務(wù)。
雖然Haystack的重點不僅僅是生成式人工智能，但它為構(gòu)建利用該技術(shù)的應(yīng)用程序提供了堅實的基礎(chǔ)。它在檢索、靈活性和可擴展性方面的綜合優(yōu)勢使其成為開發(fā)人員和研究人員探索各種應(yīng)用中生成式AI潛力的有價值框架。
傳送門：https://haystack.deepset.ai/
結(jié)語
總之，生成式人工智能的前景正在迅速發(fā)展，HuggingFace、LangChain、LlamaIndex、Llama2、Haystack和SingleStore Notebooks等框架和工具正引領(lǐng)著這一潮流。這些技術(shù)為開發(fā)人員將人工智能集成到他們的項目中提供了豐富的選擇，無論他們是從事自然語言處理、數(shù)據(jù)分析還是復(fù)雜的人工智能應(yīng)用開發(fā)。
原文標(biāo)題：Six Generative AI Frameworks and Tools Every Developer Should Know，作者：Pavan Belagatti
