近日，信也科技推出第一代LLM（大語言模型）應用開發框架E-LADF（Easy build - Large language model Application Development Framework），使更多開發者能夠參與到基于LLM的應用程序開發中來，從而推動LLM在各領域的應用和發展，讓科技界進入LLM應用時代。
E-LADF以類ChatGPT大模型引擎、向量數據庫等基礎組件為底座，旨在提供一系列功能接口，幫助開發者方便、快速地構建和部署基于LLM的應用程序，大大簡化了開發流程，減少了開發者需要處理的復雜性和耗時性任務。
基于E-LADF構建上層應用
四大核心接口 助力大模型應用開發
目前，E-LADF包含四大核心接口功能：本地知識庫管理、通用場景流式對話、基于本地知識庫的問答和長文本實體抽取與摘要。此外，它在大模型支持方面也具有出色的靈活性和可擴展性，不僅適配并支持云服務商的LLM服務接口，還提供本地化部署方案。
1.本地知識庫管理
通過向量數據庫做私有知識庫管理是E-LADF的一個重要特性。私有知識庫是指開發者可以自定義和管理的一組垂直領域的知識和信息，用于提升大模型應用程序的個性化和定制化能力。
E-LADF框架集成了向量數據庫、各類結構化及非結構化數據解析等相關技術，通過將私有知識庫中的文本數據（如.pdf、.docx、.html等）轉化為向量表示并存儲在向量數據庫中，開發者可以高效、靈活地管理和利用領域知識，并根據文本的相似性進行快速查詢與輸入與文本高度相關的知識和信息，將其與大模型應用結合起來，開發更加個性化和定制化的應用程序。
構建本地知識庫流程
2.通用場景流式對話
通用的流式對話接口旨在為開發者提供通用的對話功能，其重點在于通用性和流式輸出，可以用于多種普適的應用場景，包括聊天機器人、語音助手、智能客服等。開發者可以使用該接口與LLM模型進行動態的對話交流，不斷發送消息并接收模型的回復，實現連續的對話流程。同時，后臺還提供了上下文管理功能，實時記錄先前的對話歷史，使模型能夠理解上下文，生成連貫和一致的回復。
3.基于本地知識庫的問答
基于本地知識庫的問答接口允許開發者利用大語言模型和向量數據庫檢索（與私有知識庫管理結合使用）進行知識的提取和問答。該接口的設計旨在幫助開發者構建強大的垂直領域知識問答系統，能夠根據用戶提供的問題從文檔集合中準確地獲取答案。
基于本地知識庫的問答
4.長文本實體抽取與摘要
通過調用實體抽取接口，開發者可以將長文本和待抽取實體類型作為輸入，接受到一個結構化的輸出，該接口可廣泛用于信息抽取、摘要、知識圖譜構建、文本分析和語義理解等領域。在后臺實現中，當接收到用戶輸入的文本和待抽取實體類型時，服務端首先對輸入進行解析并組織成高效的prompts（提示語），然后將其輸入到LLM模型中。接著，對LLM的輸出進行解析，以獲取用戶所需的格式化結果。
多樣可選的GPT模型 滿足更高精度需求
E-LADF不僅支持適配OpenAI的ChatGPT服務接口，還提供了本地化方式部署LLM的功能。這一特性使得用戶在使用E-LADF的過程中，可以擺脫對云服務提供商的依賴，從而擁有更高的數據隱私和安全性，并且更好地掌控計算資源的使用。
目前，E-LADF已經成功集成并支持了幾個性能僅次于ChatGPT在英文和中文上表現優秀的本地LLM模型，包括ChatGLM、Vicuna系列模型。用戶甚至可以基于這些模型進行微調，以滿足特定應用場景更高精度的需求。隨著大模型技術的不斷發展，E-LADF有著廣闊的發展前景。
未來，我們將不斷改進和創新，并在以下幾方面提升E-LADF的功能和性能：
支持更多的大語言模型，使開發者能夠根據需求選擇最適合的模型；
加強框架的可擴展性和定制化能力，滿足開發者在不同場景下的使用需求；
優化框架的性能和效率，采用并行計算、硬件加速和優化算法等技術手段，滿足開發者高效運行和處理大規模數據的需求；
提供更多的應用示例和案例，涵蓋自動問答系統、摘要生成、智能客服和對話系統、金融智能分析與預測等各個領域，幫助開發者更好地理解和使用框架，從而為開發者提供實踐指導和靈感。
總的來說，大模型應用框架在推動大模型技術的應用和發展方面起著重要的作用。通過不斷創新和改進，E-LADF將進一步提高開發者的開發效率，降低開發門檻，并推動大模型技術在各個領域的廣泛應用。我們期待著E-LADF在未來的發展中，為開發者提供更多的可能性和機會，助力他們構建出更加智能和高效的大模型應用。
