無(wú)可否認(rèn)，大模型是最近一段時(shí)間最熱的話題之一，在市場(chǎng)上正經(jīng)歷著快速發(fā)展和廣泛應(yīng)用的階段。各個(gè)云計(jì)算廠商和科技公司紛紛推出自己的大模型產(chǎn)品和解決方案。
近日，UCloud優(yōu)刻得基于企業(yè)內(nèi)部的產(chǎn)品知識(shí)文庫(kù)、技術(shù)支持文檔，借助大語(yǔ)言模型的強(qiáng)大邏輯推理能力，構(gòu)建了企業(yè)內(nèi)部知識(shí)問(wèn)答平臺(tái)“識(shí)問(wèn)”。
產(chǎn)品介紹
UCloud優(yōu)刻得內(nèi)部問(wèn)答平臺(tái)“識(shí)問(wèn)”，是公司AIGC項(xiàng)目團(tuán)隊(duì)基于大語(yǔ)言模型的一次落地實(shí)踐。目前“識(shí)問(wèn)”平臺(tái)已經(jīng)集成了UHost、URTC、備案、常用技術(shù)支持和安全等知識(shí)文檔，能滿足技術(shù)支持團(tuán)隊(duì)日常提問(wèn)檢索的需求。用戶僅需要輸入問(wèn)題，識(shí)問(wèn)平臺(tái)即可在幾秒內(nèi)輸出完整的問(wèn)答話術(shù)。
實(shí)現(xiàn)方式
識(shí)問(wèn)平臺(tái)目前是通過(guò)大語(yǔ)言模型連接本地知識(shí)庫(kù)的方式來(lái)實(shí)現(xiàn)專業(yè)知識(shí)問(wèn)答的。在業(yè)務(wù)側(cè)上傳UHost、URTC、備案和安全相關(guān)的文檔，文檔數(shù)據(jù)經(jīng)過(guò)非結(jié)構(gòu)化存儲(chǔ)，文檔切分，生成文本塊之后再進(jìn)行向量化處理，通過(guò)LangChain框架，實(shí)現(xiàn)本地文本知識(shí)庫(kù)的構(gòu)建。
客戶通過(guò)Web端或者其他AI應(yīng)用提交問(wèn)題，提交的問(wèn)題經(jīng)過(guò)向量化處理后，在文本向量化中匹配出與問(wèn)句向量最相似的top k個(gè)，匹配出的文本作為上下文和問(wèn)題一起，添加到prompt中，提交給大語(yǔ)言模型，利用大模型的推理和信息整合能力，生成最終的回答。如果檢索發(fā)現(xiàn)客戶的提問(wèn)可以與知識(shí)庫(kù)的相關(guān)文本精確匹配，識(shí)問(wèn)平臺(tái)就會(huì)直接通過(guò)搜索拋出回答，無(wú)需經(jīng)過(guò)大語(yǔ)言模型的推理。
大語(yǔ)言模型結(jié)合本地知識(shí)庫(kù)的推理工作流如下：
LLM+本地知識(shí)庫(kù)
據(jù)悉，未來(lái)UCloud優(yōu)刻得還支持外部企業(yè)級(jí)客戶還通過(guò)“模型微調(diào)”的方式來(lái)實(shí)現(xiàn)專業(yè)領(lǐng)域的知識(shí)問(wèn)答。UCloud可以基于客戶的業(yè)務(wù)文檔生成高質(zhì)量的問(wèn)答對(duì)，喂給開源的大語(yǔ)言模型做訓(xùn)練，重新生成一個(gè)精通客戶業(yè)務(wù)的私有語(yǔ)言模型。客戶側(cè)通過(guò)web或者AI應(yīng)用提交的問(wèn)題話術(shù)經(jīng)過(guò)一些標(biāo)準(zhǔn)化處理后，生成prompt，提交給客戶的私有大模型，經(jīng)過(guò)私有大模型的推理并生成最終回答。微調(diào)大語(yǔ)言模型的工作流如下：
模型微調(diào)
在這個(gè)工作流中，開源大語(yǔ)言模型可以是目前開源的任意一款模型，包括但不限于ChatGLM、T5、LLaMA 、MiniGPT-4等。
目前UCloud優(yōu)刻得已經(jīng)支持的文檔格式有問(wèn)答對(duì)、Html、MarkDown，未來(lái)預(yù)期還會(huì)支持PDF、Word、URL等格式，進(jìn)一步擴(kuò)大可支持的知識(shí)庫(kù)的范疇，同時(shí)在平臺(tái)側(cè)也會(huì)通過(guò)對(duì)使用問(wèn)答的打分情況，篩選優(yōu)質(zhì)問(wèn)答對(duì)，持續(xù)更新文本知識(shí)庫(kù)。專業(yè)垂直領(lǐng)域的提問(wèn)，大語(yǔ)言模型的回復(fù)準(zhǔn)確率會(huì)隨著資料庫(kù)的豐富而持續(xù)提高。
寫在最后
本次識(shí)問(wèn)平臺(tái)的落地，是UCloud優(yōu)刻得一次AI大模型業(yè)務(wù)場(chǎng)景的探索。從企業(yè)內(nèi)部治理需求出發(fā)，優(yōu)化內(nèi)部信息查詢機(jī)制，初步解決售前、售后的相關(guān)的技術(shù)支持問(wèn)答，幫助提升技術(shù)支持的工作效率。作為云計(jì)算廠商，UCloud優(yōu)刻得將全面投入大模型時(shí)代，繼續(xù)保持敏銳的市場(chǎng)洞察力和快速的響應(yīng)能力，持續(xù)關(guān)注大模型市場(chǎng)的最新趨勢(shì)和客戶需求，不斷優(yōu)化和拓展我們的產(chǎn)品和服務(wù)。
