關鍵字: [symposium, Agenic, Ai基礎平臺構建, 知識庫增強, 工具使用能力, 智能體協作, 安全護欄保護]
本文字數: 1900, 閱讀完需: 10 分鐘
導讀在本次演講中,演講者介紹了Weee!公司如何在亞馬遜云科技專家的支持下,利用兩個月的時間快速構建了一個基于AI的智能客服系統。他們首先搭建了一個AI基礎平臺,集成了多種AI能力如工作流編排、知識庫管理、工具調用等,并引入了安全機制和性能追蹤機制。然后將該平臺與公司的業務系統集成,實現了智能客服的自動響應、流程標準化和客戶體驗提升。最后,演講者分享了他們對AI智能體的評估方法,包括相似度和質量兩個指標,以及結合客服反饋持續優化模型。
演講精華以下是小編為您整理的本次演講的精華，共1600字，閱讀時間大約是8分鐘。
在亞馬遜云科技的專家團隊的支持下,一位演講者用兩個月的時間快速完成了一個智慧客服項目。他所在的公司于2015年成立,是美國領先的亞裔和西方人的電商平臺,總部位于舊金山灣區,致力于為北美家庭提供新鮮實惠的全球美食。與國內的”盒馬生鮮”類似的電商平臺不同,該公司沒有線下店面,只有線下倉儲和物流團隊,建立了一個多元文化融合的平臺,讓不同族裔的人都能在這個平臺上買到自己喜歡的食物和食品。
演講者將分享分為三個部分:構建自己的AI基礎平臺;這個基礎平臺和智慧客服項目的應用;關于AI智能體評估的實踐。他回顧了應用發展的歷程,從單體架構、CS架構、BS架構,到微服務架構,每個階段都提供了相應的理念和技術。但AI大模型的出現,特別是”靈夢”大模型和Agent技術的引入,讓我們需要重新思考架構的發展和演進。
經過多輪探討,他們得出了一個名為”Agenic”的AI平臺,依賴于提示詞工程、工具調用、工作流編排和知識庫增強,通過基礎模型的迭代升級,提供知識能力。這個平臺不再是組件或工具,而是像一個人在企業中生存,可以賦予它知識讓它成長,它又能像API模型為我們提供能力,回答各種問題。
演講者介紹了”Agenic”的概念,我們都知道AI模型、GPT模型、亞馬遜云科技托管的CloudInc模型,以及Bloom模型等,它們已經具備了自我反思和鏈式思考的能力,變得非常強大。但如果只是AI模型加上提示詞工程構建的應用,很難真正為業務賦能。在代碼生成領域,ChatGPT 3.5加上提示詞工程只能解決40%的問題,升級到4.0后能解決60%的問題。但當引入Agenic Workflow這樣的AI智能體概念后,它能解決70%的問題,且僅針對ChatGPT 3.5就能做到。
演講者分享了OpenAI科學家Lilian關于Agent定義的圖,認為一個AI智能體需要具備四種能力:規劃能力、記憶能力(短期和長期)、使用工具的能力,以及與其他Agent交互合作的能力。他們基于此構建的AI基礎平臺架構分為三層:底層是亞馬遜云科技提供的三大存儲(Amazon S3對象存儲、Amazon ElasticSearch服務、Amazon RDS關系數據庫服務)等基礎技術;中間層是基于這些存儲打造的AI知識庫、專有詞匯庫、向量數據庫(基于OpenSearch)等;最上層是工作流編排、繪畫管理、Prompt管理等八種能力,以及安全護欄(直接引用了Amazon Web Services Byterock中的Gario安全護欄技術)、性能追蹤和質量評測等三種邊緣控制力。
演講者還介紹了AI基礎平臺和業務系統集成的示例,以及部署架構。他著重講解了RAG(Retrieval Augmented Generation)技術,即通過檢索增強技術來補充AI缺少對企業知識和現有知識的能力。RAG包括Retrieval(召回)、Re-ranking(重排序)兩個步驟,能夠實現高效的向量檢索和多路召回。他們的向量檢測速度能夠小于1秒,包含召回,整個first token的速度能夠小于500毫秒。在多路召回方面,他們使用了傳統的關鍵詞檢索技術(權重0.3)和最新的向量檢索技術(權重0.7)的結合。
在設計Prompt的原則方面,演講者強調要根據不同模型的調性來設計Prompt的格式,如使用監控號或Markdown格式等。他還提出了Prompt中需要包含的幾個角色節點,如Role、Instruction、Extraction、Response/Solution等,以引導模型進行鏈式思考和自我反思。
演講者接著分享了他們的智慧客服項目,旨在提升響應速度、流程標準化和客戶體驗。在亞馬遜云科技專家的支持下,他們僅用兩個月時間就完成了AI基礎平臺搭建、P1優化框架制定、知識庫鏈路制定、Agent測試和性能追蹤框架制定、引入安全護欄,以及基于ByteRock的多模型開發等工作。有意思的是,整個Agent的設計完全由產品經理一人完成。他們基于整個AI平臺的能力,通過API的形式將其暴露給調用端,調用端可以拿到所有AI Agent平臺的能力,以及Agent的管理能力。
演講者分享了一個AI智能體與客服系統集成的示例。當客戶提出”我的訂單什么時候送達?時間已經推遲了一個半小時了,還沒有快速開始配送”的問題時,AI智能體經過意圖識別、數據讀取、知識庫查詢后作出回復:“非常抱歉,給你帶來不便。你的訂單[原因]。你需要登錄XX的app,然后點擊我的已發貨訂單查看物流。我們已將已經將你的問題反饋給了相關的物流部門,他們會重視這個問題,并努力改善配送效果。”他們的AI平臺不僅可以使用外部工具如天氣預報、谷歌搜索,還可以使用內部提供的工具能力,包括查詢訂單、客戶,甚至取消訂單退款等操作。
他們計劃分三個階段推進AI智能體在客服領域的應用:第一階段是客服對AI回復進行確認;第二階段是AI直接回復客服郵件和工單;最終階段是推向即時溝通的聊天形式。
最后,演講者探討了AI評估的難點和方式。與傳統的基于斷言的測試不同,AI生成的回復是抽象的,很難用預期結果進行評判。因此,他們引入了相似度和SOP(標準操作程序)質量兩個指標:將AI回復與客服歷史滿意回復進行相似度對比,并根據業務規則的SOP列表進行反向打分,再結合實際客服的點贊點踩,不斷優化AI模型。
總的來說,這個項目展示了亞馬遜云科技在AI領域的領先地位,以及AI技術在企業級應用中的巨大潛力。通過構建AI基礎平臺、應用于智慧客服等場景,并不斷優化評估模型,企業能夠充分利用AI的強大能力,提升業務效率和客戶體驗。
在這個過程中,演講者分享了一個客戶故事。去年平安夜,他忽然想買點東西吃,就開車出去找超市。但發現很難找到一家開門的超市,因為平安夜所有的超市幾乎都關門了。好不容易找到一家超市,進去一看,沒有肉蛋奶,沒有柴米油鹽醬醋茶,只有各種咖喱和薯片之類的沒有味道的玉米薄片。這讓他意識到,該公司建立了一個很大的使命,就是建立一個平臺,融合了多種少數族裔文化,讓各種族裔在一個平臺里能夠買到他喜歡吃的食物和食品。
這個項目中,演講者的團隊還遇到了一個有趣的現象。在做GenAI的鏈接項目時,他們發現AI永遠不知道今年是今年,也不知道今天是今天。所以你讓它回答”幫我拿一下今年的某某數據”,它一定會拿當前年份的數據,因為它不知道今年是哪一年。你必須在Prompt里寫”你要知道今年是某某年,今天是某某日期”,否則它就會說今年是它訓練時的那一年。通過RAG技術,他們能夠幫助AI增強對最新知識的理解能力。
總結亞馬遜云科技的 AI 出海項目 GenAI 生成式 AI 的探索之旅:
在 亞馬遜云科技 專家的支持下,我們用兩個月時間快速構建了一個智慧客服項目,融合了 AI 大模型和傳統 AI 技術。這個項目的核心是一個 AI 基礎平臺,它依賴于提示詞工程、工具調用、工作流編排和知識庫增強,并具備保護用戶隱私和數據安全的能力。該平臺賦予了 AI 智能體規劃、記憶、工具使用和協作的能力,有助于更好地服務多元文化背景的客戶群體。
在智慧客服的應用中,我們將 AI 智能體分解為多個小型智能體,以降低風險并提高可控性。目前處于第一階段,客服需確認 AI 回復;未來將直接由 AI 回復郵件和工單,最終實現即時溝通。我們還探索了 AI 評估的新方法,引入相似度和質量兩個指標,結合客服反饋持續優化模型。
總的來說,這個項目展示了 亞馬遜云科技 在 AI 出海領域的創新實踐,為企業賦能 AI 提供了有益探索。我們期待 AI 技術的不斷進步,為客戶帶來更優質的服務體驗。
亞馬遜云科技（Amazon Web Services）是全球云計算的開創者和引領者。提供200多類廣泛而深入的云服務，服務全球245個國家和地區的數百萬客戶。亞馬遜云科技致力于成為企業構建和應用生成式AI的首選，通過生成式AI技術棧，提供用于模型訓練和推理的基礎設施服務、構建生成式AI應用的大模型等工具、以及開箱即用的生成式AI應用。深耕本地、鏈接全球 – 在中國，亞馬遜云科技通過安全、穩定、可信賴的云服務，助力中國企業加速數字化轉型和創新，并深度參與全球化市場。
