最初由 liz acosta 發表在 streamlit 博客上
還記得第一次使用人工智能圖像生成器有多酷嗎？那兩千萬根手指和噩夢般的吃意大利面的畫面不僅僅是有趣，它們在不經意間透露了哎呀！人工智能模型的智能程度與我們一樣。和我們一樣，他們也很難畫手。
人工智能模型很快變得更加復雜，但現在的模型數量太多了。而且，和我們一樣，他們中的一些人比其他人更擅長某些任務。以文本生成為例。盡管 llama、gemma 和 mistral 都是法學碩士，但他們中的一些人更擅長生成代碼，而另一些人則更擅長頭腦風暴、編碼或創意寫作。根據提示，它們提供不同的優勢，因此在您的 ai 應用程序中包含多個模型可能是有意義的。
但是如何將所有這些模型集成到你的應用程序中而不需要重復代碼？如何使人工智能的使用更加模塊化，從而更易于維護和擴展？這就是 api 可以提供用于跨不同技術進行通信的標準化指令集的地方。
在這篇博文中，我們將了解如何使用 replicate 和 streamlit 來創建一個應用程序，該應用程序允許您通過單個 api 調用來配置和提示不同的 llm。別擔心——當我說“應用程序”時，我并不是說必須啟動整個 flask 服務器或繁瑣地配置你的路由或擔心 css。 streamlit 已經為您解決了這個問題 ?
繼續閱讀以學習：
什么是復制
streamlit 是什么
如何構建演示復制聊天機器人 streamlit 應用程序
以及使用 replicate 的最佳實踐
不想讀書？以下是探索此演示的一些其他方法：
在此處的 streamlit cookbook 存儲庫中查找代碼
在此處嘗試應用程序的部署版本
在此處觀看 replicate 創始設計師 zeke sikelianos 的視頻演練
什么是復制？
replicate 是一個平臺，使開發人員能夠通過 cli、api 或 sdk 部署、微調和訪問開源 ai 模型。該平臺可以輕松地以編程方式將人工智能功能集成到軟件應用程序中。
replicate 上的可用模型
文本：像 llama 3 這樣的模型可以根據輸入提示生成連貫且上下文相關的文本。
圖像：像穩定擴散這樣的模型可以根據文本提示生成高質量的圖像。
語音：像 whisper 這樣的模型可以將語音轉換為文本，而像 xtts-v2 這樣的模型可以生成聽起來自然的語音。
視頻：像 animate-diff 這樣的模型或像 videocrafter 這樣的穩定??擴散的變體可以分別根據文本和圖像提示生成和/或編輯視頻。
當一起使用時，replicate 允許您開發多模式應用程序，這些應用程序可以接受輸入并生成各種格式的輸出，無論是文本、圖像、語音還是視頻。
什么是 streamlit？
streamlit 是一個開源 python 框架，只需幾行代碼即可構建高度交互的應用程序。 streamlit 與生成式 ai 中的所有最新工具集成，例如任何 llm、矢量數據庫或各種 ai 框架（如 langchain、llamaindex 或 weights & biases）。 streamlit 的聊天元素使與 ai 交互變得特別容易，因此您可以構建“與您的數據對話”的聊天機器人。
與 replicate 這樣的平臺相結合，streamlit 允許您創建生成式 ai 應用程序，而無需任何應用程序設計開銷。
? 要了解有關 streamlit 如何讓您取得進步的更多信息，請查看這篇博文。
要了解有關 streamlit 的更多信息，請查看 101 指南。
嘗試應用程序配方：復制 + streamlit
但不要相信我的話。親自嘗試該應用程序或觀看視頻演示，看看您的想法。
在此演示中，您將使用 replicate 啟動 streamlit 聊天機器人應用程序。該應用程序使用單個 api 來訪問三個不同的 llm 并調整溫度和 top-p 等參數。這些參數影響人工智能生成文本的隨機性和多樣性，以及選擇標記的方法。
? 什么是模型溫度？ 溫度控制模型如何選擇令牌。較低的溫度使模型更加保守，有利于常見和“安全”的詞語。相反，較高的溫度會鼓勵模型通過選擇可能性較小的令牌來承擔更多風險，從而產生更多創意輸出。
? 什么是top-p？ 也稱為“核采樣”——是另一種調整隨機性的方法。隨著 top-p 值的增加，它的工作原理是考慮更廣泛的代幣集。較高的 top-p 值會導致采樣的代幣范圍更加多樣化，從而產生更加多樣化的輸出。
先決條件
python 版本 >=3.8, !=3.9.7
復制 api 密鑰
（請注意，需要使用付款方式才能訪問超出免費試用限制的功能。）
? 要了解有關 api 密鑰的更多信息，請查看此處的博客文章。
環境設置
本地設置
-
克隆 cookbook 存儲庫：git clone https://github.com/streamlit/cookbook.git
從cookbook根目錄，將目錄更改為復制配方：cdrecipes/replicate
將您的復制 api 密鑰添加到 .streamlit/secrets_template.toml 文件中
將文件名從secrets_template.toml更新為secrets.toml： mv .streamlit/secrets_template.toml .streamlit/secrets.toml
（要了解有關 streamlit 中秘密處理的更多信息，請參閱此處的文檔。）
創建虛擬環境：python -m venvreplicatevenv
激活虛擬環境：sourcereplicatevenv/bin/activate
安裝依賴項：pip install -rrequirements.txt
github codespaces 設置
從 github 上的 cookbook 存儲庫，通過從“代碼”按鈕中選擇“代碼空間”選項來創建一個新的代碼空間
生成代碼空間后，將您的 replicate api 密鑰添加到recipe/replicate/.streamlit/secrets_template.toml 文件中
將文件名從secrets_template.toml更新為secrets.toml
（要了解有關 streamlit 中秘密處理的更多信息，請參閱此處的文檔。）
從cookbook根目錄，將目錄更改為復制食譜：cdrecipes/replicate
安裝依賴項：pip install -rrequirements.txt
使用 replicate 運行文本生成模型
-
在recipes/replicate目錄中創建一個名為replicate_hello_world.py的文件
將以下代碼添加到文件中：
import replicate
import toml
import os
# read the secrets from the secrets.toml file
with open(".streamlit/secrets.toml", "r") as f:
secrets = toml.load(f)
# create an environment variable for the replicate api token
os.environ['replicate_api_token'] = secrets["replicate_api_token"]
# run a model
for event in replicate.stream("meta/meta-llama-3-8b",
input={"prompt": "what is streamlit?"},):
print(str(event), end="")
登錄后復制
運行腳本：pythonreplicate_hello_world.py
您應該會看到模型生成的文本的打印結果。
要了解有關復制模型及其工作原理的更多信息，您可以在此處參考其文檔。從本質上講，復制“模型”是指經過訓練、打包和發布的軟件程序，它接受輸入并返回輸出。
在這種特殊情況下，模型是meta/meta-llama-3-8b，輸入是“提示”：“什么是streamlit？”。當您運行腳本時，將調用 replicate 端點，打印的文本是模型通過 replicate 返回的輸出。
運行演示 replicate streamlit 聊天機器人應用程序
要運行演示應用程序，請使用 streamlit cli：streamlit run streamlit_app.py。
運行此命令會將應用程序部署到本地主機上的端口。當您訪問此位置時，您應該會看到 streamlit 應用程序正在運行。
您可以使用此應用程序通過復制提示不同的llm，并根據您提供的配置生成生成文本。
適用于多個 llm 模型的通用 api
使用 replicate 意味著您可以使用一個 api 提示多個開源 llm，這有助于簡化 ai 與現代軟件流程的集成。
這是通過以下代碼塊完成的：
for event in replicate.stream(model,
input={"prompt": prompt_str,
"prompt_template": r"{prompt}",
"temperature": temperature,
"top_p": top_p,}):
yield str(event)
登錄后復制
模型、溫度和 top p 配置由用戶通過 streamlit 的輸入小部件提供。 streamlit 的聊天元素可以輕松地將聊天機器人功能集成到您的應用程序中。最好的部分是您不需要了解 javascript 或 css 來實現和設計這些組件 – streamlit 提供了所有開箱即用的功能。
復制最佳實踐
使用提示的最佳模型
replicate 提供了一個 api 端點來搜索公共模型。您還可以在他們的網站上探索特色模型和用例。這可以讓您輕松找到適合您特定需求的型號。
不同的型號有不同的性能特點。根據您對準確性和速度的需求使用適當的模型。
使用 webhooks、流媒體和圖像 url 提高性能
replicate 的輸出數據僅可用一個小時。使用 webhook 將數據保存到您自己的存儲中。您還可以設置 webhooks 來處理來自模型的異步響應。這對于構建可擴展的應用程序至關重要。
盡可能利用流媒體。某些模型支持流式傳輸，允許您在生成部分結果時獲得它們。這非常適合實時應用程序。
與使用 base 64 編碼的上傳圖像相比，使用圖像 url 可以提高性能。
使用 streamlit 釋放 ai 的潛力
借助 streamlit，數月的應用程序設計工作簡化為 只需幾行 python 代碼。它是展示最新人工智能發明的完美框架。
使用 streamlit cookbook 中的其他 ai 食譜快速啟動并運行 快速。 （別忘了在論壇中向我們展示您正在構建的內容！）
祝 streamlit 快樂！ ?
