距離馬斯克的 xAI 公布 Grok 才過(guò)去一天,剛剛,xAI 又公布了另一款 AI 產(chǎn)品,一個(gè)可用于 prompt 工程和可解釋性研究的集成開(kāi)發(fā)環(huán)境:PromptIDE。
接連不斷的新品發(fā)布,也讓網(wǎng)友紛紛感嘆:「xAI 團(tuán)隊(duì)的開(kāi)發(fā)速度簡(jiǎn)直是瘋了!」
xAI 在官方博客中這樣介紹:PromptIDE 是一個(gè)用于 prompt 工程和可解釋性研究的集成開(kāi)發(fā)環(huán)境。它通過(guò) SDK 加速 prompt 工程,并且該 SDK 可以完成復(fù)雜的 prompt 技術(shù),還能進(jìn)行結(jié)果分析,可視化網(wǎng)絡(luò)輸出等。
值得注意的是,xAI 在 Grok 的開(kāi)發(fā)中大量的使用了該技術(shù)。
借助 PromptIDE,工程師和研究人員可以透明的訪問(wèn) Grok-1 模型(為 Grok 提供支持的模型)。該 IDE 可以幫助用戶快速探索我們大模型 (LLM) 的功能。IDE 的核心是一個(gè) Python/ target=_blank class=infotextkey>Python 代碼編輯器,它與新的 SDK 相結(jié)合,可以實(shí)現(xiàn)復(fù)雜的 prompt 技術(shù)。在 IDE 中執(zhí)行 prompt 時(shí),用戶會(huì)看到一些比較有用的分析,例如采樣概率、聚合注意力掩碼等。
該 IDE 會(huì)自動(dòng)保存所有的 prompt 并具有內(nèi)置版本控制,還允許用戶比較不同 prompt 技術(shù)的輸出。最后,用戶可以上傳 CSV 文件等小文件,并使用 SDK 中的單個(gè) Python 函數(shù)讀取它們。結(jié)合 SDK 的并發(fā)特性,即使是稍大的文件也能快速處理。
下面是 IDE 主要功能演示。
代碼編輯器 & SDK
PromptIDE 的核心是代碼編輯器 + Python SDK,其中 SDK 提供了一種新的編程范式,可以實(shí)現(xiàn)復(fù)雜的 prompting 技術(shù)。
如上圖所示,用戶可以使用 prompt () 函數(shù)手動(dòng)將 token 添加到上下文中,也可以使用 sample () 函數(shù)根據(jù)上下文生成 token。
此外,多個(gè) web worker 可以同時(shí)運(yùn)行,這意味著用戶可以并行執(zhí)行多個(gè) prompt。
用戶也可以使用同一程序中的多個(gè)上下文來(lái)實(shí)現(xiàn)復(fù)雜的 prompting 技術(shù)。如果函數(shù)使用 @prompt_fn 裝飾器進(jìn)行注釋,則它將在自己的新上下文中執(zhí)行,該函數(shù)可以獨(dú)立于其父上下文執(zhí)行一些操作。這種編程范式支持具有任意嵌套子上下文的遞歸和迭代 prompts。
并發(fā)性:SDK 使用 Python 協(xié)程來(lái)并發(fā)處理多個(gè)帶 @prompt_fn 注釋的 Python 函數(shù),從而加快時(shí)間進(jìn)程,尤其是在處理 CSV 文件時(shí)。
用戶輸入:Prompt 可以通過(guò) user_input () 函數(shù)進(jìn)行交互。user_input () 函數(shù)返回用戶輸入的字符串,然后可以通過(guò) prompt () 函數(shù)將其添加到上下文中。使用這些 API,只需四行代碼即可實(shí)現(xiàn)聊天機(jī)器人:
文件:開(kāi)發(fā)人員可以將較小的文件上傳到 PromptIDE(每個(gè)文件最多 5 MiB,總共最多 50 MiB),并在 prompt 中使用他們上傳的文件。read_file () 函數(shù)以字節(jié)數(shù)組形式返回任何上傳的文件。這些與上面提到的并發(fā)特性結(jié)合起來(lái),可以實(shí)現(xiàn)對(duì) prompt 進(jìn)行批處理。
分析:在執(zhí)行 prompt 時(shí),用戶會(huì)看到詳細(xì)的 token 分析,以幫助他們更好地理解模型的輸出。
當(dāng)用戶使用 user_input () 函數(shù)時(shí),窗口中會(huì)顯示一個(gè)文本框,用戶可以在其中輸入響應(yīng)。下面的屏幕截圖顯示了執(zhí)行上面列出的聊天機(jī)器人代碼片段的結(jié)果。
最后,當(dāng)不需要對(duì) token 進(jìn)行可視化時(shí),還可以以 markdown 方式呈現(xiàn)上下文,以提高易讀性。
參考鏈接:https://x.ai/prompt-ide/