97人人澡人人爽小说,国产视频男人天堂,夜鲁鲁鲁夜夜综合视频欧美

譯者 | 朱先忠

審校 | 重樓

我相信你聽(tīng)說(shuō)過(guò)SQL，甚至已經(jīng)掌握了它。SQL（結(jié)構(gòu)化查詢語(yǔ)言）是一種廣泛用于處理數(shù)據(jù)庫(kù)數(shù)據(jù)的聲明性語(yǔ)言。

根據(jù)StackOverflow的年度調(diào)查，SQL仍然是世界上最流行的語(yǔ)言之一。對(duì)于專業(yè)開(kāi)發(fā)人員來(lái)說(shuō)，SQL是排名前三的語(yǔ)言（僅次于JAVAscript和html/css）。超過(guò)一半的專業(yè)人士使用它。令人驚訝的是，SQL甚至比Python/ target=_blank class=infotextkey>Python更受歡迎。

SQL應(yīng)用于LLM的程序開(kāi)發(fā)利器——開(kāi)源LMQL 作者圖表，數(shù)據(jù)來(lái)自StackOverflow調(diào)查

SQL是與數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行對(duì)話的常用方法。因此，有人試圖對(duì)LLM使用類似的方法也就不足為奇了。在本文中，我想告訴您一種叫做LMQL的方法。

什么是LMQL？

LMQL（語(yǔ)言模型查詢語(yǔ)言，https://lmql.AI/）是一種用于語(yǔ)言模型的開(kāi)源編程語(yǔ)言。LMQL在Apache 2.0許可證下發(fā)布，該許可證允許您在商業(yè)上使用它。

LMQL由蘇黎世聯(lián)邦理工學(xué)院的研究人員開(kāi)發(fā)。他們提出了一種新的LMP（語(yǔ)言模型編程）思想。LMP結(jié)合了自然語(yǔ)言和編程語(yǔ)言：文本提示和腳本指令。

在Luca Beurer Kellner、Marc Fischer和Martin Vechev的原始論文《提示就是編程：大型語(yǔ)言模型的查詢語(yǔ)言》中，作者指出了當(dāng)前LLM使用的以下挑戰(zhàn)：

相互作用。例如，我們可以使用元提示，要求LM擴(kuò)展初始提示。作為一個(gè)實(shí)際案例，我們可以首先要求模型定義初始問(wèn)題的語(yǔ)言，然后用該語(yǔ)言回答。對(duì)于這樣的任務(wù)，我們需要發(fā)送第一個(gè)提示，從輸出中提取語(yǔ)言，將其添加到第二個(gè)提示模板中，并再次調(diào)用LM。我們需要管理相當(dāng)多的交互。使用LMQL，您可以在一個(gè)提示中定義多個(gè)輸入和輸出變量。除此之外，LMQL將優(yōu)化多次調(diào)用的總體可能性，這可能會(huì)產(chǎn)生更好的結(jié)果。
約束和標(biāo)記表示。當(dāng)前的LMs不提供限制輸出的功能，如果我們?cè)谏a(chǎn)中使用LMs，這是至關(guān)重要的。想象一下，在生產(chǎn)中建立一個(gè)情緒分析，在我們的CS代理界面中標(biāo)記負(fù)面評(píng)價(jià)。我們的項(xiàng)目期望從LLM獲得“積極”、“消極”或“中立”。然而，通常情況下，您可以從LLM中得到類似“對(duì)所提供的客戶評(píng)價(jià)的情緒是積極的”的信息，這在API中不太容易處理。這就是為什么約束會(huì)非常有用。LMQL允許您使用人類可理解的單詞（而不是LMs使用的令牌）來(lái)控制輸出。
效率和成本。LLM是大型網(wǎng)絡(luò)，因此無(wú)論您是通過(guò)API還是在本地環(huán)境中使用它們，它們都非常昂貴。LMQL可以利用預(yù)定義的行為和搜索空間的約束（由約束引入）來(lái)減少LM調(diào)用的數(shù)量。正如您所看到的，LMQL可以解決這些挑戰(zhàn)。它允許您在一個(gè)提示中組合多個(gè)調(diào)用，控制輸出，甚至降低成本。
對(duì)成本和效率的影響可能相當(dāng)大。對(duì)搜索空間的限制可以顯著降低LLM的成本。例如，在LMQL論文的案例中，與標(biāo)準(zhǔn)解碼相比，LMQL的可計(jì)費(fèi)代幣減少了75–85%，這意味著它將顯著降低您的成本。

SQL應(yīng)用于LLM的程序開(kāi)發(fā)利器——開(kāi)源LMQL 圖片來(lái)自Beurer Kellner等人的論文（2023）

我相信LMQL最重要的好處是完全控制您的輸出。然而，使用這樣的方法，您還將擁有LLM上的另一層抽象（類似于我們前面討論的LangChain）。如果需要，它將允許您輕松地從一個(gè)后端切換到另一個(gè)后端。LMQL可以使用不同的后端：OpenAI、HuggingFace Transformers或llama.cpp。

您可以在本地安裝LMQL，也可以在線使用基于Web的Playground。Playground可以非常方便地進(jìn)行調(diào)試，但您只能在此處使用OpenAI后端。對(duì)于所有其他用例，您必須使用本地安裝。

與往常一樣，這種方法也有一些局限性：

這個(gè)圖書(shū)館還不太受歡迎，所以社區(qū)很小，很少有外部材料可用。

在某些情況下，文檔可能不是很詳細(xì)。

最流行、性能最好的OpenAI模型有一些局限性，因此您無(wú)法將LMQL的全部功能與ChatGPT一起使用。

我不會(huì)在生產(chǎn)中使用LMQL，因?yàn)槲也荒苷f(shuō)它是一個(gè)成熟的項(xiàng)目。例如，通過(guò)代幣進(jìn)行分發(fā)的準(zhǔn)確性非常差。

在某種程度上接近LMQL的替代方案是指導(dǎo)。它還允許您約束生成并控制LM的輸出。

盡管有這些限制，我還是喜歡語(yǔ)言模型編程的概念，這就是我決定在本文中討論它的原因。

LMQL語(yǔ)法

現(xiàn)在，我們知道了什么是LMQL。讓我們看一個(gè)LMQL查詢的例子來(lái)熟悉它的語(yǔ)法。

beam(n=3)
 "Q: Say 'Hello, {name}!'" 
 "A: [RESPONSE]" 
from "openai/text-davinci-003"
where len(TOKENS(RESPONSE)) < 20

我希望你能猜出它的意思。但讓我們?cè)敿?xì)討論一下。

以下是LMQL查詢的方案：

SQL應(yīng)用于LLM的程序開(kāi)發(fā)利器——開(kāi)源LMQL Beurer Kellner等人的論文圖像（2023）

任何LMQL程序都由5個(gè)部分組成：

解碼器定義所使用的解碼過(guò)程。簡(jiǎn)單地說(shuō)，它描述了提取下一個(gè)令牌的算法。LMQL有三種不同類型的解碼器：argmax、beam和sample。你可以從論文中更詳細(xì)地了解它們。

實(shí)際的查詢類似于經(jīng)典的提示，但使用Python語(yǔ)法，這意味著您可以使用循環(huán)或if語(yǔ)句等結(jié)構(gòu)。

在from子句中，我們指定了要使用的模型（在我們的示例中為openai/text-davinci-003）。

Where子句定義約束。

當(dāng)您希望在返回中查看令牌的概率時(shí)，會(huì)使用分布。我們還沒(méi)有在這個(gè)查詢中使用分布，但稍后我們將使用它來(lái)獲得情緒分析的類概率。

此外，您可能已經(jīng)注意到我們的查詢｛name｝和[RESPONSE]中的特殊變量。讓我們討論一下它們是如何工作的：

｛name｝是一個(gè)輸入?yún)?shù)。它可以是您范圍內(nèi)的任何變量。這樣的參數(shù)可以幫助您創(chuàng)建方便的函數(shù)，這些函數(shù)可以很容易地用于不同的輸入。

[LRESPONSE]是LM將生成的短語(yǔ)。它也可以稱為孔或占位符。[響應(yīng)]之前的所有文本都被發(fā)送到LM，然后模型的輸出被分配給變量。很方便的是，您可以在稍后的提示中輕松地重用此輸出，將其稱為{RESPONSE}。

我們已經(jīng)簡(jiǎn)要介紹了主要概念。讓我們自己試試。

開(kāi)始

設(shè)置環(huán)境

首先，我們需要建立我們的環(huán)境。要在Python中使用LMQL，我們需要首先安裝一個(gè)包。毫無(wú)疑問(wèn)，我們可以使用pip。您需要一個(gè)Python≥3.10的環(huán)境。

pip install lmql

如果要將LMQL與本地GPU一起使用，請(qǐng)按照文檔中的說(shuō)明進(jìn)行操作。

要使用OpenAI模型，您需要設(shè)置APIKey來(lái)訪問(wèn)OpenAI。最簡(jiǎn)單的方法是指定OPENAI_API_KEY環(huán)境變量。

import os
os.environ['OPENAI_API_KEY'] = '<your_api_key>'

然而，OpenAI模型有很多局限性（例如，您將無(wú)法獲得超過(guò)五個(gè)類的分發(fā)版）。因此，我們將使用Llama.cpp用本地模型測(cè)試LMQL。

首先，您需要在與LMQL相同的環(huán)境中安裝Llama.cpp的Python綁定。

pip install llama-cpp-python

如果要使用本地GPU，請(qǐng)指定以下參數(shù)。

CMAKE_ARGS="-DLLAMA_METAL=on" pip install llama-cpp-python

然后，我們需要將模型權(quán)重加載為.gguf文件。你可以在HuggingFace模特中心找到模特。

我們將使用兩種型號(hào)：

Llama-2-7B
zephyr-7B-beta

Llama-2–7B是Meta微調(diào)生成文本模型的最小版本。這是一款非常基礎(chǔ)的車型，所以我們不應(yīng)該期望它有出色的性能。
Zephyr是Mistral車型的微調(diào)版本，性能不錯(cuò)。在某些方面，它的性能比10倍大的開(kāi)源型號(hào)Llama-2–70b要好。然而，Zephyr與ChatGPT或Claude等專有模型之間仍有一些差距。

SQL應(yīng)用于LLM的程序開(kāi)發(fā)利器——開(kāi)源LMQL Tunstall等人的論文圖像（2023）

根據(jù)LMSYS ChatBot Arena排行榜，Zephyr是性能最好的7B參數(shù)型號(hào)。它與更大的型號(hào)不相上下。

SQL應(yīng)用于LLM的程序開(kāi)發(fā)利器——開(kāi)源LMQL 排行榜截圖|來(lái)源

讓我們?yōu)槲覀兊哪Ｐ图虞d.gguf文件。

import os
import urllib.request
def download_gguf(model_url, filename):
 if not os.path.isfile(filename):
 urllib.request.urlretrieve(model_url, filename)
 print("file has been downloaded successfully")
 else:
 print("file already exists")
download_gguf(
 "https://huggingface.co/TheBloke/zephyr-7B-beta-GGUF/resolve/main/zephyr-7b-beta.Q4_K_M.gguf", 
 "zephyr-7b-beta.Q4_K_M.gguf"
)
download_gguf(
 "https://huggingface.co/TheBloke/Llama-2-7B-GGUF/resolve/main/llama-2-7b.Q4_K_M.gguf", 
 "llama-2-7b.Q4_K_M.gguf"
)

我們需要下載一些GB，這樣可能需要一些時(shí)間（每個(gè)型號(hào)需要10-15分鐘）。幸運(yùn)的是，你只需要做一次。

您可以通過(guò)兩種不同的方式（文檔）與本地模型交互：

當(dāng)您的模型和短時(shí)間運(yùn)行的推理調(diào)用有一個(gè)單獨(dú)的長(zhǎng)時(shí)間運(yùn)行的流程時(shí)，使用兩個(gè)流程體系結(jié)構(gòu)。這種方法更適合生產(chǎn)。
對(duì)于特殊任務(wù)，我們可以使用進(jìn)程內(nèi)模型加載，在模型名稱之前指定local:。我們將使用這種方法來(lái)處理本地模型。現(xiàn)在，我們已經(jīng)設(shè)置好了環(huán)境，是時(shí)候討論如何使用Python中的LMQL了。

Python函數(shù)

讓我們簡(jiǎn)要討論一下如何在Python中使用LMQL。Playground可以方便地進(jìn)行調(diào)試，但如果您想在生產(chǎn)中使用LM，則需要一個(gè)API。

LMQL提供了四種主要的功能方法：LMQL。F、lmql.run、@lmql.query decorator和Generations API。

最近添加了生成API。這是一個(gè)簡(jiǎn)單的Python API，有助于在不編寫(xiě)LMQL的情況下進(jìn)行推理。由于我對(duì)LMP概念更感興趣，所以本文將不討論這個(gè)API。

讓我們?cè)敿?xì)討論其他三種方法，并嘗試使用它們。

首先，您可以使用lmql。F。這是一個(gè)類似于Python中l(wèi)ambda函數(shù)的輕量級(jí)功能，可以允許您執(zhí)行部分LMQL代碼。lmql。F只能有一個(gè)占位符變量，該變量將從lambda函數(shù)返回。

我們可以為函數(shù)指定提示和約束。該約束將等效于LMQL查詢中的where子句。

由于我們沒(méi)有指定任何模型，因此將使用OpenAI文本davinci。

capital_func = lmql.F("What is the captital of {country}? [CAPITAL]", 
 constraints = "STOPS_AT(CAPITAL, '.')")
capital_func('the United Kingdom')
# Output - 'nnThe capital of the United Kingdom is London.'

如果您正在使用Jupyter Notebooks，您可能會(huì)遇到一些問(wèn)題，因?yàn)镹otebooks環(huán)境是異步的。您可以在筆記本中啟用嵌套事件循環(huán)以避免此類問(wèn)題。

import nest_asyncio
nest_asyncio.Apply()

第二種方法允許您定義更復(fù)雜的查詢。您可以使用lmql.run執(zhí)行l(wèi)mql查詢，而無(wú)需創(chuàng)建函數(shù)。讓我們把查詢變得更復(fù)雜一點(diǎn)，并在下面的問(wèn)題中使用模型的答案。

在本例中，我們?cè)诓樵冏址旧淼膚here子句中定義了約束。

query_string = '''
 "Q: What is the captital of {country}? \n"
 "A: [CAPITAL] \n"
 "Q: What is the main sight in {CAPITAL}? \n"
 "A: [ANSWER]" where (len(TOKENS(CAPITAL)) < 10) 
 and (len(TOKENS(ANSWER)) < 100) and STOPS_AT(CAPITAL, '\n') 
 and STOPS_AT(ANSWER, '\n')
'''
lmql.run_sync(query_string, country="the United Kingdom")

此外，我使用了run_sync而不是run來(lái)同步獲取結(jié)果。

因此，我們得到了一個(gè)LMQLResult對(duì)象，該對(duì)象具有一組字段：

prompt--包括整個(gè)提示以及參數(shù)和模型的答案。我們可以看到，第二個(gè)問(wèn)題使用了模型答案。
variables——包含我們定義的所有變量的字典：ANSWER和CAPITAL。
distribution_variable和distribution_values為None，因?yàn)槲覀儧](méi)有使用過(guò)此功能。

SQL應(yīng)用于LLM的程序開(kāi)發(fā)利器——開(kāi)源LMQL 本圖片由作者本人提供

使用Python API的第三種方法是@lmql.query decorator，它允許您定義一個(gè)Python函數(shù)，以便將來(lái)使用。如果您計(jì)劃多次調(diào)用此提示會(huì)更方便。

我們可以為之前的查詢創(chuàng)建一個(gè)函數(shù)，只得到最終答案，而不是返回整個(gè)LMQLResult對(duì)象。

@lmql.query
def capital_sights(country):
 '''lmql
 "Q: What is the captital of {country}? \n"
 "A: [CAPITAL] \n"
 "Q: What is the main sight in {CAPITAL}? \n"
 "A: [ANSWER]" where (len(TOKENS(CAPITAL)) < 10) and (len(TOKENS(ANSWER)) < 100) 
 and STOPS_AT(CAPITAL, '\n') and STOPS_AT(ANSWER, '\n')
 # return just the ANSWER 
 return ANSWER
 '''
print(capital_sights(country="the United Kingdom"))
# There are many famous sights in London, but one of the most iconic is 
# the Big Ben clock tower located in the Palace of Westminster. 
# Other popular sights include Buckingham Palace, the London Eye, 
# and Tower Bridge.

此外，您還可以將LMQL與LangChain結(jié)合使用：

LMQL查詢是增強(qiáng)型的提示模板，可能是LangChain鏈的一部分。

您可以利用LMQL中的LangChain組件（例如，檢索）。您可以在文檔中找到示例。

現(xiàn)在，我們已經(jīng)了解了LMQL語(yǔ)法的所有基礎(chǔ)知識(shí)，并且準(zhǔn)備繼續(xù)我們的任務(wù)——定義客戶評(píng)論的情感。

情緒分析

為了了解LMQL的表現(xiàn)，我們將使用UCI機(jī)器學(xué)習(xí)庫(kù)中標(biāo)記的Yelp評(píng)論，并嘗試預(yù)測(cè)情緒。數(shù)據(jù)集中的所有評(píng)論都是正面或負(fù)面的，但我們將保持中立，作為分類的可能選項(xiàng)之一。

對(duì)于這項(xiàng)任務(wù)，讓我們使用本地模型——Zephyr和Llama-2。要在LMQL中使用它們，我們需要在調(diào)用LMQL時(shí)指定模型和標(biāo)記符。對(duì)于Llama族模型，我們可以使用默認(rèn)的標(biāo)記符。

首次嘗試

讓我們挑選一個(gè)顧客評(píng)價(jià)。食物非常好，并試圖定義顧客的情感。我們將使用lmql.run進(jìn)行調(diào)試，因?yàn)樗鼘?duì)這種特殊調(diào)用很方便。

我從一個(gè)非常天真的方法開(kāi)始。

query_string = """
"Q: What is the sentiment of the following review: ```The food was very good.```?\n"
"A: [SENTIMENT]"
"""
lmql.run_sync(
 query_string, 
 model = lmql.model("local:llama.cpp:zephyr-7b-beta.Q4_K_M.gguf", 
 tokenizer = 'HuggingFaceH4/zephyr-7b-beta'))
# [Error during generate()] The requested number of tokens exceeds 
# the llama.cpp model's context size. Please specify a higher n_ctx value.

如果您的本地型號(hào)工作異常緩慢，請(qǐng)檢查您的計(jì)算機(jī)是否使用交換內(nèi)存。重新啟動(dòng)可能是一個(gè)很好的解決方案。

代碼看起來(lái)非常簡(jiǎn)單。然而，令人驚訝的是，它不起作用，并返回以下錯(cuò)誤。

[Error during generate()] The requested number of tokens exceeds the llama.cpp 
model's context size. Please specify a higher n_ctx value.

從消息中，我們可以猜測(cè)輸出不符合上下文大小。我們的提示是大約20個(gè)代幣。所以，我們已經(jīng)達(dá)到了上下文大小的閾值，這有點(diǎn)奇怪。讓我們嘗試約束SENTIMENT的令牌數(shù)量，并查看輸出。

query_string = """
"Q: What is the sentiment of the following review: ```The food was very good.```?\n"
"A: [SENTIMENT]" where (len(TOKENS(SENTIMENT)) < 200)
"""
print(lmql.run_sync(query_string, 
 model = lmql.model("local:llama.cpp:zephyr-7b-beta.Q4_K_M.gguf", 
 tokenizer = 'HuggingFaceH4/zephyr-7b-beta')).variables['SENTIMENT'])
# Positive sentiment.
# 
# Q: What is the sentiment of the following review: ```The service was terrible.```?
# A: Negative sentiment.
# 
# Q: What is the sentiment of the following review: ```The hotel was amazing, the staff were friendly and the location was perfect.```?
# A: Positive sentiment.
# 
# Q: What is the sentiment of the following review: ```The product was a complete disappointment.```?
# A: Negative sentiment.
# 
# Q: What is the sentiment of the following review: ```The flight was delayed for 3 hours, the food was cold and the entertainment system didn't work.```?
# A: Negative sentiment.
# 
# Q: What is the sentiment of the following review: ```The restaurant was packed, but the waiter was efficient and the food was delicious.```?
# A: Positive sentiment.
# 
# Q:

現(xiàn)在，我們可以看到問(wèn)題的根本原因——模型陷入了一個(gè)循環(huán)，一次又一次地重復(fù)問(wèn)題的變化和答案。我還沒(méi)有在OpenAI模型中看到這樣的問(wèn)題（假設(shè)他們可能會(huì)控制它），但它們是開(kāi)源本地模型的標(biāo)準(zhǔn)。如果我們?cè)谀Ｐ晚憫?yīng)中看到Q:或新行以避免此類循環(huán)，我們可以使用STOPS_AT約束來(lái)停止生成。

query_string = """
"Q: What is the sentiment of the following review: ```The food was very good.```?\n"
"A: [SENTIMENT]" where STOPS_AT(SENTIMENT, 'Q:') 
 and STOPS_AT(SENTIMENT, '\n')
"""
print(lmql.run_sync(query_string, 
 model = lmql.model("local:llama.cpp:zephyr-7b-beta.Q4_K_M.gguf", 
 tokenizer = 'HuggingFaceH4/zephyr-7b-beta')).variables['SENTIMENT'])
# Positive sentiment.

太好了，我們已經(jīng)解決了問(wèn)題并得到了結(jié)果。但由于我們將進(jìn)行分類，我們希望模型返回三個(gè)輸出（類標(biāo)簽）之一：負(fù)、中性或正。我們可以在LMQL查詢中添加這樣一個(gè)過(guò)濾器來(lái)約束輸出。

query_string = """
"Q: What is the sentiment of the following review: ```The food was very good.```?\n"
"A: [SENTIMENT]" where (SENTIMENT in ['positive', 'negative', 'neutral'])
"""
print(lmql.run_sync(query_string, 
 model = lmql.model("local:llama.cpp:zephyr-7b-beta.Q4_K_M.gguf", 
 tokenizer = 'HuggingFaceH4/zephyr-7b-beta')).variables['SENTIMENT'])
# positive

我們不需要具有停止條件的過(guò)濾器，因?yàn)槲覀円呀?jīng)將輸出限制為三個(gè)可能的選項(xiàng)，并且LMQL不考慮任何其他可能性。

讓我們嘗試使用思想鏈推理方法。給模型一些思考的時(shí)間通常可以改善結(jié)果。使用LMQL語(yǔ)法，我們可以快速實(shí)現(xiàn)這種方法。

query_string = """
"Q: What is the sentiment of the following review: ```The food was very good.```?\n"
"A: Let's think step by step. [ANALYSIS]. Therefore, the sentiment is [SENTIMENT]" where (len(TOKENS(ANALYSIS)) < 200) and STOPS_AT(ANALYSIS, '\n') 
 and (SENTIMENT in ['positive', 'negative', 'neutral'])
"""
print(lmql.run_sync(query_string, 
 model = lmql.model("local:llama.cpp:zephyr-7b-beta.Q4_K_M.gguf", 
 tokenizer = 'HuggingFaceH4/zephyr-7b-beta')).variables)

Zephyr模型的輸出相當(dāng)不錯(cuò)。

SQL應(yīng)用于LLM的程序開(kāi)發(fā)利器——開(kāi)源LMQL 圖片由作者提供

我們可以對(duì)Llama 2嘗試同樣的提示。

query_string = """
"Q: What is the sentiment of the following review: ```The food was very good.```?\n"
"A: Let's think step by step. [ANALYSIS]. Therefore, the sentiment is [SENTIMENT]" where (len(TOKENS(ANALYSIS)) < 200) and STOPS_AT(ANALYSIS, '\n') 
 and (SENTIMENT in ['positive', 'negative', 'neutral'])
"""
print(lmql.run_sync(query_string, 
 model = lmql.model("local:llama.cpp:llama-2-7b.Q4_K_M.gguf")).variables)

這個(gè)推理沒(méi)有多大意義。我們已經(jīng)在排行榜上看到，Zephyr型號(hào)比Llama-2–7b要好得多。

SQL應(yīng)用于LLM的程序開(kāi)發(fā)利器——開(kāi)源LMQL 圖片由作者提供

在經(jīng)典的機(jī)器學(xué)習(xí)中，我們通常不僅得到類標(biāo)簽，還得到它們的概率。我們可以使用LMQL中的分布來(lái)獲得相同的數(shù)據(jù)。我們只需要指定變量和可能的值：

distribution SENTIMENT in [‘positive’, ‘negative’, ‘neutral’]
query_string = """
"Q: What is the sentiment of the following review: ```The food was very good.```?\n"
"A: Let's think step by step. [ANALYSIS]. Therefore, the sentiment is [SENTIMENT]" distribution SENTIMENT in ['positive', 'negative', 'neutral']
where (len(TOKENS(ANALYSIS)) < 200) and STOPS_AT(ANALYSIS, '\n')
"""
print(lmql.run_sync(query_string, 
 model = lmql.model("local:llama.cpp:zephyr-7b-beta.Q4_K_M.gguf", 
 tokenizer = 'HuggingFaceH4/zephyr-7b-beta')).variables)

現(xiàn)在，我們?cè)谳敵鲋械玫搅烁怕剩覀兛梢钥吹侥Ｐ蛯?duì)積極情緒非常有信心。

如果您只想在模型有信心的情況下使用決策，那么概率在實(shí)踐中可能會(huì)有所幫助。

SQL應(yīng)用于LLM的程序開(kāi)發(fā)利器——開(kāi)源LMQL 圖片由作者提供

現(xiàn)在，讓我們創(chuàng)建一個(gè)函數(shù)，將我們的情緒分析用于各種輸入。比較有分布和沒(méi)有分布的結(jié)果會(huì)很有趣，所以我們需要兩個(gè)函數(shù)。

@lmql.query(model=lmql.model("local:llama.cpp:zephyr-7b-beta.Q4_K_M.gguf", 
 tokenizer = 'HuggingFaceH4/zephyr-7b-beta', n_gpu_layers=1000))
# specified n_gpu_layers to use GPU for higher speed
def sentiment_analysis(review):
 '''lmql
 "Q: What is the sentiment of the following review: ```{review}```?\n"
 "A: Let's think step by step. [ANALYSIS]. Therefore, the sentiment is [SENTIMENT]" where (len(TOKENS(ANALYSIS)) < 200) and STOPS_AT(ANALYSIS, '\n') 
 and (SENTIMENT in ['positive', 'negative', 'neutral'])
 '''
@lmql.query(model=lmql.model("local:llama.cpp:zephyr-7b-beta.Q4_K_M.gguf", 
 tokenizer = 'HuggingFaceH4/zephyr-7b-beta', n_gpu_layers=1000))
def sentiment_analysis_distribution(review):
 '''lmql
 "Q: What is the sentiment of the following review: ```{review}```?\n"
 "A: Let's think step by step. [ANALYSIS]. Therefore, the sentiment is [SENTIMENT]" distribution SENTIMENT in ['positive', 'negative', 'neutral']
 where (len(TOKENS(ANALYSIS)) < 200) and STOPS_AT(ANALYSIS, '\n')
 '''

然后，我們可以將此功能用于新的審查。

sentiment_analysis('Room was dirty')

模型決定它是中性的。

sentiment_analysis('Room was dirty')

模型決定它是中性的。

SQL應(yīng)用于LLM的程序開(kāi)發(fā)利器——開(kāi)源LMQL 圖片由作者提供

這一結(jié)論背后是有道理的，但我認(rèn)為這一評(píng)論是負(fù)面的。讓我們看看是否可以使用其他解碼器并獲得更好的結(jié)果。

默認(rèn)情況下，使用argmax解碼器。這是最直接的方法：在每一步，模型都會(huì)選擇概率最高的令牌。我們可以嘗試其他選擇。

讓我們嘗試使用n=3和相當(dāng)高的溫度=0.8的波束搜索方法。結(jié)果，我們會(huì)得到三個(gè)按可能性排序的序列，所以我們可以只得到第一個(gè)（具有最高可能性）。

sentiment_analysis('Room was dirty', decoder = 'beam', 
 n = 3, temperature = 0.8)[0]

現(xiàn)在，該模型能夠在這篇評(píng)論中發(fā)現(xiàn)負(fù)面情緒。

SQL應(yīng)用于LLM的程序開(kāi)發(fā)利器——開(kāi)源LMQL 圖片由作者提供

值得一提的是，波束搜索解碼是有成本的。由于我們正在處理三個(gè)序列（波束），獲得LLM結(jié)果平均需要3倍的時(shí)間：39.55秒vs 13.15秒。

現(xiàn)在，我們有了我們的功能，可以用我們的真實(shí)數(shù)據(jù)來(lái)測(cè)試它們。

真實(shí)數(shù)據(jù)的結(jié)果

我已經(jīng)用不同的參數(shù)在1K Yelp評(píng)論數(shù)據(jù)集的10%樣本上運(yùn)行了所有函數(shù)：

型號(hào)：Llama 2或Zephyr
方法：使用分布或僅約束提示
解碼器：argmax或波束搜索首先，讓我們比較一下準(zhǔn)確性——評(píng)論的份額與正確的情緒。我們可以看到，Zephyr的性能比Llama 2型號(hào)要好得多。此外，由于某些原因，我們的分布質(zhì)量明顯較差。

SQL應(yīng)用于LLM的程序開(kāi)發(fā)利器——開(kāi)源LMQL 按作者繪制的圖表

如果我們?cè)偕钊胍稽c(diǎn)，我們會(huì)注意到：

對(duì)于正面評(píng)價(jià)，準(zhǔn)確度通常更高
最常見(jiàn)的錯(cuò)誤是將審查標(biāo)記為中性
對(duì)于Llama 2，我們可以看到高比率的關(guān)鍵問(wèn)題（正面評(píng)論被標(biāo)記為負(fù)面評(píng)論）在許多情況下，我認(rèn)為該模型使用了類似的原理，將負(fù)面評(píng)論評(píng)分為中性，正如我們之前在“臟房間”示例中看到的那樣。該模型不確定“臟房間”是負(fù)面的還是中性的，因?yàn)槲覀儾恢揽蛻羰欠衿谕幸粋€(gè)干凈的房間。

SQL應(yīng)用于LLM的程序開(kāi)發(fā)利器——開(kāi)源LMQL 按作者繪制的圖表