最近這段時(shí)間小編陸續(xù)收到粉絲們的私信，提到的最多的問題就是有沒有非常優(yōu)秀的開源項(xiàng)目推薦，有沒有AI相關(guān)的開源項(xiàng)目推薦，有沒有的ChatGPT開源項(xiàng)目推薦等等。說句話實(shí)話，優(yōu)化開源項(xiàng)目不是那么容易能找到，不是百里挑一，那也是幾十挑一。即使找到了還得自身要了解，而且還得抽空搭建部署成功后，才整理出來分享給粉絲們。
小編也是隨著粉絲們的意愿，百忙之中精選了9個(gè)優(yōu)秀的Github 開源項(xiàng)目，希望對(duì)大家學(xué)習(xí)有所幫助。
全文大綱
- transformers 提供了數(shù)以千計(jì)的預(yù)訓(xùn)練模型
- Open Chat Video Editor 是開源的短視頻生成和編輯工具
- yuzu 是基于 C++ 的 Switch 模擬器
- Ryujinx 是基于 C# 的任天堂 Switch 模擬器
- Chat2DB 一個(gè)集成了AIGC的數(shù)據(jù)庫(kù)客戶端工具
- privateGPT 你的私人 GPT
- WebCPM 一個(gè)使用中文預(yù)訓(xùn)練模型進(jìn)行互動(dòng)網(wǎng)頁(yè)搜索的項(xiàng)目
- gpt4free 變相「開源」GPT-4
- ChatGPT-Prompt-Engineering-for-Developers-in-Chinese 面向開發(fā)者的 ChatGPT 提示詞工程
transformers 提供了數(shù)以千計(jì)的預(yù)訓(xùn)練模型
官網(wǎng)：https://huggingface.co
Github：https://github.com/huggingface/transformers
Hugging Face 官網(wǎng)
Hugging Face，作為 AI 開源圈最為知名的「網(wǎng)紅」創(chuàng)業(yè)公司，成立僅幾年，便在 GitHub 開源了諸多實(shí)用開源項(xiàng)目，受到了不少開發(fā)者的贊賞。
其中影響力最大的，也被很多人稱為初代 GPT 的 Transformers，截至今天，GitHub Star 累積將近 10 萬(wàn)。
這幾年，在 Hugging Face 平臺(tái)上面誕生了無數(shù)實(shí)用的 AI 預(yù)訓(xùn)練模型、數(shù)據(jù)集。數(shù)量之多，品質(zhì)之高，將其說是 AI 界的 GitHub 也不為過。
今天凌晨，Hugging Face 重磅推出 Transformers Agents，在 AI 技術(shù)圈再次掀起波瀾！
所有人都可以基于該功能，輕松使用 OpenAssistant、StarCoder、OpenAI 等大語(yǔ)言模型，快速創(chuàng)建一個(gè) AI 智能代理。
Transformers 提供了數(shù)以千計(jì)的預(yù)訓(xùn)練模型，支持 100 多種語(yǔ)言的文本分類、信息抽取、問答、摘要、翻譯、文本生成。它的宗旨是讓最先進(jìn)的 NLP 技術(shù)人人易用。
Transformers 提供了便于快速下載和使用的API，讓你可以把預(yù)訓(xùn)練模型用在給定文本、在你的數(shù)據(jù)集上微調(diào)然后通過 model hub 與社區(qū)共享。同時(shí)，每個(gè)定義的 Python/ target=_blank class=infotextkey>Python 模塊均完全獨(dú)立，方便修改和快速研究實(shí)驗(yàn)。
Transformers 支持三個(gè)最熱門的深度學(xué)習(xí)庫(kù)： Jax, PyTorch 以及 TensorFlow — 并與之無縫整合。你可以直接使用一個(gè)框架訓(xùn)練你的模型然后用另一個(gè)加載和推理。
為什么要用 transformers？
- 便于使用的先進(jìn)模型：
- NLU 和 NLG 上表現(xiàn)優(yōu)越
- 對(duì)教學(xué)和實(shí)踐友好且低門檻
- 高級(jí)抽象，只需了解三個(gè)類
- 對(duì)所有模型統(tǒng)一的API
- 更低計(jì)算開銷，更少的碳排放：
- 研究人員可以分享已訓(xùn)練的模型而非每次從頭開始訓(xùn)練
- 工程師可以減少計(jì)算用時(shí)和生產(chǎn)環(huán)境開銷
- 數(shù)十種模型架構(gòu)、兩千多個(gè)預(yù)訓(xùn)練模型、100多種語(yǔ)言支持
- 對(duì)于模型生命周期的每一個(gè)部分都面面俱到：
- 訓(xùn)練先進(jìn)的模型，只需 3 行代碼
- 模型在不同深度學(xué)習(xí)框架間任意轉(zhuǎn)移，隨你心意
- 為訓(xùn)練、評(píng)估和生產(chǎn)選擇最適合的框架，銜接無縫
- 為你的需求輕松定制專屬模型和用例：
- 我們?yōu)槊糠N模型架構(gòu)提供了多個(gè)用例來復(fù)現(xiàn)原論文結(jié)果
- 模型內(nèi)部結(jié)構(gòu)保持透明一致
- 模型文件可單獨(dú)使用，方便魔改和快速實(shí)驗(yàn)
什么情況下我不該用 transformers？
- 本庫(kù)并不是模塊化的神經(jīng)網(wǎng)絡(luò)工具箱。模型文件中的代碼特意呈若璞玉，未經(jīng)額外抽象封裝，以便研究人員快速迭代魔改而不致溺于抽象和文件跳轉(zhuǎn)之中。
- Trainer API 并非兼容任何模型，只為本庫(kù)之模型優(yōu)化。若是在尋找適用于通用機(jī)器學(xué)習(xí)的訓(xùn)練循環(huán)實(shí)現(xiàn)，請(qǐng)另覓他庫(kù)。
- 盡管我們已盡力而為，examples 目錄中的腳本也僅為用例而已。對(duì)于你的特定問題，它們并不一定開箱即用，可能需要改幾行代碼以適之。
Transformers Agents 里面提供了諸多實(shí)用的工具，包括目前 AI 技術(shù)應(yīng)用廣泛的文檔問答、文本轉(zhuǎn)語(yǔ)音、文本生成圖像、網(wǎng)站內(nèi)容總結(jié)、圖像分割等一系列工具。
開發(fā)者只需完成工具鏈組裝，即可實(shí)現(xiàn)許多強(qiáng)大的功能。
比如，你可以通過它，快速實(shí)現(xiàn)這么一個(gè)功能：
用腳本根據(jù)鏈接，自動(dòng)抓取某篇文章內(nèi)容，并生成摘要，再將其翻譯成任意一種語(yǔ)言，讓 AI 朗讀稿件，有需要的話，你還可以讓代理為你生成一張配圖。
一個(gè)基于 AI 能力，可快速報(bào)道各種新鮮資訊的播客系統(tǒng)，便能橫空出世！
如下圖：
transformers 實(shí)現(xiàn)流程圖
Open Chat Video Editor
Github：https://github.com/SCUTlihaoyu/open-chat-video-editor
Open Chat Video Editor 是基于 AI 的短視頻創(chuàng)作工具，解放你的生產(chǎn)力?；?ChatGPT、Alpaca 等大模型，可以將短文本、網(wǎng)頁(yè)鏈接一鍵轉(zhuǎn)成短視頻。
如下圖是技術(shù)框架圖：整體流程是將短文本輸入到模型，來生成文案。通過圖像搜索、圖像 AI 生成技術(shù)來尋找配圖，通過視頻搜索、視頻生成等技術(shù)來找合適的視頻片段，最終通過語(yǔ)音合成、BGM 匹配、字幕合成打造一個(gè)短視頻作品。
Open Chat Video Editor是開源的短視頻生成和編輯工具，整體技術(shù)框架如下：
Open Chat Video Editor 技術(shù)框架
特性
- windows、linux不同系統(tǒng)更方便的install指引
- 創(chuàng)建Docker，方便大家一鍵使用
- 能夠在線直接快速體驗(yàn)的url
- 在短視頻文案數(shù)據(jù)上對(duì)文本模型f.NETune,支持更多的文案風(fēng)格
- finetune SD模型，提升圖像和視頻的生成效果
目前具有以下特點(diǎn)：
- 1）一鍵生成可用的短視頻，包括：配音、背景音樂、字幕等。
- 2）算法和數(shù)據(jù)均基于開源項(xiàng)目，方便技術(shù)交流和學(xué)習(xí)
- 3）支持多種輸入數(shù)據(jù)，方便對(duì)各種各樣的數(shù)據(jù)，一鍵轉(zhuǎn)短視頻，目前支持：
- 短句轉(zhuǎn)短視頻（Text2Video）: 根據(jù)輸入的簡(jiǎn)短文字，生成短視頻文案，并合成短視頻
- 網(wǎng)頁(yè)鏈接轉(zhuǎn)短視頻（Url2Video）: 自動(dòng)對(duì)網(wǎng)頁(yè)的內(nèi)容進(jìn)行提取，生成視頻文案，并生成短視頻
- 長(zhǎng)視頻轉(zhuǎn)短視頻（Long Video to Short Video）: 對(duì)輸入的長(zhǎng)視頻進(jìn)行分析和摘要，并生成短視頻
- 4）涵蓋生成模型和多模態(tài)檢索模型等多種主流算法和模型，如: Chatgpt,Stable Diffusion,CLIP 等
文本生成上，支持：
- ChatGPT
- BELLE
- Alpaca
- Dolly 等多種模型
視覺信息生成上，支持圖像和視頻兩種模態(tài)，生成方式上，支持檢索和生成兩種模型，目前共有6種模式：
- 圖像檢索
- 圖像生成（stable diffusion）
- 先圖像檢索，再基于stable diffusion 進(jìn)行圖像生成
- 視頻檢索
- 視頻生成（stable diffusion）
- 視頻檢索后，再基于stable diffusion 進(jìn)行視頻生成
效果圖如下：
短句轉(zhuǎn)短視頻
yuzu 是基于 C++ 的 Switch 模擬器
官網(wǎng)：https://yuzu-emu.org/
Github： https://github.com/yuzu-emu/yuzu
yuzu是世界上最受歡迎的開源任天堂Switch模擬器，由Citra的創(chuàng)建者創(chuàng)建。
它是用C++編寫的，考慮到了可移植性，我們積極維護(hù)Windows和Linux的構(gòu)建。
應(yīng)該是因?yàn)?塞爾達(dá)·王國(guó)之類 游戲的發(fā)布， Switch 模擬器相關(guān)的開源項(xiàng)目都登上了 GitHub 熱榜。
yuzu 是基于 C++ 的 Switch 模擬器，能夠在 Windows、Linux 上運(yùn)行模擬 Switch 游戲，目前已經(jīng)獲得了 26K 的 Star。
Ryujinx 是基于 C# 的任天堂 Switch 模擬器
官網(wǎng)：https://ryujinx.org/
Github： https://github.com/Ryujinx/Ryujinx
應(yīng)該是因?yàn)?塞爾達(dá)·王國(guó)之類 游戲的發(fā)布， Switch 模擬器相關(guān)的開源項(xiàng)目都登上了 GitHub 熱榜。
其中，Ryujinx 是基于 C# 的任天堂 Switch 模擬器，通過這個(gè)模擬器你能在 Windows 上玩 Switch 上的游戲，目前已經(jīng)獲得了 21.7K 的 Star。
Chat2DB 一個(gè)集成了AIGC的數(shù)據(jù)庫(kù)客戶端工具
官網(wǎng)：http://www.sqlgpt.cn/
Github：https://github.com/alibaba/Chat2DB
Chat2DB 是一款有開源免費(fèi)的多數(shù)據(jù)庫(kù)客戶端工具，支持windows、mac本地安裝，也支持服務(wù)器端部署，web網(wǎng)頁(yè)訪問。和傳統(tǒng)的數(shù)據(jù)庫(kù)客戶端軟件Navicat、DBeaver 相比Chat2DB集成了AIGC的能力，能夠?qū)⒆匀徽Z(yǔ)言轉(zhuǎn)換為SQL，也可以將SQL轉(zhuǎn)換為自然語(yǔ)言，可以給出研發(fā)人員SQL的優(yōu)化建議，極大的提升人員的效率，是AI時(shí)代數(shù)據(jù)庫(kù)研發(fā)人員的利器，未來即使不懂SQL的運(yùn)營(yíng)業(yè)務(wù)也可以使用快速查詢業(yè)務(wù)數(shù)據(jù)、生成報(bào)表能力。
?特性
- AI智能助手，支持自然語(yǔ)言轉(zhuǎn)SQL、SQL轉(zhuǎn)自然語(yǔ)言、SQL優(yōu)化建議
- 支持團(tuán)隊(duì)協(xié)作，研發(fā)無需知道線上數(shù)據(jù)庫(kù)密碼，解決企業(yè)數(shù)據(jù)庫(kù)賬號(hào)安全問題
- ?? 強(qiáng)大的數(shù)據(jù)管理能力，支持?jǐn)?shù)據(jù)表、視圖、存儲(chǔ)過程、函數(shù)、觸發(fā)器、索引、序列、用戶、角色、授權(quán)等管理
- 強(qiáng)大的擴(kuò)展能力，目前已經(jīng)支持MySQL、PostgreSQL、Oracle、SQLServer、ClickHouse、OceanBase、H2、SQLite等等，未來會(huì)支持更多的數(shù)據(jù)庫(kù)
- 前端使用 Electron 開發(fā)，提供 Windows、Mac、Linux 客戶端、網(wǎng)頁(yè)版本一體化的解決方案
- 支持環(huán)境隔離、線上、日常數(shù)據(jù)權(quán)限分離
privateGPT 你的私人 GPT
Github：https://github.com/imartinez/privateGPT
privateGPT 開源兩周，便斬獲了 10K 的 Star?？梢栽陔x線的情況下，使用 GPT 來處理你的私人文檔，完全不需要網(wǎng)絡(luò)，本地化運(yùn)行。
讓 privateGPT 處理你的文檔，然后就能通過對(duì)話的方式讓 GPT 分析文檔給出答案。
WebCPM 一個(gè)使用中文預(yù)訓(xùn)練模型進(jìn)行互動(dòng)網(wǎng)頁(yè)搜索的項(xiàng)目
Github：https://github.com/thunlp/WebCPM
2021 年 12 月，OpenAI 正式推出 WebGPT，該項(xiàng)目的橫空出世，標(biāo)志著基于網(wǎng)頁(yè)搜索的問答新范式的誕生。
在此之后，New Bing 首先將網(wǎng)頁(yè)搜索功能整合發(fā)布，隨后 OpenAI 也發(fā)布了支持聯(lián)網(wǎng)的插件 ChatGPT Plugins。
大模型在聯(lián)網(wǎng)功能的加持下，回答問題的實(shí)時(shí)性和準(zhǔn)確性都得到了飛躍式增強(qiáng)。
近期，面壁智能聯(lián)合來自清華、人大、騰訊的研究人員共同發(fā)布了 中文領(lǐng)域首個(gè)基于交互式網(wǎng)頁(yè)搜索的問答開源模型框架 WebCPM，相關(guān)工作錄用于自然語(yǔ)言處理頂級(jí)會(huì)議 ACL 2023。
WebCPM 是面壁智能自研大模型工具學(xué)習(xí)引擎 BMTools 的首個(gè)成功實(shí)踐，其特點(diǎn)在于其信息檢索基于交互式網(wǎng)頁(yè)搜索，能夠像人類一樣與搜索引擎交互從而收集回答問題所需要的事實(shí)性知識(shí)并生成答案。
WebCPM 背后的基礎(chǔ)模型 CPM 是由面壁智能與 OpenBMB 開源社區(qū)開發(fā)的百億參數(shù)中文語(yǔ)言模型，占據(jù)多個(gè)中文領(lǐng)域語(yǔ)言模型排行榜前列。
WebCPM 研究背景
在當(dāng)今信息化時(shí)代，人們?cè)谌粘Ｉ詈凸ぷ髦?，需要不斷地獲取各種知識(shí)和信息，而這些信息往往分散在互聯(lián)網(wǎng)上的海量數(shù)據(jù)中。
如何快速、準(zhǔn)確地獲取這些信息，并且對(duì)這些信息進(jìn)行合理的整合，從而回答復(fù)雜、開放式問題，是一個(gè)極具挑戰(zhàn)性的問題。長(zhǎng)文本開放問答（Long-form Question Answering, LFQA）模型就是為了回答這種復(fù)雜的問題而設(shè)計(jì)的。
目前的 LFQA 解決方案通常采用 檢索-綜合 范式，包括信息檢索和信息綜合兩個(gè)核心環(huán)節(jié)。信息檢索環(huán)節(jié)從外部知識(shí)源（如搜索引擎）中搜索多樣化的相關(guān)支持事實(shí)，信息綜合環(huán)節(jié)則將搜集到的事實(shí)整合成一個(gè)連貫的答案。
然而，傳統(tǒng)的 LFQA 范式存在一個(gè)缺陷：它通常依賴于非交互式的檢索方法，即 僅使用原始問題作為查詢語(yǔ)句來檢索信息。
相反，人類能夠通過與搜索引擎 實(shí)時(shí)交互 來進(jìn)行網(wǎng)頁(yè)搜索而篩選高質(zhì)量信息。對(duì)于復(fù)雜問題，人類往往將其分解成多個(gè)子問題并依次提問。通過識(shí)別和瀏覽相關(guān)信息，人類逐漸完善對(duì)原問題的理解，并不斷查詢新問題來搜索更多樣的信息。
這種迭代的搜索過程有助于擴(kuò)大搜索范圍，提高搜索結(jié)果質(zhì)量。總體而言，交互式網(wǎng)頁(yè)搜索不僅為我們提供了獲取多樣化信息來源的途徑，同時(shí)也反映了人類解決問題的認(rèn)知過程，從而提高了可解釋性。
2021 年 12 月 OpenAI 發(fā)布 WebGPT，這是支持 LFQA 的交互式網(wǎng)頁(yè)搜索的一項(xiàng)先驅(qū)性工作。
作者首先構(gòu)建了一個(gè)由微軟必應(yīng)搜索（Bing）支持的網(wǎng)頁(yè)搜索界面，然后招募標(biāo)注員使用該界面收集信息來回答問題。
之后，他們微調(diào) GPT-3 模型，讓其模仿人類的搜索行為，并將收集到的信息整理成答案。實(shí)驗(yàn)結(jié)果顯示，WebGPT 在 LFQA 任務(wù)具備出色的能力，甚至超過了人類專家。
同時(shí)，WebGPT 也是微軟近期推出的 New Bing 背后的新一代搜索技術(shù)。
盡管效果十分驚人，但 WebGPT 、New Bing 對(duì)學(xué)術(shù)圈和工業(yè)界來說仍然充滿神秘感。這是因?yàn)?WebGPT 的相關(guān)細(xì)節(jié)并未完全公開，其核心設(shè)計(jì)元素的工作原理也不透明。
鑒于當(dāng)前交互式網(wǎng)頁(yè)搜索的重要價(jià)值，我們迫切需要一個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集與相關(guān)的開源模型以支持后續(xù)研究。
WebCPM 搜索交互界面和數(shù)據(jù)集
WebCPM 搜索交互界面和數(shù)據(jù)集
為推動(dòng)相關(guān)領(lǐng)域發(fā)展，這篇 ACL 論文的研究團(tuán)隊(duì)首先構(gòu)建了一個(gè) 開源的交互式網(wǎng)頁(yè)搜索界面，用于記錄人類為開放式問題收集相關(guān)信息時(shí)的網(wǎng)頁(yè)搜索行為。
該界面底層調(diào)用必應(yīng)搜索 API 支持網(wǎng)頁(yè)搜索功能，囊括 10 種主流網(wǎng)頁(yè)搜索操作（如點(diǎn)擊頁(yè)面、返回等等）。
在這個(gè)界面中，用戶可以執(zhí)行預(yù)定義的操作來進(jìn)行多輪搜索和瀏覽。在找到網(wǎng)頁(yè)上的相關(guān)信息時(shí)，他們可以將其作為支持事實(shí)記錄下來。
當(dāng)收集到足夠的信息后，用戶可以完成網(wǎng)頁(yè)搜索，并根據(jù)收集到的事實(shí)來回答問題。同時(shí)，界面會(huì)自動(dòng)記錄用戶的網(wǎng)頁(yè)瀏覽行為，用于構(gòu)建 WebCPM 數(shù)據(jù)集。
WebCPM 數(shù)據(jù)集與相關(guān)問答數(shù)據(jù)集的比較
基于這個(gè)界面，作者構(gòu)建了中文領(lǐng)域首個(gè)基于交互式網(wǎng)頁(yè)搜索的 LFQA 數(shù)據(jù)集。
它包含 5,500 對(duì)高質(zhì)量的問題-答案對(duì)以及十萬(wàn)多條真實(shí)用戶網(wǎng)頁(yè)搜索行為。與現(xiàn)有的中文問答數(shù)據(jù)集相比，WebCPM 的問題、支持事實(shí)和答案都更長(zhǎng)，體現(xiàn)了其問題的復(fù)雜性和答案內(nèi)容的豐富性。
WebCPM 模型框架
作者提出了的 WebCPM 框架包括：（1）搜索模型與（2）答案綜合模型。
WebCPM 模型框架
搜索模型
該模型模仿人類網(wǎng)頁(yè)搜索行為、與搜索引擎交互并進(jìn)行信息檢索。作者將網(wǎng)頁(yè)搜索任務(wù)劃分為 3 個(gè)子任務(wù)：
- 搜索行為預(yù)測(cè)（action prediction）；
- 查詢語(yǔ)句生成（search query generation）；
- 支持事實(shí)摘要（supporting fact extraction）。
答案綜合模型
該模型根據(jù)原問題與收集到的事實(shí)生成連貫的答案。然而與人類不同，經(jīng)過訓(xùn)練的搜索模型偶爾會(huì)收集到不相關(guān)的噪聲，這將影響生成答案的質(zhì)量。
為了解決這一問題，作者在答案綜合模型的訓(xùn)練數(shù)據(jù)中引入噪聲，使其具備一定的去噪的能力，從而忽略不相關(guān)的事實(shí)，只關(guān)注重要的事實(shí)以生成答案。
WebCPM 實(shí)驗(yàn)評(píng)測(cè)
作者首先對(duì)每個(gè)子模塊分別評(píng)估，然后，將所有模塊組合起來形成整體的 pipeline，并測(cè)試其效果。最后，作者對(duì)每個(gè)模塊的性能進(jìn)行深入分析。
單個(gè)子任務(wù)的性能評(píng)估結(jié)果，作者測(cè)試了包括 CPM 模型在內(nèi)的多個(gè)有代表性的中文大模型
- 單個(gè)子任務(wù)評(píng)估
作者測(cè)試了多個(gè)有代表性的中文大模型，并得出以下結(jié)論（結(jié)果如上圖所示）：不同模型在四個(gè)子任務(wù)上的性能各有優(yōu)劣。
例如在搜索行為預(yù)測(cè)、查詢語(yǔ)句生成和支持事實(shí)摘要中，mT0 的表現(xiàn)優(yōu)于 mT5，但在綜合信息方面表現(xiàn)較差。
此外，CPM 系列模型的性能隨著模型參數(shù)量的增加也不斷提高。得益于 scaling law ，更大的模型通常擁有更強(qiáng)的理解和生成能力，能表現(xiàn)出更好的下游任務(wù)性能。
- 整體 pipeline 評(píng)測(cè)
對(duì)于每個(gè)測(cè)試問題，作者比較了模型（CPM 10B 模型）和人類用戶使用搜索引擎回答問題和做相同任務(wù)的表現(xiàn)，并進(jìn)行人工評(píng)測(cè)。
具體而言，給定一個(gè)問題和模型與人類分別給出的答案，標(biāo)注員將根據(jù)多個(gè)因素（包括答案整體實(shí)用性、連貫性和與問題的相關(guān)性）決定哪個(gè)答案更好。
從下圖(a)的結(jié)果可以得出以下結(jié)論：模型生成的答案在 30%+ 的情況下與人寫的答案相當(dāng)或更優(yōu)。
這個(gè)結(jié)果表明整個(gè)問答系統(tǒng)的性能在未來仍有巨大的提升空間（例如訓(xùn)練性能更加強(qiáng)大的基底模型）；當(dāng)將人工收集的事實(shí)應(yīng)用于信息綜合模型時(shí)，性能提高到了45%，這可以歸因于收集的事實(shí)質(zhì)量的提高。
整體 pipeline 評(píng)測(cè)效果，作者測(cè)試了 WebCPM 數(shù)據(jù)集和 DuReader 數(shù)據(jù)集
此外，作者也將整體 pipeline 應(yīng)用于 DuReader 中文 QA 數(shù)據(jù)集（包含 Zhidao 和 Search 兩個(gè)子數(shù)據(jù)集），并比較了模型生成的答案和人工標(biāo)注的答案，從上圖(b)可以觀察到模型生成的答案比 DuReader 標(biāo)注答案更好的情況接近 50%，這反映了該模型強(qiáng)大的泛化能力，體現(xiàn)了WebCPM 數(shù)據(jù)標(biāo)注的高質(zhì)量。
WebCPM 案例分析
為了探究查詢模塊所學(xué)習(xí)到的人類行為，作者抽樣不同測(cè)試問題生成的查詢語(yǔ)句來進(jìn)行案例分析。下圖展示了部分結(jié)果，以研究查詢模塊的性能。
可以看出，該模塊已經(jīng)學(xué)會(huì)了復(fù)制原始問題，將問題分解為多個(gè)子問題，用相關(guān)術(shù)語(yǔ)改寫問題等多種人類搜索策略。這些策略使查詢語(yǔ)句更加多樣化，有助于從更多的來源收集更豐富的信息。
WebCPM 成功實(shí)踐 BMTools
近年來，大模型在諸多領(lǐng)域展現(xiàn)出驚人的應(yīng)用價(jià)值，持續(xù)刷新各類下游任務(wù)的效果上限。盡管大模型在很多方面取得了顯著的成果，但在特定領(lǐng)域的任務(wù)上，仍然存在一定的局限性。
這些任務(wù)往往需要專業(yè)化的工具或領(lǐng)域知識(shí)才能有效解決。因此，大模型需要具備調(diào)用各種專業(yè)化工具的能力，這樣才能為現(xiàn)實(shí)世界任務(wù)提供更為全面的支持。
gpt4free 變相「開源」GPT-4
官網(wǎng)：
https://discord.gg/gpt4free
Github：https://github.com/xtekky/gpt4free
圖片來自網(wǎng)絡(luò)
眾所周知，ChatGPT 是免費(fèi)的，但想嘗試最新最強(qiáng)的 GPT-4，基本上就只有「氪金」這一條路可以走——
要么訂閱 ChatGPT Plus，要么付費(fèi)調(diào)用 API。
雖然也有一些集成了 GPT 的網(wǎng)站，比如微軟的必應(yīng)、You.com 等，但他們多少都會(huì)夾帶點(diǎn)私貨。
那么，如果想體驗(yàn)更加原生的 GPT-4，但又不想花錢怎么辦？
最近，一個(gè)名為 GPT 4 Free 項(xiàng)目橫空出世。不僅在 GitHub 上斬獲 18.5 k 星，而且登上了 Trending 周榜。
然而，制作這個(gè)項(xiàng)目的 CS 學(xué)生 Xtekky 卻表示，OpenAI 現(xiàn)在要求他在五天內(nèi)關(guān)閉整個(gè)項(xiàng)目，否則將面臨訴訟。
這其中的矛盾在于，GPT 4 Free 所使用的這些網(wǎng)站本身，都是給 OpenAI 支付了大量費(fèi)用，才用上的 GPT 模型。
因此，通過腳本進(jìn)來的查詢，網(wǎng)站不僅要掏腰包買單，而且自己還沒得到任何流量。
如果這個(gè)網(wǎng)站是依靠廣告收入來抵消 API 使用成本的話，那么這一通操作下來，就有可能會(huì)賠錢。
變相「開源」GPT-4
現(xiàn)在，想要用上 GPT-4，除了直接充會(huì)員外，就只能排隊(duì)等 API，然后繼續(xù)氪金……
而 GPT 4 Free，則可以讓我們通過 You.com、Quora 和 CoCalc 等網(wǎng)站，免費(fèi)使(bai)用(piao)GPT-4 和 GPT-3.5 模型。
同時(shí)，GPT 4 Free 配置起來也非常簡(jiǎn)單。
首先，在電腦上的 WSL 2（Windows Subsystem for Linux）安裝 GPT 4 Free。這只需要幾分鐘，包括克隆 GitHub 倉(cāng)庫(kù)，使用 pip 安裝一些必需的庫(kù)，以及運(yùn)行一個(gè) Python 腳本。
啟動(dòng)腳本后，使用瀏覽器訪問 http://localhost:8501，就可以獲得一個(gè)聊天機(jī)器人了。
ChatGPT-Prompt-Engineering-for-Developers-in-Chinese 面向開發(fā)者的 ChatGPT 提示詞工程
Github：https://github.com/GitHubDaily/ChatGPT-Prompt-Engineering-for-Developers-in-Chinese
ChatGPT 上線至今，已經(jīng)快 5 個(gè)月了，但是不少人還沒真正掌握它的使用技巧。
其實(shí)，ChatGPT 的難點(diǎn)，在于 Prompt（提示詞）的編寫，OpenAI 創(chuàng)始人在今年 2 月時(shí)，在 Twitter 上說：「能夠出色編寫 Prompt 跟聊天機(jī)器人對(duì)話，是一項(xiàng)能令人驚艷的高杠桿技能」。
因?yàn)閺?ChatGPT 發(fā)布之后，如何寫好 Prompt 已經(jīng)成為了一個(gè)分水嶺。熟練掌握 Prompt 編寫的人，能夠很快讓 ChatGPT 理解需求，并很好的執(zhí)行任務(wù)。
目前你在網(wǎng)上看到的所有 AI 助理、智能翻譯、角色扮演，本質(zhì)上還是通過編寫 Prompt 來實(shí)現(xiàn)。
只要你的 Prompt 寫的足夠好，ChatGPT 可以幫你快速完成很多工作，包括寫爬蟲腳本、金融數(shù)據(jù)分析、文案潤(rùn)色與翻譯等等，并且這些工作還做的比一般人出色。
之前我經(jīng)常聽到有同學(xué)抱怨，說 ChatGPT 也就那樣，我說一句他回一句，并沒有網(wǎng)上說的那么厲害，其實(shí)，你確定真正掌握 Prompt 應(yīng)用了嗎？
打個(gè)比方，至今還有不少人，不知道在給 ChatGPT 提供代碼或者翻譯文本時(shí)，需要使用引號(hào)分隔符來傳給 ChatGPT，讓它輸出更準(zhǔn)確的結(jié)果。
為了幫助大家能更好的掌握 Prompt 工程，DeepLearning.ai 創(chuàng)始人吳恩達(dá)與 OpenAI 開發(fā)者 Iza Fulford 聯(lián)手推出了一門面向開發(fā)者的技術(shù)教程：《ChatGPT 提示工程》。
吳恩達(dá)老師相信大家都有所耳聞，作為人工智能界的重量級(jí)大佬，我們經(jīng)常能在 AI 技術(shù)界看到他活躍的身影。
另一位講師 Iza Fulford，大家可能不太熟悉，這里重點(diǎn)介紹下。
她是斯坦福本碩高材生，ChatGPT 之前在 GitHub 開源的那個(gè)文檔搜索插件：Retrieval，就是出自她之手。
另外，她還是 OpenAI Cookbook（官方手冊(cè)）的編撰者，如果你最近有深入了解過 GPT 相關(guān)的技術(shù)，那這本手冊(cè)于你而言應(yīng)該不會(huì)陌生。
該手冊(cè)里面提供了大量 GPT 相關(guān)的使用案例，能幫助你快速上手并掌握 GPT 模型的開發(fā)與應(yīng)用。
可以說，這兩位大佬聯(lián)手，推出的教程絕對(duì)不會(huì)差。更令人振奮的是，這個(gè)教程完全對(duì)外開放，所有人均可免費(fèi)學(xué)習(xí)！
那么，這個(gè)教程里面主要講了什么內(nèi)容呢？
該教程總共分為 9 個(gè)章節(jié)，總一個(gè)多小時(shí)，里面主要涵蓋：提示詞最佳實(shí)踐、評(píng)論情感分類、文本總結(jié)、郵件撰寫、文本翻譯、快速搭建一個(gè)聊天機(jī)器人等等。
所以當(dāng)下 ChatGPT 的流行案例，你都能在這個(gè)教程里面找到，十分全面！
除了能在這個(gè)教程里面學(xué)到如何使用 Prompt，你還能學(xué)到 GPT 接口調(diào)用開發(fā)知識(shí)。有需要的話，你甚至能在這個(gè)教程之上去延伸擴(kuò)展，搭建出一款令人驚艷的應(yīng)用。
目前該教程已經(jīng)在 DeepLearning.ai 正式上線，官網(wǎng)上線提供了可交互式的 Notebook，讓你可以一邊學(xué)習(xí)，一邊跟著編寫代碼實(shí)踐。
不過當(dāng)下這個(gè)教程只有英文版，為了讓看不懂英文的同學(xué)也能第一時(shí)間學(xué)習(xí)并掌握這項(xiàng)技術(shù)。
