網(wǎng)絡(luò)安全專家已經(jīng)證明，問題的關(guān)鍵點(diǎn)在于 ChatGPT 和其他大型語言模型（LLM）生成多態(tài)或變異代碼以規(guī)避端點(diǎn)檢測和響應(yīng)(EDR)系統(tǒng)的能力。
ChatGPT 自去年年底發(fā)布以來，在全球范圍都引起了轟動(dòng)。但 ChatGPT 在消費(fèi)者和 IT 專業(yè)人士中的受歡迎程度同時(shí)也激起了系統(tǒng)漏洞被利用的網(wǎng)絡(luò)安全噩夢。網(wǎng)絡(luò)安全專家已經(jīng)證明，問題的關(guān)鍵點(diǎn)在于 ChatGPT 和其他大型語言模型（LLM）生成多態(tài)或變異代碼以規(guī)避端點(diǎn)檢測和響應(yīng)(EDR)系統(tǒng)的能力。
最近的一系列概念驗(yàn)證攻擊展示了如何創(chuàng)建一個(gè)看似良性的可執(zhí)行文件，以便在運(yùn)行時(shí)，它能對 ChatGPT 進(jìn)行 API 調(diào)用。除了復(fù)制已經(jīng)編寫的代碼片段的示例，ChatGPT 還可以在提示下生成惡意代碼的動(dòng)態(tài)、變異版本，從而使網(wǎng)絡(luò)安全工具難以檢測到由此產(chǎn)生的漏洞利用。
“ChatGPT 降低了黑客的標(biāo)準(zhǔn)，使用 AI 模型的惡意行為者可被視為現(xiàn)代的‘腳本小子’。”網(wǎng)絡(luò)安全公司 GitGuardian 的開發(fā)人員 mackenzie Jackson 表示，“ChatGPT 被欺騙生產(chǎn)惡意軟件并不算具有開創(chuàng)性，但隨著模型變得更好，更多的樣本數(shù)據(jù)被消耗以及不同的產(chǎn)品進(jìn)入市場，人工智能最終創(chuàng)建出的惡意軟件，可能只能被其他用于防御的人工智能系統(tǒng)檢測到。誰也不知道這場比賽哪一方會贏。”
提示繞過過濾器以創(chuàng)建惡意代碼
ChatGPT 和其他 LLM 具有內(nèi)容過濾器，可以禁止它們服從一些命令或者提示生成有害內(nèi)容，例如惡意代碼。但是內(nèi)容過濾器可以被繞過。
幾乎所有被報(bào)道的通過 ChatGPT 完成的漏洞利用都是通過所謂的“提示工程”實(shí)現(xiàn)的，即修改輸入提示以繞過工具的內(nèi)容過濾器并檢索所需輸出的做法。例如，早期用戶發(fā)現(xiàn)，他們可以讓 ChatGPT 創(chuàng)建它不應(yīng)該創(chuàng)建的內(nèi)容——通過“越獄”程序，即在提示框創(chuàng)建假定情景，例如在要求它做某事時(shí)，假設(shè)它不是人工智能，而是一個(gè)意圖造成傷害的惡意人員。
“ChatGPT 對系統(tǒng)制定了一些限制，例如過濾器限制了 ChatGPT 通過評估問題上下文提供答案的范圍，”專注于 Kube.NETes 的網(wǎng)絡(luò)安全公司 KSOC 的安全研究主管 Andrew Josephides 說，“如果你要求 ChatGPT 給你寫一個(gè)惡意代碼，它會拒絕這個(gè)請求。如果你要求 ChatGPT 編寫能夠有效執(zhí)行你打算實(shí)現(xiàn)的惡意功能的代碼，ChatGPT 可能會為你構(gòu)建該代碼。”
Josephides 認(rèn)為，每次更新，ChatGPT 都變得更加難以成為惡意軟件，但隨著不同的模型和產(chǎn)品進(jìn)入市場，要防止 LLM 被用于惡意目的，我們不能只依靠內(nèi)容過濾器。
誘使 ChatGPT 利用它被過濾器封閉的能力可能會為一些用戶生成有效的惡意代碼。并且運(yùn)用 ChatGPT 修改和微調(diào)結(jié)果還可以使代碼呈現(xiàn)多態(tài)性。
例如，一個(gè)看起來無害的 Python/ target=_blank class=infotextkey>Python 可執(zhí)行文件可以生成一個(gè)查詢發(fā)送到 ChatGPT API，以便在每次運(yùn)行該可執(zhí)行文件時(shí)處理不同版本的惡意代碼。這樣，惡意操作就會在 exec ()函數(shù)之外執(zhí)行。這項(xiàng)技術(shù)如果用來生成一個(gè)變異、多態(tài)的惡意軟件程序，將難以被威脅掃描儀檢測到。
多態(tài)惡意軟件的現(xiàn)有概念證明
今年早些時(shí)候，威脅檢測公司 HYAS InfoSec 的首席安全工程師Jeff Sims 發(fā)表了一份概念驗(yàn)證白皮書，為這種漏洞提供了一個(gè)工作模型。他演示了如何在運(yùn)行時(shí)使用提示工程和查詢 ChatGPT API 來構(gòu)建多態(tài)鍵盤記錄器有效負(fù)載，稱之為 BlackMamba。
實(shí)際上，BlackMamba 是一個(gè) Python 可執(zhí)行文件，它提示 ChatGPT 的 API 構(gòu)建一個(gè)惡意的鍵盤記錄器，該鍵盤記錄器在運(yùn)行時(shí)使每個(gè)調(diào)用進(jìn)行變異，使其具有多態(tài)性，并規(guī)避端點(diǎn)和響應(yīng)(EDR)過濾器。
“Python 的 exec（）函數(shù)是一個(gè)內(nèi)置功能，允許你在運(yùn)行時(shí)動(dòng)態(tài)執(zhí)行Python 代碼，”Sims 說，“它獲取一個(gè)字符串，其中包含要作為輸入執(zhí)行的代碼，然后執(zhí)行該代碼。Exec ()函數(shù)通常用于動(dòng)態(tài)修改程序，這意味著可以通過在程序運(yùn)行時(shí)執(zhí)行新代碼來改變運(yùn)行程序的行為。”
在BlackMamba 的背景下，“在產(chǎn)生生成響應(yīng)時(shí)，多態(tài)性的上限受到提示工程師的創(chuàng)造力（輸入的創(chuàng)造力）和模型訓(xùn)練數(shù)據(jù)的質(zhì)量的限制。”Sims 說。
在BlackMamba 概念驗(yàn)證中，在收集擊鍵后，數(shù)據(jù)通過 web hook（一種基于 HTTP 的回調(diào)函數(shù)，允許 API 之間進(jìn)行事件驅(qū)動(dòng)的通信）提取到微軟團(tuán)隊(duì)的一個(gè)頻道。據(jù)西姆斯說，BlackMamba 多次回避了一個(gè)“行業(yè)領(lǐng)先”的 EDR 應(yīng)用程序。
網(wǎng)絡(luò)安全公司 CyberArk 的 Eran Shimony 和 Omer Tsarfati 創(chuàng)建了一個(gè)單獨(dú)的概念驗(yàn)證程序，在惡意軟件中使用了 ChatGPT。該惡意軟件包括“一個(gè) Python 解釋器，它定期查詢 ChatGPT，尋找執(zhí)行惡意行為的新模塊，”Shimony 和 Tsarfati 在一篇解釋概念驗(yàn)證的博客中寫道。“通過從 ChatGPT 請求特定功能，如代碼注入、文件加密或持久性，我們可以很容易地獲得新代碼或修改現(xiàn)有代碼。”
與黑曼巴不同，ChattyCat 并不是針對特定類型的惡意軟件，但它提供了一個(gè)模板來構(gòu)建各種各樣的惡意軟件，包括勒索軟件和信息竊取程序。
“我們的POC，ChattyCaty，是一個(gè)開源項(xiàng)目，演示了使用 GPT 模型創(chuàng)建多態(tài)程序的基礎(chǔ)設(shè)施，”Tsarfati 說，“多態(tài)性可用于逃避防病毒/惡意軟件程序的檢測。”
Shimony 和 Tsarfati 還發(fā)現(xiàn)，與最初的在線版本相比，ChatGPT API 中的內(nèi)容過濾器似乎更弱了。
“有趣的是，在使用API 時(shí)，ChatGPT系統(tǒng)似乎沒有利用其內(nèi)容過濾器。目前還不清楚為什么會這樣，但它使我們的任務(wù)變得更加容易，因?yàn)榫W(wǎng)絡(luò)版本往往會陷入更復(fù)雜的請求。”Shimony 和 Tsarfati 在他們的博客中寫道。
監(jiān)管 AI 以提高安全性
盡管世界各國政府都在努力解決如何監(jiān)管人工智能以防止傷害的問題，但中國是迄今為止唯一頒布新規(guī)定的大國。專家們提出了不同的方法來控制生成性人工智能的潛在危害。
“目前控制人工智能問題的解決方案似乎是‘增加更多人工智能’，我認(rèn)為這可能不現(xiàn)實(shí)，”Forrester 分析師Jeff Pollard說。“為了真正為這些解決方案添加正確的控制層，我們需要更好地解釋和觀察系統(tǒng)中的上下文。這些應(yīng)該與 API 相結(jié)合，用于提供有意義的細(xì)節(jié)，并提供目前似乎不存在的管理能力。”
然而，監(jiān)管生成人工智能將是困難的，因?yàn)榧夹g(shù)行業(yè)仍處于了解其能力的初級階段，分析師和咨詢公司 Enterprise Management Associate 的研究總監(jiān) Chris Steffen 認(rèn)為。
“監(jiān)管的前景并不樂觀。原因是 ChatGPT 是擁有無窮無盡可能性的事物，想要為 GPT 實(shí)例可能涵蓋的所有情況做好準(zhǔn)備將是非常困難的，”Steffen 說。“特別是在以下領(lǐng)域?qū)永щy：如何監(jiān)管，使用的流程以及責(zé)任的歸屬。”
作者：Shweta Sharma
原文鏈接：ChatGPT creates mutating malware that evades detection by EDR | CSO Online
