首先我們要了解到漏洞掃描器的掃描原理怎樣的

網絡漏洞掃描器對目標系統(tǒng)進行漏洞檢測時，首先探測目標系統(tǒng)的存活主機，對存活主機進行端口掃描，確定系統(tǒng)聽開放的端口，同時根據協(xié)議指紋技術識別出主機的操作系統(tǒng)類型。

然后掃描器對開放的端口進行網絡服務類型的識別，確定其提供的網絡服務。

漏洞掃描器根據目標系統(tǒng)的操作系統(tǒng)平臺和提供的網絡服務，調用漏洞資料庫中已知的各種漏洞進行逐一檢測，通過對探測響應數據包的分析判斷是否存在漏洞。

一.編碼/解碼/協(xié)議

在很久以前有人提問 AMF 格式的請求怎么進行檢測，或者有什么工具可以檢測？

既然我們要講解的是 Web 漏洞掃描器，那么就先假設是 AMF over HTTP

假設我們需要測試一個 AMF 格式數據的 SQL 注入問題，那么按照通常的思路就是在 SQL 注入模塊中

先解析 HTTP 中 AMF 格式數據
然后在測試參數中填寫 payload
重新封裝 AMF 格式數據
發(fā)送 HTTP 請求

偽代碼如下：

req = {"method": "POST", "url": "http://fatezero.org", "body": "encoded data"}
data = decode_amf(req["body"])
for key, value in data.items():
 d = copy.deepcopy(data)
 d[key] = generate_payload(value)
 body = encode_amf(d)
 requests.request(method=req["method"], url=req["url"], body=body)

整個流程下來沒什么問題，但是如果又來了一個 X 協(xié)議(X over HTTP)，那么我們就得繼續(xù)修改 SQL 注入模塊以便支持這種 X 協(xié)議

但是掃描器中可不是只有 SQL 注入檢測模塊，還有其他同類模塊，難道每加一個新協(xié)議我還得把所有檢測模塊都改一遍？

所以我們需要把這些協(xié)議解析和封裝單獨抽出來放在一個模塊中。

偽代碼如下：

# utils.py
def decode(data):
 if is_amf(data):
 data = decode_amf(data)

 if is_X(data):
 data = decode_X(data)

 # 遞歸 decode
 for i in data:
 data[i] = decode(data[i])

 return data


# detect_module.py
req = {"method": "POST", "url": "http://fatezero.org", "body": "encoded data"}
data = decode(req["body"])
for key, value in data.items():
 d = copy.deepcopy(data)
 d[key] = generate_payload(value)
 body = encode(d)
 requests.request(method=req["method"], url=req["url"], body=body)

上面的遞歸 decode 主要是為了解碼某種格式的數據里面還有另外一種格式的數據，雖然看起來這種場景比較少見

但是仔細想一下 multipart 帶著 json，json 里的字符串是另外一個 json 字符串，是不是又覺得這種情況也并不少見。

那 encode/decode 剝離出來就可以了嗎？請注意到上面?zhèn)未a使用了 requests.request 發(fā)送請求

那如果某天需要我們去測試 websocket 協(xié)議，那是不是又得在檢測模塊中多加一套 websocket client 發(fā)送請求？

所以我們也需要將具體的網絡操作給剝離出來，具體的協(xié)議類型直接由上面來處理，檢測模塊只需要關注具體填寫的 payload。

偽代碼如下：

for key, value in x.items():
 data.reset()
 x[key] = generate_payload(value)
 x.do() # 負責將數據重新組裝成原來的格式，并按照原始協(xié)議發(fā)送

 # check

因為每個檢測模塊的檢測依據大致就幾種：

返回內容
消耗時間 (time based)
另外一條信道的數據 (比方說 DNSlog)

所以即便是我們將網絡操作剝離出來也不會影響檢測的效果。

在編寫檢測模塊的時候，編寫者可以不用關心基礎協(xié)議是什么，怎么對數據編碼解碼，只用關心根據 value 生成 payload 并填寫到相對應的 key 中，

假如某天出現(xiàn)了這么一種流行編碼格式 http://www.a.com/key1,value1,key2,value2，那我們所有的檢測模塊也無需修改

僅僅需要在上一層再添加一套 encode/decode 操作即可。假如某天出現(xiàn)了一種比較流行的協(xié)議，我們也僅需要在上一層提供一套 client 即可。

檢測模塊的工作就僅僅剩下生成并填寫 payload

二.分類

在 2014 年的時候，我做了大量的競品分析，包括使用逆向工程逆向商業(yè)的 Acunetix WVS, HP Webinspect, IBM AppScan, Netsparker 掃描邏輯，也包括閱讀開源的 w3af, arachni 代碼。

如果不談掃描質量，只關注整體項目設計以及產品中使用到的猥瑣技巧，那么其中最讓我眼前一亮的當屬 AWVS

接下來我將詳細介紹一下我從 AWVS 中學習到的 PoC 分類。

PoC 分類：

類型描述PerServer用于檢測 Web Server 級別中存在的漏洞

比方說各種中間件，Web 框架的漏洞PerFile用于檢測某個文件中是否存在漏洞

比如對應文件的備份，Bash RCE 等PerFolder用于檢測某個目錄中是否存在漏洞

比如敏感信息的泄漏，路徑中的 SQL 注入等PerScheme用于檢測某個參數中是否存在漏洞

比如 SQL 注入，XSS 等PostCrawl在爬蟲結束之后啟動

直接使用爬蟲的資源進行檢測PostScan在掃描結束之后啟動，用于檢測二階注入，存儲 XSS等WebApps用于檢測比較常用的 Web 應用的漏洞

大致的流程圖如下：

在獲取到爬蟲資產，對相關資產格式化之后，便下發(fā)到各個不同類型的 PoC 中進行檢測，這樣做的好處是分類明確，覆蓋大多數檢測階段

也避免為了減少重復請求的下發(fā)而需要額外記錄中間狀態(tài)的行為。

三.IAST

AWVS 有個比較有趣的功能 AcuMonitor，也就大家熟知的 dnslog、反連平臺。

在 2014 年看到 AWVS 的這個功能時，就建議 WooYun 出個類似的功能，也就是 cloudeye，tangscan 也就算是國內比較早使用這種技術的掃描器

當然后續(xù)又出現(xiàn)了各種類似 cloudeye 的項目，自然而然也出現(xiàn)了各種使用該技術的掃描器。

不過今天我們不打算繼續(xù)介紹 AcuMonitor，而是介紹另外一個也很有趣的功能 AcuSensor。

AcuSensor 就是 IAST，只要稍微了解過 Web 漏洞掃描器的，都應該會知道 IAST 是干啥的。

那為什么我要單獨拎出來講這個呢？

主要是因為 AcuSensor 的實現(xiàn)方式非常有趣。

AcuSensor 提供了 JAVA、.NET、php 這三個語言版本，其中比較有趣的是 PHP 版本的實現(xiàn)。

PHP 版本的 AcuSensor 使用方法是下載一個 acu_phpaspect.php 文件，然后通過 auto_prepend_file 加載這個文件

眾所周知，PHP 是不能改直接 hook PHP 內置函數的，那么單單依靠一個 PHP 腳本，AcuSensor 是如何做到類似 IAST 功能的呢？

很簡單，直接替換所有關鍵函數。嗯，真的就那么簡單。

我們來詳細介紹一下這個過程，在 acu_phpaspect.php 中：

獲取用戶實際請求的文件內容
檢查一下有沒有相關 cache，如果有 cache 那么直接加載執(zhí)行 cache，然后結束
使用 token_get_all 獲取所有 token
遍歷每一個 token，對自己感興趣的函數或者語句使用自己定義的函數進行 wrap 并替換
將替換后的內容保存到 cache 中并使用 eval 執(zhí)行
__halt_compiler 中斷編譯

舉個具體的例子：

<?php

$link = NULL;
$sql = "select * from user where user_id=".$_GET["id"];

MySQLi_prepare($link, $sql);

經過 acu_phpaspect.php 轉換之后：

<?php

$link = NULL;
$sql = "select * from user where user_id=".$_GET[_AAS91("hello.php", 4, "$_GET", "id")];

_AAS86("hello.php",6,"mysqli_prepare",Array($link, $sql));

整個過程簡單粗暴有效，這樣做的優(yōu)點在于：

實現(xiàn)簡單，只需要編寫 PHP 即可
安裝簡單，無需安裝擴展，只需修改配置文件可以
兼容性強，比較容易兼容性各種環(huán)境，各種版本 PHP

如果有意向去做 IAST 或者想做類似我的 prvd 項目，
但又不太喜歡寫 PHP 擴展，那么我強烈建議你完整的看一遍 PHP 版本 AcuSensor 的實現(xiàn)，
如果對自己實現(xiàn)的檢測邏輯效率比較自信的話，甚至可以基于這個原理直接實現(xiàn)一個 PHP 版本的 RASP 項目。

四.限速

在 Web 漏洞掃描器中，無論作為乙方的商業(yè)產品、甲方的自研產品，限速都是一個至關重要的功能，

甚至可以說如果你的掃描器沒有限速功能，那壓根就不能上線使用。接下來我們將介紹一下在掃描器中限速的幾種方法。

代理

使用代理做限速功能，將所有執(zhí)行掃描任務的 worker 的測試流量全轉發(fā)到 proxy 服務器上：