系統(tǒng)掌握破解反爬技能
------------------
下栽地址：https://www.itwangzi.cn/2547.html
------------------
- User-Agent：每個瀏覽器或爬蟲程序都有一個User-Agent標(biāo)識，服務(wù)器可以通過檢查User-Agent來判斷訪問者是人還是爬蟲程序。
- IP地址：服務(wù)器可以通過檢查訪問者的IP地址來判斷是否是爬蟲程序。一些爬蟲程序使用大量的IP地址進(jìn)行訪問，而人類用戶通常只使用一個或幾個IP地址。
- 訪問頻率：爬蟲程序通常會以非常高的頻率訪問網(wǎng)站，而人類用戶通常不會如此頻繁地訪問網(wǎng)站。服務(wù)器可以通過檢查訪問頻率來判斷是否是爬蟲程序。
- 訪問行為：爬蟲程序通常會按照一定的規(guī)律進(jìn)行訪問，例如按照頁面順序進(jìn)行訪問或者按照特定的關(guān)鍵詞進(jìn)行搜索。服務(wù)器可以通過檢查訪問行為來判斷是否是爬蟲程序。
BAN COOKIES:服務(wù)器對每一個訪問網(wǎng)頁的人都set-cookie，給其一個cookies，當(dāng)該cookies訪問超過某一個閥值時就BAN掉該COOKIE，過一段時間再放出來，當(dāng)然一般爬蟲都是不帶COOKIE進(jìn)行訪問的，可是網(wǎng)頁上有一部分內(nèi)容如新浪微博是需要用戶登錄才能查看更多內(nèi)容。
解決辦法：控制訪問速度，或者某些需要登錄的如新浪微博，在某寶上買多個賬號，生成多個cookies，在每一次訪問時帶上cookies
通過從html靜態(tài)文件中獲取請求數(shù)據(jù)
反爬原因：通過增加獲取請求參數(shù)的難度進(jìn)行反爬
解決方案：仔細(xì)分析抓包得到的每一個包，搞清楚請求之間的聯(lián)系
2.2 通過發(fā)送請求獲取請求數(shù)據(jù)
反爬原因：通過增加獲取請求參數(shù)的難度進(jìn)行反爬
解決方案：仔細(xì)分析抓包得到的每一個包，搞清楚請求之間的聯(lián)系，搞清楚請求參數(shù)的來源
動態(tài)令牌：對當(dāng)前頁面內(nèi)的合法請求地址授予一定時間內(nèi)有效的動態(tài)令牌，并為每個客戶端生成不依賴于設(shè)備特征的唯一標(biāo)識。令牌的動態(tài)變換，加上客戶端唯一標(biāo)識，就如同身份證一樣難以偽造，可以阻攔非法的自動化攻擊請求
