系統掌握破解反爬技能
------------------
下栽地址：https://www.itwangzi.cn/2547.html
------------------
- User-Agent：每個瀏覽器或爬蟲程序都有一個User-Agent標識，服務器可以通過檢查User-Agent來判斷訪問者是人還是爬蟲程序。
- IP地址：服務器可以通過檢查訪問者的IP地址來判斷是否是爬蟲程序。一些爬蟲程序使用大量的IP地址進行訪問，而人類用戶通常只使用一個或幾個IP地址。
- 訪問頻率：爬蟲程序通常會以非常高的頻率訪問網站，而人類用戶通常不會如此頻繁地訪問網站。服務器可以通過檢查訪問頻率來判斷是否是爬蟲程序。
- 訪問行為：爬蟲程序通常會按照一定的規律進行訪問，例如按照頁面順序進行訪問或者按照特定的關鍵詞進行搜索。服務器可以通過檢查訪問行為來判斷是否是爬蟲程序。
BAN COOKIES:服務器對每一個訪問網頁的人都set-cookie，給其一個cookies，當該cookies訪問超過某一個閥值時就BAN掉該COOKIE，過一段時間再放出來，當然一般爬蟲都是不帶COOKIE進行訪問的，可是網頁上有一部分內容如新浪微博是需要用戶登錄才能查看更多內容。
解決辦法：控制訪問速度，或者某些需要登錄的如新浪微博，在某寶上買多個賬號，生成多個cookies，在每一次訪問時帶上cookies
通過從html靜態文件中獲取請求數據
反爬原因：通過增加獲取請求參數的難度進行反爬
解決方案：仔細分析抓包得到的每一個包，搞清楚請求之間的聯系
2.2 通過發送請求獲取請求數據
反爬原因：通過增加獲取請求參數的難度進行反爬
解決方案：仔細分析抓包得到的每一個包，搞清楚請求之間的聯系，搞清楚請求參數的來源
動態令牌：對當前頁面內的合法請求地址授予一定時間內有效的動態令牌，并為每個客戶端生成不依賴于設備特征的唯一標識。令牌的動態變換，加上客戶端唯一標識，就如同身份證一樣難以偽造，可以阻攔非法的自動化攻擊請求
