課程簡介：
xa0 xa0xa0 xa0這是一門培養專業爬蟲工程師的課程。本課程以大數據業務需求為導向，旨在掌握分布式爬蟲的原理、理解互聯網技術和各類數據分析挖掘的應用技巧。
升級版的內容特色：
xa0 xa0 1.xa0xa0圍繞微博的抓取、存儲、提取和文本分析來展開
xa0 xa0 2.xa0xa0增強了計算機架構與分布式系統的設計，例如負載均衡和任務隊列的大篇幅介紹
xa0 xa0 3.xa0xa0增加了對于數據庫性能及優化的關鍵方法和原理的介紹，例如深翻頁、查詢優化、索引優化，Redis 隊列原理及優化等
xa0 xa0 4.xa0xa0在第一期使用簡單Socket實現消息隊列的基礎上，增加了對成熟分布式架構（ZooKeeper）、消息隊列（RabbitMQ）等的介紹，便于學員根據系統復雜度的提高而升級
面向人群：
xa0 xa0 1.xa0xa0想要成為爬蟲工程師、數據工程師的學習者
xa0 xa0 2.xa0xa0網站后臺及分布式系統架構的開發者和學習者
xa0 xa0 3.xa0xa0爬蟲系統項目經理、技術經理和架構師
xa0 xa0 4.xa0xa0希望搭建聚合類、數據挖掘類、圖片視頻庫等網站的愛好者、從業者
xa0 xa0 5.xa0xa0有網絡爬蟲需求的開發者
學習收益：
xa0 xa0 1.xa0xa0掌握分布式爬蟲的實現原理以及常用的使用場景，例如內容聚合、過程跟蹤、比價、數據挖掘等
xa0 xa0 2.xa0xa0掌握分布式系統架構設計
xa0 xa0 3.xa0xa0掌握常用數據庫的原理和使用、開發中需要注意的重點
xa0 xa0 4.xa0xa0了解如Google、百度、今日頭條等互聯網公司的產品技術和解決方案
xa0 xa0 5.xa0xa0了解從文本采集到存儲、分析的全套流程，會涉及基礎的機器學習、文本分類和搜索引擎的原理
xa0 xa0 6.xa0xa0針對不同任務，能快速開發網絡爬蟲滿足業務需求
課程大綱：
第一課 靜態網頁爬蟲：爬蟲的基礎技術
CSS 選擇器
Javaｓｃｒｉｐｔ 介紹
lxml 及 XPath
Python 里的網絡請求
高速位緩存設計：BloomFilter
第一個爬蟲：螞蜂窩的游記
第二課 登錄及動態網頁的抓取
表單
網站登錄及Cookie
Headless 的瀏覽器：PhantomJS
瀏覽器的驅動：Selenium
動態網頁數據獲取
第三課 微博的抓取
微博網站分布及結構分析
通過動態頁面來抓取
微博網絡接口的逆向分析
Java 的反編譯
加密庫
源代碼的接口分析
利用API來抓取微博xa0
第四課 多線程與過進程的爬蟲
1.xa0 xa0xa0xa0線程與進程
2.xa0 xa0xa0xa0Python 的多線程約束
3.xa0 xa0xa0xa0多個線程同時抓取
4.xa0 xa0xa0xa0多個進程同時抓取
第五課 微博數據的存儲：分布式數據庫及應用
SQL 與 NoSQL
Hadoop 架構
基于分布式數據庫的分布式爬蟲
第六課 多機并行的微博抓取：分布式系統設計
Socket 編程
Master 設計
Slave 設計
任務調度及通信協議
分布式集群部署的爬蟲
第七課 分布式系統進階：復雜的分布式機制
分布式應用協調服務：ZooKeeper
分布式消息隊列管理：RabbitMQ/Kafka
服務發布及注冊
灰度升級
第八課 微博數據查詢：分布式數據庫系統的優化及負載均衡
復制與分片
流量控制及均衡
分布式事物及鎖
Redis 的核心技術介紹
MongoDB 的關鍵技術
MySQL 的查詢過程介紹及優化要素
第九課 PageRank、網頁動態重拍及應對反爬蟲技術的手段
xa0 xa0xa0xa01.xa0xa0PageRank 計算模型及推導
xa0 xa0xa0xa02.xa0xa0網頁抓取順序重排
xa0 xa0xa0xa03.xa0xa0網站服務架構
xa0 xa0xa0xa04.xa0xa0尋找與利用分布式服務器
xa0 xa0xa0xa05.xa0xa0多IP技術與路由控制
第十課 驗證碼的處理，京東、淘寶的數據抓取及存儲案例
xa0 xa0xa0xa01.xa0xa0基于距離的圖片比對
xa0 xa0xa0xa02.xa0xa0基于 TesseractOcr 的數字識別
xa0 xa0xa0xa03.xa0xa0其它驗證碼識別方案
xa0 xa0xa0xa04.xa0xa0京東數據抓取
xa0 xa0xa0xa05.xa0xa0淘寶數據抓取
第十一課 網頁內容排重
海明距離
海量數據的相似度計算
網頁排重
語義哈希簡介
第十二課 自動摘要及正文抽取
xa0 xa0xa0xa01.xa0xa0距離與聯合概率
xa0 xa0xa0xa02.xa0xa0自動摘要
xa0 xa0xa0xa03.xa0xa0K-Means 算法
xa0 xa0xa0xa04.xa0xa0基于Text/Tag 的正文計算
xa0 xa0xa0xa05.xa0xa0PyGoose 的開源系統
第十三課 網頁分類與針對文本的機器學習應用
網頁分類基礎
分詞與特征抽取
線性回歸
網頁分類
多分類器
詞向量簡介
