網(wǎng)絡(luò)相關(guān)

• 通用
• urllib – 網(wǎng)絡(luò)庫(kù)(標(biāo)準(zhǔn)庫(kù))
• requests – 網(wǎng)絡(luò)庫(kù)
• grab – 網(wǎng)絡(luò)庫(kù)(基于pycurl)
• pycurl – 網(wǎng)絡(luò)庫(kù) (與 libcurl 綁定)
• urllib3 – 具有線程安全連接池、文件psot支持、高可用的Python HTTP庫(kù)
• httplib2 – 網(wǎng)絡(luò)庫(kù)
• RoboBrowser – 一個(gè)無需獨(dú)立瀏覽器即可訪問網(wǎng)頁(yè)的簡(jiǎn)單、pythonic的庫(kù)
• MechanicalSoup – 能完成自動(dòng)網(wǎng)站交互的Python庫(kù)
• mechanize – 有狀態(tài)、可編程的網(wǎng)頁(yè)瀏覽庫(kù)。
• socket – 底層網(wǎng)絡(luò)接口(標(biāo)準(zhǔn)庫(kù))
• Unirest for Python – 一套支持多種語(yǔ)言的輕量級(jí)HTTP庫(kù)
• hyper – Python HTTP/2客戶端
• PySocks – SocksiPy持續(xù)更新并維護(hù)的版本，指出bug修復(fù)和一些其他功能，可以作為socket模塊的替代品
• 異步
• treq – 基于twisted、與requests類似的API
• aiohttp – asyncio的HTTP客戶端/服務(wù)器 (PEP-3156)

網(wǎng)絡(luò)爬蟲框架

• 全能型爬蟲
• grab – 網(wǎng)絡(luò)爬蟲框架(基于pycurl/multicurl)
• scrapy – 網(wǎng)絡(luò)爬蟲框架(基于twisted)
• pyspider – 一個(gè)強(qiáng)力的爬蟲系統(tǒng)
• cola – 一個(gè)分布式爬蟲框架
• 其他
• portia – 基于Scrapy的可視化爬蟲
• restkit – Python的HTTP資源庫(kù)。允許影虎簡(jiǎn)單的訪問HTTP資源并用來創(chuàng)建項(xiàng)目
• demiurge – 基于PyQuery的微型爬蟲框架

html/XML解析

• 通用
• lxml – 高效的HTML/XML處理庫(kù)。支持XPATH，用C語(yǔ)言寫成
• cssselect – 解析DOM樹和css選擇器
• pyquery – 解析DOM樹和jQuery選擇器
• BeautifulSoup – Python寫成的低效HTML/XMl處理庫(kù)
• html5lib – 根據(jù)WHATWG規(guī)范生成HTML/ XML文檔的DOM。WHATWG規(guī)范是現(xiàn)在瀏覽器的通行規(guī)范
• feedparser – 解析RSS/ATOM信息流
• MarkupSafe – Python的XML/HTML/XHTML安全轉(zhuǎn)義字符串工具
• xmltodict – 讓你處理XML如同處理JSON一樣
• xhtml2pdf – HTML/CSS to PDF轉(zhuǎn)化器
• untangle – 將XML文檔轉(zhuǎn)化為Python項(xiàng)目以簡(jiǎn)化處理難度
• hodor – 支持lxml and cssselect的配置驅(qū)動(dòng)包裝工具
• 清理
• Bleach – 清理HTML (需求html5lib)
• sanitize – 將混亂的數(shù)據(jù)世界恢復(fù)清楚

文本處理

解析及操作文本的庫(kù)

• 通用
• difflib – 差異化計(jì)算工具(Python標(biāo)準(zhǔn)庫(kù))
• Levenshtein – 快速計(jì)算編輯距離及字符串相似度
• fuzzywuzzy – 模糊字符串比匹配
• esmre – 正則表達(dá)式加速器.
• ftfy – 將Unicode文本自動(dòng)整理減少碎片化
• 轉(zhuǎn)換
• unidecode – Unicode轉(zhuǎn)化為ASCII文本
• 字符編碼
• uniout – 將轉(zhuǎn)移字符串輸出為可讀形式
• chardet – Python 2/3兼容字符編碼檢測(cè)器
• xpinyin – 講漢字轉(zhuǎn)為拼音的庫(kù)
• pangu.py – CJK及字母數(shù)字文本間距格式化
• Slug化
• awesome-slugify – 可保留Unicode的Python slugify庫(kù)
• python-slugify – 講Unicode轉(zhuǎn)為ASCII的Python slugify庫(kù)
• unicode-slugify – unicode slugs生成工具
• pytils – 處理俄語(yǔ)字符串的小工具(包含pytils.translit.slugify)
• 通用解析器
• PLY – Python lex和yacc解析工具
• pyparsing – 用于生成解析器的通用框架
• 人名
• python-nameparser – 姓名解析組件
• 電話號(hào)碼
• phonenumbers – 處理、格式化、存儲(chǔ)、驗(yàn)證全球電話號(hào)碼
• 用戶代理字符串
• python-user-agents – 瀏覽器用戶代理解析器
• HTTP Agent Parser – Python HTTP代理解析器
• fake-useragent – 基于全球?yàn)g覽器統(tǒng)計(jì)的Python用戶代理欺騙器
• user_agent – 用戶代理數(shù)據(jù)生成器

特殊格式處理

處理特編輯特殊字符格式的庫(kù)

• 通用
• tablib – 處理XLS, CSV, JSON, YAML等表格數(shù)據(jù)的庫(kù)
• textract – 從任何文檔中提取文本，支持word, PowerPoint, PDF等
• messytables – 雜亂的表格數(shù)據(jù)解析
• rows – 支持多種格式的通用且美觀的表格數(shù)據(jù)處理器(現(xiàn)有CSV, HTML, XLS, TXT — 即將支持更多)
• office
• python-docx – 閱讀，查詢和修改Microsoft Word 2007/2008 docx文件
• xlwt / xlrd – 從Excel讀取及寫入數(shù)據(jù)和格式化信息
• XlsxWriter – 用于穿件Excel .xlsx文件的Python模塊
• xlwings – 一個(gè)BSD許可的庫(kù)，是Excel與Python互相調(diào)用更加簡(jiǎn)單
• openpyxl – 可讀取、編輯Excel 2010xlsx/xlsm/xltx/xltm文件的庫(kù)
• Marmir – 提取Python數(shù)據(jù)結(jié)構(gòu)并將其轉(zhuǎn)化為表格的庫(kù)
• PDF
• PDFMiner – 從PDF文檔中提取信息的工具
• PyPDF2 – 一個(gè)分割、合并、轉(zhuǎn)換PDF文件的庫(kù)
• ReportLab – 可以快速創(chuàng)建大量PDF文檔
• pdftables – 從PDF文件中精準(zhǔn)提取表格
• Markdown
• Python-Markdown – 一個(gè)用Python實(shí)現(xiàn)的John Gruber的Markdown
• Mistune – 速度最快，功能全面的Markdown純Python解析器
• markdown2 – 一個(gè)完全用Python實(shí)現(xiàn)的快速的Markdown
• YAML
• PyYAML – 一個(gè)Python的YAML解析器
• CSS
• cssutils – 一個(gè)Python的CSS庫(kù)
• ATOM/RSS
• feedparser – 通用的feed解析器
• SQL
• sqlparse – 一個(gè)無驗(yàn)證的SQL語(yǔ)句分析器
• HTTP
• http-parser – C語(yǔ)言實(shí)現(xiàn)的HTTP請(qǐng)求/響應(yīng)消息解析器
• Microformats
• opengraph – 一個(gè)用來解析Open Graph協(xié)議標(biāo)簽的Python模塊
• 可移植的執(zhí)行體
• pefile – 一個(gè)多平臺(tái)的用于解析和處理可移植執(zhí)行體（即PE）文件的模塊
• PSD
• psd-tools – 將Adobe Photoshop PSD（即PE）文件讀取到Python數(shù)據(jù)結(jié)構(gòu)

自然語(yǔ)言處理

自然語(yǔ)言處理庫(kù)

• NLTK – Python自然語(yǔ)言處理領(lǐng)先者
• Pattern – Python的網(wǎng)絡(luò)挖掘模塊。他有自然語(yǔ)言處理工具，機(jī)器學(xué)習(xí)以及其它
• TextBlob – 為深入處理自然語(yǔ)言的項(xiàng)目提供API，參考了NLTK及其他
• jieba – 中文分詞
• SnowNLP – 漢字文本處理庫(kù)
• loso – 中文分詞庫(kù)
• genius -基于條件隨機(jī)域的中文分詞
• langid.py – 獨(dú)立的語(yǔ)言識(shí)別系統(tǒng)
• Korean – 韓文形態(tài)庫(kù)
• pymorphy2 – 俄語(yǔ)形態(tài)分析器（詞性標(biāo)注+詞形變化引擎）
• PyPLN – 用Python編寫的分布式自然語(yǔ)言處理通道。這個(gè)項(xiàng)目的目標(biāo)是創(chuàng)建一種簡(jiǎn)單的方法使用NLTK通過網(wǎng)絡(luò)接口處理大語(yǔ)言庫(kù)
• langdetect – Python的谷歌語(yǔ)言檢測(cè)庫(kù)端口

瀏覽器自動(dòng)化與仿真

• 瀏覽器
• selenium – 自動(dòng)化真實(shí)瀏覽器(Chrome, Firefox, Opera, IE)
• Ghost.py – QtWebKit封裝(需求PyQT)
• Spynner – 具備AJAX支持的程序化網(wǎng)頁(yè)瀏覽模塊
• Splinter – 通用API瀏覽器模擬器（selenium web驅(qū)動(dòng)，Django客戶端，Zope）
• Headless工具
• xvfbwrApper – 用于在X虛擬幀緩沖區(qū)（Xvfb）中運(yùn)行顯示的Python包裝器

多進(jìn)程并發(fā)

• threading – Python標(biāo)準(zhǔn)庫(kù)的多線程運(yùn)行。因?yàn)閜ython GIL限制，對(duì)于I/O密集型任務(wù)很有效，對(duì)于CPU綁定的任務(wù)沒用
• multiprocessing – 多進(jìn)程標(biāo)準(zhǔn)庫(kù)
• celery – 基于分布式消息傳遞的異步任務(wù)隊(duì)列/作業(yè)隊(duì)列
• concurrent-futures – concurrent.futures模塊提供用于異步執(zhí)行callable的高級(jí)接口

異步

異步網(wǎng)絡(luò)編程庫(kù)

• asyncio – 異步I/O，時(shí)間循環(huán)，協(xié)同程序和任務(wù)(Python 3.4以上版本的Python標(biāo)準(zhǔn)庫(kù))
• Twisted – 基于事件驅(qū)動(dòng)的網(wǎng)絡(luò)引擎框架
• Tornado – 一個(gè)Web框架及異步網(wǎng)絡(luò)庫(kù)
• pulsar – Python事件驅(qū)動(dòng)的并發(fā)框架
• diesel – Python的基于Greenlet的I/O框架
• gevent – 一個(gè)基于協(xié)同程序的Python網(wǎng)絡(luò)庫(kù)，使用greenlet
• eventlet – 有WSGI支持的異步框架
• Tomorrow – 異步代碼的魔法

隊(duì)列

• celery – 基于分布式消息傳遞的異步任務(wù)隊(duì)列/作業(yè)隊(duì)列
• huey – 小型多線程任務(wù)隊(duì)列
• mrq – Mr. Queue – 使用redis & Gevent 的Python分布式工作任務(wù)隊(duì)列
• RQ – 基于Redis的輕量級(jí)任務(wù)隊(duì)列管理器
• simpleq – 一個(gè)簡(jiǎn)單的，可無限擴(kuò)展，基于Amazon SQS的隊(duì)列
• python-gearman – Gearman的Python API

云計(jì)算

• picloud – 在云端執(zhí)行Python
• dominoup.com – 在云端執(zhí)行R, Python及matlab代碼

電子郵件

電子郵件處理庫(kù)

• flanker – 電子郵件及MIME處理庫(kù)
• Talon – Mailgun庫(kù)用于提取消息的報(bào)價(jià)和簽名

URL和網(wǎng)絡(luò)地址操作

URL和網(wǎng)絡(luò)地址操作 庫(kù)

• URL
• furl – 一個(gè)小的Python庫(kù)，使得操縱URL簡(jiǎn)單化
• purl – 一個(gè)簡(jiǎn)單的不可改變的URL以及一個(gè)干凈的用于調(diào)試和操作的API
• urllib.parse – 用于打破統(tǒng)一資源定位器（URL）的字符串在組件（尋址方案，網(wǎng)絡(luò)位置，路徑等）之間的隔斷，為了結(jié)合組件到一個(gè)URL字符串，并將“相對(duì)URL”轉(zhuǎn)化為一個(gè)絕對(duì)URL，稱之為“基本URL”（標(biāo)準(zhǔn)庫(kù)）
• tldextract – 使用公共后綴列表從URL的注冊(cè)域和子域中準(zhǔn)確分離TLD
• 網(wǎng)絡(luò)地址
• netaddr – 用于顯示和操縱網(wǎng)絡(luò)地址的Python庫(kù)

網(wǎng)頁(yè)內(nèi)容提取

網(wǎng)頁(yè)內(nèi)容提取庫(kù)

• HTML頁(yè)面的文本和元數(shù)據(jù)
• newspaper – 用Python進(jìn)行新聞提取、文章提取和內(nèi)容策展
• html2text – 將HTML轉(zhuǎn)為Markdown格式文本
• python-goose – HTML內(nèi)容/文章提取器
• lassie – 人性化的網(wǎng)頁(yè)內(nèi)容檢索工具
• micawber – 一個(gè)從網(wǎng)址中提取豐富內(nèi)容的小型庫(kù)
• sumy -一個(gè)自動(dòng)匯總文本文件和HTML網(wǎng)頁(yè)的模塊
• Haul – 一個(gè)可擴(kuò)展的圖像爬蟲
• python-readability – arc90 readability工具的快速Python接口
• scrapely – 從HTML網(wǎng)頁(yè)中提取結(jié)構(gòu)化數(shù)據(jù)的庫(kù)。給出了一些Web頁(yè)面和數(shù)據(jù)提取的示例，scrapely為所有類似的網(wǎng)頁(yè)構(gòu)建一個(gè)分析器
• libextract – 從網(wǎng)站提取數(shù)據(jù)
• 視頻
• youtube-dl – 一個(gè)從YouTube下載視頻的小型命令行工具
• you-get – Python3寫成的YouTube/Youku/Niconico視頻下載工具
• Wiki
• WikiTeam – 下載并保存wkiks的工具

WebSocket

用于WebSocket的庫(kù)

• Crossbar – 開源的應(yīng)用消息傳遞路由器（Python實(shí)現(xiàn)的用于Autobahn的WebSocket和WAMP）
• AutobahnPython – 提供了WebSocket協(xié)議和WAMP協(xié)議的Python實(shí)現(xiàn)并且開源
• WebSocket-for-Python – Python 2和3以及PyPy的WebSocket客戶端和服務(wù)器庫(kù)

DNS解析

• dnsyo – 在全球超過1500個(gè)的DNS服務(wù)器上檢查你的DNS
• pycares – ic-ares的接口。c-ares是進(jìn)行DNS請(qǐng)求和異步名稱決議的C語(yǔ)言庫(kù)

計(jì)算機(jī)視覺

• OpenCV – 開源計(jì)算機(jī)視覺庫(kù)
• SimpleCV – 用于照相機(jī)、圖像處理、特征提取、格式轉(zhuǎn)換的簡(jiǎn)介，可讀性強(qiáng)的接口（基于OpenCV）
• mahotas – 快速計(jì)算機(jī)圖像處理算法（完全使用 C++ 實(shí)現(xiàn)），完全基于 numpy 的數(shù)組作為它的數(shù)據(jù)類型

代理服務(wù)器

• shadowsocks – 一個(gè)快速隧道代理，可幫你穿透防火墻（支持TCP和UDP，TFO，多用戶和平滑重啟，目的IP黑名單）
• tproxy – tproxy是一個(gè)簡(jiǎn)單的TCP路由代理（第7層），基于Gevent，用Python進(jìn)行配置

雜項(xiàng)

• user_agent – 此模塊用于生成隨機(jī)，有效的Web導(dǎo)航器的配置和用戶代理HTTP header

其他

• awesome-python
• pycrumbs
• python-github-projects
• python_reference
• pythonidae

注釋：此文有自己寫的，網(wǎng)絡(luò)查找，同事一起共同匯總的

小編寄語(yǔ)

最后小編幫助大家整理了一套python教程，下面展示了部分，希望也能幫助對(duì)編程感興趣，想做數(shù)據(jù)分析，人工智能、爬蟲或者希望從事編程開發(fā)的小伙伴，畢竟python工資也還可以，如果能幫到你請(qǐng)點(diǎn)贊、點(diǎn)贊、點(diǎn)贊哦~~