本文要實現的案例是通過 requests 庫抓取 斗破小說網 上指定的小說的目錄和每一節的完整內容(只保留純文本內容)。當抓取包含目錄和小說內容的頁面后，會通過正則表達式分析 html 代碼，并提取出目錄標題，對應的 url 以及文本形式的小說內容。現在進入斗破小說網，選擇一篇小說，本文選擇了 斗破蒼穹 目錄頁面如下圖所示：
真是歲月催人老呀，懷念當年偷偷捂著被子，逃課看這本小說的年紀。這部小說的目錄很多，我只截圖了一部分，第一個任務要完成下載這個目錄頁面的代碼，并從中提取出小說的目錄以及對應的 URL 。在網頁中按 F12 或者是 檢查 調出控制臺調試界面，如下圖所示：
這步完成之后，我們就可以將標題作為文件名，然后抓取 URL 對應的頁面內容，并提取出文本形式的小說正文，然后將小說正文保存在以標題作為文件名的文件夾中。隨便單擊一個章節，進入小說正文，使用上面的方式調出調試窗口，查看正文對應的 HTML 代碼，如下圖所示：
使用 requests 模塊的時候，需要進行安裝，如下圖所示：
根據前面的分析，示例代碼如下：
# -*- coding: utf-8 -*-
# @Time : 2020/5/9 19:03
# @Author : 我就是任性-Amo# @FileName: 76.抓取小說目錄和全文.py
# @Software: PyCharm# @Blog ：https://blog.csdn.NET/xw1680import requests # 第三方模塊 需要使用pip安裝import re # 導入正則模塊import os
# 構造請求頭headers = { "User-Agent": "Mozilla/5.0 (macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, "
"like Gecko) Chrome/81.0.4044.138 Safari/537.36"
}# TODO 1.根據小說鏈接得到小說目錄和對應的url
def get_catalogue(url): # 發送請求 response = requests.get(url=url, headers=headers) response.encoding = "utf-8" # 指定編碼
chapter_info_list = [] # 用來存儲獲取到的所有url和章節標題數據 if response.status_code == 200: # 判斷請求是否成功
li_list = re.findall(r"<li>.*</li>", response.text) # 過濾 獲取所有的li標簽
for li in li_list:
# print(li)
result = re.search(r'href="(.*)" title="(.*)"', li) # 過濾出url和標題
if result:
# 組成完整的url chapter_url = "http://www.doupoxs.com" + result.group(1)
# 得到章節的標題 title = result.group(2)
# 使用字典存儲url和title chapter = {"title": title, "url": chapter_url}
# 將字典添加到列表中 chapter_info_list.append(chapter) print(chapter_info_list)
return chapter_info_list
# TODO 2.根據章節目錄，抓取目錄對應的url指定的小說正文頁面
def get_content(chapter_info_list): for chapter_info in chapter_info_list:
# 發送請求 response = requests.get(url=chapter_info["url"], headers=headers)
if response.status_code == 200: # 判斷請求是否成功
# 判斷小說文件夾是否存在 if os.path.exists("novel_斗破蒼穹"):
pass else:
os.makedirs("novel_斗破蒼穹")
content_list = re.findall(r"<p>(.*?)</p>", response.content.decode("utf8"))[1:-1]
# 建立文件 并將小說正文寫入文件中 with open("./novel_斗破蒼穹/" + chapter_info["title"] + ".txt", "w", encoding="utf8") as file:
# 將內容一行一行的寫入文件中 for content in content_list:
file.write(content + "n")
if __name__ == '__main__':
get_content(get_catalogue("http://www.doupoxs.com/doupocangqiong/"))
程序執行結果如下圖所示：
很簡單，有木有！
此文轉載于：Amo Xiang
著作權歸作者所有，如有侵權聯系小編刪除！
原文地址：https://blog.csdn.net/xw1680/article/details/106025946
