使用 python 在蘋果系統上構建爬蟲的步驟：安裝 Python 3 和 pip。安裝爬蟲庫 requests 和 BeautifulSoup。使用 requests 庫獲取網頁內容。使用 BeautifulSoup 庫解析 HTML。遍歷并提取數據。將數據保存到文件中。示例爬蟲可提取 Stack Overflow 中前 10 個問題的標題。
蘋果系統 Python 爬蟲教程
引言
Python 是 Web 爬取的強大工具，尤其是在 macOS 系統上。本教程將逐步指導您使用 Python 在蘋果系統上構建爬蟲。
安裝 Python 和必要的庫
安裝 Python 3：訪問 python.org 下載最新的 Python 3 發行版。
安裝 pip：pip 是 Python 的包管理工具，使用 sudo easy_install pip 安裝它。
安裝爬蟲庫：使用 pip install requests 安裝 requests 庫和 pip install beautifulsoup4 安裝 BeautifulSoup 庫。
使用 Requests 庫獲取網頁
requests 庫可用來獲取網頁內容。以下是如何使用它：
import requests url = 'https://example.com' response = requests.get(url) html = response.text
登錄后復制
使用 BeautifulSoup 庫解析 HTML
BeautifulSoup 庫可幫助您解析 HTML 文檔和提取所需數據。以下是如何使用它：
from bs4 import BeautifulSoup soup = BeautifulSoup(html, 'html.parser')
登錄后復制
遍歷并提取數據
您可以使用 BeautifulSoup 的方法遍歷 HTML 文檔并提取數據。以下是一些常見的方法：
find()：查找第一個匹配的元素。
find_all()：查找所有匹配的元素。
get_text()：提取元素中的文本。
get_attribute()：提取元素的屬性，例如 href 或 src。
將數據保存到文件中
從網頁中提取數據后，您可以將其保存在文件中。以下是如何使用 open() 函數執行此操作：
with open('data.txt', 'w') as file:
file.write(data)
登錄后復制
示例爬蟲
以下是一個示例爬蟲，可提取 Stack Overflow 中前 10 個問題的標題：
import requests
from bs4 import BeautifulSoup
url = 'https://stackoverflow.com/questions'
response = requests.get(url)
html = response.text
soup = BeautifulSoup(html, 'html.parser')
questions = soup.find_all('div', class_='question-summary')
for question in questions[:10]:
title = question.find('a', class_='question-hyperlink').get_text()
print(title)
登錄后復制
結論
通過使用 Python 和必要的庫，您可以在蘋果系統上構建強大的爬蟲，以從網頁中提取所需數據。本教程提供了所有必要的步驟，幫助您入門。
