這個 Python 模塊可以以多種格式收集網(wǎng)站使用日志并輸出良好結(jié)構(gòu)化數(shù)據(jù)以進(jìn)行分析。
• 來源:linux.cn • 作者:Ben Nuttall • 譯者:geekpi •
(本文字?jǐn)?shù):3262,閱讀時長大約:4 分鐘)
是否想知道有多少訪問者訪問過你的網(wǎng)站?或哪個頁面、文章或下載最受歡迎?如果你是自托管的博客或網(wǎng)站,那么無論你使用的是 Apache、Nginx 還是 Microsoft IIS(是的,沒錯), lars 都可以為你提供幫助。
Lars 是 Python 寫的 Web 服務(wù)器日志工具包。這意味著你可以使用 Python 通過簡單的代碼來回溯(或?qū)崟r)解析日志,并對數(shù)據(jù)做任何你想做的事:將它存儲在數(shù)據(jù)庫中、另存為 CSV 文件,或者立即使用 Python 進(jìn)行更多分析。
Lars 是 Dave Jones 寫的另一個隱藏的寶石。我最初是在本地 Python 用戶組中看到 Dave 演示 lars。幾年后,我們開始在 piwheels 項目中使用它來讀取 Apache 日志并將行插入到我們的 Postgres 數(shù)據(jù)庫中。當(dāng)樹莓派用戶從 piwheels.org 下載 Python 包時,我們會記錄文件名、時間戳、系統(tǒng)架構(gòu)(Arm 版本)、發(fā)行版名稱/版本,Python 版本等。由于它是一個關(guān)系數(shù)據(jù)庫,因此我們可以將這些結(jié)果加入其他表中以獲得有關(guān)文件的更多上下文信息。
你可以使用以下方法安裝lars:
$ pip install lars
在某些系統(tǒng)上,正確的方式是 sudo pip3 install lars。
首先,找到一個 Web 訪問日志并制作一個副本。你需要將日志文件下載到計算機上進(jìn)行操作。我在示例中使用的是 Apache 日志,但是經(jīng)過一些?。ㄇ抑庇^)的更改,你可以使用 Nginx 或 IIS。在典型的 Web 服務(wù)器上,你會在 /var/log/apache2/ 中找到 Apache 日志,通常是 access.log、ssl_access.log(對于 HTTPS)或 gzip 壓縮后的輪轉(zhuǎn)日志文件,如 access-20200101.gz 或者 ssl_access-20200101.gz 。
首先,日志是什么樣的?
81.174.152.222 - - [30/Jun/2020:23:38:03 +0000] "GET / HTTP/1.1" 200 6763 "-" "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:77.0) Gecko/20100101 Firefox/77.0"
這是一個顯示了請求源 IP 地址、時間戳、請求文件路徑(在本例中是主頁 /)、HTTP 狀態(tài)代碼,用戶代理(Ubuntu 上的 Firefox)等的請求。
你的日志文件將充滿這樣的條目,不僅是每個打開的頁面,還包括返回的每個文件和資源:每個 css 樣式表、JAVAScript 文件和圖像,每個 404 請求、每個重定向、每個爬蟲。要從日志中獲取有意義的數(shù)據(jù),你需要對條目進(jìn)行解析、過濾和排序。這就是 Lars 的用處。本示例將打開一個日志文件并打印每一行的內(nèi)容:
with open('ssl_access.log') as f:
with ApacheSource(f) as source:
for row in source:
print(row)
它會為每條日志顯示如下結(jié)果:
Row(remote_host=IPv4Address('81.174.152.222'), ident=None, remote_user=None, time=DateTime(2020, 6, 30, 23, 38, 3), request=Request(method='GET', url=Url(scheme='', netloc='', path_str='/', params='', query_str='', fragment=''), protocol='HTTP/1.1'), status=200, size=6763)
它解析了日志條目,并將數(shù)據(jù)放入結(jié)構(gòu)化格式中。該條目已成為具有與條目數(shù)據(jù)相關(guān)屬性的 命名元組 (namedtuple),因此,例如,你可以使用 row.status 訪問狀態(tài)代碼,并使用 row.request.url.path_str 訪問路徑:
with open('ssl_access.log') as f:
with ApacheSource(f) as source:
for row in source:
print(f'hit {row.request.url.path_str} with status code {row.status}')
如果你只想顯示 404 請求,可以執(zhí)行以下操作:
with open('ssl_access.log') as f:
with ApacheSource(f) as source:
for row in source:
if row.status == 404:
print(row.request.url.path_str)
你可能要對這些數(shù)據(jù)去重,并打印獨立的 404 頁面數(shù)量:
s = set()
with open('ssl_access.log') as f:
with ApacheSource(f) as source:
for row in source:
if row.status == 404:
s.add(row.request.url.path_str)
print(len(s))
我和 Dave 一直在努力擴(kuò)展 piwheel 的日志記錄器,使其包含網(wǎng)頁點擊量、軟件包搜索等內(nèi)容,歸功于 lars,這些并不難。它不會告訴我們有關(guān)用戶的任何答案。我們?nèi)匀恍枰M(jìn)行數(shù)據(jù)分析,但它去掉了復(fù)雜不便的文件格式,并以我們可以利用的方式將它放入我們的數(shù)據(jù)庫。
查閱 lars 的文檔,以了解如何讀取 Apache、Nginx 和 IIS 日志,并了解你還可以使用它做什么。再次感謝 Dave 提供的出色工具!
最初發(fā)布在 Ben Nuttall 的 Tooling Blog 中,并獲許重新發(fā)布。
via: opensource.com
作者: Ben Nuttall 選題: lujun9972 譯者: geekpi 校對: wxy
本文由 LCTT 原創(chuàng)編譯, Linux中國 榮譽推出