近日，由網(wǎng)易和中國(guó)工商銀行聯(lián)合發(fā)起的云原生日志系統(tǒng)Loggie項(xiàng)目（github.com/loggie-io/loggie/）正式開源。這是網(wǎng)易數(shù)帆向云原生日志痛點(diǎn)發(fā)起的一次沖鋒，也是團(tuán)隊(duì)聯(lián)合合作伙伴踐行“架構(gòu)開放，內(nèi)核開源”技術(shù)理念、把控制權(quán)交給客戶的又一行動(dòng)。
Loggie項(xiàng)目：破解云原生日志之痛
企業(yè)數(shù)字化轉(zhuǎn)型浪潮中，采用云原生技術(shù)解決數(shù)字化軟件研發(fā)、運(yùn)維新挑戰(zhàn)已成主流選擇，然而在云原生環(huán)境下，容器大規(guī)模及頻繁動(dòng)態(tài)遷移、日志存儲(chǔ)多樣性、Kubernetes元信息查詢等特點(diǎn)，迫使日志管理方式發(fā)生變化。隨著業(yè)務(wù)實(shí)踐的深入，日志方面存在的人肉運(yùn)維越來越多、功能開發(fā)難以擴(kuò)展和難以支撐更大規(guī)模等問題逐漸浮出水面，業(yè)界既有的開源方案未能滿足需求，比如：
• 性能不達(dá)標(biāo)，或者擴(kuò)展功能開發(fā)效率低，未達(dá)到很好的平衡
• 對(duì)容器化場(chǎng)景支持有限
• 大部分開源項(xiàng)目均未提供一套完整的日志解決方案
在此背景下，面向云原生場(chǎng)景的Loggie應(yīng)運(yùn)而生。Loggie是一個(gè)基于Golang的輕量級(jí)、高性能、云原生日志采集Agent和中轉(zhuǎn)處理Aggregator，支持多Pipeline和組件熱插拔，提供了：
• 一棧式日志解決方案：同時(shí)支持日志中轉(zhuǎn)、過濾、解析、切分、日志報(bào)警等
• 云原生的日志形態(tài)：快速便捷的容器日志采集方式，原生的Kubernetes CRD動(dòng)態(tài)配置下發(fā)
• 生產(chǎn)級(jí)的特性：基于長(zhǎng)期的大規(guī)模運(yùn)維經(jīng)驗(yàn)，形成了全方位的可觀測(cè)性、快速排障、異常預(yù)警、自動(dòng)化運(yùn)維能力
結(jié)合網(wǎng)易數(shù)帆長(zhǎng)期的業(yè)務(wù)實(shí)踐，Loggie形成了如下幾大特點(diǎn)：
• 可擴(kuò)展、熱插拔：配置不同的Source/Interceptor/Sink，擁有中轉(zhuǎn)、過濾、解析、切分、日志報(bào)警等能力，可使用Golang快速自研插件
• 強(qiáng)隔離：多Pipeline設(shè)計(jì)，減少互相干擾，可同時(shí)發(fā)送多個(gè)不同數(shù)據(jù)源
• 輕量級(jí)、高性能：基于Golang，極少的資源占用，強(qiáng)大的吞吐性能
• 可靠性保障：完善的日志可觀測(cè)性，原生Prometheus metrics支持，還有限流等Interceptor
• 云原生：配置中心集成Kubernetes，創(chuàng)建CRD實(shí)例即可采集容器日志
同時(shí)，基于Loggie的流式數(shù)據(jù)傳輸設(shè)計(jì)，我們可以靈活的使用Loggie的Pipeline。從使用形態(tài)上可劃分為：
• Agent 形態(tài)：每個(gè)節(jié)點(diǎn)一個(gè)或者每個(gè)Pod一個(gè)，用于采集日志或者其他數(shù)據(jù)
• Aggregator 形態(tài)：用于中轉(zhuǎn)、轉(zhuǎn)發(fā)和處理，可獨(dú)立部署成集群
可以應(yīng)用在：
• 數(shù)據(jù)采集：采集容器日志、節(jié)點(diǎn)日志，采集Prometheus metrics、Kubernetes Events等
• 數(shù)據(jù)中轉(zhuǎn)：作為中轉(zhuǎn)機(jī)去做數(shù)據(jù)的聚合、轉(zhuǎn)發(fā)、分流
• 數(shù)據(jù)處理：進(jìn)行流式數(shù)據(jù)的切分、轉(zhuǎn)換、處理
• 日志報(bào)警：進(jìn)行異常日志的檢測(cè)與報(bào)警
...
此外，利用Loggie的設(shè)計(jì)，用戶也可以快速開發(fā)一個(gè)Source、Sink或Interceptor組件，復(fù)用Loggie的能力，避免大量重復(fù)的開發(fā)工作，比如：
• 在Kubernetes集群中可方便、直接的使用CRD下發(fā)配置，并且支持自動(dòng)reload、支持指定Loggie集群，無需考慮部署、配置更新等問題
• 依賴Loggie提供傳輸過程的穩(wěn)定性和可靠性，保證at-least-once和重試機(jī)制，避免數(shù)據(jù)丟失，以及數(shù)據(jù)量過多或過大造成的隱患
• 使用Loggie提供的一系列監(jiān)控指標(biāo)，比如隊(duì)列長(zhǎng)度、傳輸延遲、發(fā)送QPS等，可快速接入Prometheus，同時(shí)還可使用一些系統(tǒng)內(nèi)置的快速排障的接口與能力
• 使用可插拔的Interceptor可用于自定義的數(shù)據(jù)處理、格式轉(zhuǎn)換等，避免過多的定制化代碼開發(fā)
Loggie生態(tài)：攜手伙伴強(qiáng)化系統(tǒng)能力
Loggie萌芽于網(wǎng)易嚴(yán)選業(yè)務(wù)的實(shí)際需求，成長(zhǎng)于嚴(yán)選與數(shù)帆的長(zhǎng)期共建，持續(xù)發(fā)展于網(wǎng)易數(shù)帆與網(wǎng)易新聞、中國(guó)工商銀行的緊密協(xié)作。廣泛的生態(tài)，使得項(xiàng)目能夠基于業(yè)務(wù)需求不斷完善、成熟。
在Loggie之前，網(wǎng)易嚴(yán)選采用的是開源的日志解決方案。由于業(yè)務(wù)同時(shí)存在虛擬機(jī)、物理機(jī)、容器等多種日志采集場(chǎng)景，需要應(yīng)對(duì)相當(dāng)于平峰期10倍+的大促流量，嚴(yán)選在采集性能、資源隔離、可觀測(cè)性、異常發(fā)現(xiàn)及自動(dòng)化運(yùn)維等方面都遇到了非常大的痛點(diǎn)。因此，2019年，嚴(yán)選與數(shù)帆開始共建面向云原生的全新日志系統(tǒng)Loggie。
網(wǎng)易數(shù)帆輕舟產(chǎn)品總經(jīng)理陳諤表示：
Loggie是我們?cè)圃鷮?shí)踐的一項(xiàng)重要成果，項(xiàng)目遵循云原生社區(qū)標(biāo)準(zhǔn)構(gòu)建，同時(shí)兼容傳統(tǒng)技術(shù)架構(gòu)，融合工商銀行等不同行業(yè)應(yīng)用場(chǎng)景的經(jīng)驗(yàn)，企業(yè)采用Loggie能夠統(tǒng)一日志管理，為云原生應(yīng)用平滑落地保駕護(hù)航。Loggie的成熟得益于網(wǎng)易數(shù)帆與業(yè)務(wù)共建，我們相信開源將使得項(xiàng)目能夠適應(yīng)更多行業(yè)場(chǎng)景，豐富開源技術(shù)生態(tài)，促進(jìn)云原生技術(shù)發(fā)展。
網(wǎng)易高級(jí)技術(shù)專家、嚴(yán)選中臺(tái)負(fù)責(zé)人王國(guó)云表示：
Loggie已經(jīng)在網(wǎng)易嚴(yán)選的混合生產(chǎn)環(huán)境中經(jīng)過了2年多的充分驗(yàn)證。現(xiàn)在，在集團(tuán)的大力支持下，我們將Loggie開源，一方面，希望可以填補(bǔ)社區(qū)在一站式日志解決方案上的空白，幫助到更多遇到同類問題的企業(yè)；另一方面，也希望可以借助社區(qū)的力量，使Loggie項(xiàng)目不斷壯大，獲得更持續(xù)更健康的發(fā)展。
后續(xù)，嚴(yán)選將基于自身業(yè)務(wù)場(chǎng)景及在云原生實(shí)踐方面的技術(shù)積累，持續(xù)參與Loggie項(xiàng)目的開發(fā)與管理工作，也期待有更多志同道合的伙伴參與進(jìn)來。
中國(guó)工商銀行已經(jīng)建成同業(yè)規(guī)模最大的企業(yè)級(jí)云平臺(tái)，核心應(yīng)用100%入云，容器集群超100個(gè)，運(yùn)行容器超30萬個(gè)。工商銀行2017年開始建設(shè)企業(yè)級(jí)日志中心，日志中心實(shí)現(xiàn)對(duì)應(yīng)用各類日志收集、清洗、格式化及存儲(chǔ)，支撐用戶檢索、下載，日均日志容量達(dá)45TB；基于標(biāo)準(zhǔn)化日志數(shù)據(jù)打造輕量級(jí)運(yùn)營(yíng)服務(wù)，快速有效支持業(yè)務(wù)交易率、耗時(shí)等基礎(chǔ)運(yùn)營(yíng)指標(biāo)的實(shí)時(shí)獲取，同時(shí)還提供移動(dòng)端、前臺(tái)等便捷的用戶視圖。
工商銀行軟件開發(fā)中心云計(jì)算實(shí)驗(yàn)室主任王鑫表示：
在社區(qū)貢獻(xiàn)方面，工商銀行作為L(zhǎng)oggie項(xiàng)目參與單位，結(jié)合日志平臺(tái)建設(shè)經(jīng)驗(yàn)，并在采集目標(biāo)發(fā)現(xiàn)、日志攔截處理、組件自監(jiān)控等核心模塊進(jìn)行深度定制開發(fā)。后續(xù)，工商銀行將持續(xù)參與Loggie社區(qū)的工作，計(jì)劃在日志輸出擴(kuò)展、流式處理等模塊繼續(xù)深入研究，反哺開源社區(qū)。
Loggie未來：滿足可觀測(cè)性更多需求
Loggie已經(jīng)廣泛應(yīng)用于網(wǎng)易內(nèi)部、中國(guó)工商銀行以及網(wǎng)易輕舟眾多的商業(yè)客戶環(huán)境中。在網(wǎng)易嚴(yán)選業(yè)務(wù)的實(shí)測(cè)中，Loggie消耗的CPU僅為之前方案的1/4，同時(shí)發(fā)送吞吐量為后者的1.6～2.6倍，并且在多Pipeline采集下甚至達(dá)到了200MB/s+極限吞吐量。
Loggie開源發(fā)布之后，網(wǎng)易數(shù)帆開源的自研云原生項(xiàng)目已達(dá)6個(gè)，還包括云原生軟件定義存儲(chǔ)系統(tǒng)Curve、多租戶可視化Kubernetes管理平臺(tái)KubeCube、云原生運(yùn)維診斷系統(tǒng)KubeDiag、高性能云原生API網(wǎng)關(guān)Hango、智能網(wǎng)格管理器Slime等。陳諤此前曾表示：網(wǎng)易數(shù)帆在云原生領(lǐng)域的一系列開源工作，旨在為客戶引入云原生技術(shù)棧提供便利，通過企業(yè)級(jí)增強(qiáng)基礎(chǔ)組件的開源，幫助客戶解決云原生基礎(chǔ)設(shè)施的管控、維護(hù)、穩(wěn)定性等問題。
Loggie的開源，意味著網(wǎng)易數(shù)帆在云原生開源版圖的可觀測(cè)性領(lǐng)域也落下重子，形成了更加完善的布局。
未來，Loggie將提供更多組件與功能擴(kuò)展，推出輕量級(jí)的流式處理能力，不斷解決云原生日志的更多痛點(diǎn)，滿足可觀測(cè)性方向的更多需求。對(duì)該領(lǐng)域感興趣的朋友，歡迎了解Loggie項(xiàng)目，共同參與建設(shè)Loggie社區(qū)！
