本文介紹了Spark應用程序和日志MDC(映射診斷上下文)的處理方法,對大家解決問題具有一定的參考價值,需要的朋友們下面隨著小編來一起學習吧!
問題描述
我正在尋找一種方法,將我的驅動程序的MDC轉發給主程序和工作程序,以便我可以識別來自同一操作的消息?例如,我有一個與應用程序相關的查詢/作業ID,我希望將其附加到我的Spark Worker中的結構化日志消息中。
不可能?
未記錄?
很簡單,但我太傻了,找不到?
問候您。
推薦答案
如果我對PR理解正確(我是Spark新手),那么從版本3.1開始
現在應該可以通過spark.sparkContext.setLocalProperty("mdc." + name, "value")
將自定義條目添加到MDC。
這篇關于Spark應用程序和日志MDC(映射診斷上下文)的文章就介紹到這了,希望我們推薦的答案對大家有所幫助,