OpenTelemetry 探針
OpenTelemetry(簡稱 Otel,最新的版本是 1.27) 是一個用于觀察性的開源項目,提供了一套工具、APIs 和 SDKs,用于收集、處理和導出遙測數據(如指標、日志和追蹤信息)。應用程序遙測數據(如追蹤、指標和日志)的收集是通過探針來完成的,探針通常以庫的形式集成到應用程序中,自動捕獲重要信息協助監控和調試。OpenTelemetry 探針支持市面上大多數的編程語言,探針的安裝(通常被稱為插樁,Instrumentation)分為手動和自動兩種方式。
-
手動插樁:指開發者直接在其應用程序代碼中顯式地添加遙測數據收集的代碼,需要手動完成 SDK 初始化、插入追蹤點、添加上下文信息等一系列操作。 -
自動插樁:利用 OpenTelemetry 提供的庫自動捕獲應用程序的遙測數據,無需或只需很少的代碼更改。比如,JAVA 通過 `javaagent` 實現探針的自動安裝[1]。
二者各有優劣:手動插樁適用于需要高度定制和精確控制遙測數據收集的場景;自動插樁適合快速啟動和簡化集成,特別是在使用標準框架和庫的應用程序中。
OpenTelemetry Operator 介紹
OpenTelemetry Operator[2] 是一個為了簡化 OpenTelemetry 組件在 Kube.NETes 環境中的部署和管理而設計的 Kubernetes Operator。
OpenTelemetry Operator 通過 CRD(OpenTelemetryCollector[3]、Instrumentation[4]、OpAMPBridge[5]) 實現在 Kubernetes 集群中自動部署和管理 OpenTelemetry Collector;在工作負載中自動安裝 OpenTelemetry 探針。
今天我們就將體驗如何使用 OpenTelemetry Operator 自動安裝探針,實現鏈路跟蹤。
演示
架構
這是演示的架構,Otel 提供了 多種語言的 instrumentation SDK[6],這篇文章中我們將使用 Java 和 Go 兩種語言的應用。這兩種語言會使用全自動和半自動的注入安裝:
-
Java 全自動注入安裝,Otel Operator 通過使用 init contAIner 引入 sdk ,并通過 JAVA_TOOL_OPTIONS
來指定javaagent
來插樁。這里將使用pinakispecial/spring-boot-rest
鏡像來運行一個簡單的 Spring Boot REST 服務。 -
Go 半自動注入安裝,為什么是半自動?Go 的全自動是通過 eBPF 的方式實現的:在 Pod 注入獨立的容器,加載 BPF 程序。但是 eBPF 的實現對內核要求十分苛刻 5.4 - 5.14。這里演示半自動的方式:手動引入 Go instrumentation SDK[7],自動注入配置[8]。
Jaeger
為了便于演示這里使用 jaegertracing/all-in-one
鏡像來部署 Jaeger,這個鏡像包含了 Jaeger 收集器、內存存儲、查詢服務和 UI 等組件,非常適合開發和測試使用。
通過環境變量 COLLECTOR_OTLP_ENABLED
啟動對 OTLP(OpenTelemetry Protocol)[9] 的支持。
kubectl Apply -f - <<EOF
apiVersion: apps/v1
kind: Deployment
metadata:
name: jaeger
spec:
replicas: 1
selector:
matchLabels:
app: jaeger
template:
metadata:
labels:
app: jaeger
spec:
containers:
- name: jaeger
image: jaegertracing/all-in-one:latest
env:
- name: COLLECTOR_OTLP_ENABLED
value: "true"
ports:
- containerPort: 16686
- containerPort: 14268
---
apiVersion: v1
kind: Service
metadata:
name: jaeger
spec:
selector:
app: jaeger
type: ClusterIP
ports:
- name: ui
port: 16686
targetPort: 16686
- name: collector
port: 14268
targetPort: 14268
- name: http
protocol: TCP
port: 4318
targetPort: 4318
- name: grpc
protocol: TCP
port: 4317
targetPort: 4317
EOF
安裝 cert-manager
Otel Operator 依賴 cert-manager 進行證書的管理,安裝 operator 之前需要安裝 cert-manager。
kubectl apply -f https://Github.com/cert-manager/cert-manager/releases/download/v1.13.2/cert-manager.yaml
安裝 OpenTelemetry Operator
執行下面命令安裝 Otel Operator
kubectl apply -f https://github.com/open-telemetry/opentelemetry-operator/releases/latest/download/opentelemetry-operator.yaml
配置 OpenTelemetry Collector
通過創建 CR OpenTelemetryCollector 來配置 Otel 的采集器,這里我們配置了:
-
otel
接收器:支持 grpc(端口4317
)和 http(端口4318
) -
memory_limiter
和batch
處理器,但是為了方便快速查看數據,這兩個并沒有啟用,僅作展示用。 -
debug
和otlp/jaeger
的輸出器,分別用于在標準輸出中打印信息和使用 otlp 協議輸出到 Jaeger。 -
pipeline
服務,用于配置跟蹤數據的處理流程:接收、處理和輸出。
kubectl apply -f - <<EOF
apiVersion: opentelemetry.io/v1alpha1
kind: OpenTelemetryCollector
metadata:
name: otel
spec:
config: |
receivers:
otlp:
protocols:
grpc:
http:
processors:
memory_limiter:
check_interval: 1s
limit_percentage: 75
spike_limit_percentage: 15
batch:
send_batch_size: 10000
timeout: 10s
exporters:
debug:
otlp/jaeger:
endpoint: "jaeger.default:4317"
tls:
insecure: true
service:
pipelines:
traces:
receivers: [otlp]
processors: []
exporters: [debug,otlp/jaeger]
EOF
創建 CR OpenTelemetryCollector 后,Otel Operator 會創建一個 deployment 和 多個 service。
kubectl get deployment,service -l app.kubernetes.io/component=opentelemetry-collector
NAME READY UP-TO-DATE AVAILABLE AGE
deployment.apps/otel-collector 1/1 1 1 12h
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
service/otel-collector ClusterIP 10.43.152.81 <none> 4317/TCP,4318/TCP,8889/TCP,9411/TCP 12h
service/otel-collector-headless ClusterIP None <none> 4317/TCP,4318/TCP,8889/TCP,9411/TCP 12h
service/otel-collector-monitoring ClusterIP 10.43.115.103 <none> 8888/TCP 12h
Collector 部署的四種部署模型[10] Deployment、DaemonSet、StatefulSet、Sidecar,默認為 Deployment。
配置 Instrumentation
Instrumentation 是 Otel Operator 的另一個 CRD,用于自動安裝 Otel 探針和配置:
-
propagators
用于配置跟蹤信息在上下文的傳遞方式。 -
sampler
采樣器 -
env
和[language].env
添加到容器的環境變量
更多配置說明,請參考 Instrumentation API 文檔[11]。
kubectl apply -f - <<EOF
apiVersion: opentelemetry.io/v1alpha1
kind: Instrumentation
metadata:
name: instrumentation-sample
spec:
propagators:
- tracecontext
- baggage
- b3
sampler:
type: parentbased_traceidratio
argument: "1"
env:
- name: OTEL_EXPORTER_OTLP_ENDPOINT
value: otel-collector.default:4318
java:
env:
- name: OTEL_EXPORTER_OTLP_ENDPOINT
value: http://otel-collector.default:4317
EOF
Java 示例應用
為 Pod 添加注解 instrumentation.opentelemetry.io/inject-java: "true"
通知 Otel Operator 該應用的類型以便注入正確的探針。
kubectl apply -f - <<EOF
apiVersion: apps/v1
kind: Deployment
metadata:
name: java-sample
spec:
replicas: 1
selector:
matchLabels:
app: java-sample
template:
metadata:
labels:
app: java-sample
annotations:
instrumentation.opentelemetry.io/inject-java: "true"
spec:
containers:
- name: java-sample
image: pinakispecial/spring-boot-rest
ports:
- containerPort: 8080
EOF
可以看到 Otel Operator 向 Pod 中注入了一個 otel 的初始化容器。
以及在 java 容器中注入了一系列的環境變量進行配置。
Go 示例應用
前面提到 Go 語言的自動注入演示使用半自動的方式,與本文的標題不符,屬于嵌入式的。我寫了一個 簡單的 Go 應用[12],使用手動的方式來安裝 Otel 探針,有興趣的可以查看源碼。
kubectl apply -f https://raw.githubusercontent.com/addozhang/http-sample/main/manifests/service-v1.yaml
查看 Pod 同樣可以看到通過環境變量的方式注入的 Otel 配置。
測試
pod_name="$(kubectl get pod -n default -l app=service-a -o jsonpath='{.items[0].metadata.name}')"
kubectl port-forward $pod_name 8080:8080 &
curl localhost:8080
service-a(version: v1, ip: 10.42.0.68, hostname: service-a-5bf98748f5-l9pjw) -> service-b(version: v1, ip: 10.42.0.70, hostname: service-b-676c56fb98-rjbwv) -> service-c(version: v1, ip: 10.42.0.69, hostname: service-c-79985dc75d-bh68k)
發送請求后,打開 Jaeger UI。
jaeger_pod="$(kubectl get pod -l app=jaeger -o jsonpath='{.items[0].metadata.name}')"
kubectl port-forward $jaeger_pod 16686:16686 &
Bingo!
訪問 Jaeger UI 就可以看到這個訪問的鏈路信息了。
參考資料
Java 通過 javaagent
實現探針的自動安裝: https://opentelemetry.io/docs/instrumentation/java/automatic/
OpenTelemetry Operator: https://opentelemetry.io/docs/kubernetes/operator/
[3]OpenTelemetryCollector: https://github.com/open-telemetry/opentelemetry-operator/blob/main/docs/api.md#opentelemetrycollector
[4]Instrumentation: https://github.com/open-telemetry/opentelemetry-operator/blob/main/docs/api.md#instrumentation
[5]OpAMPBridge: https://github.com/open-telemetry/opentelemetry-operator/blob/main/docs/api.md#opampbridge
[6]多種語言的 instrumentation SDK: https://opentelemetry.io/docs/instrumentation/
[7]手動引入 Go instrumentation SDK: https://github.com/addozhang/http-sample/blob/main/otel.go
[8]自動注入配置: https://github.com/open-telemetry/opentelemetry-operator/blob/main/README.md#opentelemetry-auto-instrumentation-injection
[9]OTLP(OpenTelemetry Protocol): https://opentelemetry.io/docs/specs/otlp/
[10]Collector 部署的四種部署模型: https://github.com/open-telemetry/opentelemetry-operator#deployment-modes
[11]Instrumentation API 文檔: https://github.com/open-telemetry/opentelemetry-operator/blob/main/docs/api.md#instrumentation
[12]簡單的 Go 應用: https://github.com/addozhang/http-sample