原创 基于 Grafana LGTM 可观测平台的构建

2 }+ N0 V+ {, g# @7 _

原标题：基于 Grafana LGTM 可观测平台的构建

& W; w; c9 I; f, z* ? 0 f# x9 U0 G: I6 E$ V( s0 _6 @

可观测性目前属于云原生一个比较火的话题，它涉及的内容较多，不仅涉及多种遥测数据（信号），例如日志（log）、指标(metric)、分布式追踪（trace）、连续分析(continuous profiling)、 事件（event）；还涉及遥测数据各生命周期管理，比如暴露、采集、存储、计算查询、统一看板。

( _- G" o8 `2 f* r5 d! F$ K

目前社区相关开源产品较多，各有各的优势，今天我们就来看看如何使用 Grafana LGTM 技术栈（Grafana、Loki、Tempo、Mimir）快速构建一个自己的可观测性平台。

通过本文你将了解：

如何在 Go 程序中导出 metric、trace、log、以及它们之间的关联 TraceID

如何使用 OTel Collector 进行 metric、trace 收集

8 O, _/ F, V# H) V. _

如何使用 OTel Collector Contrib 进行日志收集

如何部署 Grafana Mimir、Loki、Tempo 进行 metric、trace、log 数据存储

如何使用 Grafana 制作统一可观测性大盘

为了本次的教学内容，我们提前编写了一个 Go Web 程序，它提供 /v1/books 和 /v1/books/1 两个 HTTP 接口。

0 ~( y! X4 Y7 O

当请求接口时，会先访问 Redis 缓存，如果未命中将继续访问 MySQL；整个请求会详细记录相关日志、整个链路各阶段调用情况以及整体请求延迟，当请求延迟 >200ms 时，会通过 Prometheus examplar 记录本次请求的 TraceID，用于该请求的日志、调用链关联。

下载并体验样例

1 Q4 z _" ?6 u) A, b8 k+ Z/ p

我们已经提前将样例程序上传到 github，所以您可以使用 git 进行下载：

git clone https://github.com/grafanafans/prometheus-exemplar.git

5 k' F2 ?! h2 ]+ r/ d8 V) G- C7 J

cd prometheus-exemplar

! y: {( S7 ^1 }. L

使用 docker-compose 启动样例程序:

, w. O. Z6 A! {0 h/ `

docker-compose up -d

这个命令会启动以下程序：

使用单节点模式分别启动一个 Mimir、Loki、Tempo

启动一个 Nginx 作为统一可观测平台查询入口，后端对接 Mimir、Loki、Tempo

启动 demo app, 并启动其依赖的 MySQL 和 Redis， demo app 可以使用 http://localhost:8080 访问

: B0 M) B" Y0 D: L: i

启动 Grafana 并导入预设的数据源和 demo app 统一看板，可以使用 http://localhost:3000 访问

整个部署架构如下：

7 q% m5 R* s3 |. M2 i

当程序部署完成后，我们可以使用 wrk 进行 demo app 接口批量请求：

wrk http://localhost:8080/v1/books

, E: Z. B9 ^1 A7 _0 s

wrk http://localhost:8080/v1/books/1

最后通过 http://localhost:3000 页面访问对应的看板：

$ Y5 }+ Z' ^* s1 E6 O% L; S

- N5 M( l- v; U% T

细节说明

, v. s2 ?! @4 Z* p% U a- @

使用 Promethues Go SDK 导出 metrics

6 W! M4 T6 l' l6 y

在 demo app 中，我们使用 Prometheus Go SDK 作为 metrics 导出，这里没有使用 OpenTelmetry SDK 主要因为当前版本（v0.33.0）还不支持 exemplar， 代码逻辑大致为：

func Metrics(metricPath string, urlMapping func(string) string) gin.HandlerFunc <{p> httpDurationsHistogram := prometheus.NewHistogramVec(prometheus.HistogramOpts<{p> Name: "http_durations_histogram_seconds",

Help: "Http latency distributions.",

4 }& j, R4 ` {" K) v/ A9 H

Buckets: []float64{0.05, 0.1, 0.25, 0.5, 1, 2},

% d2 v: j2 {0 i2 w& y

}, []string{"method", "path", "code"})

prometheus.MustRegister(httpDurationsHistogram)

return func(c *gin.Context) <{p> .....

9 ^9 D! H0 w" `! J

observer := httpDurationsHistogram.WithLabelValues(method, url, status)

/ F9 g/ u# {" P8 [$ O4 s2 X' l# A

observer.Observe(elapsed)

2 v0 U! R0 x* i- \! g4 d; t: M

if elapsed > 0.2 <{p> observer.(prometheus.ExemplarObserver).ObserveWithExemplar(elapsed, prometheus.Labels<{p> "traceID": c.GetHeader(api.XRequestID),

- [+ x+ H! x+ y

})

% b* a/ {" Y4 x. Y% w' {' p2 C

}

}

}

. ^# @# h6 i, G8 D& t

使用 OTLP HTTP 导出 traces

5 o1 _5 ?5 D7 D D. q1 m1 U" [

使用 OTel SDK 进行 trace 埋点：

3 U* P, K* f$ Y4 J1 i3 j

func (*MysqlBookService) Show(id string, ctx context.Context) (item *Book, err error) <{p> _, span := otel.Tracer().Start(ctx, "MysqlBookService.Show")

9 s- c0 w; k' b" O+ n/ D& @0 `2 Z

span.SetAttributes(attribute.String("id", id))

8 x7 P; S% {3 a5 X

defer span.End()

// mysql qury random time duration

time.Sleep(time.Duration(rand.Intn(250)) * time.Millisecond)

% c4 E5 h9 P- S5 z" I. c/ M& [

err = db.Where(Book{Id: id}).Find(&item).Error

1 m' V: K2 s% o. Z7 H: b7 w) R

return

}

- z ?( m0 ?1 h! t- b# w4 Y

使用 OLTP HTTP 进行导出：

func SetTracerProvider(name, environment, endpoint string) error <{p> serviceName = name

client := otlptracehttp.NewClient(

6 s1 i( R2 U" v, j

otlptracehttp.WithEndpoint(endpoint),

6 j H" P/ i2 x. P+ S

otlptracehttp.WithInsecure(),

)

% k" Y8 g/ i8 u1 J& t4 f$ u: |

exp, err := otlptrace.New(context.Background(), client)

: `/ r$ v0 z5 r0 I9 L3 w" n

if err != nil <{p> return err

}

tp := tracesdk.NewTracerProvider(

1 L/ b9 x1 t- @+ q

tracesdk.WithBatcher(exp),

. s" O; p' E& S8 q3 {

tracesdk.WithResource(resource.NewWithAttributes(

semconv.SchemaURL,

semconv.ServiceNameKey.String(serviceName),

3 G9 k# Z- i6 l1 d

attribute.String("environment", environment),

)),

' R6 ]* g: r5 K- C! g1 Z! y

)

- ^9 d1 Y- O! b( H f# y

otel.SetTracerProvider(tp)

return nil

2 a/ o' ^! Q* ^) n7 D

}

结构化日志

这里我们使用 go.uber.org/zap 包进行结构化日志输出，并输出到 /var/log/app.log 文件，每个请求开始时，注入 traceID：

cfg := zap.NewProductionConfig()

cfg.OutputPaths = []string{"stderr", "/var/log/app.log"}

logger, _ := cfg.Build()

logger.With(zap.String("traceID", ctx.GetHeader(XRequestID)))

使用 OTel Collector 进行 metric、trace 收集

因为 demo app 的 metrics 使用 Prometheus SDK 导出，所以 OTel Collector 需要使用 Prometheus recevier 进行抓取，然后我们再通过 Prometheus remotewrite 将数据 push 到 Mimir。

针对 traces，demo app 使用 OTLP HTTP 进行了导出，所有 Collector 需要用 OTP HTTP recevier 进行接收，最后再使用 OTLP gRPC 将数据 push 到 Tempo，对应配置如下：

8 L4 r+ g* ?" Q! e3 _

receivers:

otlp:

; Z) [- h1 P2 U% i4 v/ ^3 b

protocols:

% o( h9 e2 Y5 w( {

grpc:

http:

prometheus:

config:

scrape_configs:

) Q+ } R! A; S# `3 p

- job_name: app

scrape_interval: 10s

5 `' e1 U4 R4 x; q

static_configs:

/ {$ h! I4 X7 ]+ s1 w# |8 L6 P: e

- targets: [app:8080]

# U% W, {( G, h8 t* |# c

exporters:

% L# l0 r: O/ {

otlp:

0 m6 [/ r1 R" q& I1 Q0 T$ e

endpoint: tempo:4317

tls:

insecure: true

' `8 B5 X' U5 }* o; K2 d' \1 o) h

prometheusremotewrite:

endpoint: http://mimir:8080/api/v1/push

tls:

insecure: true

headers:

X-Scope-OrgID: demo

5 a0 \+ ]% t* A" h0 `

processors:

batch:

; u* f- C) b a' Q5 F4 P: G3 s1 S

service:

, y$ q& y7 M3 B7 G

pipelines:

traces:

receivers: [otlp]

processors: [batch]

exporters: [otlp]

metrics:

receivers: [prometheus]

' [' Q! ~. R* x2 X5 p$ I7 I

processors: [batch]

' X9 K- ]6 t0 D% l4 ~

exporters: [prometheusremotewrite]

8 t; |' e9 |/ y

使用 OTel Collector Contrib 进行 log 收集

因为我们结构化日志输出到了/var/log/app.log 文件，所以这里使用 filelog receiver 进行最新日志读取，最后再经过loki exporter 进行导出，配置如下：

receivers:

0 t" \, I# q8 q1 ?

filelog:

include: [/var/log/app.log]

7 T4 a" u5 X8 V7 F4 C

exporters:

$ t, V" f" o$ y/ Z( Q2 J* l

loki:

0 g" } H$ }) L u, u

endpoint: http://loki:3100/loki/api/v1/push

tenant_id: demo

) `* u* O! f- F: w

labels:

attributes:

- T; Y) x% o* g

log.file.name: "filename"

2 W8 ]6 H- \' C3 o

processors:

) d4 P9 d7 L! D1 _ `, w/ [- ^

batch:

service:

/ @: m3 Q: O3 q3 D% N$ U

pipelines:

logs:

receivers: [filelog]

, L) w! R* J' Q1 R6 y& s5 n* j

processors: [batch]

7 K! I6 g$ u% p4 s& A" b: A7 b, j

exporters: [loki]

% Q* i' A" Z5 l# G( v t& @' l

以上就是有关 demo app 可观测性与 Grafana LGTM 技术栈集成的核心代码与配置，全部配置请参考 https://github.com/grafanafans/prometheus-exemplar 。

& U- s* ~! ]8 W" z% U6 m

总结

8 L1 Z, u% L- f* m) N) V- n

本文我们通过一个简单的 Go 程序，导出了可观测性相关的遥测数据，其中包括 metrics、traces、logs, 然后统一由 OTel Collector 进行抓取，分别将三种遥测数据推送到 Grafana 的 Mimir、 Tempo、Loki 进行存储，最后再通过 Grafana 统一看板并进行 metrics、traces、logs 关联查询。

7 x, V% v' j8 u

这里关联的逻辑为使用 Prometheus 的 exemplar 记录采样对应的 traceID，然后通过该 traceID 进行相关日志和 trace 查询。返回搜狐，查看更多

; ?4 X( x3 j0 ?7 u( Y1 i' s 1 Q; ?) A; R4 { O7 z

责任编辑：

4 ?( U3 _1 N4 ^2 J5 P & }: }1 q& z. F) e0 `