- 机器学习
- 深度学习
- 数据可视化
- 可观测性
【免费下载链接】wandb
The AI developer platform. Use Weights & Biases to train and fine-tune models, and manage models from experimentation to production.
OpenTelemetry-Go 是 OpenTelemetry 官方为 Go 语言提供的实现,提供一套统一的 API 来采集分布式追踪(Traces)、指标(Metrics)与日志(Logs),并交给可观测性平台处理。本文以 wandb 仓库中随源码一起 vendor 的 core/vendor/go.opentelemetry.io/otel/README.md 为主线,结合 wandb-core 中真实使用 OpenTelemetry 的源码与测试,梳理其信号成熟度、Go 版本兼容策略、上手流程与导出器矩阵,并落地到 wandb 如何用 OTLP HTTP 把指标与日志送到后端代理 API 的具体实现。
一、OpenTelemetry-Go 是什么
OpenTelemetry-Go 是 Go 语言对 OpenTelemetry 的官方实现。它提供一组 API,让你直接测量软件的性能与行为,并把数据发送到任意可观测性平台。其设计目标是:一套 API 同时采集分布式追踪与指标,应用只需做两件事——为应用打点(instrument),再配置一个导出器(exporter)。
在 wandb 仓库中,该库作为核心依赖被引入并整体 vendor 在 core/vendor/go.opentelemetry.io/otel/ 目录下,当前版本为 v1.46.0(见 core/vendor/go.opentelemetry.io/otel/version.go 中的Version()返回值)。依赖声明位于 core/go.mod,除核心包外还包括 OTLP 的日志、指标 HTTP 导出器以及对应的 SDK 模块:
go.opentelemetry.io/otel v1.46.0 go.opentelemetry.io/otel/exporters/otlp/otlplog/otlploghttp v0.22.0 go.opentelemetry.io/otel/exporters/otlp/otlpmetric/otlpmetrichttp v1.46.0 go.opentelemetry.io/otel/log v0.22.0 go.opentelemetry.io/otel/metric v1.46.0 go.opentelemetry.io/otel/sdk v1.46.0 go.opentelemetry.io/otel/sdk/log v0.22.0 go.opentelemetry.io/otel/sdk/metric v1.46.0 go.opentelemetry.io/otel/trace v1.46.0 // indirect注意其中log相关模块版本号为v0.22.0,与 trace/metric 的v1.46.0不同——这正对应下文信号状态表中日志信号仍处于 Beta 阶段的现实。
二、信号成熟度:Traces 与 Metrics 已 Stable,Logs 处于 Beta
原文档给出的三个核心信号状态如下:
| 信号(Signal) | 状态(Status) |
|---|---|
| Traces | Stable(稳定) |
| Metrics | Stable(稳定) |
| Logs | Beta(测试中)1 |
也就是说,tracing 与 metrics 的 API 已提供稳定兼容性保证,可在生产环境放心使用;而日志 API 仍处于 Beta,可能随版本演进发生非兼容性变更——这也是 wandb 在依赖声明中把otel/log、otel/sdk/log、otlploghttp锁定在v0.22.0的原因之一。仓库内也保留了 core/vendor/go.opentelemetry.io/otel/log/ 与 core/vendor/go.opentelemetry.io/otel/metric/ 的完整 API 与 README,以及 core/vendor/go.opentelemetry.io/otel/sdk/ 下的 SDK 实现。
三、Go 版本兼容策略与支持环境
OpenTelemetry-Go 只承诺与当前仍受上游支持的 Go 版本保持兼容,遵循 Go 官方的发布策略:
每个主要 Go 版本会一直被支持,直到出现两个更新的主要版本。例如 Go 1.5 支持到 Go 1.7 发布,Go 1.6 支持到 Go 1.8 发布。
对上游已停止支持的 Go 版本,opentelemetry-go 按以下节奏移除兼容性:
- 先发布一个 minor 版本,为新支持的 Go 版本增加支持;
- 下一个 minor 版本再移除对最老(上游已归档)Go 版本的兼容性测试,此后新版本可能使用仅在新版 Go 中存在的特性。
当前项目支持的环境矩阵如下(来自原文档):
| OS | Go Version | Architecture |
|---|---|---|
| Ubuntu | 1.27 | amd64 |
| Ubuntu | 1.26 | amd64 |
| Ubuntu | 1.25 | amd64 |
| Ubuntu | 1.27 | 386 |
| Ubuntu | 1.26 | 386 |
| Ubuntu | 1.25 | 386 |
| Ubuntu | 1.27 | arm64 |
| Ubuntu | 1.26 | arm64 |
| Ubuntu | 1.25 | arm64 |
| macOS | 1.27 | amd64 |
| macOS | 1.26 | amd64 |
| macOS | 1.25 | amd64 |
| macOS | 1.27 | arm64 |
| macOS | 1.26 | arm64 |
| macOS | 1.25 | arm64 |
| Windows | 1.27 | amd64 |
| Windows | 1.26 | amd64 |
| Windows | 1.25 | amd64 |
| Windows | 1.27 | 386 |
| Windows | 1.26 | 386 |
| Windows | 1.25 | 386 |
即 Ubuntu / macOS / Windows 三大平台 × Go 1.25–1.27 三个版本 × amd64 / 386 / arm64 三种架构均有 CI 保障。虽然在其他系统上一般也能工作,但官方目前不对其提供兼容性保证。更多版本化与稳定性保证的细节可查阅 core/vendor/go.opentelemetry.io/otel/VERSIONING.md。
四、快速上手:打点与导出两步走
OpenTelemetry 的目标是提供一套 API 采集分布式追踪与指标并发送到可观测性平台;对 Go 应用而言,整个过程分为两步。
4.1 打点(Instrumentation)
要让应用开始产生追踪与指标事件,首先需要对它进行插桩。最省事的方式是使用官方支持的插桩库(instrumentation library),这些库覆盖常见框架与中间件,由 opentelemetry-go-contrib 项目维护;如需扩展插桩库提供的遥测能力,或要为自己的应用直接写插桩,则需要直接使用go.opentelemetry.io/otel包提供的 API。
在 wandb 中,直接使用 OTel API 打点的典型例子是 core/internal/analytics/opentelemetryproxy.go。该文件封装了完整的遥测记录接口:
- 计数器(Counter):
incrementCounter通过meter.Int64Counter(name)创建计数器并Add(ctx, 1, attrs)累加(opentelemetryproxy.go#L682-L699); - 直方图(Histogram):
recordDuration用meter.Float64Histogram(name, WithUnit("s"))记录以秒为单位的耗时(opentelemetryproxy.go#L701-L726); - 日志记录(Log Record):
log构造otellogapi.Record,设置 body 与 severity,再把属性attribute.String(k, v)后通过logger.Emit(ctx, record)发出(opentelemetryproxy.go#L728-L754)。
4.2 导出(Export)
应用打点采集到遥测数据后,还需要一条导出管线把它送到可观测性平台。所有官方支持的导出器都放在exporters目录下。原文档给出的导出器矩阵:
| Exporter | Logs | Metrics | Traces |
|---|---|---|---|
| OTLP | ✓ | ✓ | ✓ |
| Prometheus | ✓ | ||
| stdout | ✓ | ✓ | ✓ |
| Zipkin | ✓ |
在 wandb 中,对应目录为 core/vendor/go.opentelemetry.io/otel/exporters/otlp/,包含otlploghttp与otlpmetrichttp两个子模块。
五、源码实证:wandb 如何把 OTLP 接进后端代理 API
原文档只给出“打点 + 导出”的通用两步法,而 wandb 仓库提供了完整的落地范本:wandb-core 把 OpenTelemetry 的 Metrics 与 Logs 通过OTLP/HTTP协议发送到 W&B 后端的 OpenTelemetry 代理 API。
5.1 两条导出路径
在 setupMetrics 中,指标使用otlpmetrichttp.New创建 OTLP HTTP 导出器,指定:
WithEndpointURL(o.endpoint)——后端地址(来自 wandbSettings 的 base URL);WithURLPath(metricsPath)——路径/sdk/otel/v1/metrics;WithHTTPClient(o.httpClient)——复用带代理与额外头部的 HTTP 客户端;WithTemporalitySelector(metric.DeltaTemporalitySelector)——使用增量(Delta)时间聚合。
随后用metric.NewMeterProvider+metric.NewPeriodicReader组成周期读取器,导出间隔defaultExportInterval = 60s,单次导出超时defaultExportTimeout = 5s。
在 setupLogs 中,日志使用otlploghttp.New导出到/sdk/otel/v1/logs,再交给otellog.NewLoggerProvider与otellog.NewBatchProcessor做批量处理,同样按 60s 间隔、5s 超时导出。
5.2 服务探测与优雅降级
两处导出器都被包装成probedMetricExporter/probedLogExporter(opentelemetryproxy.go#L584-L644):serverSupported由sync.OnceValue(proxy.probeServer)惰性计算,首次导出时向/sdk/otel/v1/metrics发一次探测请求;若后端返回 404 或 405(说明不支持该代理 API),则丢弃所有批次,避免无效网络开销。对应测试TestOpenTelemetryProxy_UnsupportedServer_DropsRecords验证了这一行为(opentelemetryproxy_test.go#L416-L446)。
5.3 属性基数治理:低基数 vs 高基数
opentelemetryproxy.go#L133-L166 的TelemetryContext把属性分成两类:
- 低基数(low-cardinality)属性:有界的小集合,如
wandb_version、go_version、operating_system、architecture、leet_mode、execution_context等,附加到所有遥测记录; - 高基数(high-cardinality)属性:无界集合(如 request_id 之类),只附加到日志记录,绝不进入指标,以免撑爆指标基数。
测试TestTelemetryRecorder_With_HighCardinalityLogsOnly明确断言:高基数属性出现在 log 记录中,而 metric 中不含该属性(opentelemetryproxy_test.go#L122-L152)。
5.4 Recorder 层级与 Shutdown 语义
TelemetryRecorder.With(...)派生子 recorder,子 recorder 继承父级上下文属性、共享根 provider,且互不影响(TestTelemetryRecorder_With_DoesNotAffectParent);根 proxy 的Shutdown由atomic.Bool守卫只执行一次,负责 flush 并关闭 meter/log provider,之后所有派生 recorder 均为 no-op(见 Shutdown 及对应测试)。
5.5 可复现的测试基座
core/internal/analyticstest/opentelemetryproxy.go 提供了一个内置 OTLP 测试收集器:用httptest.NewServer接收/sdk/otel/v1/logs与/sdk/otel/v1/metrics的 protobuf 请求,解析出Log、Metric、Request结构体,再通过FindLog/FindMetric断言。想验证遥测输出时,可参考NewOpenTelemetryProxyTest的用法:先Shutdown触发批量导出,再断言收到的记录。
六、贡献指南
原文档对贡献者给出了指引:参与开发前请阅读 core/vendor/go.opentelemetry.io/otel/CONTRIBUTING.md。关于维护者、审批人与 Triager 的 Emeritus(荣誉退休)角色说明,见上游社区仓库的成员文档。仓库内还附有 core/vendor/go.opentelemetry.io/otel/CHANGELOG.md 与 core/vendor/go.opentelemetry.io/otel/RELEASING.md 等过程文档,便于追踪版本演进与发布流程。
七、小结
从 wandb 仓库可以看到 OpenTelemetry-Go 的完整使用闭环:读 README 确认信号能力与版本策略 → 用otel/metric、otel/logAPI 打点 → 用otlpmetrichttp/otlploghttp导出 → 通过sdk/metric、sdk/log的周期性/批量处理器控制节奏 → 用服务探测、属性基数治理与幂等 Shutdown 保证生产可用性。Traces 与 Metrics 已稳定、Logs 仍为 Beta 的现状,也直接反映在 wandb 对 log 相关模块的版本锁定上——理解这套依赖与实现,就能在自研 Go 服务中复刻同样的可观测性管线。
日志信号的进展跟踪见 OpenTelemetry 社区项目 boards(对应上游链接见原文档脚注)。
↩
- 机器学习
- 深度学习
- 数据可视化
- 可观测性
【免费下载链接】wandb
The AI developer platform. Use Weights & Biases to train and fine-tune models, and manage models from experimentation to production.
相关推荐
电子课本下载工具:一键获取中小学PDF快速指南
电子课本下载工具:一键获取中小学PDF快速指南 当明天的课就要开始,你还在逐页截图电子课本吗?国家中小学智慧教育平台的预览页面没有下载按钮,想要 PDF 得靠开
网页爬虫教育深入剖析 lazydocker 仓库中的 OpenTelemetry-Go:从信号矩阵到导出管线
深入剖析 lazydocker 仓库中的 OpenTelemetry Go:从信号矩阵到导出管线 导读: 本文以 lazydocker 仓库内 vendor 目
开发工具CLIHyperledger Fabric 中的 OpenTelemetry-Go:遥测 API、导出管道与 Go 兼容性实战指南
Hyperledger Fabric 中的 OpenTelemetry Go:遥测 API、导出管道与 Go 兼容性实战指南 导读 OpenTelemetry
区块链密码学
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考