Span 数据模型设计思考？类似 Cat 消息树和OTel 独立Span Export方式

[laziobird]

Agent 底层代码研究

Cat

https://github.com/dianping/cat/wiki/client
把整个Trace 消息数本地Thread 保存加入queue 中， 异步上报给Server。

上报的数据不是Span，而是消息树 Message Tree

OTel

两种方式自动侵入

https://opentelemetry.io/docs/concepts/instrumenting-library/

OpenTelemetry provides automatic instrumentation for many libraries, which is typically done through library hooks or monkey-patching library code.

OTel Agent 支持两种主要数采上报Export 方式

Batch

https://github.com/open-telemetry/opentelemetry-java/blob/main/sdk/trace/src/main/java/io/opentelemetry/sdk/trace/export/BatchSpanProcessor.java

/**
 * Implementation of the {@link SpanProcessor} that batches spans exported by the SDK then pushes
 * them to the exporter pipeline.
 *
 * <p>All spans reported by the SDK implementation are first added to a synchronized queue (with a
 * {@code maxQueueSize} maximum size, if queue is full spans are dropped). Spans are exported either
 * when there are {@code maxExportBatchSize} pending spans or {@code scheduleDelayNanos} has passed
 * since the last export finished.
 */

OpenTelemetry tracing supports two strategies to get traces out of an application, a “SimpleSpanProcessor” and a “BatchSpanProcessor.” The SimpleSpanProcessor will submit a span every time a span is finished, but the BatchSpanProcessor buffers spans until a flush event occurs. Flush events can occur when a buffer is filled or when a timeout is reached.
The BatchSpanProcessor has a number of properties:

• Max Queue Size is the maximum number of spans buffered in memory. Any span beyond this will be discarded.
• Schedule Delay is the time between flushes. This ensures that you don’t get into a flush loop during times of heavy traffic.
• Max per batch is the maximum number of spans that will be submitted during each flush.

Simple

比如Http 具体 export 上报数据
https://github.com/open-telemetry/opentelemetry-java/blob/main/exporters/otlp/all/src/main/java/io/opentelemetry/exporter/otlp/http/trace/OtlpHttpSpanExporter.java
真正实现
https://github.com/open-telemetry/opentelemetry-java/blob/main/exporters/otlp/common/src/main/java/io/opentelemetry/exporter/internal/okhttp/OkHttpExporter.java

Httpclient 用的
OKHttp3
https://github.com/square/okhttp

OTel export 原理

定量队列，收集一定数量的Span 才去上报，它不是做按Database 思路组织数据，定位还是 transmission system

高并发系统Span 上报的优化思路

To avoid getting rate limited, we recommend these practices:

1. Batch requests sent to the OTLP endpoint as described in this section
   批量处理
2. Explicitly enable [gzip compression]
   数据传播压缩

[laziobird]

Skywalking

特别有趣，上报粒度介于 Trace 消息树 和 Span 之间

TraceSegment 是一个介于 Trace 与 Span 之间的概念。它是 Trace 的一段，包含多个 Span。

一个请求基本都会涉及跨进程（以及跨线程）的操作，例如， RPC 调用、通过 MQ 异步执行等，处理一个请求就需要涉及到多个服务的多个线程。

TraceSegment 记录了一个请求在一个服务中的执行流程（即 Trace 信息）。将该请求关联的 TraceSegment 串联起来，就能得到该请求对应的完整 Trace。

[laziobird]

头条的数据模型
数据模型
统一的数据模型是 Trace 的基础，字节链路追踪系统的数据模型设计借鉴了 opentracing 和 CAT 等优秀的开源解决方案，结合字节内部实际生态和使用习惯，使用如下数据模型：

Span: 一个有时间跨度的事件，例如一次 RPC 调用，一个函数执行。
Event: 一个没有时间跨度的事件，例如一条 log，一次 panic。
Metric: 一个带多维 tag 的数值，例如一个消息体的大小，一个订单的价格。
Trace: 一个请求上下文在多个分布式微服务节点的完整执行链路。
Transaction: 一条 Trace 在单个服务节点上的所有 Span / Event / Metric 对象构成的树形结构消息体。Transaction 是 Trace 数据的处理和存储的最小单位，紧凑的数据结构有利于节约成本和提高检索性能。