Skip to content

Commit 71a47bc

Browse files
LykxSassinatorti-chi-bot
authored andcommitted
This is an automated cherry-pick of pingcap#20261
Signed-off-by: ti-chi-bot <[email protected]>
1 parent 9020aa0 commit 71a47bc

File tree

5 files changed

+99
-2
lines changed

5 files changed

+99
-2
lines changed

releases/release-7.6.0.md

+3
Original file line numberDiff line numberDiff line change
@@ -282,12 +282,15 @@ TiDB 版本:7.6.0
282282
| 配置文件 | 配置项 | 修改类型 | 描述 |
283283
| -------- | -------- | -------- | -------- |
284284
| TiDB | [`tls-version`](/tidb-configuration-file.md#tls-version) | 修改 | 默认值为空,TiDB 默认支持的 TLS 版本从 `TLS1.1` 及更高提升为 `TLS1.2` 及更高。 |
285+
| TiKV | [`raftstore.report-min-resolved-ts-interval`](https://docs.pingcap.com/zh/tidb/v7.5/tikv-configuration-file/#report-min-resolved-ts-interval-从-v600-版本开始引入) | 更名 | 为了使名称更准确,从 v7.6.0 起,该配置项更名为 [`raftstore.pd-report-min-resolved-ts-interval`](/tikv-configuration-file.md#pd-report-min-resolved-ts-interval-从-v760-版本开始引入)。`raftstore.report-min-resolved-ts-interval` 不再生效。 |
285286
| TiKV | [`blob-file-compression`](/tikv-configuration-file.md#blob-file-compression) | 修改 | 设置 Titan 中 value 所使用的压缩算法。从 v7.6.0 开始,默认采用 `zstd` 压缩算法。 |
286287
| TiKV | [`rocksdb.defaultcf.titan.min-blob-size`](/tikv-configuration-file.md#min-blob-size) | 修改 | 从 TiDB v7.6.0 开始,新建集群默认值为 `32KB`。对于已有集群升级到 v7.6.0 版本的情况,默认值为 `1KB` 保持不变。 |
287288
| TiKV | [`rocksdb.titan.enabled`](/tikv-configuration-file.md#enabled) | 修改 | 开启 Titan 开关。v7.5.0 及更早的版本默认值为 `false`。从 v7.6.0 开始,新建集群默认值是 `true`,已有集群升级到 v7.6.0 或更高版本则会维持原有的配置。 |
289+
| TiKV | [`cdc.incremental-scan-concurrency-limit`](/tikv-configuration-file.md#incremental-scan-concurrency-limit-从-v760-版本开始引入) | 新增 | 用于设置待执行的增量扫描历史数据任务的最大队列长度。默认值为 `10000`,代表最多可允许创建 10000 个任务等待执行。 |
288290
| TiKV | [`gc.num-threads`](/tikv-configuration-file.md#num-threads-从-v658v714v751-和-v760-版本开始引入) | 新增 | 设置当 `enable-compaction-filter``false` 时 GC 的线程个数。默认值为 `1`|
289291
| TiKV | [`raftstore.periodic-full-compact-start-times`](/tikv-configuration-file.md#periodic-full-compact-start-times-从-v760-版本开始引入) | 新增 | 设置 TiKV 启动周期性全量数据整理 (Compaction) 的时间。默认值 `[]` 表示默认情况下禁用周期性全量数据整理。 |
290292
| TiKV | [`raftstore.periodic-full-compact-start-max-cpu`](/tikv-configuration-file.md#periodic-full-compact-start-max-cpu-从-v760-版本开始引入) | 新增 | 设置 TiKV 执行周期性全量数据整理时的 CPU 使用率阈值,默认值为 `0.1`|
293+
| TiKV | [`raftstore.pd-report-min-resolved-ts-interval`](/tikv-configuration-file.md#pd-report-min-resolved-ts-interval-从-v760-版本开始引入) | 新增 | 由 [`raftstore.report-min-resolved-ts-interval`](https://docs.pingcap.com/zh/tidb/v7.5/tikv-configuration-file/#report-min-resolved-ts-interval-从-v600-版本开始引入) 更名而来,用于设置 TiKV 向 PD leader 上报 Resolved TS 的最小时间间隔。默认值为 `"1s"`。 |
291294
| TiKV | [`zstd-dict-size`](/tikv-configuration-file.md#zstd-dict-size) | 新增 | 指定 `zstd` 字典大小,默认值为 `0KB`,表示关闭 `zstd` 字典压缩。 |
292295
| TiFlash | [`logger.level`](/tiflash/tiflash-configuration.md#配置文件-tiflashtoml) | 修改 | 为减少日志打印的开销,默认值由 `"debug"` 改为 `"INFO"`|
293296
| TiDB Lightning | [`tidb.pd-addr`](/tidb-lightning/tidb-lightning-configuration.md#tidb-lightning-任务配置) | 修改 | 配置 PD Server 的地址,从 v7.6.0 开始支持设置多个地址。 |

releases/release-8.0.0.md

+6
Original file line numberDiff line numberDiff line change
@@ -336,8 +336,14 @@ TiDB 版本:8.0.0
336336
| TiKV | [`log-backup.initial-scan-rate-limit`](/tikv-configuration-file.md#initial-scan-rate-limit-从-v620-版本开始引入) | 修改 | 增加了最小值为 `1MiB` 的限制。 |
337337
| TiKV | [`raftstore.store-io-pool-size`](/tikv-configuration-file.md#store-io-pool-size-从-v530-版本开始引入) | 修改 | 为了提升 TiKV 性能,该参数默认值从 `0` 修改为 `1`,表示 StoreWriter 线程池的大小默认为 `1`|
338338
| TiKV | [`rocksdb.defaultcf.titan.blob-cache-size`](/tikv-configuration-file.md#blob-cache-size) | 修改 | 从 v8.0.0 开始,TiKV 引入了 `shared-blob-cache` 配置项并默认开启,因此无需再单独设置 `blob-cache-size`。只有当 `shared-blob-cache` 设置为 `false` 时,`blob-cache-size` 的设置才生效。|
339+
| TiKV | [`rocksdb.titan.max-background-gc`](/tikv-configuration-file.md#max-background-gc) | 修改 | 默认值从 `4` 修改为 `1`,以减少 Titan GC 过程对线程资源的占用。 |
339340
| TiKV | [`security.encryption.master-key.vendor`](/encryption-at-rest.md#通过-kms-指定主密钥) | 修改 | 主密钥可选的服务商类型新增 `gcp`|
341+
<<<<<<< HEAD
340342
| TiKV | [`rocksdb.defaultcf.titan.shared-blob-cache`](/tikv-configuration-file.md#shared-blob-cache从-v800-版本开始引入) | 新增 | 控制是否启用 Titan Blob 文件和 RocksDB Block 文件的共享缓存。默认值为 `true`|
343+
=======
344+
| TiKV | [`storage.block-cache.low-pri-pool-ratio`](/tikv-configuration-file.md#low-pri-pool-ratio-从-v800-版本开始引入) | 新增 | 指定 Titan 组件使用的 block cache 占整个 block cache 的比例。默认值为 `0.2`|
345+
| TiKV | [`rocksdb.defaultcf.titan.shared-blob-cache`](/tikv-configuration-file.md#shared-blob-cache-从-v800-版本开始引入) | 新增 | 控制是否启用 Titan Blob 文件和 RocksDB Block 文件的共享缓存。默认值为 `true`|
346+
>>>>>>> 85792a59cb (tikv: recorrect the settings of some configs and supplement missing annotations for several configs. (#20261))
341347
| TiKV | [`security.encryption.master-key.gcp.credential-file-path`](/encryption-at-rest.md#通过-kms-指定主密钥) | 新增 |`security.encryption.master-key.vendor``gcp` 时,用于指定 Google Cloud 认证凭证文件的路径。|
342348
| PD | [`schedule.enable-heartbeat-breakdown-metrics`](/pd-configuration-file.md#enable-heartbeat-breakdown-metrics-从-v800-版本开始引入) | 新增 | 控制是否开启 Region 心跳指标拆分,用于统计 Region 心跳处理各阶段所消耗的时间,便于在监控上进行分析。默认值为 `true`|
343349
| PD | [`schedule.enable-heartbeat-concurrent-runner`](/pd-configuration-file.md#enable-heartbeat-concurrent-runner-从-v800-版本开始引入) | 新增 | 控制是否开启 Region 心跳异步并发处理功能。开启后会使用独立的执行器异步并发处理 Region 心跳请求,可提高心跳处理吞吐量,降低延迟。默认值为 `true`|

releases/release-8.1.0.md

+1
Original file line numberDiff line numberDiff line change
@@ -187,6 +187,7 @@ TiDB 8.1.0 为长期支持版本 (Long-Term Support Release, LTS)。
187187
| PD | [`enable-telemetry`](/pd-configuration-file.md#enable-telemetry) | 废弃 | 从 TiDB v8.1.0 开始,TiDB Dashboard 移除了遥测功能,该配置项已不再生效。保留该配置项仅用于与之前版本兼容。 |
188188
| TiDB Lightning | [`conflict.max-record-rows`](/tidb-lightning/tidb-lightning-configuration.md#tidb-lightning-任务配置) | 修改 | 从 v8.1.0 开始,TiDB Lightning 会自动将 `conflict.max-record-rows` 的值设置为 `conflict.threshold` 的值,并忽略用户输入,因此无需再单独配置 `conflict.max-record-rows``conflict.max-record-rows` 将在未来版本中废弃。 |
189189
| TiDB Lightning | [`conflict.threshold`](/tidb-lightning/tidb-lightning-configuration.md#tidb-lightning-任务配置) | 修改 | 默认值从 `9223372036854775807` 修改为 `10000`,从而迅速中断异常任务,以便用户尽快进行相应调整。这避免了在导入完成后,才发现是因为数据源异常或表结构定义错误导致导入了大量冲突数据,从而节省时间和计算资源。 |
190+
| TiKV | [`memory.enable-thread-exclusive-arena`](/tikv-configuration-file.md#enable-thread-exclusive-arena-从-v810-版本开始引入) | 新增 | 控制是否展示 TiKV 线程级别的内存分配情况,以跟踪 TiKV 各个线程的内存使用。默认值为 `true`|
190191
| TiCDC | [`security.client-allowed-user`](/ticdc/ticdc-server-config.md#cdc-server-配置文件说明) | 新增 | 指定可用于客户端鉴权的用户名,列表中不存在的用户的鉴权请求将被直接拒绝。默认值为 null。|
191192
| TiCDC | [`security.client-user-required`](/ticdc/ticdc-server-config.md#cdc-server-配置文件说明) | 新增 | 控制是否使用 TiDB 的用户名和密码进行客户端鉴权,默认值为 `false`|
192193
| TiCDC | [`security.mtls`](/ticdc/ticdc-server-config.md#cdc-server-配置文件说明) | 新增 | 控制是否开启 TLS 客户端鉴权,默认值为 `false`|

releases/release-8.1.2.md

+8-1
Original file line numberDiff line numberDiff line change
@@ -1,6 +1,6 @@
11
---
22
title: TiDB 8.1.2 Release Notes
3-
summary: 了解 TiDB 8.1.2 版本的改进提升和错误修复
3+
summary: 了解 TiDB 8.1.2 版本的兼容性变更、改进提升和错误修复
44
---
55

66
# TiDB 8.1.2 Release Notes
@@ -11,6 +11,13 @@ TiDB 版本:8.1.2
1111

1212
试用链接:[快速体验](https://docs.pingcap.com/zh/tidb/v8.1/quick-start-with-tidb) | [生产部署](https://docs.pingcap.com/zh/tidb/v8.1/production-deployment-using-tiup) | [下载离线包](https://cn.pingcap.com/product-community/?version=v8.1.2#version-list)
1313

14+
## 兼容性变更
15+
16+
- 新增 TiKV 配置项 [`server.snap-min-ingest-size`](/tikv-configuration-file.md#snap-min-ingest-size-从-v812-版本开始引入),用于指定 TiKV 在处理 snapshot 时是否采用 ingest 方式的最小阈值。默认值为 `2MiB`
17+
18+
- 当 snapshot 大小超过该阈值时,TiKV 会采用 ingest 方式,即将 snapshot 中的 SST 文件导入 RocksDB。这种方式适合处理大文件,导入速度更快。
19+
- 当 snapshot 大小不超过该阈值时,TiKV 会采用直接写入方式,即将每一条数据逐条写入 RocksDB。这种方式在处理小文件时更高效。
20+
1421
## 改进提升
1522

1623
+ TiDB

tikv-configuration-file.md

+81-1
Original file line numberDiff line numberDiff line change
@@ -225,6 +225,17 @@ TiKV 配置文件比命令行参数支持更多的选项。你可以在 [etc/con
225225
+ 单位:KiB|MiB|GiB
226226
+ 最小值:1KiB
227227

228+
### `snap-min-ingest-size` <span class="version-mark">从 v8.1.2 版本开始引入</span>
229+
230+
+ 指定 TiKV 在处理 snapshot 时是否采用 ingest 方式的最小阈值。
231+
232+
+ 当 snapshot 大小超过该阈值时,TiKV 会采用 ingest 方式,即将 snapshot 中的 SST 文件导入 RocksDB。这种方式适合处理大文件,导入速度更快。
233+
+ 当 snapshot 大小不超过该阈值时,TiKV 会采用直接写入方式,即将每一条数据逐条写入 RocksDB。这种方式在处理小文件时更高效。
234+
235+
+ 默认值:2MiB
236+
+ 单位:KiB|MiB|GiB
237+
+ 最小值:0
238+
228239
### `enable-request-batch`
229240

230241
+ 控制是否开启批处理请求。
@@ -516,6 +527,11 @@ RocksDB 多个 CF 之间共享 block cache 的配置选项。
516527

517528
+ 单位:KiB|MiB|GiB
518529

530+
### `low-pri-pool-ratio` <span class="version-mark">从 v8.0.0 版本开始引入</span>
531+
532+
+ 控制 Titan 组件使用的 block cache 占整个 block cache 的比例。
533+
+ 默认值:0.2
534+
519535
## storage.flow-control
520536

521537
在 scheduler 层进行流量控制代替 RocksDB 的 write stall 机制,可以避免 write stall 机制卡住 Raftstore 或 Apply 线程导致的次生问题。本节介绍 TiKV 流量控制机制相关的配置项。
@@ -817,6 +833,17 @@ raftstore 相关的配置项。
817833
+ 默认值:10s
818834
+ 最小值:0
819835

836+
### `pd-report-min-resolved-ts-interval` <span class="version-mark">从 v7.6.0 版本开始引入</span>
837+
838+
> **注意:**
839+
>
840+
> 该配置项由 [`report-min-resolved-ts-interval`](https://docs.pingcap.com/zh/tidb/v7.5/tikv-configuration-file/#report-min-resolved-ts-interval-从-v600-版本开始引入) 更名而来。从 v7.6.0 开始,`report-min-resolved-ts-interval` 不再生效。
841+
842+
+ 设置 TiKV 向 PD leader 上报 Resolved TS 的最小时间间隔。设置为 `0` 表示禁用该功能。
843+
+ 默认值:`"1s"`,即最小正值。在 v6.3.0 之前,默认值为 `"0s"`
844+
+ 最小值:0
845+
+ 单位:秒
846+
820847
### `snap-mgr-gc-tick-interval`
821848

822849
+ 触发回收过期 snapshot 文件的时间间隔,0 表示不启用。
@@ -1017,6 +1044,7 @@ raftstore 相关的配置项。
10171044
+ 默认值:1MiB
10181045
+ 最小值:0
10191046

1047+
<<<<<<< HEAD
10201048
### `report-min-resolved-ts-interval` <span class="version-mark">从 v6.0.0 版本开始引入</span>
10211049

10221050
+ 设置 PD leader 收到 Resolved TS 的间隔时间。如果该值设置为 `0`,表示禁用该功能。
@@ -1025,6 +1053,9 @@ raftstore 相关的配置项。
10251053
+ 单位:秒
10261054

10271055
### `evict-cache-on-memory-ratio` <span class="version-mark">从 v7.5.0 版本开始引入</span>
1056+
=======
1057+
### `evict-cache-on-memory-ratio` <span class="version-mark">从 v7.5.0 版本开始引入</span>
1058+
>>>>>>> 85792a59cb (tikv: recorrect the settings of some configs and supplement missing annotations for several configs. (#20261))
10281059
10291060
+ 当 TiKV 的内存使用超过系统可用内存的 90%,并且 Raft 缓存条目占用的内存超过已使用内存 * `evict-cache-on-memory-ratio` 时,TiKV 会逐出 Raft 缓存条目。
10301061
+ 设置为 `0` 表示禁用该功能。
@@ -1376,7 +1407,7 @@ Titan 相关的配置项。
13761407
### `max-background-gc`
13771408

13781409
+ Titan 后台 GC 的线程个数,当从 **TiKV Details** > **Thread CPU** > **RocksDB CPU** 监控中观察到 Titan GC 线程长期处于满负荷状态时,应该考虑增加 Titan GC 线程池大小。
1379-
+ 默认值:4
1410+
+ 默认值:1。在 v8.0.0 之前,默认值为 4。
13801411
+ 最小值:1
13811412

13821413
## rocksdb.defaultcf | rocksdb.writecf | rocksdb.lockcf
@@ -2260,6 +2291,12 @@ Raft Engine 相关的配置项。
22602291
+ 默认值:6,即最多并发执行 6 个任务
22612292
+ 注意:`incremental-scan-concurrency` 需要大于等于 `incremental-scan-threads`,否则 TiKV 启动会报错。
22622293

2294+
### `incremental-scan-concurrency-limit` <span class="version-mark">从 v7.6.0 版本开始引入</span>
2295+
2296+
+ 待执行的增量扫描历史数据任务的最大队列长度。当待执行任务数超过此限制时,新任务将被拒绝。
2297+
+ 默认值:10000,即最多可允许创建 10000 个任务等待执行。
2298+
+ 注意:`incremental-scan-concurrency-limit` 需要大于等于 [`incremental-scan-concurrency`](#incremental-scan-concurrency),否则 TiKV 会使用 `incremental-scan-concurrency` 覆盖此配置。
2299+
22632300
## resolved-ts
22642301

22652302
用于维护 Resolved TS 以服务 Stale Read 请求的相关配置项。
@@ -2468,3 +2505,46 @@ Raft Engine 相关的配置项。
24682505

24692506
+ 设置 TiKV 堆内存分析每次采样的数据量,以 2 的指数次幂向上取整。
24702507
+ 默认值:512KiB
2508+
<<<<<<< HEAD
2509+
=======
2510+
2511+
### `enable-thread-exclusive-arena` <span class="version-mark">从 v8.1.0 版本开始引入</span>
2512+
2513+
+ 控制是否展示 TiKV 线程级别的内存分配情况,以跟踪 TiKV 各个线程的内存使用。
2514+
+ 默认值:true
2515+
2516+
## in-memory-engine <span class="version-mark">从 v8.5.0 版本开始引入</span>
2517+
2518+
TiKV MVCC 内存引擎 (In-Memory Engine) 在 TiKV 存储层相关的配置项。
2519+
2520+
### `enable` <span class="version-mark">从 v8.5.0 版本开始引入</span>
2521+
2522+
> **注意:**
2523+
>
2524+
> 该配置项支持在配置文件中进行配置,但不支持通过 SQL 语句查询。
2525+
2526+
+ 是否开启内存引擎以加速多版本查询。关于内存引擎的详细信息,参见 [TiKV MVCC 内存引擎](/tikv-in-memory-engine.md)
2527+
+ 默认值:false(即关闭内存引擎)
2528+
+ 建议 TiKV 节点至少配置 8 GiB 内存,推荐配置 32 GiB 或更多内存以获得更佳性能。
2529+
+ 如果 TiKV 可用内存过低,即使将该配置项设置为 `true`,内存引擎也不会被启用。此时,你可以在 TiKV 的日志文件中查找与 `"in-memory engine is disabled because"` 相关的日志信息,以判断为何内存引擎未能启用。
2530+
2531+
### `capacity` <span class="version-mark">从 v8.5.0 版本开始引入</span>
2532+
2533+
> **注意:**
2534+
>
2535+
> + 开启内存引擎后,`block-cache.capacity` 会自动减少 10%。
2536+
> + 手动配置 `capacity` 时,`block-cache.capacity` 不会自动减少,需手动调整为合适的值以避免 OOM。
2537+
2538+
+ 配置内存引擎可使用的内存大小。最大值为 5 GiB。你可以手动调整配置以使用更多内存。
2539+
+ 默认值:系统内存的 10%。
2540+
2541+
### `gc-run-interval` <span class="version-mark">从 v8.5.0 版本开始引入</span>
2542+
2543+
+ 控制内存引擎 GC 缓存 MVCC 版本的时间间隔。调小该参数可加快 GC 频率,减少 MVCC 记录,但会增加 GC 的 CPU 消耗,以及增加内存引擎失效的概率。
2544+
+ 默认值:3m
2545+
2546+
### `mvcc-amplification-threshold` <span class="version-mark">从 v8.5.0 版本开始引入</span>
2547+
2548+
+ 控制内存引擎选取加载 Region 时 MVCC 读放大的阈值。默认为 `10`,表示在某个 Region 中读一行记录需要处理的 MVCC 版本数量超过 10 个时,有可能会被加载到内存引擎中。
2549+
+ 默认值:10
2550+
>>>>>>> 85792a59cb (tikv: recorrect the settings of some configs and supplement missing annotations for several configs. (#20261))

0 commit comments

Comments
 (0)