From 7a70ecda0bb4529fca98241d6d9e57ad9998c454 Mon Sep 17 00:00:00 2001 From: tonyxuqqi Date: Tue, 16 Jan 2024 10:58:36 -0800 Subject: [PATCH 1/6] update compaction filter Signed-off-by: tonyxuqqi --- garbage-collection-configuration.md | 4 ++++ 1 file changed, 4 insertions(+) diff --git a/garbage-collection-configuration.md b/garbage-collection-configuration.md index ea8415c6a902..b600952057fb 100644 --- a/garbage-collection-configuration.md +++ b/garbage-collection-configuration.md @@ -84,3 +84,7 @@ show config where type = 'tikv' and name like '%enable-compaction-filter%'; | tikv | 172.16.5.35:20163 | gc.enable-compaction-filter | true | +------+-------------------+-----------------------------+-------+ ``` + +> **注意：** +> +> Compaction filter的机制可能会导致GC进度有延迟，从而影响TiKV扫描性能。如果负载包含大量coprocessor请求且观察到在 [`Coprocessor Details`](/grafana-tikv-dashboard.md###Coprocessor-Detail)面板中发现Total Ops Details中的next()或者prev()的调用远远超过processed_keys的调用，则可以尝试关闭compaction filter从而加快GC速度。在TiDB 7.1及其以后的版本，TiDB会根据每个region的冗余版本数量[`region-compact-min-redundant-rows`](/tikv-configuration-file.md###region-compact-min-redundant-rows)以及比例[`region-compact-redundant-rows-percent`](/tikv-configuration-file.md###region-compact-redundant-rows-percent)自动触发compaction，从而提高Compaction filter的GC速度。因此在7.1以及以后的版本，无需关闭Compaction filter。 From 4769d5b0603edfd099afac2f2ba3d5890b201c5d Mon Sep 17 00:00:00 2001 From: tonyxuqqi Date: Tue, 16 Jan 2024 11:33:25 -0800 Subject: [PATCH 2/6] polish Signed-off-by: tonyxuqqi --- garbage-collection-configuration.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/garbage-collection-configuration.md b/garbage-collection-configuration.md index b600952057fb..c6daa48069b9 100644 --- a/garbage-collection-configuration.md +++ b/garbage-collection-configuration.md @@ -87,4 +87,4 @@ show config where type = 'tikv' and name like '%enable-compaction-filter%'; > **注意：** > -> Compaction filter的机制可能会导致GC进度有延迟，从而影响TiKV扫描性能。如果负载包含大量coprocessor请求且观察到在 [`Coprocessor Details`](/grafana-tikv-dashboard.md###Coprocessor-Detail)面板中发现Total Ops Details中的next()或者prev()的调用远远超过processed_keys的调用，则可以尝试关闭compaction filter从而加快GC速度。在TiDB 7.1及其以后的版本，TiDB会根据每个region的冗余版本数量[`region-compact-min-redundant-rows`](/tikv-configuration-file.md###region-compact-min-redundant-rows)以及比例[`region-compact-redundant-rows-percent`](/tikv-configuration-file.md###region-compact-redundant-rows-percent)自动触发compaction，从而提高Compaction filter的GC速度。因此在7.1以及以后的版本，无需关闭Compaction filter。 +> Compaction filter的机制可能会导致GC进度有延迟，从而影响TiKV扫描性能。如果负载包含大量coprocessor请求且观察到在 [`Coprocessor Details`](/grafana-tikv-dashboard.md###Coprocessor-Detail)面板中发现Total Ops Details中的next()或者prev()的调用远远超过processed_keys的调用，则可以尝试关闭compaction filter从而加快GC速度。在TiDB 7.1.3及其以后的版本，TiDB会根据每个region的冗余版本数量[`region-compact-min-redundant-rows`](/tikv-configuration-file.md###region-compact-min-redundant-rows)以及比例[`region-compact-redundant-rows-percent`](/tikv-configuration-file.md###region-compact-redundant-rows-percent)自动触发compaction，从而提高Compaction filter的GC速度。因此在7.1.3以及以后的版本，通常建议调整上述参数无需关闭Compaction filter。 From e5dc525640cce949166cb6f44de5041575ab4a2c Mon Sep 17 00:00:00 2001 From: tonyxuqqi Date: Tue, 16 Jan 2024 11:36:50 -0800 Subject: [PATCH 3/6] polish Signed-off-by: tonyxuqqi --- garbage-collection-configuration.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/garbage-collection-configuration.md b/garbage-collection-configuration.md index c6daa48069b9..08f0de6248b3 100644 --- a/garbage-collection-configuration.md +++ b/garbage-collection-configuration.md @@ -87,4 +87,4 @@ show config where type = 'tikv' and name like '%enable-compaction-filter%'; > **注意：** > -> Compaction filter的机制可能会导致GC进度有延迟，从而影响TiKV扫描性能。如果负载包含大量coprocessor请求且观察到在 [`Coprocessor Details`](/grafana-tikv-dashboard.md###Coprocessor-Detail)面板中发现Total Ops Details中的next()或者prev()的调用远远超过processed_keys的调用，则可以尝试关闭compaction filter从而加快GC速度。在TiDB 7.1.3及其以后的版本，TiDB会根据每个region的冗余版本数量[`region-compact-min-redundant-rows`](/tikv-configuration-file.md###region-compact-min-redundant-rows)以及比例[`region-compact-redundant-rows-percent`](/tikv-configuration-file.md###region-compact-redundant-rows-percent)自动触发compaction，从而提高Compaction filter的GC速度。因此在7.1.3以及以后的版本，通常建议调整上述参数无需关闭Compaction filter。 +> Compaction filter的机制可能会导致GC进度有延迟，从而影响TiKV扫描性能。如果负载包含大量coprocessor请求且观察到在 [`Coprocessor Details`](/grafana-tikv-dashboard.md###Coprocessor-Detail)面板中发现Total Ops Details中的next()或者prev()的调用远远超过(>3倍)processed_keys的调用，则可以尝试关闭compaction filter从而加快GC速度。在TiDB 7.1.3及其以后的版本，TiDB会根据每个region的冗余版本数量[`region-compact-min-redundant-rows`](/tikv-configuration-file.md###region-compact-min-redundant-rows)以及比例[`region-compact-redundant-rows-percent`](/tikv-configuration-file.md###region-compact-redundant-rows-percent)自动触发compaction，从而提高Compaction filter的GC速度。因此在7.1.3以及以后的版本，通常建议调整上述参数无需关闭Compaction filter。 From 1f18533cf614adb8c740e68b9f37148811ff8da8 Mon Sep 17 00:00:00 2001 From: tonyxuqqi Date: Wed, 20 Mar 2024 19:40:19 -0700 Subject: [PATCH 4/6] Update garbage-collection-configuration.md Co-authored-by: Aolin --- garbage-collection-configuration.md | 4 +++- 1 file changed, 3 insertions(+), 1 deletion(-) diff --git a/garbage-collection-configuration.md b/garbage-collection-configuration.md index 08f0de6248b3..ce71c19ba012 100644 --- a/garbage-collection-configuration.md +++ b/garbage-collection-configuration.md @@ -87,4 +87,6 @@ show config where type = 'tikv' and name like '%enable-compaction-filter%'; > **注意：** > -> Compaction filter的机制可能会导致GC进度有延迟，从而影响TiKV扫描性能。如果负载包含大量coprocessor请求且观察到在 [`Coprocessor Details`](/grafana-tikv-dashboard.md###Coprocessor-Detail)面板中发现Total Ops Details中的next()或者prev()的调用远远超过(>3倍)processed_keys的调用，则可以尝试关闭compaction filter从而加快GC速度。在TiDB 7.1.3及其以后的版本，TiDB会根据每个region的冗余版本数量[`region-compact-min-redundant-rows`](/tikv-configuration-file.md###region-compact-min-redundant-rows)以及比例[`region-compact-redundant-rows-percent`](/tikv-configuration-file.md###region-compact-redundant-rows-percent)自动触发compaction，从而提高Compaction filter的GC速度。因此在7.1.3以及以后的版本，通常建议调整上述参数无需关闭Compaction filter。 +> 在使用 Compaction Filter 机制时，可能会出现 GC 进度延迟的情况，从而影响 TiKV 扫描性能。当你的负载中含有大量 coprocessor 请求，并且在 [**TiKV-Details > Coprocessor Detail**](/grafana-tikv-dashboard.md#coprocessor-detail) 面板中发现 Total Ops Details 的 `next()` 或 `prev()` 调用次数远远超过 `processed_keys` 调用的三倍时，可以采取以下措施： +> - 对于 TiDB v7.1.3 之前版本，建议尝试关闭 Compaction Filter，以加快 GC 速度。 +> - 在 v7.1.3 及之后版本中，TiDB 会根据每个 Region 的冗余版本数量 [`region-compact-min-redundant-rows`](/tikv-configuration-file.md#region-compact-min-redundant-rows) 和比例 [`region-compact-redundant-rows-percent`](/tikv-configuration-file.md#region-compact-redundant-rows-percent) 自动触发 compaction，从而提高 Compaction Filter 的 GC 速度。因此，在 v7.1.3 及之后的版本中，如果遇到上述情况，建议调整这两个参数，无需关闭 Compaction Filter。 From b97d5242742d34eb1ed26a8c4b6b50397638a8bc Mon Sep 17 00:00:00 2001 From: Aolin Date: Thu, 21 Mar 2024 11:30:30 +0800 Subject: [PATCH 5/6] make ci happy --- garbage-collection-configuration.md | 3 ++- 1 file changed, 2 insertions(+), 1 deletion(-) diff --git a/garbage-collection-configuration.md b/garbage-collection-configuration.md index ce71c19ba012..f2554123aa79 100644 --- a/garbage-collection-configuration.md +++ b/garbage-collection-configuration.md @@ -88,5 +88,6 @@ show config where type = 'tikv' and name like '%enable-compaction-filter%'; > **注意：** > > 在使用 Compaction Filter 机制时，可能会出现 GC 进度延迟的情况，从而影响 TiKV 扫描性能。当你的负载中含有大量 coprocessor 请求，并且在 [**TiKV-Details > Coprocessor Detail**](/grafana-tikv-dashboard.md#coprocessor-detail) 面板中发现 Total Ops Details 的 `next()` 或 `prev()` 调用次数远远超过 `processed_keys` 调用的三倍时，可以采取以下措施： +> > - 对于 TiDB v7.1.3 之前版本，建议尝试关闭 Compaction Filter，以加快 GC 速度。 -> - 在 v7.1.3 及之后版本中，TiDB 会根据每个 Region 的冗余版本数量 [`region-compact-min-redundant-rows`](/tikv-configuration-file.md#region-compact-min-redundant-rows) 和比例 [`region-compact-redundant-rows-percent`](/tikv-configuration-file.md#region-compact-redundant-rows-percent) 自动触发 compaction，从而提高 Compaction Filter 的 GC 速度。因此，在 v7.1.3 及之后的版本中，如果遇到上述情况，建议调整这两个参数，无需关闭 Compaction Filter。 +> - 从 v7.1.3 开始，TiDB 会根据每个 Region 的冗余版本数量 [`region-compact-min-redundant-rows`](/tikv-configuration-file.md#region-compact-min-redundant-rows) 和比例 [`region-compact-redundant-rows-percent`](/tikv-configuration-file.md#region-compact-redundant-rows-percent) 自动触发 compaction，从而提高 Compaction Filter 的 GC 速度。因此，在 v7.1.3 及之后的版本中，如果遇到上述情况，建议调整这两个参数，无需关闭 Compaction Filter。 From 1beb30deb83686478c6d0383232fdeec315d9d3e Mon Sep 17 00:00:00 2001 From: Aolin Date: Thu, 21 Mar 2024 11:32:21 +0800 Subject: [PATCH 6/6] make ci happy --- garbage-collection-configuration.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/garbage-collection-configuration.md b/garbage-collection-configuration.md index f2554123aa79..2b61c03e0f1e 100644 --- a/garbage-collection-configuration.md +++ b/garbage-collection-configuration.md @@ -90,4 +90,4 @@ show config where type = 'tikv' and name like '%enable-compaction-filter%'; > 在使用 Compaction Filter 机制时，可能会出现 GC 进度延迟的情况，从而影响 TiKV 扫描性能。当你的负载中含有大量 coprocessor 请求，并且在 [**TiKV-Details > Coprocessor Detail**](/grafana-tikv-dashboard.md#coprocessor-detail) 面板中发现 Total Ops Details 的 `next()` 或 `prev()` 调用次数远远超过 `processed_keys` 调用的三倍时，可以采取以下措施： > > - 对于 TiDB v7.1.3 之前版本，建议尝试关闭 Compaction Filter，以加快 GC 速度。 -> - 从 v7.1.3 开始，TiDB 会根据每个 Region 的冗余版本数量 [`region-compact-min-redundant-rows`](/tikv-configuration-file.md#region-compact-min-redundant-rows) 和比例 [`region-compact-redundant-rows-percent`](/tikv-configuration-file.md#region-compact-redundant-rows-percent) 自动触发 compaction，从而提高 Compaction Filter 的 GC 速度。因此，在 v7.1.3 及之后的版本中，如果遇到上述情况，建议调整这两个参数，无需关闭 Compaction Filter。 +> - 从 v7.1.3 开始，TiDB 会根据每个 Region 的冗余版本数量 [`region-compact-min-redundant-rows`](/tikv-configuration-file.md#region-compact-min-redundant-rows-从-v710-版本开始引入) 和比例 [`region-compact-redundant-rows-percent`](/tikv-configuration-file.md#region-compact-redundant-rows-percent-从-v710-版本开始引入) 自动触发 compaction，从而提高 Compaction Filter 的 GC 速度。因此，在 v7.1.3 及之后的版本中，如果遇到上述情况，建议调整这两个参数，无需关闭 Compaction Filter。