如何提高单个dataNode的compaction task的并行度？

[xiaobingxia-at]

由于各种原因，需要用到大量partition，以及大量segment。因此需要调整cluster，能够尽快完成大量segment compaction的工作。

1. dataCoord.compaction.maxParallelTaskNum: 这个是整个cluster能同时进行的compaction task数目
2. dataNode.slot.slotCap: 单个data node能够提供的compaction slot数目
3. dataCoord.slot.clusteringCompactionUsage/mixCompactionUsage/l0DeleteCompactionUsage: 对整个cluster来说，各种compaction task能占用的slot数目。

我的理解是这样的，如果有10个datanode：
dataCoord.compaction.maxParallelTaskNum = 1000
dataNode.slot.slotCap = 100
dataCoord.slot.mixCompactionUsage = 1000
dataCoord.slot.l0DeleteCompactionUsage = 1000

10个data node，每个node对应的slotCap是100， 所以对全局来说，我们总共有1000个compaction task slot。（我的理解一个task slot可以提供一个thread，跑一个compaction task）
由于：mixCompactionUsage = 1000， 所以对全局来说，我最多可以同时跑1000个mix compaction task。由于：l0DeleteCompactionUsage = 1000，所以对全局来说，我最多可以同时跑1000个l0 compaction task。
但由于maxParallelTaskNum = 1000，对于全局来说，所有种类的，同时在跑的compaction task不得超过1000.

请问该理解是否准确？通过以上策略能否有效提高compaction task的效率，达到快速降低segment数目的目的。

另外，我希望避免coordinator每次compaction时，轮询所有的segment，因为发现每次coordinator变得很忙时，scaling query node会出现问题（特别慢）。我希望每个小时，trigger一次所有的compaction，但每次trigger compaction，就可以把所有的segment都给merge了。我理解的没错的话，data coord是有个compaction task queue？每次做compaction plan，submit很多compaction task到这个queue里。然后基于maxParallelTaskNum， mixCompactionUsage， l0DeleteCompactionUsage 以及每个data node的dataNode.slot.slotCap 来从task queue里一个个并发完成compaction task，这个理解对吗？谢谢

[yhmo]

compaction任务不宜并行，过犹不及
大部分配置参数其实不建议瞎改

[yhmo]

首先你要明白何种情况会产生compaction
重点：只有在同一个collection的同一个partition的同一个shard中的segments才会有可能做合并
如果你有5百万个partition，每个partition里有2个segment，基本上就不会有合并，因为默认3个或3个以上的小segment才会合并
其次，compaction是一直在发生，从你开始插入数据后不久就开始，你可能在1分钟之内产生百万个segment么？不可能吧。你走一路撒一路的瓜子，它一路帮你清理，它并不是在你到达终点的那一刻瞬间给你做一把的清理。那为何你非要让它并行？

[xiaobingxia-at]

@yhmo 再次感谢您的详细解答。您说的这些都是非常基础的规则，我明白。我们可以开视频详细聊聊。
过去一个月我们一直在和 @xiaofan-luan 沟通我们的场景如何支持。这里不便详说业务。
但我们确实会出现 1）超大量partition 2）每小时会有几十万segment产生（分布在几十万partition）的情况。

[xiaobingxia-at]

目前我们在测试的场景是，每小时生成12000个segment，compaction勉强能跟上。短期目标是，每小时生成10万segment，compaction要能跟上。实在做不到就只能开多个cluster。

[yhmo]

尝试调整这几项：
dataCoord.compaction.maxParallelTaskNum 这是一个集群中所能并行的compaction最大任务数
dataCoord.slot.mixCompactionUsage 这是定义单个compaction任务的“工作量”(虚拟)
dataNode.slot.slotCap 这是定义单个datanode执行compaction任务的能力(虚拟)

假设dataNode.slot.slotCap=16， dataCoord.slot.mixCompactionUsage=8，那么每个datanode同一时间里能执行两个compaction任务。但所有datanode上执行的compaction任务数量不会高于dataCoord.compaction.maxParallelTaskNum

dataCoord:
  compaction:
    maxParallelTaskNum: 10
  slot:
    mixCompactionUsage: 8 # slot usage of mix compaction job.

dataNode:
  slot:
    slotCap: 16 # The maximum number of tasks(e.g. compaction, importing) allowed to run concurrently on a datanode

[xiaobingxia-at]

太有帮助了，感谢大佬！