在大量segment情况下，如何让data node的compaction更加高效？

[xiaobingxia-at]

我在2.4.17的cluster mode下，因为各种公司的需求，需要处理大量的segment （200k个）。然后我把mix/l0 compaction的频率调成了3600秒一次。然后我在coordinator的log中看到大量如下信息：
["compactionHandler cannot find datanode for compaction task"] [planID=454886895760171459] [type=MixCompaction] [vchannel=milvus-50kp-50kb-hnsw-i4i-rootcoord-dml_53_454886895681276984v0]
[datacoord/compaction_trigger.go:411] ["compaction plan skipped due to handler full"]

好像说是data node的compaction资源不足？
目前的cluster有两个data node，每个data node 15 Core, 60GB memory. 根据监控，data node的CPU使用率在10%以下。
我认为是，data node做compaction job的并发度不够高？
请问该如何调高data node做compaction job的并发度？还是只能拉高data node数目。

我目前在考虑的设置有：
dataCoord.slot.clusteringCompactionUsage
dataCoord.slot.mixCompactionUsage
dataCoord.slot.l0DeleteCompactionUsage
dataNode.slot.slotCap

应该调整那些设置呢？ 谢谢。

[yhmo]

如果小segment数量比较多的话，不应该修改dataCoord.compaction.mix.triggerInterval，保留其默认60秒即可。不然会在很长一段时间内都不会做compaction

系统能同时执行的compaction数量由dataCoord.compaction.maxParallelTaskNum决定，默认为10，如果你的datanode数量不大于10，就不需要改

"compactionHandler cannot find datanode for compaction task" 是因为datanode都在忙于做compaction，没有空闲的节点做

[xiaobingxia-at]

系统能同时执行的compaction数量由dataCoord.compaction.maxParallelTaskNum决定，默认为10，如果你的datanode数量不大于10，就不需要改

这个是整个cluster的全局compaction数量，不是每个data node节点能同时执行的compaction数量，是吗？

如果小segment数量比较多的话，不应该修改dataCoord.compaction.mix.triggerInterval，保留其默认60秒即可。不然会在很长一段时间内都不会做compaction

如果每分钟，轮询200k个segment，会不会造成coordinator 太忙，成为瓶颈，阻塞住数据插入或搜索？

[yhmo]

dataCoord.compaction.maxParallelTaskNum 是整个cluster能同时执行的compaction任务数量上限

dataCoord.compaction.mix.triggerInterval 只是触发一个compaction计划，这个计划根据既定策略产生一些compaction tasks，然后把这些tasks拿去给datanode执行，如果tasks还没执行完，下次triggerInterval时就skip，不会让coordinator忙。compaction是为了减少segment数量，并把那些deleted的数据真正清除掉，compaction task异步执行不会影响查询(在cluster模式下)。

[xiaobingxia-at]

系统能同时执行的compaction数量由dataCoord.compaction.maxParallelTaskNum决定，默认为10，如果你的datanode数量不大于10，就不需要改

这是假设每个data node只能处理一个compaction task？请问有办法提高单个data node同时处理compaction的数目吗？
@yhmo

[yhmo]

compaction任务不宜并行，过犹不及

[xiaofan-luan]

@bigsheeper
compaction 可能也是一个挑战点。

@xiaobingxia-at
建议需要增加compaction的datanode个数。如果每次compaction的数据都不多，可以适度调整compaction的参数，比如增加compaction min来降低成本compaction的频率