如何减轻coordinator的运行压力？

[xiaobingxia-at]

cluster 2.5.2, 600k个partition，每个paritition 3500行。有个数据导入script在不停导入数据。每次导入500行数据到一个partition，所以他一小时会碰到上万个partition（产生上万个segment）
有发现如下问题：

1. 数据导入速度随时间变化很大，上下差距20倍，有时0.2秒导入一个500条数据（1536-d）。有时需要10秒。基本每半小时抖动一次。
2. coordinator大概每半小时，CPU使用率会飚高到10%以上，平时在5%。同时也是每半小时，coordinator和其他node的I/O会拉高到30mb 每秒。
3. query node大概每半小时，CPU使用率会飚高到30%以上，平时在1%
4. index node大概每半小时到一小时，任务会停个10-15分钟，但是有大量的未完成的index任务。感觉是coordinator停止分配index 任务了。
5. data node大概每半小时，CPU使用率也会飚高一下。

根绝我对源代码的理解，应该是coordinator被阻塞瓶颈住了。。。如果错了请指正。
我现在唯一能想到的是，我的segment maxlife是半小时。所以每隔半个小时会flush数据一次。请问还有什么其他可能的原因？
另外，我想优化coordinator的工作，由于我有大量的partition，我想避免coordinator一遍遍频繁的轮询所有segment，我在看以下几个选项：

1. dataCoord.gc.interval: 900. 因为我想快速清理垃圾segment，减轻cluster 负担

对于以下选项，是否可以拉高：
3. queryCoord.checkSegmentInterval: 1000
4. checkChannelInterval: 1000
5. checkBalanceInterval: 300000 # check balance every 300 seconds
6. checkIndexInterval: 10000 # check index every 10 seconds
7. dataCoord.syncSegmentsInterval: 300

[xiaobingxia-at]

另外，我看到每隔半小时query node CPU使用率拉高时，log里有大量loading segment, releasing segment的信息。
按照我的理解，一般来说CPU拉高的原因大概率就是不停的网络I/O？如果错了请指正。因为目前只有一个导入script在导入数据，没有search script在查询数据。
如果是这样，我在想为啥query node会不停load/release segment。大佬能否指个大概方向。
我目前在看balancer的设定是不是有问题导致他频繁balancing segment。
或者是因为checkSegmentInterval:1000太频繁，导致他不断release被deprecate的segment， 以及load新产生的segment。我认为checkSegmentInterval可以尝试拉高到10分钟？（由于growing segment的存在，数据不会出现一致性问题，只是某些被compact过或sort过的数据没有被sync到query node，也可以查询）

[yhmo]

dataCoord.gc.interval 这个是触发清理s3/minio上的垃圾的间隔，我觉得改小了对减轻运行压力没什么用，那些节点又不会用到垃圾。
queryCoord.checkSegmentInterval 单位是毫秒，也就是默认每秒检查一次，影响load开始加载时的耗时，对于大表来说可以改大
checkChannelInterval 单位是毫秒，会影响channel在各个querynode间分配时的耗时，如果没有频繁的querynode上下线，也可以改大(不太确定)
checkIndexInterval 单位是毫秒，影响index任务，不太确定改大改小会如何
dataCoord.syncSegmentsInterval 单位是秒，datanode定时刷盘间隔，默认5分钟，对运行压力影响不大

[xiaobingxia-at]

谢谢！

[xiaofan-luan]

可能要首先确定一下这个半个小时一次的是什么任务？
如果能够在cpu和io高的时候抓一个pprof会很有帮助

[xiaobingxia-at]

好的，请问可以把下面这几项拉高吗？
3. queryCoord.checkSegmentInterval: 1000
4. checkChannelInterval: 1000
5. checkBalanceInterval: 300000 # check balance every 300 seconds
6. checkIndexInterval: 10000 # check index every 10 seconds
7. dataCoord.syncSegmentsInterval: 300