关闭服务器加装内存之后，Mlivus重启之后，collection不存在

[LoveFishoO]

关闭服务器加装内存之后，Mlivus重启之后，collection不存在。但是看起来硬盘中还存在数据，milvus的文件夹大小有44G.

[yhmo]

1. 所有insert/delete/upsert的数据，都会在message queue里先保存一份。
   对于standalone，这个message queue是内置的一个rocksdb实现，垃圾清理周期由milvus.yaml里的rocksmap配置设定

   milvus/configs/milvus.yaml

   Line 224 in 72f5b85

   retentionTimeInMinutes: 4320 # The maximum retention time of acked messages in RocksMQ. Acked messages in RocksMQ are retained for the specified period of time and then cleared. Unit: Minute.

   
   对于cluster，这个message queue是pulsar/kafka，pular/kafka有自己的垃圾清理机制，可阅读他们的文档看如何配置

2. 所有insert/delete/upsert的数据，最终会由datanode写入s3/minio。milvus有自己的garbage collection机制，默认每隔1个小时左右触发一次清理s3/minio上的垃圾文件的动作，垃圾文件最长的留存期是3个小时左右。所以当你删表之后，这个表里的文件仍有可能留存数个小时。由milvus.yaml的gc配置：

   milvus/configs/milvus.yaml

   Line 609 in 72f5b85

   gc:

[LoveFishoO]

额外问一个问题，我进行了delete操作之后，我观察到内存中的数据占用量并未下降，实际上是因为delete是一个标记删除，等待后续milvus自动释放这部分内存。我想问一下，我该如何在delete之后立刻生效让这部分数据从内存中释放出去？

[LoveFishoO]

我只是关闭了服务器，但是我并未执行inser/delete/upsert等操作，为何collection数据会不存在呢？

[yhmo]

delete操作只是加了个标志位，querynode通过这个标志位知道某条数据已被删除，不需要参与计算，但该条数据实际上仍然在内存里。
默认下，只有当某个segment里被删除的数量达到10%，才会触发一个compact操作，datanode把这个segmnet里没有被删的数据拿出来，重新组合成一个新的segment，然后querynode把这个新的segemnt加载进内存替换掉旧的segemnt，内存就会减少。
compact是一个比较重的操作，不应频繁触发。触发时机由milvus自己自动掌握。

delete操作只是删除表中某条数据，不是删表。drop_collection()才是删表操作。如果你没调用过drop_collection，重启之后那个表仍在。如果重启了表没了，那么有可能是etcd存在磁盘上的东西被谁给删了

[LoveFishoO]

我这边会高频次的对数据进行更新，就会导致内存在一段时间内增长，对内存压力较大，请问这种情况有解决的方法吗？

[yhmo]

哪个节点内存压力大？
如果是standalone的话，内存压力大是挺正常的，因为大量的数据更新会触发大量的compact，建索引操作，所有的操作都在同一个进程内

[xiaofan-luan]

1. collection 不会不存在，除非你的某些目录放在了非持久化的磁盘上。
2. 如果你用的standalone，更新这些操作就需要建索引。所以需要留一定的水位。可以适当调整compaction加快清理，不过compaction同样是需要消耗资源的。