Duplicate Key模型可以根据排序字段去重吗？UNIQUE KEY模型可以去掉读时合并的的策略不？

[ltylty]

Duplicate Key模型可以根据排序字段去重吗？ 或者 UNIQUE KEY模型可以去掉读时合并的的策略不？ 由我自己控制什么时候合并。

我介绍一下我的使用背景。
之前一直使用clickhouse，但join性能比较差，着手调研doris。

我的使用场景是flink实时任务将明细数据写入doris，为了极致的查询性能（不能慢于clickhouse）需要选用UNIQUE KEY模型。
但是我没法保证flink写入starrocks的EXACTLY_ONCE，只能保证at least once。有时候flink实时任务需要重启也会导致数据重复写入。
所以需要在数据仓库层支持幂等性写入。但是明细层并不需要实时地进行数据去重，发现数据有问题之后手动进行去重也可以接受。

之前用clickhouse的replacingMergeTree可以比较方便的解决这个问题。

[zy-kkk]

你好，Doris在即将发布的1.2版本中支持了merge on write的unique key模型，相比旧的unique key有很大的性能提升：merge on write unique key
关于2pc写入，目前的doris-flink-connector已经支持

[ketingli1]

@ltylty 您好，您是怎么解决的

[ltylty]

@ltylty 您好，您是怎么解决的

用 clickhouse 😔

[ketingli1]

为什么不用更新表

[ketingli1]

或者主键表 @ltylty

[ltylty]

不管是 merge on write 还是 merge on read 都是需要成本的。正常情况我不需要merge，一些特殊场景需要手动merge。
clickhouse的replacingMergeTree可以完美解决这个问题。