分层存储

[BsoBird]

HELLO.
我看到celeborn的存储类型目前支持HDD,SSD,HDFS.
请问目前可以配置分层存储么?
另外如果我现在存储类型一起配置了 HDD,HDFS, 它的工作流程是怎样子的?本地磁盘写满后会怎样?

[waitinfuture]

@FMX could you answer this question?

[FMX]

I'll answer this question later today.

[FMX]

Celeborn 目前是可以同时配置本地磁盘和 HDFS 的，内存存储一层尚未准备好。
如果现在配置了 HDD，HDFS，shuffle 数据会优先写到本地磁盘上，当本地磁盘使用量超过最大容量或者磁盘可用空间小于最小空闲值以后， shuffle 数据会被写到 HDFS。
这里的目的还是为了最大化吞吐，本地磁盘的吞吐会比 HDFS 更好一些。