Zeppelin 配置实例 —— 容量集群

特点

容量集群旨在应对，存储容量大，但对读写性能要求不是很高的场景。通常会考虑单位容量的成本，所以集群机器cpu较差，普通内存容量，磁盘容量大且单机挂盘多。未来针对这种集群可以考虑采用EC码。

环境

• 4核CPU
• 内存32GB
• 单机磁盘3.7T * 24，SATA盘
• 千兆网卡
• Meta节点数：5
• Node节点数：24 * 60
• 操作系统：Centos 7

配置实例

meta_addr : xx.xx.xx.xx/xxxx,xx.xx.xx.xx/xxxx,xx.xx.xx.xx/xxxx
local_ip : xx.xx.xx.xx
local_port : xxxx
data_path : ./d1/data
log_path : ./d1/log
trash_path: ./d1/trash
daemonize : true
pid_file : /home/xxx/node1.pid
lock_file : /home/xxx/node1.lock

# Advance
# whether enable delete partition data
enable_data_delete : false
# data worker thread num [1, 100]
data_thread_num : 4
# binlog recv thread [1, 100]
sync_recv_thread_num : 4
# binlog send thread [1, 100]
sync_send_thread_num : 4
# flushes thread for db [10, 100]
max_background_flushes : 24
# compactions thread for db [10, 100]
max_background_compactions : 12
# slowlog time [-1, 10000000] us
slowlog_slower_than : 100000

#db memtable size KB [4096, 10485760]
db_write_buffer_size : 262144
#db totaly memtable size KB [1048576, 524288000]
db_max_write_buffer :  12852912
#db sst file size KB [4096, 10485760]
db_target_file_size_base : 262144
#db max cache Table
db_max_open_files : 262144
#db block size KB [4, 10485760]
db_block_size : 16