DBus v0.6.1

重要功能优化:

• 针对mysql数据源进行优化升级,canal升级到1.1.4版本,采用直接落kafka方式,废弃原有模块mysql-extractor
• sinker功能完善,添加根据表订阅功能,完善页面相关功能
• 修复其他已知bug

相关程序包，前往下面网盘下载：
链接：https://pan.baidu.com/s/1NMgX3XqX0cyD8Z9XtFSILw
提取码：q4lw

升级请参考:
https://bridata.github.io/DBus/deploy.html#3-dbus060升级061

DBus v0.6.0

重要功能优化

• 优化dbus打包,添加deployer打包工程；
• 优化dbus部署,所有配置统一在conf/config.properties中配置；
• 全量部分代码重构,优化mysql拉取逻辑,防止出现oom导致worker自动重启导致任务拉取失败；
• 新增sinker模块,实现增量数据落hdfs；

功能新增

• 新增全量断点续传功能,针对分片数目较多的任务,可以续传未完成的分片任务；
• 自动部署ogg、canal：
  新增自动部署canal,自动添加ogg目标端replicat进程功能；
  新增ogg、canal自动部署、重新部署、自动漂移功能；
  新增集群服务器canal、ogg部署详情集中管理功能；
• 新增批量重启拓扑功能,方便批量升级dbus mysql-extractor,dispatcher-appender、splitter-puller；
• 新增数据线一键检测功能，包括拓扑、ogg、canal、主备延时状态自动获取，此功能目前只提供给心跳程序使用；
• 重新设计优化，拓扑停止、状态获取,不再依赖stormUI；
• 新增更新表结构功能，用于加表后version为null，源端和dbus表结构不一致时自动更新表结构；

相关程序包，前往下面网盘下载：

https://pan.baidu.com/s/1dDlM72JSAsR5TD5X7WVZvQ

deployer-0.6.0.zip压缩包

解压缩包目录结构：
bin------------------------------dbus的各种执行命令
|--addTopicAcl.sh --kerberos环境topic授权脚本
|--dbus_startTopology.sh --storm worker启动脚本
|--init-all.sh --初始化dbus，包含配置校验、jar包初始化、数据库初始化、dbus其他模块初始化、启动
|--init-dbus-modules.sh --dbus其他模块初始化，包含zk节点、grafana、influxdb、
|--init-jars.sh --jar包初始化
|--start.sh --启动
|--stop.sh --停止
lib------------------------------dbus-keeper相关jar包
|--config-server-0.6.0.jar --dbus配置中心
|--gateway-0.6.0.jar --dbus网关
|--keeper-auto-deploy-0.6.0-jar-with-dependencies.jar--dbus自动部署包
|--keeper-mgr-0.6.0.jar --dbus控制台
|--keeper-service-0.6.0.jar --dbus数据库服务
|--register-server-0.6.0.jar --dbus配置中心
conf-----------------------------dbus的配置文件和模板文件
|--Commons --zk节点模板
|--config.properties --zk初始化配置文件，后面会用到
|--nginx.conf --nginx配置文件
|--ConfTemplates --zk节点模板
|--HeartBeat --zk节点模板
|--init --dbus初始化相关脚本
|--Keeper --zk节点模板
|--keeperConfig --dbus配置中心配置文件目录
|--keeperConfigTemplates --dbus配置中心配置文件模板
|--worker.xml --storm log4j配置文件
extlib---------------------------dbus各个模块storm程序包
|--dbus-fullpuller-0.6.0-jar-with-dependencies.jar --全量程序包
|--dbus-log-processor-0.6.0-jar-with-dependencies.jar --日志程序包
|--dbus-mysql-extractor-0.6.0-jar-with-dependencies.jar --mysql抽取程序包
|--dbus-router-0.6.0-jar-with-dependencies.jar --router程序包
|--dbus-sinker-0.6.0-jar-with-dependencies.jar --sinker程序包
|--dbus-stream-main-0.6.0-jar-with-dependencies.jar --增量程序包（dispacher-appender）
|--encoder-plugins-0.6.0.jar --脱敏包
zip------------------------------dbus其他模块程序包
|--dbus-canal-auto-0.6.0.zip --canal自动部署包
|--dbus-heartbeat-0.6.0.zip --心跳程序包
|--dbus-ogg-auto-0.6.0.zip --ogg自动部署包
|--log-auto-check-0.6.0.zip --log自动部署包
|--build.zip --前端js包
|--canal.zip --修改后的canal包1.0.24

DBus v0.5.0

支持Oracle，mysql等RDBMS数据源，支持基于logstash，flume，filebeat的其他数据源。

重大更新如下
（1）引入多租户管理，实现租户资源隔离、权限管理、项目有效期管理等。
（2）提供灵活的脱敏插件化管理机制，让用户能灵活自定义脱敏策略。
（3）Web管理系统架构重大调整，部署维护更简单。微服务化提供了灵活的架构及模块管理。
（4）Web UI重大重构，功能更丰富，界面更美观。
（5）安装部署高度自动化，并提供了全面、强大的辅助检测功能，有限的几步配置即可快速开始试用系统。
（6）集群健康全维监测，让系统故障检测及排查更简单、更直观。

相关程序包，前往下面网盘下载：
https://pan.baidu.com/s/1b1aKueXLvO2GigB5fa4kNw

包括：
All in one：dbus-allinone.tar.gz
web管理：dbuskeeper_web.zip
MySQL数据线接入Canal自动化辅助部署包：dbus-canal-auto-0.5.0.tar.gz
Oracle数据线接入OGG自动化辅助部署包：dbus-ogg-auto-0.5.0.zip
FileBeat数据线接入自动化辅助部署包： filebeat-source.tar.gz
Flume数据线接入自动化辅助部署包：flume-source.tar.gz
LogStash数据线接入自动化辅助部署包：logstash-source.tar.gz
storm程序log4j配置文件：worker.xml

dbuskeeper_web子模块：
mysql日志抽取模块： dbus-mysql-extractor-0.5.0-jar-with-dependencies.jar
增量转换模块：dbus-stream-main_1.3-0.5.0-jar-with-dependencies.jar
全量拉取模块：dbus-fullpuller_1.3-0.5.0-jar-with-dependencies.jar
日志算子模块：dbus-log-processor-0.5.0-jar-with-dependencies.jar
多租户数据分发模块：dbus-router-0.5.0-jar-with-dependencies.jar
心跳模块：dbus-heartbeat-0.5.0.zip
web页面压缩包：build.zip
web配置文件包：conf.zip
web后台程序包：register-service、gateway、keeper-mgr、keeper-service四个模块

注：dbuskeeper_web子模块会跟随dbuskeeper_web.zip更新，方便部分下载。

DBus v0.4.0

RDBMS支持Oracle，mysql数据源，支持基于logstash，flume，filebeat的其他数据源。

https://pan.baidu.com/s/1oAcbEKa
包括：

• All in one：dbus-allinone.tar.gz
• web管理：dbus-manager-distribution-0.4.0-bin.zip
• 心跳模块：dbus-heartbeat-0.4.0.zip
• 小工具：dbus-tools-0.4.0.zip
• dbus_jars： dbus_jars.tar.gz
  其中包括：
• mysql日志抽取模块： dbus-mysql-extractor-0.4.0-jar-with-dependencies.jar
• 增量转换模块：dbus-stream-main_1.3-0.4.0-jar-with-dependencies.jar
• 全量拉取模块：dbus-fullpuller_1.3-0.4.0-jar-with-dependencies.jar
• 日志算子模块：dbus-log-processor-0.4.0-jar-with-dependencies.jar

DBus v0.3.0 版本

• 支持mysql数据源

二进制文件参考百度快盘：
https://pan.baidu.com/s/1o8wVR5o
包括：
* All in one:
* 日志抽取模块： dbus-mysql-extractor-0.3.0-jar-with-dependencies.jar
* 增量转换模块：dbus-stream-main_1.3-0.3.0-jar-with-dependencies.jar
* 全量拉取模块：dbus-fullpuller_1.3-0.3.0-jar-with-dependencies.jar
* 心跳模块： dbus-heartbeat-0.3.0.zip
* 小工具： dbus-tools-0.3.0.zip
* web管理： distribution-0.3.0-bin.zip