From 6a6bc930774ac25016a22ad2d007c0b448989097 Mon Sep 17 00:00:00 2001 From: jefftlin Date: Tue, 7 Jun 2022 17:02:22 +0800 Subject: [PATCH 1/7] update exchangis_deploy_cn.md --- docs/zh_CN/ch1/exchangis_deploy_cn.md | 15 +++++++++++---- 1 file changed, 11 insertions(+), 4 deletions(-) diff --git a/docs/zh_CN/ch1/exchangis_deploy_cn.md b/docs/zh_CN/ch1/exchangis_deploy_cn.md index d96018067..3c81936ca 100644 --- a/docs/zh_CN/ch1/exchangis_deploy_cn.md +++ b/docs/zh_CN/ch1/exchangis_deploy_cn.md @@ -80,13 +80,20 @@ LINKIS_GATEWAY_HOST= #LINKIS_GATEWAY服务地址端口，用于查找linkis-mg-gateway服务 LINKIS_GATEWAY_PORT= +#LINKIS_GATEWAY服务地址URL，由上面两部分组成 +LINKIS_SERVER_URL= + +#用于请求校验 MySQL 服务的 token，该字段可在 linkis 安装目录的${LINKIST_INSTALLED_HOME}/conf/token.propertis中获取 +DATASOURCE_TOKEN= + #用于请求校验 linkis 服务的 token，该字段可在 linkis 安装目录的${LINKIST_INSTALLED_HOME}/conf/token.propertis中获取 LINKIS_TOKEN= -EUREKA_INSTALL_IP= - -EUREKA_INSTALL_PORT= +#Eureka服务端口 +EUREKA_PORT= +#Eureka服务URL +DEFAULT_ZONE= ``` ### 2.4 修改数据库配置 @@ -97,7 +104,7 @@ EUREKA_INSTALL_PORT= ```shell script # 设置数据库的连接信息 -# 包括IP地址、数据库名称、用户名、端口 +# 包括IP地址、端口、用户名、密码和数据库名称 MYSQL_HOST= MYSQL_PORT= MYSQL_USERNAME= From c16fc9eafd3fe7126bfd835aefa847fdf6ec1b39 Mon Sep 17 00:00:00 2001 From: FinalTarget <1326477975@qq.com> Date: Thu, 9 Jun 2022 21:59:56 +0800 Subject: [PATCH 2/7] Modify pom.xml --- .../config/exchangis-server.properties | 2 +- docs/zh_CN/ch1/exchangis_user_manual_cn.md | 222 ------------------ docs/zh_CN/ch1/release_node.md | 92 -------- exchangis-plugins/engine/sqoop/pom.xml | 2 +- .../operation/AbstractExchangisOperation.java | 4 +- .../ref/ExchangisImportOperation.java | 2 +- .../ref/ExchangisRefExecutionOperation.java | 2 +- .../src/main/resources/init.sql | 3 + pom.xml | 2 +- 9 files changed, 10 insertions(+), 321 deletions(-) delete mode 100644 docs/zh_CN/ch1/exchangis_user_manual_cn.md delete mode 100644 docs/zh_CN/ch1/release_node.md diff --git a/assembly-package/config/exchangis-server.properties b/assembly-package/config/exchangis-server.properties index 81f4b441d..10f3bbfe0 100644 --- a/assembly-package/config/exchangis-server.properties +++ b/assembly-package/config/exchangis-server.properties @@ -65,5 +65,5 @@ wds.exchangis.job.task.scheduler.load-balancer.flexible.segments.min-occupy=0.25 wds.exchangis.job.task.scheduler.load-balancer.flexible.segments.max-occupy=0.5 #wds.exchangis.job.scheduler.group.max.running-jobs=4 - +wds.linkis.session.ticket.key=bdp-user-ticket-id diff --git a/docs/zh_CN/ch1/exchangis_user_manual_cn.md b/docs/zh_CN/ch1/exchangis_user_manual_cn.md deleted file mode 100644 index 210feeb23..000000000 --- a/docs/zh_CN/ch1/exchangis_user_manual_cn.md +++ /dev/null @@ -1,222 +0,0 @@ -- [产品简介](#产品简介) -- [使用接入](#使用接入) - - [界面接入](#界面接入) - - [主要界面介绍](#主要界面介绍) - - [1.数据源管理－连接模版](#1.数据源管理-数据源) - - [2.数据源管理-模板管理](#2.数据源管理-模板管理) - - [3.任务配置](#3.任务配置) - - [4.任务作业](#4.任务作业) - - [5.权限组管理](#5.权限组管理) - - [数据源模块](#数据源模块) - - [1.创建数据源模板](#1.创建数据源模板) - - [2.创建数据源](#2.创建数据源) - - [任务配置模块](#任务配置模块) - - [1.创建项目/权限组](#1.创建项目/权限组) - - [2.配置数据交换任务](#2.配置数据交换任务) - - [3.配置后置处理器](#3.配置后置处理器) - - [任务作业模块](#任务作业模块) - - [1.查看作业日志](#1.查看作业日志) - - [系统管理模块](#系统管理模块) - - [1.应用用户管理](#1.应用用户管理) - - [2.执行(代理)用户管理](#2.执行(代理)用户管理) - - [3.执行节点管理](#3.执行节点管理) - - [脚本接入（未开源）](#脚本接入（未开源）) - -### 产品简介 -Exchangis是一款轻量级的数据交换服务平台，支持结构化、半结构化以及无结构化的存储系统之间的数据同步。平台将数据交换流程进行拆分，抽象出数据源，交换任务，交换作业等概念，达到可视化管理数据同步流程的目的。而在实际数据传输过程中可集成多个传输组件特性，做到功能横向扩展。 - -### 使用接入 -### 界面接入 -#### 主要界面介绍 -##### 1.数据源管理-数据源 -分类列举了用户创建的所有数据源，提供常用的搜索，编辑，删除方法，在点击 `编辑` 出现的弹窗中可以对数据源进行 `连接性测试` 和 `对外权限设置`。 - -![数据源列表](../../../images/zh_CN/ch1/data_source_list.png "数据源列表") - -##### 2.数据源管理-模板管理 -管理数据源的连接信息，将这些信息生成模板。例如IP地址，端口，集群配置参数，认证方式等信息，根据不同数据源类型和环境分开存储成模板，创建数据源时可以复用这些已有的连接模板。 - -![数据源模板列表](../../../images/zh_CN/ch1/data_source_model_list.png "数据源模板列表") - -##### 3.任务配置 -以项目为集合，管理用户配置的任务，用户可以组合现有的数据源创建交换任务，创建的任务将挂载到对应的项目下。同时还提供任务 `定时执行` 和 `历史数据重跑` 等功能。 - -![任务配置](../../../images/zh_CN/ch1/job_config.png "任务配置") - -##### 4.任务作业 -列举了用户相关任务下所有的执行作业，包括作业调用时间、完成时间、执行参数、执行节点以及完成状态，可以点击详细日志查看具体的执行细节。 - -![任务作业](../../../images/zh_CN/ch1/task_list.png "任务作业") - -##### 5.权限组管理 -默认用户创建一个项目时自动生成对应的一个权限组，用户可以通过增删成员的方式管理自己创建的项目权限组，同一权限组内的用户可以做到共享数据源。 - -![权限组](../../../images/zh_CN/ch1/authority_group.png "权限组") - - -#### 数据源模块 -#### 1.创建数据源模板 -数据源模板包含各种形式的连接参数，持有模板可以快速创建数据源。进入`数据源管理-模板管理`界面，点击`+新建模板`，选择要创建的模板类型： - -![新建模板](../../../images/zh_CN/ch1/data_source_model_new.png "新建模板") - -- 模板上一般可以选择认证方式，使用不同认证方式的模板创建数据源时，要求输入的认证信息不一样； -- 普通用户可以编辑自己创建的模板，可以浏览管理员创建的模板，但不可以编辑，暂时不同用户之间不能共享模板。 -各种类型模板的填写样例如下: -##### 1.1 HIVE、HDFS连接模板 -![HIVE连接模板](../../../images/zh_CN/ch1/hive_model_new.png "HIVE连接模板") - -HIVE连接模板的必填项目： -``` -Metastore地址， HiveMetastore地址，格式形如: thrift://path。 -HDFS地址，格式形如: hdfs://path。 -Hadoop配置项，包括namenode的地址,rpc端口等Hadoop客户端连接配置。 -认证方式，有kerberos、LDAP和无权限三个选项，kerberos中realm为必填项 -``` -HDFS连接模板的内容和HIVE模板相似 - -##### 1.2 SFTP连接模版 -![SFTP连接模板](../../../images/zh_CN/ch1/sftp_model_new.png "SFTP连接模板") - -SFTP连接模版的必填项目： -``` -SFTP HOST地址 -SFTP PORT端口号 -认证方式，默认为用户密码认证，keyfile为密钥文件验证 -``` - -##### 1.3 ElasticSearch连接模版 -![ES连接模板](../../../images/zh_CN/ch1/es_model_new.png "ES连接模板") - -ElasticSearch连接模版的必填项目： -``` -Elastic Url （ElasticSerach连接地址），可以填写多个 -认证方式，默认为Basic Authentication -``` - -##### 1.4 MySQL连接模版 -![MySQL连接模板](../../../images/zh_CN/ch1/mysql_model_new.png "MySQL连接模板") - -TDSQL连接模版的必填项目： -``` -MySQL HST地址 -MySQL PORT端口号 -MySQL的连接参数，例如：useUnicode, characterEncoding, allowMultiQuery -``` - -#### 2.创建数据源 -点击 `数据源管理界面` 上方的 `新增数据源`，选择对应的数据源类型，目前支持的类型有`HIVE`，`HDFS`, `SFTP`，`ElasticSearch`和`MySQL`, -选择后出现弹窗，开始新建数据源。其中必须要填写的项目有 `数据源名称` 和 `数据源属主`，以及 `连接模板`: - -![新建数据源](../../../images/zh_CN/ch1/data_source_new.png "新建数据源") - -- 模板这里可以直接点击`创建模板`打开新标签页去创建对应的连接模板，创建完成后再点击`刷新`按钮加载新模板。 -- 数据源与项目存在绑定关系，一个数据源只能绑定一个项目，项目的成员可以浏览项目下绑定的所有数据源, -同时数据源创建者可以指定其对外权限，设置项目组其他成员对该数据源的`编辑`,`使用`,`读取`以及`写入`权限。 -- 最后填写完必要信息后，点击`连接测试`,检验数据源的可用性。 - -#### 任务配置模块 -#### 1.创建项目/权限组 -项目是`Exchangis`划分数据权限的基础，数据交换任务都挂载在项目上，数据源、用户也和项目有绑定关联关系，点击`任务配置`界面左侧的`+ 新建`可快速创建。 -#### 2.配置数据交换任务 -选中对应要添加任务的项目后，点击 `增加任务` 按钮，弹出任务配置窗口，选择要使用的传输引擎。 -目前Exchangis底层完全集成DataX，部分支持SQOOP，选择引擎要注意以下几点： -- 是否已经安装了引擎依赖的环境，DataX默认使用服务的JAVA环境，SQOOP则依赖了Hive和HDFS环境. -- 选用SQOOP引擎执行任务，由于依赖的是具体执行机器的环境，任务配置的Hive/HDFS数据源相关的参数信息会被具体环境的覆盖，数据源的认证信息也会失效。 - -选择成功后，开始如下步骤的操作： -##### 2.1 选择数据来源和数据目的 -数据交换任务的主要工作是在不同数据源之间传输数据，所以需要用户选择不同数据源和配置其具体的数据信息，数据信息就比如HIVE数据源的 `库`、`表`以及`表分区`，如下图： - -![数据来源](../../../images/zh_CN/ch1/job_config_source.png "数据来源") - -此外除了数据源管理界面里面创建的数据源外，用户在配置交换任务的时候还可以选择一种`local_fs`数据源，代表执行任务的机器节点的本地文件系统（Linux）: - -![本地数据源](../../../images/zh_CN/ch1/local_fs.png "本地数据源") - -在最开始选择数据来源的时候，对于文件系统类的数据源可以选择不同的数据交换方式，有两种方式`二进制`和 `记录`： - -![交换方式](../../../images/zh_CN/ch1/transport_type.png "交换方式") - -`二进制`方式下数据直接以流的形式传输，`记录`方式下数据将被解码并切割成多个记录实体来传递，适用于结构化数据库。 - -##### 2.2 配置时间占位符 -在配置交换任务时候，用户可以在一些配置项例如路径或者分区值里面加入时间占位符，在任务执行的时候，会用任务绑定的时间参数（默认是**任务触发时间**）去替换这些占位符 - -![时间占位符](../../../images/zh_CN/ch1/partition_value.png "时间占位符") - -支持的时间占位符有常见的：`yyyyMMdd`, `yyyy-MM-dd`，其他的具体含义见下表： - -| 占位符 | 含义 | 例子 | -| :------ | :------: | :-----: | -| run_date | 设置为当前时间的前一天，格式为yyyyMMdd | 20200129 | -| run_date_std | 设置为当前时间的前一天，格式为yyy-MM-dd | 2020-01-29 | -| run_month_begin | 设置为当前时间所在月的第一天，格式为yyyyMMdd| 20200101| -| run_month_begin_std | 设置为当前时间所在月的第一天，格式为yyyy-MM-dd | 2020-01-01| -| run_month_end | 设置为当前时间所在月的最后一天，格式为yyyyMMdd | 20200131| -| run_month_end_std| 设置为当前时间所在月的最后一天，格式为yyyy-MM-dd | 20200131| - - -##### 2.3 字段映射 -在对记录类型的数据进行传输的情况下，用户可以组合源表字段和目标表字段的对应关系，校验源表字段的值是否符合要求，对源表的字段的值进行转换： - -![字段映射](../../../images/zh_CN/ch1/job_task_mapping.png "字段映射") - -##### 2.4 速度控制 -速度控制控制的是任务每秒全局传输数据的最大值，同时从字节和记录两个纬度进行限制；在速度控制选项卡下还可以控制并行数和最大使用内存数。 - -![速度控制](../../../images/zh_CN/ch1/job_limit.png "速度控制") - -##### 2.5 基本信息 -交换任务的基本信息应包括如下几点： -``` -任务名称、任务描述 -提醒人：任务失败以及超时的时候提醒的关系人，多个关系人逗号分隔 【默认告警信息打在后台日志中】 -定时：设置任务定时的corn表达式 -执行用户：设定的实际执行任务的系统（Linux）用户 【默认拥有同名的执行用户，其他需要管理员绑定授权】 -执行节点：设定的实际执行任务的服务节点列表 【公用默认服务节点，其他需要管理员绑定授权】 -超时时间：任务超时时间，单位秒 -同步方式：全量同步、增量同步，默认为全量同步，增量方式目前只支持对文件类数据源 -``` -需要关注的点： -``` -执行用户相当于代理用户，作用是限定权限，在任务执行的过程中，会用执行用户去启新进程和申请资源； -而对于数据源连接，如果数据源有认证信息，则以数据源认证信息为主，如果没有，权限则会自动落到执行用户上（SQOOP引擎下HIVE/HDFS权限都落在执行用户上）; -``` -![基本信息](../../../images/zh_CN/ch1/job_info.png "基本信息") - -##### 3.配置后置处理器 -Exchangis支持内嵌基础的处理代码，目前界面仅对ElasticSearch相关任务提供入口。当数据交换任务的目的端为ElasticSearch的时候，可以选择使用后置处理器，后置处理器允许用户以编写代码的方式对要写入的记录数据做更加定制化的处理操作： - -![后置处理器](../../../images/zh_CN/ch1/job_es_processor.png "后置处理器") - -在后置处理器代码中，只可以读取作业进程工作目录下的文件，写入操作以及网络连接将被拦截禁止 - -#### 任务作业模块 -##### 1.查看作业日志 -在任务配置页面创建执行任务后，可以在任务作业界面找到对应的作业，点击`详细日志`后拿到执行端的日志，如果作业的状态是`执行中`则会对日志窗口持续刷新： - -![作业日志](../../../images/zh_CN/ch1/job_task_log.png "作业日志") - -#### 系统管理模块 -##### 1.应用用户管理 -在`系统管理 - 用户管理`界面可以新增Exchangis平台的应用用户，并授权用户不同的角色，新用户可以预设密码： - -![应用用户](../../../images/zh_CN/ch1/system_appuser.png "应用用户") - -对于单个用户，可以绑定执行（代理）用户和执行服务节点： - -![用户绑定](../../../images/zh_CN/ch1/system_appuser_bind.png "用户绑定") - -##### 2.执行(代理)用户管理 -单独的界面维护系统内的执行（代理）用户： - -![执行用户](../../../images/zh_CN/ch1/system_executive_user.png "执行用户") - -##### 3.执行节点管理 -在`执行节点`界面可以看到当前集群存在的所有执行节点，这些服务节点通过心跳的方式自动更新自己的信息，点击对应的节点的`管理节点`按钮，进入如下界面： - -![执行节点](../../../images/zh_CN/ch1/executor_management.png "执行节点") - -在该界面可以允许管理员绑定关联执行（代理）用户和执行节点，关联成功后，将会自动在节点机器上建立对应的系统帐号（目前只支持Linux发行版的系统） -#### 脚本接入（未开源） \ No newline at end of file diff --git a/docs/zh_CN/ch1/release_node.md b/docs/zh_CN/ch1/release_node.md deleted file mode 100644 index e6e5d32ef..000000000 --- a/docs/zh_CN/ch1/release_node.md +++ /dev/null @@ -1,92 +0,0 @@ -Exchangis-1.0.0-RC版本包含所有 Project Exchangis-1.0.0-RC。 - -本次发布是Exchangis数据同步任务平台的全新RC版本，支持不同类型数据源之间的数据同步。平台将数据交换流程进行拆分，抽象出数据源，数据交换任务，任务调度等概念，加强了与linkis，DSS之间的联动，是0.X版本之后的重构版本。 - -该版本主要包含了以下内容： - -1、【提交数据同步作业】数据同步作业执行重构 - -2、【子任务运行情况】对正在运行或者已完成的子作业查看他们的各项指标信息，以便对任务进行实时监控。 - -3、【获取实时日志】数据同步进行中/结束能展示job和task的实时日志，准确快速的排查问题 - -4、【数据源管理模块】对数据同步数据源进行一系列的管理操作 - -5、【同步历史模块】对已完成或正在执行的同步数据任务进行历史信息管理 - -6、【项目管理模块】对数据同步项目、任务进行配置管理 - -7、【数据同步作业构建模块】对数据同步作业配置的信息进行构建，形成能够提交给linkis的形式 - -8、 Exchangis1.0 Appconn对接DSS，支持工作流形式执行数据同步任务 - -## 缩写： - -EJS: Exchangis Job Server -EJB:Exchangis Job Builder -EP:Exchangis Project -EDS:Exchangis Datasource Server -EXAPP:Exchangis Appconn - -## 新特性： - -- [EJS][[Exchangis-102]](https://github.com/WeBankFinTech/Exchangis/pull/102) 增加新的exchangis-job-server模块，新增对数据同步任务调度类、执行类、提交任务类，新政任务增删改查功能、日志监控功能、同步历史管理功能 -- [EJB][[Exchangis-110]](https://github.com/WeBankFinTech/Exchangis/pull/110) 增加新的exchangis-job-builder模块，新增对数据同步作业的构建管理类，将数据同步作业转换为能够提交给linkis的形式. -- [EP][[Exchangis-86]](https://github.com/WeBankFinTech/Exchangis/issues/86) 增加新的exchangis-project模块，提供数据同步项目管理服务，通过restful接口提供了数据同步项目的增删查改等功能。 -- [EDS][[Exchangis-95]](https://github.com/WeBankFinTech/Exchangis/pull/95) 增加新的exchangis-datasource-server模块，提供对linkis-datasouce的数据源管理服务，通过restful接口提供了对数据源的增删改查、连接测试、版本管理等功能。 -- [EJS][[Exchangis-]](https://github.com/WeBankFinTech/Exchangis/pull/160) 新增加对已提交数据同步任务的的管理服务，通过restful接口提供了历史任务的日志监控，指标信息查看，中止已提交任务等功能。 -- [EJS][[Exchangis-131]](https://github.com/WeBankFinTech/Exchangis/pull/131) 对数据同步作业的执行过程进行了重构，提供异步执行、多租户功能和任务的高可用性 -- [EXAPP][[Exchangis-179]](https://github.com/WeBankFinTech/Exchangis/pull/179) 增加新的exchangis-appconn模块，通过appconn以第三方组件的方式与DSS对接，实现工作流形式执行数据同步任务，同步增删改查任务等功能。 - -## 功能增强： - -- [EJS][[Exchangis-140]](https://github.com/WeBankFinTech/Exchangis/pull/140) 对于正在运行/已完成的某个子作业，能够展示各项指标信息。 -- [Exchangis][[Exchangis-284]](https://github.com/WeBankFinTech/Exchangis/pull/284) 安装部署脚本优化。 -- [Exchangis][[Exchangis-284]](https://github.com/WeBankFinTech/Exchangis/pull/284) 完善exchangis ddl，dml，配置文件。 -- [Exchangis][[Exchangis-281]](https://github.com/WeBankFinTech/Exchangis/pull/281) 添加对ISSUE模板、Pull request模板和github CI action的支持。 -- [Exchangis][[Exchangis-224]](https://github.com/WeBankFinTech/Exchangis/pull/224) 升级exchangis对linkis的依赖版本由1.0.3到1.1.0。 -- [EJS][[Exchangis-222]](https://github.com/WeBankFinTech/Exchangis/pull/222) 重构job-server模块以适配新的数据库表。 -- [EP][[Exchangis-189]](https://github.com/WeBankFinTech/Exchangis/pull/189) 重构数据同步项目管理模块。 -- [EJB][[Exchangis-188]](https://github.com/WeBankFinTech/Exchangis/pull/188) 增强sqoop引擎数据同步作业构建功能。 -- [EXAPP][[Exchangis-179]](https://github.com/WeBankFinTech/Exchangis/pull/179) 重构exchangis appconn模块 -- [EJS][[Exchangis-140]](https://github.com/WeBankFinTech/Exchangis/pull/140) 数据同步进行中/结束能展示job/和task的实时日志。 -- [EJS,EP][[Exchangis-167]](https://github.com/WeBankFinTech/Exchangis/pull/167) 添加作业更新接口，添加作业及项目的分页功能，优化restful层 -- [Exchangis][[Exchangis-141]](https://github.com/WeBankFinTech/Exchangis/pull/141) 添加对数据同步任务日志的前端异常处理 -- [EJS][[Exchangis-143]](https://github.com/WeBankFinTech/Exchangis/pull/143) 添加获取任务日志、获取所有所有历史任务和杀死任务的接口 -- [EJS][[Exchangis-147]](https://github.com/WeBankFinTech/Exchangis/pull/147) 调整日志组件的获取逻辑 -- [EJS][[Exchangis-150]](https://github.com/WeBankFinTech/Exchangis/pull/150) 增加对hive分区信息获取的功能 -- [EDS][[Exchangis-165]](https://github.com/WeBankFinTech/Exchangis/pull/165) 客户端RPC的实现和restful类的命名空间的修改 - -## Bug修复： - -- [[Exchangis-227]](https://github.com/WeBankFinTech/Exchangis/pull/227) [EJS] 解决job info服务因库表变动而造成的不适配问题 - -- [[Exchangis-185]](https://github.com/WeBankFinTech/Exchangis/pull/185) [EJS-Execution] 避免map计算方法中netscape调用过程中的死锁:调整调度任务选择规则 - -- [[Exchangis-158]](https://github.com/WeBankFinTech/Exchangis/pull/158) [EJS-Execution] 修复更新进度、状态和指标的错误。 - -- [[Exchangis-165]](https://github.com/WeBankFinTech/Exchangis/pull/165) [EDS] 客户端RPC的实现和restful类的命名空间的修改。 - -- [[Exchangis-292]](https://github.com/WeBankFinTech/Exchangis/issues/292) [EJS] 修复hive的run_date时间分区系统变量获取失败的问题 - -- [[Exchangis-293]](https://github.com/WeBankFinTech/Exchangis/issues/293) [EJS-Execution] 修复sqoop工作流节点在取消任务后依旧在后台执行的问题 - -- [[Exchangis-282]](https://github.com/WeBankFinTech/Exchangis/pull/282) [EJS-Execution] 修复复制子任务后更改数据源库表，导致原子任务的字段映射被覆盖的问题 - -- [[Exchangis-140]](https://github.com/WeBankFinTech/Exchangis/issues/294) [EJS-Execution] 修复将任务提交到wtss进行调度代理用户失效的问题 - -- [[Exchangis-241]](https://github.com/WeBankFinTech/Exchangis/issues/241) [EJS] 修复子任务日志缺失问题 - -- [[Exchangis-221]](https://github.com/WeBankFinTech/Exchangis/issues/221) [EJS] 修复查看子任务时候的重复请求问题 - -- [[Exchangis-204]](https://github.com/WeBankFinTech/Exchangis/issues/204) [EJB] 在任务配置选择数据源库表时候，增加搜索框进行快速搜索 - -- [[Exchangis-210]](https://github.com/WeBankFinTech/Exchangis/issues/210) [EJS] 修复点击执行ID查看任务进度后关闭，及时切换到别的页面，依旧在不停的拉取任务进度的问题 - - - - - -## 贡献者： - -EXCHANGIS 1.0.0-RC发布离不开EXCHANGIS社区的贡献者，感谢所有的社区贡献者！包括但不仅限于以下Contributors： diff --git a/exchangis-plugins/engine/sqoop/pom.xml b/exchangis-plugins/engine/sqoop/pom.xml index 1f5cc8e84..f475aa57a 100644 --- a/exchangis-plugins/engine/sqoop/pom.xml +++ b/exchangis-plugins/engine/sqoop/pom.xml @@ -22,7 +22,7 @@ linkis org.apache.linkis - 1.1.0 + 1.1.1 ../../pom.xml 4.0.0 diff --git a/exchangis-plugins/exchangis-appconn/src/main/java/com/webank/wedatasphere/exchangis/dss/appconn/operation/AbstractExchangisOperation.java b/exchangis-plugins/exchangis-appconn/src/main/java/com/webank/wedatasphere/exchangis/dss/appconn/operation/AbstractExchangisOperation.java index 77515bebb..0e69fc138 100644 --- a/exchangis-plugins/exchangis-appconn/src/main/java/com/webank/wedatasphere/exchangis/dss/appconn/operation/AbstractExchangisOperation.java +++ b/exchangis-plugins/exchangis-appconn/src/main/java/com/webank/wedatasphere/exchangis/dss/appconn/operation/AbstractExchangisOperation.java @@ -151,12 +151,12 @@ protected ExchangisEntityRespResult.BasicMessageEntity< T requestRef, HttpActionBuilder httpActionBuilder, Class entityClass, Class... entityParameters) throws ExternalOperationFailedException { LOG.info("Create job url{}: ", url); HttpExtAction action = httpActionBuilder.build(requestRef); - LOG.info("Action123456{}: ", action.getRequestBody()); + LOG.info("Action{}: ", action.getRequestBody()); if (Objects.nonNull(action)){ SSOUrlBuilderOperation ssoUrlBuilderOperation = getSSOUrlBuilderOperation(workspace, getAppName(), url); ExchangisEntityRespResult.BasicMessageEntity entity; try { - LOG.info("ssoUrlBuilderOperation666: {}", ssoUrlBuilderOperation.getBuiltUrl()); + LOG.info("ssoUrlBuilderOperation: {}", ssoUrlBuilderOperation.getBuiltUrl()); action.setUrl(ssoUrlBuilderOperation.getBuiltUrl()); SSORequestOperation ssoRequestOperation = getOrCreateSSORequestOperation(); ExchangisEntityRespResult httpResult = new ExchangisEntityRespResult(ssoRequestOperation.requestWithSSO(ssoUrlBuilderOperation, action)); diff --git a/exchangis-plugins/exchangis-appconn/src/main/java/com/webank/wedatasphere/exchangis/dss/appconn/operation/ref/ExchangisImportOperation.java b/exchangis-plugins/exchangis-appconn/src/main/java/com/webank/wedatasphere/exchangis/dss/appconn/operation/ref/ExchangisImportOperation.java index bd2a66ff8..e24e12b8c 100644 --- a/exchangis-plugins/exchangis-appconn/src/main/java/com/webank/wedatasphere/exchangis/dss/appconn/operation/ref/ExchangisImportOperation.java +++ b/exchangis-plugins/exchangis-appconn/src/main/java/com/webank/wedatasphere/exchangis/dss/appconn/operation/ref/ExchangisImportOperation.java @@ -51,7 +51,7 @@ public ResponseRef importRef(ImportRequestRef importRequestRef) throws ExternalO exchangisEntityPostAction.addRequestPayload("user", importRequestRef.getParameter("user").toString()); //exchangisEntityPostAction.addRequestPayload("labels", "{\"route\":\"prod\"}"); HashMap labels = new HashMap<>(); - labels.put("route", "prod"); + labels.put("route", "dev"); exchangisEntityPostAction.addRequestPayload("labels", labels); LOG.info("resourceId: {}", importRequestRef.getParameter("resourceId")); LOG.info("exchangisEntityPostAction: {}", exchangisEntityPostAction.getRequestPayload()); diff --git a/exchangis-plugins/exchangis-appconn/src/main/java/com/webank/wedatasphere/exchangis/dss/appconn/operation/ref/ExchangisRefExecutionOperation.java b/exchangis-plugins/exchangis-appconn/src/main/java/com/webank/wedatasphere/exchangis/dss/appconn/operation/ref/ExchangisRefExecutionOperation.java index 4bdd43956..df9be14c0 100644 --- a/exchangis-plugins/exchangis-appconn/src/main/java/com/webank/wedatasphere/exchangis/dss/appconn/operation/ref/ExchangisRefExecutionOperation.java +++ b/exchangis-plugins/exchangis-appconn/src/main/java/com/webank/wedatasphere/exchangis/dss/appconn/operation/ref/ExchangisRefExecutionOperation.java @@ -26,7 +26,7 @@ import org.apache.commons.io.IOUtils; import org.apache.linkis.httpclient.request.HttpAction; import org.apache.linkis.httpclient.response.HttpResult; -import org.apache.linkis.server.BDPJettyServerHelper; +//import org.apache.linkis.server.BDPJettyServerHelper; import org.slf4j.Logger; import org.slf4j.LoggerFactory; diff --git a/exchangis-plugins/exchangis-appconn/src/main/resources/init.sql b/exchangis-plugins/exchangis-appconn/src/main/resources/init.sql index db228dcc2..5057e8396 100644 --- a/exchangis-plugins/exchangis-appconn/src/main/resources/init.sql +++ b/exchangis-plugins/exchangis-appconn/src/main/resources/init.sql @@ -10,6 +10,9 @@ select @dss_exchangis_applicationId:=id from `dss_application` WHERE `name` ='ex delete from `dss_menu` WHERE `name` ='exchangis'; INSERT INTO `dss_menu`(`name`,`level`,`upper_menu_id`,`front_name`,`comment`,`description`,`is_active`,`is_component`,`icon`,`application_id`) values ('exchangis','2',4,'数据交换(exchangis)',NULL,NULL,1,1,NULL,@dss_exchangis_applicationId); +delete from `dss_onestop_menu` WHERE name='数据交换'; +INSERT INTO `dss_onestop_menu` (`id`, `name`, `title_en`, `title_cn`, `description`, `is_active`, `icon`, `order`, `create_by`, `create_time`, `last_update_time`, `last_update_user`) VALUES('6','数据交换','data exchange','数据交换','数据交换描述','1',NULL,NULL,NULL,NULL,NULL,NULL); + delete from `dss_onestop_menu_application` WHERE title_en='exchangis'; INSERT INTO `dss_onestop_menu_application` (`application_id`, `onestop_menu_id`, `title_en`, `title_cn`, `desc_en`, `desc_cn`, `labels_en`, `labels_cn`, `is_active`, `access_button_en`, `access_button_cn`, `manual_button_en`, `manual_button_cn`, `manual_button_url`, `icon`, `order`, `create_by`, `create_time`, `last_update_time`, `last_update_user`, `image`) VALUES(@dss_exchangis_applicationId,'6','exchangis','exchangis','Exchangis','Exchangis是一个轻量级的、高扩展性的数据交换平台，支持对结构化及无结构化的异构数据源之间的数据传输，在应用层上具有数据权限管控、节点服务高可用和多租户资源隔离等业务特性，而在数据层上又具有传输架构多样化、模块插件化和组件低耦合等架构特点。','user manual','生产,运维','1','enter Exchangis','进入Exchangis','user manual','用户手册','http://127.0.0.1:8088/wiki/scriptis/manual/workspace_cn.html','shujujiaohuan-logo',NULL,NULL,NULL,NULL,NULL,'shujujiaohuan-icon'); diff --git a/pom.xml b/pom.xml index bf8af7b33..ff9d36708 100644 --- a/pom.xml +++ b/pom.xml @@ -39,7 +39,7 @@ 1.0.0-RC1 1.0.1 - 1.1.0 + 1.1.1 0.1.0-SNAPSHOT 2.11.8 1.8 From f9d229c8b86875a8ff3de04d4ed09f7db15c41de Mon Sep 17 00:00:00 2001 From: FinalTarget <1326477975@qq.com> Date: Thu, 9 Jun 2022 22:15:49 +0800 Subject: [PATCH 3/7] Update exchangis_deploy_cn.md --- docs/zh_CN/ch1/exchangis_deploy_cn.md | 5 +---- 1 file changed, 1 insertion(+), 4 deletions(-) diff --git a/docs/zh_CN/ch1/exchangis_deploy_cn.md b/docs/zh_CN/ch1/exchangis_deploy_cn.md index 3c81936ca..122698736 100644 --- a/docs/zh_CN/ch1/exchangis_deploy_cn.md +++ b/docs/zh_CN/ch1/exchangis_deploy_cn.md @@ -83,9 +83,6 @@ LINKIS_GATEWAY_PORT= #LINKIS_GATEWAY服务地址URL，由上面两部分组成 LINKIS_SERVER_URL= -#用于请求校验 MySQL 服务的 token，该字段可在 linkis 安装目录的${LINKIST_INSTALLED_HOME}/conf/token.propertis中获取 -DATASOURCE_TOKEN= - #用于请求校验 linkis 服务的 token，该字段可在 linkis 安装目录的${LINKIST_INSTALLED_HOME}/conf/token.propertis中获取 LINKIS_TOKEN= @@ -254,4 +251,4 @@ Exchangis 已默认提供了编译好的前端安装包，可直接下载使用 ## 5. 如何登录使用 Exchangis -待补充 \ No newline at end of file +待补充 From 3eece9cc2f76fa62fdaf461e2bb94c093d6e584b Mon Sep 17 00:00:00 2001 From: FinalTarget <1326477975@qq.com> Date: Fri, 10 Jun 2022 14:18:12 +0800 Subject: [PATCH 4/7] Update exchangis_deploy_cn.md --- docs/zh_CN/ch1/exchangis_deploy_cn.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/docs/zh_CN/ch1/exchangis_deploy_cn.md b/docs/zh_CN/ch1/exchangis_deploy_cn.md index 122698736..bd5dfb444 100644 --- a/docs/zh_CN/ch1/exchangis_deploy_cn.md +++ b/docs/zh_CN/ch1/exchangis_deploy_cn.md @@ -125,9 +125,9 @@ DATABASE= 1. 初始化数据库表 -当出现该提醒时：Do you want to initalize database with sql: [${SQL_SOURCE_PATH}]? +当出现该提醒时：Do you want to confiugre and install project? -输入 `y` 初始化数据库表，输入 `n` 跳过数据库表初始化步骤。 +输入 `y` 既开始安装Exchangis服务，输入 `n` 为不进行安装 #### 2.5.3 启动服务 From 31c8ee067b348cddc4a6b919800e646a415772a5 Mon Sep 17 00:00:00 2001 From: FinalTarget <1326477975@qq.com> Date: Fri, 10 Jun 2022 16:38:07 +0800 Subject: [PATCH 5/7] Update README-ZH.md --- README-ZH.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/README-ZH.md b/README-ZH.md index a4d1e338e..1d8843426 100644 --- a/README-ZH.md +++ b/README-ZH.md @@ -49,7 +49,7 @@ Exchangis 抽象了一套统一的数据源和同步作业定义插件，允许 ### 架构设计 -![架构设计](https://user-images.githubusercontent.com/27387830/171487056-842512b4-fd17-413f-97a1-8f4b72a3ebe9.png) +![架构设计](![image](https://user-images.githubusercontent.com/27387830/173026427-5694174f-26d7-4f86-b3a8-59da94587808.png)) ## 相关文档 [安装部署文档](exchangis_deploy_cn.md) From 1bdd65320c02e66b3f59538d1ab2fb1ec521c0eb Mon Sep 17 00:00:00 2001 From: FinalTarget <1326477975@qq.com> Date: Fri, 10 Jun 2022 16:40:49 +0800 Subject: [PATCH 6/7] Update README-ZH.md --- README-ZH.md | 3 ++- 1 file changed, 2 insertions(+), 1 deletion(-) diff --git a/README-ZH.md b/README-ZH.md index 1d8843426..ea52dcc92 100644 --- a/README-ZH.md +++ b/README-ZH.md @@ -49,7 +49,8 @@ Exchangis 抽象了一套统一的数据源和同步作业定义插件，允许 ### 架构设计 -![架构设计](![image](https://user-images.githubusercontent.com/27387830/173026427-5694174f-26d7-4f86-b3a8-59da94587808.png)) +![架构设计](https://user-images.githubusercontent.com/27387830/173026793-f1475803-9f85-4478-b566-1ad1d002cd8a.png) + ## 相关文档 [安装部署文档](exchangis_deploy_cn.md) From ba29a131ba3af7cae9e8c3c90ff794f3da13bfcd Mon Sep 17 00:00:00 2001 From: FinalTarget <1326477975@qq.com> Date: Fri, 10 Jun 2022 16:52:01 +0800 Subject: [PATCH 7/7] Update README-ZH.md --- README-ZH.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/README-ZH.md b/README-ZH.md index ea52dcc92..19cde5aa3 100644 --- a/README-ZH.md +++ b/README-ZH.md @@ -12,7 +12,7 @@ Exchangis 抽象了一套统一的数据源和同步作业定义插件，允许 借助于 [Linkis](https://github.com/apache/incubator-linkis) 计算中间件的连接、复用与简化能力，Exchangis 天生便具备了高并发、高可用、多租户隔离和资源管控的金融级数据同步能力。 -##界面预览 +### 界面预览 ![image](https://user-images.githubusercontent.com/27387830/171488936-2cea3ee9-4ef7-4309-93e1-e3b697bd3be1.png)