在linux中DATAX和DATAX-WEB安装指引

DATAX介绍：​ DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。

DATAX-WEB介绍：DataX Web是在DataX之上开发的分布式数据同步工具，提供简单易用的 操作界面，降低用户使用DataX的学习成本，缩短任务配置时间，避免配置过程中出错。用户可通过页面选择数据源即可创建数据同步任务，支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源，RDBMS数据源可批量创建数据同步任务，支持实时查看数据同步进度及日志并提供终止同步功能，集成并二次开发xxl-job可根据时间、自增主键增量同步数据。

安装清单

约束：

1、先安装DATAX再安装DATAX-WEB

2、DATAX和DATAX-WEB都依赖于JDK8+，所以需要先安装JDK8，且需要设置好JAVA_HOME、CLASS_PATH、PATH环境变量，因为启动DATA-WEB是需要用到jdk的jps指令

3、安装DATAX-WEB依赖mysql，安装mysql参考：docker安装mysql8实战_风云琪文的博客-CSDN博客

安装DATAX步骤：

1、下载DATAX3.0 某个目录，进入bin目录，即可运行同步作业：

2、下载后解压至本地某个目录

$ cd 你存放datax.tar.gz的路径
$ tar -zxvf datax.tar.gz

3、确保安装DATAX的服务器安装了JDK8

安装DATAX-WEB步骤：

参考官方指引：datax-web/datax-web-deploy.md at master · WeiYe-Jing/datax-web · GitHub
1、确保安装DATAX-WEB的服务器安装了JDK8，且需要设置好JAVA_HOME、CLASS_PATH、PATH环境变量，因为启动DATA-WEB是需要用到jdk的jps指令
2、安装mysql数据库，创建名称为data_web_db的数据库和datax_web用户
3、到官方提供的百度云地址下载百度网盘 请输入提取码，提取码为：cpsk

4、在选定的安装目录，解压安装包

tar -zxvf datax-web-{VERSION}.tar.gz

5、则执行以下命令安装

./bin/install.sh --force

6、找到/bin/db/datax-web.sql文件，复制文件的脚本内容，在mysql的data_web_db库中执行，主要是建一下基础表和初始化用户

7、在./modules/datax-admin/conf/bootstrap.properties设置data-web连接数据库的信息，连接mysql参考：

#Database
DB_HOST=192.168.xx.xx
DB_PORT=3306
DB_USERNAME=datax-web
DB_PASSWORD=xxx
DB_DATABASE=datax_web_db

8、在项目目录下/modules/datax-execute/bin/env.properties 指定PYTHON_PATH的路径

vi ./modules/{module_name}/bin/env.properties
### 执行datax的python脚本地址
PYTHON_PATH=/mysoft/datax/bin/datax.py

9、启动服务

- 一键启动所有服务

./bin/start-all.sh

- 一键取消所有服务

./bin/stop-all.sh

10、启动完成后就可以通过页面进行访问了，默认端口号是9527，形式如：http://192.168.xx.yy:9527/index.html，进入页面后进行登录默认用户：admin，默认密码：1231456