从零开始的大数据之路（6）- 三分钟安装部署好Datax

目录

datax的安装包：

从零开始的大数据之路 （0）的葵花宝典 -- 安装包分享 -- 错过就是罪过 [持续更新分享]-CSDN博客

1、上传datax安装包到服务器并分发到其他服务器

2、解压Datax

3、测试Datax

4、测试失败 datax报错解决

解决

再次测试

---

datax的安装包：

从零开始的大数据之路 （0）的葵花宝典 -- 安装包分享 -- 错过就是罪过 [持续更新分享]-CSDN博客

1、上传datax安装包到服务器并分发到其他服务器

scp -r datax.tar.gz root@slave1:$PWD scp -r datax.tar.gz root@slave2:$PWD

2、解压Datax

tar -zxvf datax.tar.gz -C /home/softwares/

3、测试Datax

# 进入datax bin 目录 cd /home/softwares/datax/bin # 使用内部有的脚本测试datax的可用性 python /home/softwares/datax/bin/datax.py /home/softwares/datax/job/job.json

4、测试失败 datax报错解决

com.alibaba.datax.common.exception.DataXException: Code:[Framework-03], Description:[DataX引擎配置错误，该问题通常是由于DataX安装错误引起，请联系您的运维解决 .]. - 获取作业配置信息失败:/home/softwares/datax/bin/job/example.json - java.io.FileNotFoundException: File '/home/softwares/datax/bin/job/example.json' does not exist

解决

# 进入 reader 插件 cd /home/softwares/datax/plugin/reader # 执行这个命令 find . -maxdepth 1 -type f -name '._*' -exec rm -f {} \; # 进入writer插件 cd /home/softwares/datax/plugin/writer # 执行这个命令 find . -maxdepth 1 -type f -name '._*' -exec rm -f {} \;

再次测试

# 使用自己的安装路径哈 python /home/softwares/datax/bin/datax.py /home/softwares/datax/job/job.json