不用sqoop将Hive中的30万条数据导入到了MySQL中。

Hive数据导入MySQL完整步骤记录

一、环境准备

1. 确认Hive数据存在

bash

# 查看Hive表中的数据量 hive -e "SELECT COUNT(*) FROM ymx_dblab.ymx_action;"

结果：300000条记录

2. 确认MySQL表存在

bash

# 查看MySQL中的表 mysql -uroot -pItcast@2022 -e "SHOW TABLES FROM dblab_ymx;"

结果：ymx_action表已存在

二、数据导出与导入（核心步骤）

第1步：开启MySQL本地文件导入功能

bash

# 登录MySQL mysql -uroot -pItcast@2022 # 在MySQL中执行 SET GLOBAL local_infile = 1; EXIT;

第2步：从Hive导出数据到本地文件

bash

# 导出Hive数据到/tmp目录 hive -e "SET hive.cli.print.header=false; SELECT * FROM ymx_dblab.ymx_action;" 2>/dev/null > /tmp/hive_data.txt

第3步：验证导出数据量

bash

# 查看导出的数据行数 wc -l /tmp/hive_data.txt

结果：300000行

第4步：导入数据到MySQL

bash

# 使用LOAD DATA命令导入 mysql -uroot -pItcast@2022 --local-infile=1 dblab_ymx -e "LOAD DATA LOCAL INFILE '/tmp/hive_data.txt' INTO TABLE ymx_action FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n';"

三、验证导入结果

验证1：查看总记录数

bash

mysql -uroot -pItcast@2022 -e "SELECT COUNT(*) FROM dblab_ymx.ymx_action;"

结果：300000条

验证2：查看前10条数据

bash

# 进入MySQL交互界面 mysql -uroot -pItcast@2022 # 执行查询 USE dblab_ymx; SELECT * FROM ymx_action LIMIT 10; EXIT;

验证3：查看各行为类型分布

bash

mysql -uroot -pItcast@2022 -e "SELECT behavior_type, COUNT(*) FROM dblab_ymx.ymx_action GROUP BY behavior_type;"

四、完整命令汇总

以下是你执行过的所有命令，按顺序排列：

bash

# 1. 查看Hive数据量 hive -e "SELECT COUNT(*) FROM ymx_dblab.ymx_action;" # 2. 查看MySQL表 mysql -uroot -pItcast@2022 -e "SHOW TABLES FROM dblab_ymx;" # 3. 开启MySQL本地文件导入 mysql -uroot -pItcast@2022 -e "SET GLOBAL local_infile = 1;" # 4. 导出Hive数据 hive -e "SET hive.cli.print.header=false; SELECT * FROM ymx_dblab.ymx_action;" 2>/dev/null > /tmp/hive_data.txt # 5. 查看导出行数 wc -l /tmp/hive_data.txt # 6. 导入MySQL mysql -uroot -pItcast@2022 --local-infile=1 dblab_ymx -e "LOAD DATA LOCAL INFILE '/tmp/hive_data.txt' INTO TABLE ymx_action FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n';" # 7. 验证总记录数 mysql -uroot -pItcast@2022 -e "SELECT COUNT(*) FROM dblab_ymx.ymx_action;" # 8. 清理临时文件 rm -f /tmp/hive_data.txt

五、遇到的问题及解决方案

问题	错误信息	解决方案
本地文件导入被禁用	ERROR 3948: Loading local data is disabled	执行SET GLOBAL local_infile = 1;
管道方式导入失败	同上	改用分步方式：先导出文件，再导入文件

六、关键参数说明

参数	含义
SET hive.cli.print.header=false;	不打印Hive查询结果的表头
2>/dev/null	重定向错误输出，让输出更干净
--local-infile=1	启用MySQL本地文件导入
FIELDS TERMINATED BY '\t'	字段分隔符为制表符
LINES TERMINATED BY '\n'	行分隔符为换行符

七、最终状态

• 源数据：Hive表ymx_dblab.ymx_action，30万条记录

• 目标数据：MySQL表dblab_ymx.ymx_action，30万条记录

• 数据一致性：已验证记录数完全一致 ✅