news 2026/8/16 8:40:04

hive sql行转列,列转行sql的实例

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
hive sql行转列,列转行sql的实例

在 Hive SQL 中,行转列和列转行是常见的数据转换操作。以下是详细说明和示例:

一、行转列(多行转多列)

场景:将同一分组下的多行数据合并为单行,不同值转为新列(如学生各科成绩横向展示)。

数据示例(student_scores):

student_idsubjectscore
1Math90
1English85
2Math92

目标(每个学生一行,科目成绩转为列):

student_idMathEnglish
19085
292NULL

SQL 实现

SELECT student_id, MAX(CASE WHEN subject = 'Math' THEN score END) AS Math, MAX(CASE WHEN subject = 'English' THEN score END) AS English FROM student_scores GROUP BY student_id;

关键点

  1. 使用CASE WHEN按条件生成新列
  2. 用聚合函数(如MAX/MIN/SUM)确保单行输出
  3. 必须配合GROUP BY分组字段

二、列转行(多列转多行)

场景:将单行的多列数据拆分为多行(如将横向科目成绩转为纵向记录)。

数据示例(student_scores_wide):

student_idMathEnglish
19085
292NULL

目标(恢复为行式存储):

student_idsubjectscore
1Math90
1English85
2Math92
2EnglishNULL

SQL 实现

SELECT student_id, 'Math' AS subject, Math AS score FROM student_scores_wide UNION ALL SELECT student_id, 'English' AS subject, English AS score FROM student_scores_wide;

优化方案(使用LATERAL VIEW explode(),Hive 特有):

SELECT student_id, subject, score FROM student_scores_wide LATERAL VIEW explode( map( -- 构建科目-分数的键值对 'Math', Math, 'English', English ) ) subjects AS subject, score;

关键点

  1. UNION ALL适合列数量固定的场景
  2. LATERAL VIEW + explode(map)动态处理多列
  3. 注意处理NULL值(Hive 中NULL会正常保留)

三、高级用法:动态行列转换

当列名不固定时(如新增科目),需结合 Hive 动态 SQL 或预处理:

  1. 行转列动态化
    使用collect_list+ 拼接字符串,再通过 UDF 解析(较复杂,通常需借助外部脚本生成 SQL)。
  2. 列转行动态化
    通过 Hive 元数据获取列名,动态生成UNION ALL语句(示例略,需依赖 Hive 变量或编程接口)。

总结对比

操作核心方法适用场景
行转列CASE WHEN+ 聚合函数 +GROUP BY固定列名,聚合统计
列转行UNION ALLLATERAL VIEW explode列数量少或需动态处理

提示:Hive 3.0+ 支持LATERAL VIEW inline(array_of_structs),但需先构造结构体数组。实际使用时请根据数据规模和复杂度选择合适方案。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/8/9 20:07:23

工业设备运维管理平台的物联网解决方案

“刚开机的生产线突然停了!”“关键设备异响不停,维修人员赶不过来!”“上月因设备故障停机超12小时”在制造业工厂,这样的运维难题每天都可能上演。设备作为生产的核心命脉,其稳定运行直接决定产能与效益,…

作者头像 李华
网站建设 2026/8/10 21:00:34

Bash调用Python简述

Bash可以调用Python,主要通过子进程机制实现。 核心原理:Bash通过创建子进程来执行Python解释器,并可以传递参数和数据。 常见调用方式:直接执行Python脚本文件执行Python内联命令(单行或多行)通过管道传递…

作者头像 李华
网站建设 2026/8/10 21:00:30

导师严选2026 AI论文平台TOP10:继续教育写作全攻略

导师严选2026 AI论文平台TOP10:继续教育写作全攻略 2026年AI论文平台测评:为何值得一看 在学术研究日益数字化的今天,AI写作工具已成为科研工作者不可或缺的助手。然而,面对市场上琳琅满目的平台,如何选择真正适合自己…

作者头像 李华
网站建设 2026/8/10 2:29:41

协议转换器是什么?有什么功能?

协议转换器(Protocol Converter)是一种网络设备或软件工具,其核心功能是将一种通信协议的数据格式、控制逻辑或传输方式转换为另一种协议,以实现不同系统、设备或网络之间的互联互通。它解决了因协议不兼容导致的通信障碍&#xf…

作者头像 李华
网站建设 2026/8/10 21:00:25

发光太阳聚光器的蒙特卡洛光线追踪研究附Matlab代码

✅作者简介:热爱科研的Matlab仿真开发者,擅长数据处理、建模仿真、程序设计、完整代码获取、论文复现及科研仿真。🍎 往期回顾关注个人主页:Matlab科研工作室🍊个人信条:格物致知,完整Matlab代码及仿真咨询…

作者头像 李华
网站建设 2026/8/10 20:09:13

非线性模型预测控制MPC问题求解研究附Matlab代码

✅作者简介:热爱科研的Matlab仿真开发者,擅长数据处理、建模仿真、程序设计、完整代码获取、论文复现及科研仿真。🍎 往期回顾关注个人主页:Matlab科研工作室🍊个人信条:格物致知,完整Matlab代码及仿真咨询…

作者头像 李华