在数据处理场景中，经常会遇到中英文混合的字符串，比如品牌名（Céline思琳、Sergio Rossi塞乔罗西）、商品名（iPhone苹果手机）等。需要将英文部分和中文部分拆分成独立字段，用于后续的品牌分析、分类统计等需求。
Hive作为大数据生态中常用的数据仓库工具，拆分中英文的核心是利用正则表达式匹配中英文字符特征。但实际场景中，英文可能含空格、重音符号（é/è/ç等），中文可能与英文无空格拼接，直接用基础正则容易出现拆分不完整、兼容问题。本文将覆盖全场景解决方案，从基础到进阶，附完整SQL和测试验证。
一、核心原理：中英文字符正则特征
拆分的本质是通过正则匹配中英文的专属字符范围，精准提取对应部分，核心正则如下：
中文正则：`[\\u4e00-\\u9fa5]+`，匹配Unicode编码中的所有简体中文字符，覆盖日常中文场景（若需兼容繁体字，可补充`[\\u8000-\\u9fff]+`）。
英文正则（基础版）：`[a-zA-Z\\s]+`，匹配大小写字母和空格，适配普通英文单词及多单词组合（如Sergio Rossi）。
英文正则（进阶版）：`[^\\u4e00-\\u9fa5]+`，反向匹配（排除中文字符），适配含重音、特殊符号的英文（如Céline、Chloé），兼容性最强。
注：Hive中正则需使用双反斜杠`\\`转义，单斜杠无法识别。
二、全场景解决方案（附SQL）
根据英文是否含特殊字符、中英文是否有空格，分为3类场景，方案从简单到通用，按需选择。
场景1：基础场景（英文无特殊字符，中英文无空格）
示例数据：AncientStone古石服饰、Nike耐克、Adidas阿迪达斯。英文为纯字母组合，与中文直接拼接，无空格、重音。
解决方案：基础正则提取
核心用英文基础正则匹配字母，中文正则匹配中文，适合简单场景。
-- 新建表存储拆分结果（推荐数仓分层使用） CREATE TABLE IF NOT EXISTS brand_info_split ( brand_full_name STRING COMMENT '原品牌全称', brand_english STRING COMMENT '品牌英文名称', brand_chinese STRING COMMENT '品牌中文名称' ) STORED AS ORC -- 数仓优选ORC格式，压缩比高、查询快 AS SELECT brand_full_name, -- 提取英文：匹配开头所有字母，trim去除冗余空格 NVL(trim(regexp_extract(brand_full_name, '^([a-zA-Z]+)', 1)), '无') AS brand_english, -- 提取中文：匹配所有中文字符，空值赋值为"无" NVL(regexp_extract(brand_full_name, '([\\u4e00-\\u9fa5]+)', 1), '无') AS brand_chinese FROM brand_info; -- 若需更新原表（新增字段） ALTER TABLE brand_info ADD COLUMNS ( brand_english STRING COMMENT '品牌英文名称', brand_chinese STRING COMMENT '品牌中文名称' ); UPDATE brand_info SET brand_english = NVL(trim(regexp_extract(brand_full_name, '^([a-zA-Z]+)', 1)), '无'), brand_chinese = NVL(regexp_extract(brand_full_name, '([\\u4e00-\\u9fa5]+)', 1), '无') WHERE brand_full_name RLIKE '^[a-zA-Z]+[\\u4e00-\\u9fa5]+$'; -- 筛选目标数据，提升效率场景2：进阶场景（英文含空格，中英文无空格）
示例数据：Sergio Rossi塞乔罗西、Saint Laurent圣罗兰、Tom Ford汤姆福特。英文为多单词组合（含空格），与中文直接拼接。
解决方案：正则补充空格匹配
在基础英文正则中加入`\\s`（匹配空格），确保多单词英文完整提取。
-- 核心SQL（仅修改英文提取正则） SELECT brand_full_name, -- 英文正则加入\\s，匹配字母+空格 NVL(trim(regexp_extract(brand_full_name, '^([a-zA-Z\\s]+)', 1)), '无') AS brand_english, NVL(regexp_extract(brand_full_name, '([\\u4e00-\\u9fa5]+)', 1), '无') AS brand_chinese FROM brand_info;场景3：复杂场景（英文含重音/特殊字符）
示例数据：Céline思琳、Chloé蔻依、Müller穆勒。英文含重音符号（é/è/ü），基础正则无法识别，易出现“只提取部分英文”（如Céline只取到C）的问题。
解决方案：反向匹配（兼容所有特殊字符）
放弃枚举重音字符，改用反向匹配“排除中文字符”，所有前置非中文字符均视为英文，彻底解决兼容问题，推荐作为生产环境首选方案。
-- 最终生产版SQL（兼容重音、空格、特殊字符） CREATE TABLE IF NOT EXISTS brand_info_split ( brand_full_name STRING COMMENT '原品牌全称', brand_english STRING COMMENT '品牌英文名称（含重音/空格）', brand_chinese STRING COMMENT '品牌中文名称' ) STORED AS ORC AS SELECT brand_full_name, -- 反向匹配：提取开头所有非中文字符，trim去空格，空值赋值为"无" NVL(trim(regexp_extract(brand_full_name, '^([^\\u4e00-\\u9fa5]+)', 1)), '无') AS brand_english, -- 提取中文，空值赋值为"无" NVL(regexp_extract(brand_full_name, '([\\u4e00-\\u9fa5]+)', 1), '无') AS brand_chinese FROM brand_info; -- 原表更新SQL UPDATE brand_info SET brand_english = NVL(trim(regexp_extract(brand_full_name, '^([^\\u4e00-\\u9fa5]+)', 1)), '无'), brand_chinese = NVL(regexp_extract(brand_full_name, '([\\u4e00-\\u9fa5]+)', 1), '无') WHERE brand_full_name RLIKE '^[^\\u4e00-\\u9fa5]+[\\u4e00-\\u9fa5]+$'; -- 筛选中英文混合数据三、测试验证（全场景覆盖）
用模拟数据测试反向匹配方案，验证不同场景下的拆分效果，确保精准性。
SELECT brand_full_name, trim(regexp_extract(brand_full_name, '^([^\\u4e00-\\u9fa5]+)', 1)) AS brand_english, regexp_extract(brand_full_name, '([\\u4e00-\\u9fa5]+)', 1) AS brand_chinese FROM ( -- 模拟全场景测试数据 SELECT 'Céline思琳' AS brand_full_name UNION ALL SELECT 'Sergio Rossi塞乔罗西' AS brand_full_name UNION ALL SELECT 'AncientStone古石服饰' AS brand_full_name UNION ALL SELECT 'Chloé蔻依' AS brand_full_name UNION ALL SELECT 'Nike耐克' AS brand_full_name ) t;测试结果（100%精准拆分）
brand_full_name | brand_english | brand_chinese |
|---|---|---|
Céline思琳 | Céline | 思琳 |
Sergio Rossi塞乔罗西 | Sergio Rossi | 塞乔罗西 |
AncientStone古石服饰 | AncientStone | 古石服饰 |
Chloé蔻依 | Chloé | 蔻依 |
Nike耐克 | Nike | 耐克 |
四、避坑指南（生产环境必看）
1. 正则转义问题
Hive中必须使用双反斜杠`\\`转义（如`\\u4e00`），单斜杠`\`会被识别为无效字符，导致正则失效。
2. 空值处理
纯英文、纯中文数据拆分后对应字段会为空，需用`NVL()`函数赋值为“无”或空字符串，避免后续分析报错。
3. 冗余空格处理
英文部分可能因匹配规则出现首尾空格，需用`trim()`函数去除，保证字段整洁。
4. Hive版本兼容
部分低版本Hive（2.x以下）不支持`\\p{M}`（重音匹配元字符），避免使用该元字符，优先选择反向匹配方案。
5. 筛选条件优化
更新原表时，用`RLIKE`筛选中英文混合数据，避免对纯英文、纯中文数据做无效更新，提升SQL执行效率。
五、总结
Hive拆分中英文混合字符串的核心是“正则匹配+场景适配”：简单场景用基础正则，复杂场景（含重音、空格）用反向匹配，后者兼容性最强，推荐作为生产环境首选。
实际应用中，需结合数据特点选择方案，同时做好空值、空格、版本兼容处理，确保拆分结果精准、可用。本文方案覆盖品牌名、商品名等常见业务场景，可直接复制修改表名、字段名落地使用。
