news 2026/8/25 17:54:00

一文读懂字符与编码

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
一文读懂字符与编码

整内容也可以在公众号「非专业程序员Ping」查看

一、字符/Character

对用户可见的“一个字符”,通常是我们在屏幕上看到的一个字母、数字、emoji 或组合字符。

比如:a、é、👨‍👩‍👧‍👦

二、字符编码标准/字符集

字符编码标准定义的是如何将字符映射到唯一编码,常见的字符编码标准比如ASCII、Unicode、GBK等

2.1 ASCII

ASCII(7位)定义了 128 个字符的唯一编码,包括数字0到9、小写字母a到z、大写字母A到Z以及常用标点符号等。

2.2 Unicode

Unicode又叫万国码,目标是为所有字符定义唯一编码(Code Point)。为了解决ASCII/GBK不能定义全部字符的问题。

比如:

a -> U+0061

👨 -> U+1F468

注意:

Unicode只负责分配码位(Code Point),并不决定具体的存储形式。

Unicode的前 128 个码点与ASCII相同。

2.2.1 Code Point

Code Point也叫码位,Unicode中为每个字符分配的唯一编码。

一个字符可以对应一个或多个Code Point,比如:

a:U+0061,对应 1 个Code Point

👨‍👩‍👧‍👦:U+1F468 (👨) + U+200D (ZWJ) + U+1F469 (👩) + U+200D (ZWJ) + U+1F467 (👧) + U+200D (ZWJ) + U+1F466 (👦)对应 7 个Code Point

é:U+00E9或U+0065 + U+0301

备注:

在Unicode中,é实际上有两种表示方式:

单一字符表示法:即直接使用U+00E9这个单独的Unicode码位表示é。

组合字符表示法:使用U+0065(字母e)和U+0301(重音符号)两个Unicode码位来表示一个é字符。

为什么会有这两种表示法?

历史原因:Unicode设计时考虑到了不同语言的需求,许多语言(如法语、西班牙语等)使用带有重音符号的字符,因此,Unicode同时支持这两种表示方式。

兼容性:一些旧的系统或字体可能只支持分解字符表示法,因此,Unicode也保留了这种组合字符的方式,以提高兼容性。

2.2.2 Code Unit

Code Unit也叫码元(代码单元),表示计算机中实际存储Unicode的基本单位,取决于编码方式。

比如:

UTF-8: Code Unit是 1 字节(8 Bit);比如:a在UTF-8编码下占 1 个字节,表示为0x61。

UTF-16: Code Unit是 2 字节(16 Bit);比如:a在UTF-16编码下占 2 个字节,表示为0x0061。

UTF-32: Code Unit是 4 字节(32 Bit);比如:a在UTF-32编码下占 4 个字节,表示为0x00000061。

三、字符编码方式

字符编码方式决定了字符如何存储、传输和解码;常见的编码方式有:UTF-8、UTF-16、UTF-32等

UTF-8:可变长度,用 1 到 4 个字节来存储 Unicode 字符;为了节省存储资源。

UTF-16:可变长度,用 2 或 4 个字节存储字符。

UTF-32:固定长度,每个字符始终使用 4 字节存储。

比如:

é的Code Point是:U+0065 + U+0301

当以UTF-32方式编码时,每个Code Point未超过4字节,所以表示为:0x00000065,0x00000301

当以UTF-16方式编码时,每个Code Point未超过2字节,所以表示为:0x0065,0x0301

当以UTF-8方式编码时,0x0301值超过了128,需要按UTF-8格式拆分为0xCC,0x81,所以表示为:0x65,0xCC,0x81

Q:UTF-8编码为什么是按128做比较,按理说1字节(0xFF)表示的最大值是255?

A:有两个原因:一是为了与ASCII兼容,ASCII只支持了128个字符编码,在UTF-8编码中,前128位与ASCII编码相同;二是UTF-8编码中,会将第一个字节的高位部分用来标识这个字符的编码长度,具体为:

0xxxxxxx:表示 1 字节字符(ASCII 范围)

110xxxxx:表示 2 字节字符

1110xxxx:表示 3 字节字符

11110xxx:表示 4 字节字符

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/8/23 4:54:59

电力系统故障中的运行潮流分析与优化控制研究

电力系统故障运行潮流分析 搞电力系统的人都知道,系统故障时的潮流分析比正常工况刺激多了。就像你正吃着火锅唱着歌,突然变压器炸了,这时候要快速判断全网哪个节点电压会崩、哪条线路会过载,这时候故障潮流计算就是你的救命稻草…

作者头像 李华
网站建设 2026/8/22 12:47:33

Open-AutoGLM + JMeter组合拳,实现自动化压测的3倍效能提升

第一章:Open-AutoGLM 与 JMeter 组合压测的背景与意义 在当前人工智能与自动化测试深度融合的技术趋势下,大语言模型(LLM)驱动的测试工具逐渐成为提升软件质量保障效率的关键手段。Open-AutoGLM 作为一款基于开源大语言模型的自动…

作者头像 李华
网站建设 2026/8/25 10:41:05

企业级自动化测试工具选型难题(Open-AutoGLM与UFT Mobile终极PK)

第一章:企业级自动化测试工具选型的核心挑战在企业级应用系统日益复杂的背景下,自动化测试已成为保障软件质量的关键环节。然而,面对多样化的技术栈、多变的业务场景以及庞大的测试规模,企业在选择合适的自动化测试工具时面临诸多…

作者头像 李华
网站建设 2026/8/25 9:45:04

第 481 场周赛Q2——3784. 使所有字符相等的最小删除代价

题目链接:3784. 使所有字符相等的最小删除代价(中等) 算法原理: 解法:贪心 3ms击败100.00% 时间复杂度O(N) 正难则反,问题转化:保留总代价最大的字母,其余全删 方法:用数…

作者头像 李华
网站建设 2026/8/24 3:20:55

你的问卷,是在收集“正确答案”还是“真实数据”?

凌晨两点,社会学博士生小陈盯着屏幕上不到10%的问卷回收率,陷入了深深的自我怀疑。她精心设计了50道题,从人口统计问到深度态度,自以为逻辑严密。然而,冰冷的现实是:受访者要么在第一页就放弃,要…

作者头像 李华
网站建设 2026/8/25 0:42:08

还在用UFT Mobile?你可能错过了Open-AutoGLM这3个革命性特性

第一章:从UFT Mobile到Open-AutoGLM的演进逻辑随着移动设备种类的爆炸式增长和测试自动化需求的深化,传统移动应用测试框架逐渐暴露出可扩展性差、AI能力缺失等问题。UFT Mobile作为早期企业级解决方案,依赖预设脚本与人工干预,在…

作者头像 李华