UnicodeDecodeError: ‘charmap‘ codec can‘t decode byte 0x81 in position 17: character maps to ＜undefi

目录

• • 问题
  • 原因分析
  • • 1. **编码不匹配**
    • 2. **常见场景**
  • 解决方案
  • • **方案1：设置正确的字符集连接MySQL**
    • **方案2：Python脚本中的解决方案**
    • **方案3：检查并设置系统环境编码**
    • **方案4：MySQL服务器端配置检查**
    • **方案5：在代码中明确处理编码**
  • 预防措施
  • 调试步骤

问题

连接MySQL服务，查询到结果后，本地解析报错
UnicodeDecodeError: 'charmap' codec can't decode byte 0x81 in position 17: character maps to <undefined>

这个错误通常是由于字符编码不一致导致的。

原因分析

1.编码不匹配

• MySQL服务器使用的字符集（如UTF-8）与本地解码时使用的字符集（如Windows的cp1252、gbk等）不一致
• 特别是当数据中包含非ASCII字符（如中文、特殊符号）时容易出现

2.常见场景

• 在Windows系统或某些终端环境中运行Linux命令/脚本
• MySQL数据包含中文或其他多字节字符
• 默认编码设置不正确

解决方案

方案1：设置正确的字符集连接MySQL

# 在连接时指定字符集mysql -hhostname-u username -p --default-character-set=utf8mb4 database_name# 或者在查询前设置mysql -hhostname-u username -p mysql>SET NAMES'utf8mb4';mysql>SELECT * FROM table;

方案2：Python脚本中的解决方案

如果使用Python连接MySQL：

importpymysql# 正确设置连接字符集connection=pymysql.connect(host='localhost',user='username',password='password',database='dbname',charset='utf8mb4',cursorclass=pymysql.cursors.DictCursor)# 或者使用mysql-connectorimportmysql.connector conn=mysql.connector.connect(charset='utf8mb4',use_unicode=True,# ... 其他参数)

方案3：检查并设置系统环境编码

# 查看当前系统编码echo$LANGlocale# 设置正确的编码（添加到~/.bashrc或~/.profile）exportLANG=en_US.UTF-8exportLC_ALL=en_US.UTF-8# 临时设置exportPYTHONIOENCODING=utf-8

方案4：MySQL服务器端配置检查

-- 查看当前字符集设置SHOWVARIABLESLIKE'character_set%';SHOWVARIABLESLIKE'collation%';-- 修改表的字符集（如果需要）ALTERTABLEyour_tableCONVERTTOCHARACTERSETutf8mb4COLLATEutf8mb4_unicode_ci;

方案5：在代码中明确处理编码

对于Python脚本：

# 方法1：指定编码打开文件withopen('output.txt','w',encoding='utf-8')asf:f.write(data)# 方法2：手动解码decoded_string=byte_data.decode('utf-8',errors='ignore')# 或 errors='replace'# 方法3：使用编解码器模块importcodecswithcodecs.open('file.txt','r',encoding='utf-8')asf:content=f.read()

预防措施

1. 统一使用UTF-8/UTF8MB4

   • MySQL连接、表字段、应用程序统一使用utf8mb4
   • 这是最推荐的做法

2. 检查MySQL配置

   -- 永久修改配置（在my.cnf中）[client]default-character-set=utf8mb4[mysql]default-character-set=utf8mb4[mysqld]character-set-server=utf8mb4 collation-server=utf8mb4_unicode_ci

3. Python环境设置

   # 在脚本开头添加importsysimportio sys.stdout=io.TextIOWrapper(sys.stdout.buffer,encoding='utf-8')

调试步骤

1. 首先确认MySQL数据的实际编码
2. 检查连接时的字符集设置
3. 验证本地环境的编码配置
4. 逐步测试每个环节的编码转换

建议使用UTF-8系列编码（特别是utf8mb4）作为标准，可以避免大部分字符编码问题。

最后排查下来，上面报错问题原因是连接MySQL 8时，连接参数中字符集使用了’utf-8’ 导致的。