💓 博客主页：瑕疵的CSDN主页
📝 Gitee主页：瑕疵的gitee主页
⏩ 文章专栏：《热点资讯》
被 Hugging Face 分词器的 return_tensors 参数坑了一整天，记录个解法
目录
昨晚撸代码到凌晨两点，想用BERT分词中文句子。写完一跑，直接报错：
TypeError: encode() got an unexpected keyword argument 'return_tensors'
我当场傻眼。文档里清清楚楚写着"用return_tensors="pt""，怎么就报错了？翻了三遍文档，发现是自己太天真。
核心根源：Hugging Face的transformers库在v4.0+版本里，tokenizer.encode()被彻底弃用。它只接受一个字符串输入，根本不支持任何额外参数。而encode_plus()才是新API，专为支持return_tensors等参数设计。
我踩过这个坑：之前用encode，以为它能兼容return_tensors。结果每次加参数就报错，调试到头秃。后来才发现，旧教程还在用encode，但官方早就改了。
错误示范（别学！）
fromtransformersimportBertTokenizertokenizer=BertTokenizer.from_pretrained('bert-base-uncased')text="你好，世界！"# 错误：用encode() + return_tensorsencoded=tokenizer.encode(text,return_tensors="pt")# 会报TypeError注释：encode()方法不支持return_tensors参数，强行传入导致关键字参数错误。
正确姿势（亲测有效）
fromtransformersimportBertTokenizertokenizer=BertTokenizer.from_pretrained('bert-base-uncased')text="你好，世界！"# 正确：用encode_plus() + return_tensorsencoded=tokenizer.encode_plus(text,return_tensors="pt")# 成功返回PyTorch张量注释：encode_plus()是当前推荐方法，支持return_tensors、padding等参数，能直接输出模型需要的张量格式。
避坑总结：
- 优先用
encode_plus()，别碰encode()。这是Hugging Face的铁律。 - 新项目先查最新文档，别信过时教程。我测试过，用
encode_plus后，中文分词秒过。 - 报错时先看方法名：
encodevsencode_plus，一字之差，坑死人。 - 顺便提醒：如果用英文模型（如bert-base-uncased）处理中文，分词可能乱码。建议选多语言模型，比如
bert-base-multilingual-cased。
别再被这个参数坑了。写代码前先看文档，少走弯路。今天这坑，我替你踩过了。
