news 2026/5/19 19:38:37

模型加载时trust_remote_code 的作用

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
模型加载时trust_remote_code 的作用

问题

在模型加载的时候,我们会观察到 trust_remote_code这个参数

model = AutoModelForCausalLM.from_pretrained(model_path, device_map="auto", torch_dtype=torch.bfloat16, trust_remote_code=True)

从名字上看,就是相信远程代码.如果我们的模型是完全下载到本地的,哪里来的远程代码呢?

解释

我们使用Transformer加载模型的时候,一般下载的文件只有权重文件(.bin、.safetensors)、配置(config.json)、tokenizer.json 等静态资源,不一定列出对应的自定义 modeling_*.py 源码文件
py文件用于指定模型是怎么运行的,如果是Transformer框架里面自带的类,就不需要另外下载远程py文件,

例子

一个典型例子就是你现在看的 Qwen3-30B-A3B 这类模型,它在仓库里自带了自定义的 Python 源码(例如自定义的 Qwen3MoeForCausalLM 模型类、注意力层、MoE 结构等),因此必须依赖 trust_remote_code=True 才能正常加载这些类。
但是我们通过浏览https://modelscope.cn/models/Qwen/Qwen3-30B-A3B/files
也没有发现对应的py文件,那是因为py文件并没有通过modelscope开放.

我们怎么看到py文件??

想看源码可以怎么做
在本地先用:

AutoModelForCausalLM.from_pretrained("Qwen/Qwen3-30B-A3B", trust_remote_code=True)

载入一次模型。

载入完成后,到本机的缓存目录下(如 Hugging Face 对应

~/.cache/huggingface/modules/transformers_modules/

,ModelScope 也有类似目录)去找包含 qwen3_moe、Qwen3MoeForCausalLM 等名字的 .py 文件,就能看到真正的实现。

在无网络机器部署

在没有外网的环境部署这类需要下载远程 Python 代码的模型,思路是:

在有网环境:
用 trust_remote_code=True 正常 from_pretrained 一次,把模型、tokenizer 和远程代码都拉进本机缓存。
然后用 save_pretrained()(或直接 git clone 模型仓库)把权重、配置和代码保存到你自己的目录或镜像仓库里。

from transformers import AutoModelForCausalLM, AutoTokenizer model_id = "Qwen/Qwen3-30B-A3B" # 也可以是 modelscope 对应的 id tok = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained(model_id, trust_remote_code=True) save_dir = "./qwen3-30b-a3b-offline" tok.save_pretrained(save_dir) model.save_pretrained(save_dir)

在无网环境:
拷贝这个目录到离线机器。
用 from_pretrained(“本地路径”, trust_remote_code=True, local_files_only=True) 这样的方式加载,只从本地读文件,不再访问外网。

from transformers import AutoModelForCausalLM, AutoTokenizer local_dir = "/path/to/qwen3-30b-a3b-offline" tok = AutoTokenizer.from_pretrained( local_dir, trust_remote_code=True, local_files_only=True, ) model = AutoModelForCausalLM.from_pretrained( local_dir, trust_remote_code=True, local_files_only=True, )

local_files_only=True 确保完全离线,如果少文件会直接报错而不是悄悄访问外网。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/5/9 20:29:47

如何用云原生开发,把新项目启动从1天缩短到3分钟

新同事入职,一周过去了,代码没写几行,环境还没配好。这个场景我见过太多次,甚至自己也曾是主角。团队里最常听到的那句“在我电脑上明明是好的”,与其说是解释,不如说是一种无奈的哀嚎。我一直在思考&#…

作者头像 李华
网站建设 2026/5/17 10:33:20

基于微信小程序的维修服务平台的设计与实现

前言 🌞博主介绍:✌CSDN特邀作者、全栈领域优质创作者、10年IT从业经验、码云/掘金/知乎/B站/华为云/阿里云等平台优质作者、专注于Java、小程序/APP、python、大数据等技术领域和毕业项目实战,以及程序定制化开发、文档编写、答疑辅导等。✌…

作者头像 李华
网站建设 2026/5/16 14:36:24

基于SpringBoot+Vue的图书馆选座平台设计与实现毕设源码

博主介绍:✌ 专注于Java,python,✌关注✌私信我✌具体的问题,我会尽力帮助你。一、研究目的本研究旨在设计并实现一个基于SpringBoot和Vue的图书馆选座平台,以满足现代图书馆在座位管理方面的需求。具体研究目的如下: 首先&#x…

作者头像 李华
网站建设 2026/5/13 0:14:00

主生产计划:PMC体系的核心引擎解析

MPS:承上启下的“总调度台” 在主生产计划与物料控制体系中,主生产计划处于中枢位置。它向上承接销售预测与客户订单,向下驱动物料需求计划与车间作业排程。简单说,MPS决定了“在什么时间、生产什么产品、生产多少数量”&#xff…

作者头像 李华
网站建设 2026/5/18 17:54:03

第八章 基因的表达与调控

第九章基因工程和基因组学第十章基因突变第十一章细胞质遗传第十二章遗传与发育第十三章数量性状遗传第十四章群体遗传与进化

作者头像 李华
网站建设 2026/5/19 16:08:19

Post-training with Tinker:定制语言模型的最佳解决方案

Post-training with Tinker:定制语言模型的最佳解决方案 在深度学习和自然语言处理领域,定制化的语言模型正逐渐成为提升模型性能的重要手段。今天,我们将深入探讨 Tinker 及其配套工具 Tinker Cookbook,这两个开放源码库旨在帮助…

作者头像 李华