前面整理了第5章的前半部分可以移步m【李沐 | 动手实现深度学习】9-1 Pytorch神经网络基础
下面是后半部分。
3 自定义层
前面我们深刻感受到了深度学习神经网络的灵活性：我们可以创造性地组合不同的层/块，从而设计出适用于目标任务的架构。有些情况下，我们可能要自己“Create”一个高级API没有提供的层，下面我们来看如何构建自定义层。
3.1 自定义无参数的层
我们自定义的CenteredLayer 在__init__中仅完成了父类的初始化，没有通过sefl.xxx的方式定义任何参数；其前向传播→从输入中减去均值。
import torch import torch.nn.functional as F from torch import nn class CenteredLayer(nn.Module): def __init__(self): super().__init__() def forward(self, X): return X - X.mean()我们看看它能否按预期工作。
layer = CenteredLayer() layer(torch.FloatTensor([1, 2, 3, 4, 5]))//输出示例：可以看到CenteredLayer()如期完成了工作
现在将层作为组件合并到构建更复杂的模型中，我们向该网络传入随机数据，检查均值是否为0。
net = nn.Sequential(nn.Linear(8, 128), CenteredLayer()) Y = net(torch.rand(4, 8)) Y.mean()//输出示例：可以看到均值为0，由于处理的是浮点数，由于精度的原因看到是一个非常小的非零数
3.2 自定义带参数的层
在MyLinear()的初始化函数中：使用nn.Parameter封装了两个torch.randn（随机正态分布）初始化的张量：self.weight和self.bias。
前向传播：实现了线性变换 Y = XW + B 随后接上 ReLU 激活函数
注意：
- 当在
forward函数中使用.data时，实质上是在告诉 PyTorch：“这次计算中，把self.weight和self.bias看作普通的、不参与梯度追踪的常量。”- 尽管参数的
requires_grad属性仍然是True，但在这次特定的前向计算中，它们被当作非可训练张量使用，导致模型无法学习和更新参数。
class MyLinear(nn.Module): def __init__(self, in_units, units): super().__init__() # in_units-输入单元数，units-输出的特征数量 self.weight = nn.Parameter(torch.randn(in_units, units)) self.bias = nn.Parameter(torch.randn(units,)) def forward(self, X): linear = torch.matmul(X, self.weight.data) + self.bias.data return F.relu(linear)下面我们实例化MyLinear类并访问其模型参数。
我们可以使用自定义层直接执行前向传播计算。
使用自定义层构建模型。
4 读写文件
有时候我们希望将训练好的参数保存下载复用到其他场景，怎么做呢？此外，当运行一个耗时较长的训练过程时， 最佳的做法是定期保存中间结果， 以确保在服务器电源被不小心断掉时，我们不会损失几天的计算结果。
4.1 加载和保存张量
import torch from torch import nn from torch.nn import functional as F x = torch.arange(4) torch.save(x, 'x-file') # 保存为名为'x-file'的文件 x2 = torch.load('x-file') # 下载名为'x-file'的文件 x2//输出示例：
我们可以存储一个张量列表，再把它读回内存。
y = torch.zeros(4) torch.save([x, y], 'xy-file') x2, y2 = torch.load('xy-file') (x2,y2)//输出示例：
我们可以读取或写入从字符串映射到张量的字典
mydict = {'x':x, 'y':y} torch.save(mydict, 'mydict') mydict2 = torch.load('mydict') mydict24.2 加载和保存模型参数
保存单个权重张量确实有用，不过往往在实际应用中可能会涉及成百上千个参数，难以逐个保存。因此，深度学习框架提供了内置函数来保存和加载整个网络。
需要注意的是，机器做的是保存模型参数而非整个模型，因为模型本身本身可以包含任意代码，是难以序列化的。因此，为了恢复模型，我们需要用代码生成架构， 然后从磁盘加载参数。
以一个3层MLP为例：
class MLP(nn.Module): def __init__(self): super().__init__() self.hidden = nn.Linear(20, 256) self.output = nn.Linear(256, 10) def forward(self, x): return self.output(F.relu(self.hidden(x))) net = MLP() X = torch.randn(size=(2, 20)) Y = net(X)我们将模型的参数存储为“xxx.params”的文件。（第二个数指定路径，若只有文件名默认与代码文件同一文件夹）
xxx.params格式:这是 PyTorch 中常用的文件扩展名，用于存储模型的权重和缓冲区张量
torch.save(net.state_dict(), 'mlp.params')//输出示例：
- torch.load('mlp.params'):从磁盘文件中加载一个序列化的 Python 对象
- clone.load_state_dict(...)： 这是核心的加载操作。它将磁盘文件中加载的状态字典（包含所有参数和缓冲区的张量值）精确地复制到
clone模型的对应参数位置上。 - clone.eval(): 将模型
clone切换到评估模式 (Evaluation Mode)。
→ nn.Module的模式管理:PyTorch 中的某些层（例如nn.Dropout和nn.BatchNorm，即批量归一化层）在训练时和推理时需要有不同的行为：
- 训练模式 (
.train()):Dropout随机丢弃神经元；BatchNorm计算并更新运行平均值和方差 (running mean/var)。- 评估模式 (
.eval()):Dropout失效（不丢弃任何神经元）；BatchNorm冻结其统计数据，使用在训练过程中学到的固定的运行平均值和方差。
→在加载模型进行推理时，必须调用clone.eval()来确保这些层以正确的方式运行，保证输出的确定性和准确性。
clone = MLP() # 先把模型声明出来，再把参数放回去 clone.load_state_dict(torch.load('mlp.params')) clone.eval()//输出示例：可以看到 clone(X) 的结果与 net(X) 的结果完全一致，说明模型参数成功加载到了 clone的相应位置。
总结
Pytorch深度学习框架为我们自定义层提供了强大的灵活性，可以自定义带参/无参的层，并可以约其他层/块组合使用。此外，有时候训练模型是一件很“贵”的事情，我们可以通过保存模型参数的方式使得模型可以复用到其他环境，save-保存，load-加载。
愉快的一天鼬鼬鼬鼬过去了~~~我又学废了😴😴😴
