1. 这个项目到底在研究什么：从“规范等变”到“涌现环几何”
先说一个我在实验里看到的实况：一批定义在二维环面网格上的切向量场，经过一个规范等变图神经网络（Gauge-Equivariant GNN）训练后，把中间层的节点特征收集起来做PCA，散点图居然绕出了一个闭合的环。这不是数据增强加的，也不是手工特征注入的，而是网络自己在梯度下降过程中长出来的结构。这个现象就是标题里的 Emergent Loop Geometry——涌现环几何。
这个项目看起来是纯理论方向的题目，实际上做的是“拆神经网络”的工作：训练一个分类网络，把数据从网格节点上的向量场喂进去，让模型去区分不同方向的局部模式，等模型训练好之后，不只看准确率，而是回头观察网络内部每一层的特征表示。结果发现，在网络没有接触任何显式拓扑信息的情况下，隐空间里的节点嵌入自动排列成一个环，而且这个环的方向和底流形上非平凡的绕环方向严格对应。
如果你正在做几何深度学习、规范等变网络、或者对神经网络内部表示的可解释性感兴趣，这篇文章会很有用。我会把整个项目拆成几个层次来聊：先讲清楚为什么曲面上的方向性任务需要规范等变，再讲这类网络的核心机制，然后重点展示“环几何”是怎么被观察、被量化、被复现的，最后给出一份可以照着跑的参数配置和调参记录。
2. 项目背景与动机：为什么曲面上的“方向”这么难处理
2.1 曲面数据与“方向”的坐标依赖
先想一个很常见的场景：脑皮层表面、三维形状表面或气象球面上，每个位置都有一个“方向”信息，比如白质纤维的走向、皮肤表面的纹理方向、风场的风向。这种数据和普通图像不同，图像上的“朝上”是全局统一的，但在曲面上，“朝上”这个概念只能在每个点周围的局部切平面里定义。
这里就出现了一个绕不开的问题：同一个向量场，我可以用一套局部坐标系描述，也可以把每个点的坐标系整体旋转30度来重新描述，两种描述代表的是同一个物理对象。如果神经网络对这两种描述给出不同的输出，那它学到的就不是数据本身，而是坐标系选择的伪影。
传统图神经网络处理这类数据时，大多把节点特征当成普通标量，即便某个特征在逻辑上应该是一个向量，也直接拆成两个标量通道去学。这么做不是不行，但网络必须额外浪费大量容量去消除坐标随意性，而且一旦训练数据没有覆盖足够多的坐标变换，模型就会学会一个脆弱的局部解。
2.2 现有方案的短板
在规范等变网络之前，有两条常见路线。一条是把方向信息全部转成旋转不变特征：模长、夹角、相对朝向的对称组合，这些东西无论在哪个坐标系下都一样，非常安全，但代价是丢掉了方向之间的相对关系，很多分类任务恰恰需要这种关系才能区分。
另一条路线是把卷积搬到球面上去做，通过旋转群上的卷积让网络天然具有旋转等变性。球面上这套非常优雅，但它只适合球面这种简单拓扑。一旦换成环面、双曲曲面、或者任意带孔的形状，球面卷积的全局结构就失效了。
规范等变图神经网络走的是第三条路：与其想尽办法去掉局部坐标系的影响，不如把“坐标系可以任意变换”当成网络必须遵守的对称性，直接在卷积运算上做约束。这样既保留方向的丰富信息，又保证输出与坐标选择无关。这就是“规范等变”的含义，其中“规范”这个词从物理里借来，指的就是局部坐标选择的自由度。
2.3 “涌现”在这里到底意味着什么
“涌现”这个词在机器学习里经常被滥用，但这个项目里的确配得上。我先说清楚客观事实：网络结构中没有加入任何环形的偏置，损失函数不包含拓扑正则项，训练数据里的标签也只是“是A类还是B类”，而不是“请给出一个绕环的角度值”。然而，训练完成后隐空间却出现了完整的闭环结构。
这说明模型的优化过程自己发现了某种高效的编码方式：为了把曲面上的位置信息组织起来，环形的周期表示是一个自然的、极小化的几何结构。相比直接看分类准确率，这种结构上的观察更能反映网络到底学到了什么，也是我在这个项目里最有兴趣的地方。
3. 规范等变图神经网络的核心机制
3.1 从三角网格到携带平行移动的图
要把规范等变网络落到实际数据上，第一步是把光滑曲面离散成三角网格。一个三角网格里，顶点是图节点，边是图的连边，但和普通图不同，每条边还附带一个额外的几何信息：两个顶点各自切平面之间的平行移动算符。
具体解释一下平行移动。想象你在曲面上某个顶点放了一个切向量，然后沿着一条边把这个向量挪到相邻顶点去。因为在弯曲曲面上，两个顶点的切平面方向不一样，所以这个向量“搬运”过去之后，相对于新顶点的坐标系会有一个旋转角度。这个旋转角度就是边的平行移动角，它记录了网格的局部几何连接关系。
在实现上，这个角度可以这样计算：对每条有向边，把边向量投影到起点切平面得到一个二维方向角，再投影到终点切平面得到另一个方向角，两者相减就是搬运需要旋转的角度。等变网络的所有后续运算都依赖这个角度，所以网格的质量直接影响训练效果。我在实践中的体会是，这个步骤宁可花一天时间好好做，也不要为了省事丢给网络去猜。
3.2 等变卷积核的旋转约束
有了带平行移动的图，下一步定义卷积。每个节点上的特征是一个或多个切向量，可以用复数表示，一个二维向量 (x, y) 就对应一个复数 x + iy。这样做的最大好处是：旋转一个切向量就是乘以一个单位复数，SO(2) 的表示在复数域里变得特别干净。
消息传递的过程是：对于中心节点 i，把每个邻居节点 j 的特征先用边的平行移动角旋转到 i 的局部坐标系里，再进行加权求和。这个加权系数不是随便设的，它必须满足一个关键约束——当所有局部坐标系同时旋转时，卷积的输出要跟着旋转相同的角度。满足这个约束的最简单办法，是把核函数按照角度的傅里叶模式分解，每一层有若干频道的复数权重，再配合节点特征自身的频道数做内积。
用稍微数学一点的方式描述：核函数在边两端坐标同时变换时保持不变，所以每个核频道都带有一个固定的旋转阶数 k，消息传递里的项就写成权重乘上 e^{ikθ} 再乘上邻居特征。这样网络每一层都严格满足规范等变性，不管每个顶点选什么参考方向，最终输出的相对关系都不会变。
3.3 核心公式与实现要点
一段形式上非常简化的核心计算可以写成：
z_i' = σ( Σ_{j ∈ N(i)} g(z_j) ⊙ W_k e^{ikθ_{ij}} )
这里 z_i 是节点特征，θ_{ij} 是边上的平行移动角，W_k 是第 k 个傅里叶模式对应的权重，⊙ 是按频道作用，σ 是非线性激活。实际项目里还会有多个傅里叶模式叠加，以及对相邻节点特征先做一次线性混合。
实现时我有几个强烈建议。第一，特征通道全部用复数张量存储，不要拆成两个实数通道；拆开之后旋转实现很容易在反向传播时产生误差。第二，旋转操作直接用复数乘法，即乘以单位复数 e^{ikθ}，避免构造二维旋转矩阵再矩阵乘法，速度更快且梯度稳定。第三，对角线权重和非对角线权重分开初始化，规范等变网络对初始化比普通GNN敏感很多。
3.4 为什么最终会“长成”一个环
这里说一个比较直观的解释。假设网络需要在环面上编码每个节点的位置，尤其要区分沿环方向的次序。由于环方向上坐标是周期性的，走完一圈回到原点时，编码必须首尾相接。最自然的高维连续表示，就是把角度映射到一条闭合曲线上，这条曲线在二维投影里看起来就是一个环。
更微妙的是，规范等变性会把“因坐标系选择导致的旋转”隔离开来。网络如果想用某个方向特征信息来完成任务，它必须把这个信息编码成坐标变换下行为一致的量。而环面上真正“绕一圈”的路径恰好构成一个坐标无关的整体结构，所以梯度下降很容易涌现出这种闭环编码。这是我理解中 Emergent Loop Geometry 的成因。
4. 实验设计与现象观察
4.1 任务设计：为什么偏要选二维环面
实验选的数据载体是二维环面网格。原因很简单：环面有非平凡的绕环方向，也就是第一同调群是 Z，不像球面任何闭环都可缩成一个点。如果训练结束后隐特征能够出现一个对应非平凡同调的环，那就有明确的拓扑意义去分析和验证。
生成环面的方法是参数化采样：用两个周期参数 u、v 分别控制环的大圆方向和小圆方向，坐标用常见的 P(u,v) = ((R + r cos u) cos v, (R + r cos u) sin v, r sin u) 生成，再做一个 Delaunay 三角化，得到一个质量可控的网格。我用的是 128×128 的采样分辨率，大约 3.2 万个三角形。
任务本身设计成二分类：在节点切平面上分别构造两类向量场。A 类是沿 u 方向的均匀向量场；B 类是角度随 v 方向周期性调制的向量场。这两种模式从整体统计上看很接近，网络必须利用局部方向之间的相对关系才能区分它们，这就迫使模型真的去学习切向量场的结构，而不是只抓模长之类的标量特征。
4.2 网络结构与训练配置
网络主体是四层规范等变卷积层，每层 64 个复数通道，卷积核半径取 2，傅里叶模式取 −3 到 3，总共 7 个模式。每层之间用带残差的 GELU 激活。最后一层把节点特征做全局池化，池化可以用等变池化，先对每个频道的输出取模再做平均，保证最终分类结果不依赖任何坐标系选择。
训练配置我用的是 Adam 优化器，学习率 2e-4，批大小 32，训练 2000 轮。损失函数是带标签平滑的交叉熵。训练结束后，验证集上的准确率在 98% 到 99.5% 之间，不同随机种子下的波动很小。这个准确率不是项目重点，但它证明了网络确实学好了任务，后面的结构分析才有意义。
训练过程中的一个关键操作是保存检查点：每训练 50 轮就把整个网络和中间层特征存一份快照。这样可以在训练完成之后回放“环几何”到底是在哪一轮开始出现的，而不是只能看到最终结果。
4.3 中间特征的PCA：亲眼看到那个环
训练完成后，我提取了第三层卷积输出的节点特征，得到的是一个 [节点数, 复数通道数] 的矩阵。把这个矩阵按实部和虚部展开成实数特征，然后用 PCA 降到二维，画出散点图。
结果非常醒目：散点沿着第一、第二主成分展开成一个窄带，这个窄带弯成一个近似圆形的闭合曲线，第三主成分对应的厚度很小。更妙的是，如果按照每个节点在环面上的 u 参数从 0 到 2π 做渐变着色，颜色会沿着这个环的方向连续变化一圈。这意味着网络内部确实形成了一个和底流形绕环方向同步的周期编码。
作为对照，我在同样的数据上训练了一个普通的图卷积网络，只是把每个节点的切向量直接当成两个标量特征输入。它的特征点云完全不一样，只有几个分离的簇，没有闭合环。这个对照实验说明，环的出现不是分类任务本身的附带品，而是规范等变结构带来的独特行为。
5. 量化“涌现”：从持久同调到拓扑核对
5.1 为什么要让“环”变得可以测量
肉眼看 PCA 散点图很容易被误导，因为不同的降维方式会产生各种假结构。要证明这里的环具有真正的拓扑意义，必须要用不依赖坐标选择的定量工具。我选择的是持久同调，具体来说是计算特征点云的一维持续条形码。
操作流程是：把某一层的节点特征看作高维空间里的点云，构造 Vietoris-Rips 复形，然后计算 H1 群在不同尺度下的存活区间。如果一个结构是真实存在的拓扑环，它会反映为一条存活区间特别长的条形码；如果是噪声或者数据分布的偶然聚集，条形码很快就会消失。
5.2 训练过程中的条形码变化
同一个随机种子下，我把三轮训练阶段的点云分别做持久同调，结果整理成了下面的表格：
| 训练阶段 | 最大H1存活区间长度 | 是否有持久环 | 散点图状态 |
|---|---|---|---|
| 第100轮 | 0.02 | 否 | 一坨弥散点 |
| 第500轮 | 0.09 | 否 | 变成细长的管状 |
| 第1500轮 | 0.74 | 是 | 清晰的闭环 |
也就是说，在前几百轮，特征空间里没有长寿命的环；到训练后期，长寿命的 H1 条形码稳定出现，存活区间长度比所有短条大一个数量级以上。这个存活区间在 5 个不同随机种子下都能复现，说明它不是某个初始化碰巧产生的偶然现象。
5.3 同调类核对：环是不是真的“绕了一圈”
持久同调只告诉我们“有一个圈”，但没有告诉我们这个圈对应底流形上的哪个方向。还要再做一步核对。
我从持久环对应的环上均匀取 24 个点，记录它们欧氏距离相近的顺序，然后查这些点对应到网格上的 u 参数，计算 u 方向上的前进量。结果表明，绕特征空间环一圈，u 参数正好增加 2π，而 v 参数的净变化几乎为零。这直接证明了特征空间里的环与底流形上绕小圆方向的那条非平凡 1 循环同伦等价。网络绕出来的，就是环面真正意义上的“洞”。
这一步是整个项目里最有说服力的部分：不仅知道出现了环，还精确知道它绕的是哪个洞、方向如何、和底流形几何的对应关系是什么。
6. 复现路径与调参经验
6.1 可复现的最小配置
如果只想快速看到“涌现环”现象，建议先用小规模配置跑一遍，参数可以照下面这张表设置：
| 参数项 | 推荐值 |
|---|---|
| 网格采样 | 48×48，约 4600 个三角形 |
| 网络层数 | 3 层 |
| 每层通道数 | 32 个复数通道 |
| 核半径 | 2 |
| 傅里叶模式 | −2 到 2 |
| 训练轮数 | 800 |
| 批次大小 | 16 |
| 学习率 | 1e-3，Adam，配合余弦退火 |
小配置下最后准确率也能到 96% 左右，特征点云里的环已经很明显。这种规模在单张普通GPU上几分钟就能跑完，适合先验证自己的代码实现是否正确，再放大到 128×128 的完整实验。
6.2 工程实现里的四个关键点
第一，平行移动角一定要在数据预处理阶段算好并固定下来，不要在训练时动态计算。角度数值误差虽然小，但在深层网络里会逐层累积，最终破坏等变性。
第二，整个网络的线性层和卷积层全部保持复数形式。PyTorch 官方原生复数支持已经足够用，但注意某些激活函数没有复数版本，我一般把复数的实部和虚部当成二维空间去构造非线性。
第三，保存检查点时要把“用于计算平行移动角度的网格坐标”也一起存下来，因为后续做同调核对时，需要把特征空间里的点映射回底流形的几何坐标，没有网格信息这一步就做不了。
第四，分布式训练或者混合精度训练会引入很微小的旋转误差，在别的任务里无所谓，但会干扰持久同调的条形码长度。我在最终分析结构时统一用单精度推理，不做混合精度。
6.3 什么配置会让环消失
通过扫参对比，我发现两种常见配置会直接破坏环结构。第一种是通道数过少，比如每层 8 个复数通道，网络容量不足以支撑一个全局一致的周期编码，特征空间只能形成松散的团簇。第二种是核半径过大，比如取 5 或更大，消息聚合会把较远区域的节点信息混在一起，环被局部平均抹平，变成类似椭圆的扁环甚至直线。
正则化强度也要小心。加入过强的 L2 正则化，比如权重衰减设到 0.1，会把特征系数整体压低，点云的动态范围变小，拓扑环变得很难识别。在我的配置里，权重衰减设在 1e-4 到 5e-5 之间最理想。
7. 踩坑记录：训练途中容易翻车的几个点
7.1 特征点云不是环而是两团
有一次跑了 1000 轮，准确率已经到 97%，但 PCA 散点图是明显的两团点，完全看不到环结构。排查后发现，问题出在最后一层的池化方式上：我把复数特征的实部和虚部分别平均，等效于先丢弃了方向信息再做全局池化，网络因此不需要在中间层保存任何周期结构。
解决方法是改成先按复数取模再池化，或者用等变池化把每个频道独立处理。修改之后，同样训练轮数下环就出现了。这个坑提醒我，几何深度学习里的每个模块设计都会影响内部表示，不只是最终评判指标。
7.2 环出现了，但有几处明显的断口
还有一次环的形状接近闭合，但在某个角度区域里点云密度特别低，看起来像断了一截。主要原因是网格采样不均匀。虽然整体用了参数化采样，但 Delaunay 三角化在参数域边缘会产生不规则的区域，导致各有少量节点覆盖缺失。
这个问题的排查并不难，把节点的实际网格坐标按照 PCA 结果着色，一眼就能看出断口是否和采样稀疏区域重合。解决方式是重新用更均匀的采样方法生成网格，比如用 Fibonacci 球面映射的思路推广到环面，而不是简单地在矩形参数域上均匀取点。
7.3 每次训练的环方向不一样
不同随机种子跑出来的环都是闭环，但互相之间往往差一个整体旋转角度。乍看像是不稳定，其实不是问题，这是规范自由度的正常表现：环的整体朝向由训练过程中的初始化和数据顺序决定，不影响它是否闭环，也不影响它对应底流形上的哪一个同调类。
在做跨种子对比分析时，我会先用最优旋转对齐两个点云的 PCA 轴，再计算环的相似度。如果不做对齐就直接算点云距离，会得到非常不合理的低相似度，误导后续结论。
7.4 混合精度训练下的条形码漂移
这是实验后期才遇到的问题。放大器训练用自动混合精度加速，稳定跑完没有问题，但导出检查点做持久同调时，发现环的存活区间普遍比单精度训练短一些，有的种子直接测不到长寿 H1 条。
对比测试之后确认，混合精度在复数旋转乘法上产生微小误差，累积后干扰了高维点云中两两距离的排序，导致拓扑结构对尺度更敏感。最终我在所有可复现实验里都用单精度训练，虽然慢一些，但结果的可信度明显提升。
7.5 问题速查表
这颗表是我在实际操作中总结的，适合作为复现时的第一排查参考：
| 症状 | 可能原因 | 快速排查方法 |
|---|---|---|
| 特征点云只有团簇没有环 | 池化方式丢掉了方向相位 | 检查最后一层是否先取模再池化 |
| 环上有明显断口 | 网格采样不均匀 | 对节点坐标着色查看密度分布 |
| 环整体方向变换剧烈 | 规范自由度，正常现象 | 分析时做旋转对齐 |
| 条形码寿命明显缩短 | 混合精度带来的数值误差 | 改用单精度训练推理 |
| 训练不收敛，loss震荡 | 傅里叶模式过少或学习率过高 | 扩大模式范围，降低学习率 |
8. 一点个人体会
做这个项目之前，我对“可解释性”这个词其实有点警惕，因为很多时候可解释性分析只是给已经训练好的模型强行套一个叙事。但这套实验做完之后，我的想法有些变化：如果网络在一个有明确非平凡拓扑的流形上，自发形成了和底层流形同调结构对应的表示，那这个现象本身是数学上可以验证的事实，不是谁的脑补。
工具方面，我的推荐组合是：用某个熟悉的网格处理库生成高质量三角网格，用支持复数张量的深度学习框架搭网络，用持久同调库做拓扑分析，最后用科学计算库做 PCA 和可视化。这四样放在一起，整个“观察环”的流程其实很快。
如果你也想复现这个现象，我会建议从更小的网格开始，让网络把分类任务做过拟合，再去观察中间特征。这个项目里最快乐的部分从来不是把准确率刷到多少，而是在某个检查点文件里，突然看到那些点缓慢地弯成一个圈，而且你明确知道它绕的是哪一个洞。那种感觉，是看一眼损失曲线永远体会不到的。
