“代码岩层”这个项目名，是我在自己业余仓库里新建目录时随手敲下的。我是一名测试工程师，白天的工作是把别人的代码折腾到崩溃再帮着修好，晚上则喜欢把时间扔给古生物和深度学习。大概是某次逛完自然博物馆，盯着那块只剩下半边颅骨和几节脊椎的化石标本，脑子里突然冒出一个想法：如果让AI根据骨骼残片，把这只动物生前的形态“脑补”出来，生成一张可信的复原图，会是什么效果？
这个项目，就是我这个“测试工程师”用业余时间，从一个非专业古生物爱好者的视角，做的一场古生物AI复原开发记录。它没有追求博物馆级完美骨骼建模，只尝试完成一件事：基于残缺的化石影像，生成相对合理的动物整体复原图，同时用测试的思维验证生成结果、评估脑补的置信度。
如果你也对跨学科的小项目感兴趣，或者你手头有一个图像生成模型的点子，但担心数据、模型、评估流程做不干净，这篇实录可以给你一份能直接抄作业的参考。里面没有太多花哨的高深公式，更多的是一条踩出来的路线：怎么找数据、怎么调训练、怎么给自己挖坑又怎么填平。
1. 项目设计与整体思路：复原是怎么变成可行任务的
1.1 把宏大想法拆成可执行目标
我一开始想的是，只要把化石照片丢到一个大模型里，就能出来一张高清复原图，后来发现这是做梦。单纯的“化石图→复原图”并不是一个完全自由的生成任务，它实际上是一个条件生成过程：模型必须根据化石提供的硬结构信息，去补全软组织和姿态等未知信息。所以我没急着训练模型，而是先把目标拆成了三个递进阶段：
- 化石区域分割：从照片中把骨骼或外壳区域抠出来，排除背景干扰，让生成模型只关注有效信息。
- 结构对齐与补全：对残缺部分做对称补全，或者根据已知测量点推测缺块的边界。
- 外形复原：在补全后的结构上生成带有皮肤、鳞片或甲壳质感的整体复原图。
这三个阶段看起来不复杂，但真正决定项目成败的是“复原依据从哪来”。如果只追求生成效果，而不约束模型“根据化石测量数据来推理”，模型最后只会学会画一只好看的怪兽，而不是复原这块化石。所以在项目初期我就给自己定了一个验收标准：生成结果必须具备可追溯的依据，比如图里的头尾长度比例，必须和化石标注框里的测量点大致对应。
这个验收标准听上去很常规，但它在后面模型迭代时救了我很多次。没有这个标准，我很容易被一两张惊艳的生成图迷惑，忽略整体跑偏的问题。
1.2 为什么选用“图像翻译”而不是“自由生成”
做AI图像生成的人可能第一反应是用现成的多模态大模型，让模型“想象”。我试过之后发现，完全自由生成对化石这种小样本、强约束的领域完全不靠谱。训练数据里有大量现代生物图片，生成复原图时经常带出不符合地层年代的细节，比如把三叶虫画成带腿的现代螃蟹。后来我把任务收敛成“图像到图像”的条件翻译：左侧输入化石照片或带掩码的切片，右侧输出复原图像。
用生活类比来解释：让画家凭想象画“一只远古海洋节肢动物”，他可能画得很美，但不一定对应这块化石；让他对照化石轮廓去上色、补全姿态，信息才不会跑偏。图像翻译就是这样一种“对照着画”的思路，条件输入相当于给模型明确了边界：你只能根据输入结构去重建，不能自由发挥。
当然，图像翻译也会导致一个新的问题：如果化石照片本身模糊、残缺严重，模型会把“残缺的边界”当作真实结构去描边，最终生成一块看起来像化石但缺少生物感的图像。这也是后面我要做数据分级和多次采样的原因。
1.3 先把数据管线和接口固定下来
做这个项目之前，我踩过一个典型坑：数据管线和后处理管线不固定，每换一个模型就要把所有脚本重写一遍。所以在正式选择生成模型之前，我先写了两段不起眼的工具：分割脚本和统一预处理脚本。分割脚本负责从照片中抠出化石主体，统一预处理脚本负责把各种尺寸的图片缩放成512x512的RGB图，把掩码统一成黑白单通道。
这里我有意识地用上了测试工程师的职业习惯：先把输入输出接口固定。所有数据进入模型之前，都会经过同一个“通道”：
- 原始图像：统一裁剪到目标尺寸，保持宽高比后居中填充。
- 掩码图像：二值化为纯黑底白前景。
- 标签文件：以JSON格式记录化石类别、残缺等级、测量点坐标。
这些设计让后面换生成模型时，只需要改模型加载部分，不用动数据侧的任何代码。从最终效果看，这一步至少帮我省了一周的返工时间。
1.4 环境配置与工具链
既然是实录，我把项目初期的环境配置贴在这里。当前项目跑在单张GPU上，操作系统是常见的Linux发行版，主要依赖深度学习框架、图像处理库和标注工具。版本不必完全照抄，但有一点请注意：扩散模型的训练对框架版本比较敏感，建议在虚拟环境中固定版本，不要追新。
python: 3.10 pytorch: 2.x # 开启混合精度 cuda: 11.8 opencv: 4.8 albumentations: 1.3 labelme: 5.3 diffusers: 0.24显存不够是我一开始就预见到的问题。我的卡显存不太宽裕，所以训练时用了梯度累积和混合精度：实际batch size设为4，梯度累积步数设为8，等效于32样本的batch。这个配置在显存占用和收敛稳定性之间比较平衡，后面会细讲。
2. 数据是岩层里的化石：数据准备与处理
2.1 配对数据集的搭建逻辑
AI复原项目最痛苦的不是模型，而是数据。我花了两周时间整理出一批可用的配对数据：左边是化石照片或化石结构图，右边是对应的复原图。来源主要是公开的科学图鉴、博物馆线上资源和一些扫描图像。最终留下约2800对训练数据、300对验证数据、200对测试数据。
不过，光有数量没用，还得控制分布。我按地质年代把数据分成几个桶，训练时每个batch都从不同桶里均匀取样。这样做的原因是，不同年代的化石保存方式差异很大，寒武纪的软体印痕和白垩纪的骨骼化石在成像风格上完全不同。如果模型只见过某个时代的化石，遇到其他时代的数据时表现会非常差。
这里有一个我总结出的经验：不要迷信“数据越多越好”，数据分布比数据量更关键。我试过只堆数据不控制分布，结果模型对某些类型过度偏好，生成结果千篇一律。后来控制好分布之后，哪怕训练数据略少，生成结果的多样性反而明显提升。
2.2 数据增强的边界：不要破坏结构信息
数据增强是图像训练里绕不开的环节。常用的增强包括随机水平翻转、轻微旋转、亮度对比度扰动、噪声叠加和随机缩放。但需要注意，像古生物化石这种结构证据强烈的数据，不能用太激进的形变增强，比如弹性扭曲、极端的透视变换，因为它们会伪造不存在的骨骼弯曲方式。
我在增强环节给自己列了一份“可做/不可做”清单：
- 可做：水平翻转、小角度旋转、亮度扰动、对比度扰动、轻微高斯噪声。
- 不可做：大角度旋转（会破坏头尾朝向）、弹性形变（会扭曲骨骼结构）、随机擦除（会把关键特征擦掉）。
用测试思维来理解，数据增强就是在模拟真实采集场景中的变化。化石可能被拍歪、光线可能不均匀、表面可能有反光，但骨骼本身的相对位置不该发生形变。如果增强破坏了结构，等于给模型制造了错误的标注样本。
2.3 残缺程度分级与采样策略
化石样本的完整程度千差万别。有的标本几乎是完整骨架，有的只剩一个碎片。为了不让模型在“完整标本”上过拟合，我把训练集分为A、B、C三个难度等级：
- A级：结构完整，轮廓清晰。
- B级：缺失部分不超过三分之一，但主要测量点仍可辨认。
- C级：只剩局部碎片，需要大幅补全。
训练时按A:B:C约等于3:5:2的比例采样。这样做的意图很明显：让模型多看到B级样本，因为这才是现实中大多数化石的状态；C级样本不能太少，否则极端残缺时模型会彻底失去方向；A级样本也不能过多，不然模型只会“照着抄”，学不会补全。
这个分级也直接影响评估方式，后面讲测试集时还会再提到。
3. 核心实现：从化石图片到复原图的AI训练流程
3.1 为什么选择扩散模型而不是GAN
在生成模型选型上，我优先尝试了GAN。GAN的优势是训练速度快、生成图像锐利，但劣势也很明显：训练不稳定，容易出现模式崩塌；对边缘细节和小结构非常敏感，一个参数没调好，生成结果就开始出现奇怪的重复纹理。
后来我转向了扩散模型。虽然扩散模型训练和推理成本更高，但它的可控性更强，条件生成机制也更成熟。讲得通俗一点：GAN像两个竞争对手互相博弈，赢家通吃；扩散模型像一个雕刻师从一块充满噪声的石头里逐步去除杂质，每一轮都更接近目标。对化石复原这种强调结构稳定性的任务，扩散模型的胜出几乎是没有悬念的。
成本方面，我的处理方式是离线生成。也就是说，训练时慢慢跑，推理时不需要响应实时请求，所以哪怕一张图要跑几十步采样也能接受。
3.2 训练参数与配置参考
下面这份参数配置不是唯一答案，但它在我的数据集上表现稳定，可以作为起点参考：
image_size: 512 train_batch_size: 4 gradient_accumulation_steps: 8 learning_rate: 5e-5 lr_scheduler: cosine num_train_epochs: 20 sample_steps: 50 guidance_scale: 7.5 mixed_precision: fp16这里最值得解释的参数是guidance_scale，也就是条件引导强度。它控制最终生成结果和输入条件之间的贴合程度。数值太高，模型可能会机械地照搬化石边缘，不留一点软组织补全的余地，图像看起来会僵硬；数值太低，生成图像又会偏离输入结构，出现“模型自己乱编”的情况。我最终定在7.5，是在一组固定样本上肉眼对比后选出来的。
另一个需要解释的是learning_rate。扩散模型如果学习率太高，很容易在训练中途突然发散，表现为loss曲线振荡甚至越跑越高。5e-5是一个相对保守的值，配合cosine学习率调度，能让模型在后期平稳收敛。
3.3 训练过程实录
训练过程中，我每500步保存一个checkpoint，同时在固定的一组验证样本上跑一次推理，记录下当时的生成结果。这样做的好处是，可以直观看到模型在每个阶段发生了什么变化：
- 前500步：生成图像偏模糊，只有大概轮廓，像一幅没对焦的照片。
- 1000到3000步：开始出现纹理细节，但结构经常错乱，比如附肢数量不对。
- 3000步以后：整体结构趋于稳定，主要误差集中在软组织边缘。
- 10000步左右：开始出现过拟合迹象，验证集loss不再下降，但训练集loss还在降。
说到过拟合，这是我特别提醒大家关注的节点。很多人误以为训练集loss越低越好，但在生成任务里，训练集loss持续下降而验证集loss停滞后，生成图片会出现“记忆力增强”：模型不是在复原，而是在背训练样本。我的处理方式是提前保存 checkpoint，然后选择验证集表现最好的那一个，而不是训练步数最多的那一个。
3.4 推理与后处理流水线
推理不是简单地把化石图片灌进模型就结束了。我搭建了一条后处理流水线：
- 对输入图片做自动分割，得到化石区域掩码。
- 将化石图和掩码一起送入模型，进行1次采样，得到初步复原图。
- 对复原图做边缘羽化，消除生成时常见的硬边。
- 计算生成图与输入图的轮廓匹配度，把不合理的超出发散区域标记为低置信度。
这一步非常关键。很多模型跑完直接给图，但图里可能带着一堆肉眼看不出来的伪影。我在后处理里特意加入了“轮廓匹配度”检查：把生成图的前景轮廓和输入化石掩码做一次区域重叠度计算。如果重叠度过低，说明模型没有遵循输入结构，这张图会被判为可疑样本，需要重新采样。
4. 测试工程师的看家本领：模型质量保障与评估
4.1 测试分层：正常、边界、异常
做过软件测试的人都熟悉等价类划分。我在模型评估阶段也搬用了这套思路。测试集不只是随机切出来的200张图，而是按风险分层组成的三组：
- 正常样本组：完整度高、光线正常，验证模型的基础能力。
- 边界样本组：化石残缺严重、拍摄角度刁钻，验证模型的补全极限。
- 异常样本组：图像里有标注线、画框、反光斑，甚至遮挡物，验证模型的抗干扰能力。
这三组分别对应软件测试里的“主路径测试”“边界测试”和“异常输入测试”。模型在正常样本组上表现不错没有意义，我更关心它在边界组和异常组上的结果。一个AI复原系统若不能被用在真实的博物馆照片上，生成图再漂亮也只是演示。
4.2 评估指标怎么选：像素之外还有语义
用PSNR和SSIM来评估生成图像质量，是很常见的做法。但在这个项目里，它们只是辅助参考，不是决定性的。
原因在于，PSNR和SSIM都是像素级指标，它们关注的是两张图的低层相似度。而古生物复原这种任务，核心是“语义合理性”：附肢数量对不对、身体比例是否匹配测量点、纹理是否符合物种分类。像素高度相似但生物结构错误的图，很可能评分不低，恰恰这类图最需要被识别出来。
我辅助使用的指标是FID，它衡量生成图像集合与真实图像集合之间的分布距离。但FID也有盲区，它对集合层面的多样性更敏感，对单张图的结构合理性不敏感。最终我还是搭了一个人工评分表，按头、身体、附肢、纹理四个维度打分，每个维度1到5分。测试集的200张图，每张图由同一套评分标准评估。这个过程耗时，但它是整个项目中可信度最高的评估方式。
4.3 不确定性采样：让模型说出“不知道”
扩散模型有一个很有意思的特性：同一个输入条件下，每次采样结果会有细微差异。这个差异可以转化为“不确定性”的度量。我做了这样一个实验：对同一张化石图片，每次生成一个推理次数为50的样本，重复采样5次，然后计算这5张生成图之间的像素方差。
方差小，说明模型对这个输入胸有成竹；方差大，说明模型在瞎猜。这个信息非常有价值。我在最终界面里，把高方差的区域标记为“低置信度”并加上提示。对科研辅助场景来说，模型知道自己哪里不知道，比强行给一个答案更重要。
4.4 回归测试：守住修好的问题
测试工程师最熟的一个概念是回归测试：代码改完了，之前修好的bug不能复发。模型也是一样。每当我通过调整训练数据或参数修复了一个典型问题，比如“三叶虫被画成现代螃蟹”，我都会把那批问题样本加入一个独立的回归集。之后每次训练新checkpoint，都用这个回归集跑一遍。
回归集真正救了我在第5章提到的“复活偏差”问题。第一次修复后，模型对样本组的分数恢复正常。结果几周后，我又换了一组学习率重新训练，这个偏差居然回来了——因为在训练过程中，某个旧权重被重新激活。要不是回归集自动跑出来，我可能在生成的图里带着明显错误而不自知。
5. 踩坑记录与现场排查
5.1 数据不平衡带来的“复活偏差”
我在项目中期遇到一个奇怪现象：所有测试集图片生成出来都偏向某一种甲壳类生物。翻遍数据后我发现，这类生物的复原图在数据集中占比太高，因为它颜色鲜艳、在现代媒体上传播广，公网上能找到的图片远多于其他类群。
解法是做重采样。具体做法是，每次训练前按类别和地质年代计算样本权重，权重低的类群会被多采样。实现不复杂，却立竿见影。生成结果的多样性马上好转，那种“千篇一律”的甲壳感彻底消失了。
这背后的逻辑值得写一下：模型天然会偏向高频特征。如果某类样本数量压倒性多，模型就会觉得“画成那样最安全”。所以遇到生成结果单调，优先检查分布，而不是急着调模型参数。
5.2 训练不收敛、显存爆掉的排查记录
训练过程中我遇到过两次loss振荡。第一次是学习率设到5e-4，损失函数在前2000步越走越高。我当时马上把学习率调回5e-5，并且重新加载了之前保存的checkpoint，因为继续从乱掉的权重上训练很难恢复。
第二次是显存不足，直接OOM。我的解法是梯度累积加混合精度。显存不够时，还可以降低图像尺寸到384，或者减少采样步数，但不能减少到影响生成质量的程度。建议大家在项目一开始就记录好这些配置，遇到问题时能快速回溯。
这里有一个非常容易忽略的细节：不要只在最终版本记录参数，每一次调参后的checkpoint都要保留对应的训练日志。我习惯用表格记录日期、学习率、batch、loss区间和备注。这样排查问题时，可以快速定位是哪一次配置变化导致了当前症状。
5.3 复原伪影怎么处理
常见的复原伪影有三种：边缘硬直线、周围噪点、附肢数量错误。前两种相对好解决，用后处理脚本中的轮廓羽化和孤立噪点清理就能改善。第三种比较麻烦，它意味着模型没有学会物种的基础结构。
附肢数量错误的根源，往往是训练数据中该物种的样本太少，模型只能猜测。提高该类样本的采样权重后，这个错误明显减少。所以，遇到结构性问题，优先补数据，而不是改模型。
5.4 避坑清单速查表
| 现象 | 可能原因 | 处理建议 |
|---|---|---|
| 生成图带现代动物特征 | 训练集被现代生物图片污染 | 清理数据集，按类别隔离 |
| 结果单一、千篇一律 | 数据分布严重不平衡 | 做类别和年代重采样 |
| 训练后期loss不降 | 学习率过高或过拟合 | 降低学习率，提前加载最优checkpoint |
| 生成图边缘有硬边 | 分割不干净或掩码粗糙 | 手动修正标注，加入回归集 |
| 附肢数量不对 | 该类别样本过少 | 为该类别补充数据或提高采样权重 |
| 同一输入生成结果方差极大 | 模型对该样本把握不足 | 标记低置信度，或尝试优化引导强度 |
6. 复盘与扩展：往三维和产品化走
6.1 下一站：二维复原图绑定到三维骨架上
2D复原图只是第一步。古生物复原在科研和科普场景中，最终都会走向三维模型。我的下一阶段计划，是先把2D复原图作为纹理映射到重建出来的三维骨架上。这个工作最难的地方是姿态估计：如何让2D生成的软组织与3D骨骼的关节位置准确重叠。
我目前的做法是，在训练数据里额外标注几个关键点，比如肩关节、髋关节、头骨末端。模型在生成时也会尝试预测这些关键点位置，再把它们投影到三维空间中。项目还没成熟，但方向已经验证可行。
6.2 工程习惯让我把项目当产品维护
这个项目让我意识到，测试工程师的工程习惯在AI项目里很有价值。我用“需求文档”记录项目目标，用“用例集”来验收模型效果，用“回归集”来防守旧问题复发，用“数据版本记录”来追踪每次训练的变化。
我更推荐大家把它当产品来维护，而不是当作一次性实验脚本。给项目写一个清晰的README，把运行流程、依赖版本、参数说明都记录下来。哪怕只是自己看，三个月后的你也会感谢现在的你。
6.3 个人经验与动手建议
如果让我对这个项目说一句最真实的感受，我会说：最大的收获不是“最后生成图有多以假乱真”，而是我学会了一种“带约束的想象力”。测试工程师天生就在做约束条件下的推理，AI生成模型也一样。模型生成的图片需要忠实于化石证据，而我的测试工作则负责验证这份忠实度。两者放在一起，意外地顺手。
我建议想做类似跨界项目的人，从一个很小的、可验收的切片开始。不要一开始就追求做完整的古生物复原，先把一个物种、一类条件、一条评测流程跑通。等跑通了，你自然知道下一步该往哪走。这个项目的起点只是我给一块化石拍的一张照片，但半年后，它已经变成一套拥有数据管线、训练流程、评估标准和明确置信度的完整demo。技术上的遗憾依然很多，但这个过程本身，已经足够让人上瘾了。
