多模态深度学习在系外行星识别中的应用：从TESS数据到AI流水线

1. 项目概述：当望远镜数据洪流遇上AI之眼

每隔27天，TESS（凌星系外行星巡天卫星）就会完成一次对整个天空的扫描，传回海量的恒星亮度时序数据。在这些看似规律起伏的光变曲线中，潜藏着系外行星存在的微弱信号——一次微小的、周期性的亮度下降。传统上，科学家们依赖人工或半自动的算法从数以百万计的候选信号中筛选出真正的行星凌星事件，这个过程耗时费力，且容易因主观判断产生偏差。ExoNet项目的核心，就是构建一个基于多模态深度学习的AI系统，试图让机器学会像最老练的天文学家一样，甚至更高效、更一致地“看”懂这些数据，实现系外行星候选体的全自动识别与初筛。

这不仅仅是另一个“用AI做分类”的简单应用。天文数据，尤其是TESS的光变曲线，具有其独特的挑战：信号极其微弱（通常亮度下降小于1%）、噪声复杂（包括恒星活动、仪器噪声、宇宙射线击中）、以及存在大量的“仿凌星”信号（如食双星、恒星黑子）。ExoNet的“多模态”设计思路，正是为了应对这些挑战。它不单单分析处理后的、平滑过的光变曲线，而是尝试融合原始数据、不同处理阶段的数据乃至辅助性的星体参数，让模型能够从多个维度、多个尺度去理解和推理，从而在数据的“沙堆”里更精准地淘出“行星的金粒”。对于从事天文信息学、计算天体物理，乃至任何需要从复杂时序数据中挖掘微弱模式的研究者或工程师来说，这个项目提供了一个绝佳的、将前沿深度学习技术与具体科学问题深度融合的范本。

2. 核心思路与架构设计：为什么是“多模态”？

2.1 从单模态到多模态的必然演进

早期的系外行星自动识别研究，大多采用单模态输入，例如，将经过特定预处理（去趋势、归一化）的单一光变曲线输入到一个一维卷积神经网络（1D CNN）或循环神经网络（RNN）中。这种方法取得了一定成功，但其天花板也很明显。它严重依赖于预处理步骤的质量，而预处理本身就可能滤掉真实信号或引入伪影。更重要的是，它抛弃了数据的丰富上下文。例如，同一目标在不同观测扇区（TESS将天空分为多个扇区进行轮流观测）的数据可能质量不同；目标恒星本身的参数（如温度、大小、亮度）对于判断一个凌星信号的物理合理性至关重要。

ExoNet的多模态思路，可以类比为一位侦探破案。单模态模型就像只查看案发现场的一张照片。而多模态模型则同时获得了：不同角度拍摄的现场照片（多阶段处理的光变曲线）、嫌疑人的档案资料（恒星参数）、甚至是一些现场的环境声音记录（数据质量标签）。通过综合所有这些信息，侦探（模型）才能做出更可靠的判断。具体到ExoNet，其多模态输入通常设计为以下几个通道：

1. 原始/最小处理光变曲线通道：保留最原始的数据特征，可能包含有价值的噪声结构或未被预处理的异常。
2. 系统化处理后的光变曲线通道：例如经过最佳去趋势、平滑滤波后的数据，信号更清晰。
3. 辅助数据通道：以向量的形式输入，包括恒星的有效温度、表面重力、金属丰度、TESS星等等。这些参数帮助模型建立物理先验，例如，一颗炽热的O型恒星周围发现类地行星的概率极低。
4. 数据质量/元数据通道：如每个数据点的误差棒、观测间隙标志、不同观测扇区的标识等。

2.2 ExoNet的神经网络架构选型

如何融合这些异构的数据？这是架构设计的核心。ExoNet没有采用简单的早期融合（将所有数据拼接成一个长向量）或晚期融合（分别处理后再合并决策），而是采用了更灵活的中期融合或混合融合策略。

• 时序数据分支（光变曲线）：通常采用1D CNN与注意力机制（如Transformer Encoder或Squeeze-and-Excitation模块）的结合。1D CNN擅长提取局部模式（如凌星事件的“U”形凹陷），而注意力机制能建模长距离依赖，判断多个凌星事件之间的周期性，并聚焦于光变曲线中真正重要的相位。

  注意：这里不直接使用RNN/LSTM，是因为TESS数据点数量大（通常数千至上万），RNN的顺序处理效率较低且容易梯度消失。CNN+Attention的组合在并行计算和长程依赖捕捉上更具优势。

• 静态数据分支（恒星参数）：通常通过几个全连接层（Dense Layers）进行编码，将其映射到一个高维语义空间。

• 融合层：这是设计的精髓。一种常见做法是，将时序分支最终输出的特征向量（代表了光变曲线的整体特征）与静态分支输出的特征向量进行拼接（Concatenation），然后送入最后的分类器（通常是几个全连接层）。更高级的做法是使用交叉注意力机制，让光变曲线特征去“查询”恒星参数特征，反之亦然，实现更深层次的特征交互。例如，模型可以学习到“对于低温M型矮星，即使很浅的凌星深度也可能意味着一个较大的行星”这样的复杂规则。

最终的输出层通常是一个二分类（行星候选体/非行星候选体）或三分类（行星候选体、食双星、其他噪声）的Softmax层。为了应对天文数据中极端的类别不平衡（真正的行星信号远少于噪声），损失函数会采用加权的交叉熵（Weighted Cross-Entropy）或Focal Loss。

3. 数据工程：构建AI识别的基石

3.1 TESS数据获取与预处理流水线

模型再强大，没有高质量、标注好的数据也是空中楼阁。ExoNet的数据流水线是其能否成功的生命线。

1. 数据下载：从MAST（Mikulski Archive for Space Telescopes）等官方存档下载指定目标的TESS观测数据，主要是目标像素文件和光变曲线文件。我们会使用lightkurve或eleanor这样的Python库来简化这个过程。

   import lightkurve as lk # 搜索TIC 123456789的TESS数据 search_result = lk.search_lightcurve('TIC 123456789', mission='TESS') # 下载并合并多个观测扇区的数据 lc_collection = search_result.download_all() lc = lc_collection.stitch() # 拼接成一个完整的光变曲线

2. 初步清洗：移除明显由宇宙射线击中或航天器抖动导致的异常数据点（通常通过sigma clipping方法）。同时，需要处理数据中的间隙（Gaps）。

3. 去趋势与归一化：这是最关键也是最微妙的一步。恒星亮度变化可能由恒星活动（星斑、耀斑）或仪器系统误差引起，这些趋势会淹没微弱的凌星信号。

   • 常用方法：使用Savitzky-Golay滤波器、高斯过程回归或简单的多项式拟合来拟合并移除长期趋势。对于ExoNet的多模态输入，我们通常需要生成多个版本的光变曲线：一个只做最小清洗（去异常值），另一个进行深度去趋势和平滑。
   • 归一化：将光变曲线的流量值归一化到1附近，通常是除以中位数或平均值。

4. 凌星事件裁剪与对齐：为了训练模型，我们需要将连续的光变曲线切割成以每个候选凌星事件为中心的固定长度片段（例如，覆盖事件前后各1.5个轨道周期）。所有片段需要根据预测的凌星中心时间进行对齐，确保“凌星凹陷”出现在片段的固定位置。

3.2 标注策略与类别不平衡的应对

获取“真实标签”是天文学AI项目最大的挑战之一。我们无法百分百确定一个信号就是系外行星，除非有后续的多重验证。因此，训练集的标签通常来源于权威的已确认行星数据库（如NASA Exoplanet Archive）和已知的仿凌星天体库（如食双星目录）。

• 正样本：已被后续观测（如径向速度法）确认的系外行星，或其凌星信号被广泛认可为高度可靠的候选体。
• 负样本：明确不是行星的信号，包括：
  • 已确认的食双星。
  • 经过人工仔细检查后驳回的、有明显非行星特征的噪声或变异。
  • 通过数据增强技术生成的“仿凌星”信号（需谨慎，避免模型学习到增强的伪影）。

由于正样本极其稀少，我们必须采用多种策略：

• 数据增强：对正样本光变曲线进行合理的增强，如添加不同水平的高斯噪声、轻微的时间拉伸、流量值的微小缩放。切记，增强不能改变凌星事件的物理本质（如深度、形状）。
• 分层采样：在训练每个批次（batch）时，确保正负样本有一定比例，而不是完全随机采样。
• 使用Focal Loss：这种损失函数会自动降低对易分类样本（大量的负样本）的关注，让模型更聚焦于难分类的样本（正样本和难以区分的负样本）。

4. 模型实现、训练与调优实战

4.1 使用PyTorch搭建ExoNet模型框架

以下是一个高度简化的ExoNet核心架构的PyTorch实现示例，展示了多模态融合的基本思路：

import torch import torch.nn as nn import torch.nn.functional as F class ExoNet(nn.Module): def __init__(self, lc_length=2001, stellar_param_dim=5, num_classes=2): super(ExoNet, self).__init__() # 分支1: 光变曲线时序特征提取器 (1D CNN + Attention) self.lc_conv1 = nn.Conv1d(in_channels=1, out_channels=32, kernel_size=7, padding=3) self.lc_conv2 = nn.Conv1d(32, 64, kernel_size=5, padding=2) self.lc_conv3 = nn.Conv1d(64, 128, kernel_size=3, padding=1) self.lc_attention = nn.MultiheadAttention(embed_dim=128, num_heads=8, batch_first=True) # 简化表示 self.lc_global_pool = nn.AdaptiveAvgPool1d(1) # 分支2: 恒星参数编码器 self.stellar_fc1 = nn.Linear(stellar_param_dim, 64) self.stellar_fc2 = nn.Linear(64, 128) # 融合与分类器 # 假设时序分支输出特征维度为128，恒星分支为128 self.fusion_fc1 = nn.Linear(128 + 128, 256) self.fusion_dropout = nn.Dropout(0.5) self.fusion_fc2 = nn.Linear(256, 128) self.classifier = nn.Linear(128, num_classes) def forward(self, lightcurve, stellar_params): # lightcurve shape: (batch, 1, lc_length) # stellar_params shape: (batch, stellar_param_dim) # 处理光变曲线 x_lc = F.relu(self.lc_conv1(lightcurve)) x_lc = F.relu(self.lc_conv2(x_lc)) x_lc = F.relu(self.lc_conv3(x_lc)) # shape: (batch, 128, lc_length) # 转换维度以适应注意力机制 (batch, seq_len, features) x_lc = x_lc.permute(0, 2, 1) # 应用自注意力（此处为简化，实际需添加位置编码等） x_lc, _ = self.lc_attention(x_lc, x_lc, x_lc) x_lc = x_lc.permute(0, 2, 1) # 换回 (batch, features, seq_len) # 全局平均池化，得到光变曲线的全局特征向量 x_lc = self.lc_global_pool(x_lc).squeeze(-1) # shape: (batch, 128) # 处理恒星参数 x_stellar = F.relu(self.stellar_fc1(stellar_params)) x_stellar = F.relu(self.stellar_fc2(x_stellar)) # shape: (batch, 128) # 特征融合 x_fused = torch.cat([x_lc, x_stellar], dim=1) x_fused = F.relu(self.fusion_fc1(x_fused)) x_fused = self.fusion_dropout(x_fused) x_fused = F.relu(self.fusion_fc2(x_fused)) # 分类 out = self.classifier(x_fused) return out

4.2 训练策略与超参数调优

训练这样一个模型需要耐心和细致的调优。

1. 优化器选择：AdamW（带权重衰减的Adam）通常是比标准Adam更好的选择，因为它能提供更稳定的训练和更好的泛化能力。初始学习率可以设在3e-4到1e-5之间。
2. 学习率调度：使用余弦退火（Cosine Annealing）或带热重启的余弦退火（Cosine Annealing with Warm Restarts）策略，有助于模型跳出局部最优。
3. 正则化：除了Dropout，权重衰减和标签平滑也是防止过拟合的有效手段，尤其是在数据量有限的情况下。
4. 监控指标：不要只看准确率。由于类别不平衡，精确率、召回率、F1分数以及ROC-AUC曲线下面积是更重要的指标。我们希望在保持高精确率（减少误报）的同时，尽可能提高召回率（找到更多真正的行星）。
5. 验证集构建：务必确保验证集与训练集在恒星类型、信号信噪比分布上是独立的，最好是从不同的天区或观测年份中划分，以检验模型的泛化能力。

实操心得：在训练初期，可以先用一个较小的、平衡的子数据集快速验证模型架构是否能够学习（即损失下降，在训练集上过拟合）。然后，再放到全量、不平衡的数据集上进行正式训练和精细调优。使用TensorBoard或Weights & Biases等工具实时监控损失和各项指标的变化至关重要。

5. 结果解读、部署与科学验证

5.1 模型输出分析与阈值选择

模型对每个输入样本会输出一个属于“行星候选体”类别的概率（例如，介于0到1之间的一个值）。我们需要设定一个决策阈值。阈值越高，筛选出的结果越可靠（高精确率），但可能会漏掉一些信号（低召回率）；阈值越低，则相反。

• 科学发现模式：如果目标是寻找高度可靠的候选体以供后续昂贵的光谱观测确认，应设定高阈值（如0.95）。
• 巡天筛选模式：如果目标是进行大规模初筛，生成一个需要人工复核的候选体列表，可以设定一个中等阈值（如0.7），再结合其他简单规则（如凌星深度、周期合理性）进行过滤。

通常，我们会绘制精确率-召回率曲线，根据科学目标在曲线上选择一个合适的操作点。

5.2 部署为自动化流水线

一个完整的ExoNet系统不应只是一个训练好的模型文件。它应该被集成到一个自动化流水线中：

1. 数据摄入模块：自动从TESS数据发布平台拉取新数据。
2. 预处理模块：标准化地执行数据清洗、去趋势、裁剪。
3. 推理模块：加载训练好的ExoNet模型，对预处理后的候选事件进行批量预测。
4. 后处理与报告模块：根据阈值筛选结果，生成结构化的报告（如CSV表格或数据库条目），包含目标ID、预测概率、凌星参数估计等，并可能自动触发警报或生成可视化图表供天文学家审查。

这个流水线可以用Apache Airflow、Prefect等工具进行任务调度，并部署在云服务器或高性能计算集群上，实现7x24小时不间断的候选体搜寻。

5.3 科学验证与可解释性

AI模型是“黑箱”吗？在天文领域，我们不能完全信赖一个无法解释的预测。因此，对ExoNet进行科学验证和可解释性分析是必不可少的一环。

• 在已知天体上测试：用模型预测一批已确认的行星和已排除的仿凌星天体，看其准确率是否符合预期。这是最基本的验证。
• 发现新候选体：在TESS已观测但尚未被深入分析的数据上运行ExoNet，找出高概率的候选体。这是其核心价值所在。
• 后续观测确认：将ExoNet筛选出的顶级候选体提交给地面大型望远镜（如凯克望远镜、VLT）进行径向速度法或透射光谱法后续观测，这是最终极的验证。哪怕只确认了一颗新的系外行星，也证明了项目的巨大成功。
• 可解释性分析：使用梯度加权类激活映射或注意力权重可视化等技术，观察模型在做出“行星”判断时，主要关注光变曲线的哪个相位？它是否真的聚焦于凌星开始和结束的拐点？这些分析能增强天文学家对模型的信任，并可能反过来帮助人类发现之前忽略的数据特征。

6. 常见陷阱、挑战与未来展望

6.1 实操中遇到的典型问题与解决方案

问题现象	可能原因	排查与解决思路
模型训练损失不下降，准确率接近随机猜测	数据预处理错误，导致信号丢失；标签错误；模型架构存在严重缺陷（如梯度消失）。	1.可视化检查：随机抽取一批训练样本，人工查看预处理后的光变曲线，凌星信号是否清晰可见？ 2.简化问题：用一个极简的、只有几个神经元的网络在小型平衡数据集上测试，看能否过拟合。如果不能，问题很可能在数据或标签。 3.梯度检查：使用torch.autograd.grad检查关键层的梯度是否非零。
模型在训练集上表现很好，但在验证集上很差（过拟合）	模型复杂度过高，训练数据量不足或缺乏多样性；数据泄露（验证集和训练集数据未严格分离）。	1.增强正则化：加大Dropout率、权重衰减系数。 2.数据增强：引入更多样化、更符合物理实际的增强方式。 3.检查数据分割：确保训练集和验证集的目标恒星来自完全独立的天区或观测周期，避免“相似恒星”同时出现在两边。
模型召回率始终很低，漏检很多正样本	正样本数量太少，模型没有学到其关键特征；决策阈值设得过高；负样本中可能存在与正样本非常相似的“硬负例”。	1.重采样与损失函数：尝试对正样本过采样，或使用Focal Loss。 2.主动学习：用当前模型筛选出一批“高不确定性”的样本，请领域专家进行标注，加入训练集。 3.错误分析：仔细研究被模型漏检的正样本，看它们是否有共同特征（如信噪比极低、凌星形状不规则），针对性调整数据预处理或模型输入。
模型对某类恒星（如红矮星）的预测普遍偏差	训练数据中该类恒星的样本不足或质量不均，导致模型存在偏差。	1.分层分析：按恒星类型、亮度等分组评估模型性能。 2.针对性数据收集与增强：为该类恒星收集更多样本，或使用数据增强模拟该类恒星的数据特性。 3.考虑多任务学习或域自适应：让模型同时学习恒星分类任务，或使用技术减小不同恒星域之间的分布差异。

6.2 项目的局限性与未来方向

ExoNet代表了当前的一个强大工具，但它并非万能。

• 数据依赖性：其性能严重依赖于训练数据的质量和代表性。对于TESS数据中尚未充分表征的稀有行星类型（如长周期巨行星），其识别能力可能有限。
• 物理机理嵌入不足：当前模型更多是数据驱动的模式识别器，而非基于物理定律的推理机。未来的方向是开发物理信息神经网络，将开普勒定律、凌星方程等物理约束直接嵌入到模型架构或损失函数中，使预测结果更具物理可解释性。
• 多源数据融合：除了TESS，还有Kepler、CHEOPS、未来的PLATO等任务的数据，以及地面的径向速度观测数据。构建一个能融合多任务、多波段数据的统一模型，将是下一代系统的发展方向。
• 实时处理与流式学习：随着数据源源不断产生，模型需要能够进行在线学习和更新，以适应新发现的噪声模式或行星类型。

在我自己搭建和调试类似系统的过程中，最深的一点体会是：天文AI项目成功的关键，三分在模型，七分在数据。对数据本身的理解——噪声的来源、信号的特性、各类天体物理过程的表象——往往比尝试最花哨的神经网络架构更重要。花大量时间进行数据探索性分析和清洗，与领域专家紧密沟通以确保标签质量和问题定义准确，这些“脏活累活”最终决定了天花板的