简介：基于动态图神经网络的异常流量检测完整工程，面向计算机、数学与电子信息类专业学生及算法研究者，适合作为毕业设计、期末大作业或课程项目参考。项目以CIC2017数据集为对象，提供动态图构建、模型训练、测试与异常检测全流程的Python源码，并附带预训练模型、项目说明、详细注释及配套论文，可帮助读者快速理解DyGCN方法并直接复现或二次改造。压缩包共141个文件，涵盖60个py脚本、56个pyc编译文件、8个pt模型、CSV实验结果、JSON配置及VSIX、PDF说明等，整体约34.94MB，目录结构清晰，便于按模块提取使用。除主流程外，资源还包含训练日志、输出结果和说明文档，能从环境搭建到结果复现提供完整支持。已有267人学习下载，适合希望动手实践图神经网络与网络安全结合应用的读者深入学习。
1. 动态图神经网络做流量异常检测：从“网络切片”到“图嵌入”的完整工程笔记
异常流量检测这个方向，说起来很成熟，做起来却很别扭。传统方法停留在“特征 → 分类器”这条老路上，特征工程做得再好，也难以捕捉流量在时间维度上的演化关系。这份资源给出的是一个不一样的解法：把流量构造为动态图，用图神经网络学习节点的演化表征，再拿图嵌入结果做异常判别。它不是一个演示用的玩具，而是一条从数据预处理到模型训练、再到异常检测的完整链路，适合把“基于动态图神经网络的异常流量检测方法”当作毕业设计或课程设计主线的从业者，也适合那些已经跑通普通分类模型、想往图学习方向迁移的研究者。资源包里包含了源码、项目说明、注释、训练好的模型和论文，具备工程落地和学术参考的双重价值。接下来我按“图怎么建 → 模型怎么训 → 嵌入怎么用 → 踩过哪些坑”的逻辑，把整条链路拆开讲透。
2. 把流量构造成动态图：时序窗口、节点定义和图结构编码
2.1 为什么是动态图，而不是静态图
流量数据本质上是一个随时间变化的序列。某个 IP 在 10:00 发起大量 SYN 包，10:05 恢复平静，10:10 又发起畸形请求。这种时间维度上的行为变化，恰恰是异常流量的核心特征。如果把它压成一张静态图，10:00 的异常行为会被 10:05 的正常行为稀释掉，模型看到的只是一个平均状态，异常信号就丢了。
动态图与静态图的核心区别在于：图的结构（节点和边）会随时间的推进发生变化。流量数据正好适合这种建模方式——通信双方可以被看作节点，一次会话可以被看作一条边，边的属性可以携带流量特征。用一个滑动时间窗口切分数据，每个窗口内生成一张图快照，多个快照按时间顺序排列，就构成了一张动态图的演化序列。图神经网络在这个序列上学习节点的向量表示，比静态图多了一个时间维度的感知能力，对短时突发型异常更敏感。
2.2 常见的图构建做法与编码方式
把流量转成图，最自然的方案是“主机通信图”。源 IP 与目的 IP 之间每发生一次通信会话，就在两者之间连一条边。边的属性可以带上报文数量、字节数、协议类型等。
这里有一个设计决策：节点要不要包含端口维度。
把 IP 当作节点、协议当作边属性，图规模小，训练快，但粒度不够细。把 IP:Port 当作节点，能区分同一主机上的不同服务，但图规模会膨胀，训练耗时成倍增长。做异常检测，我一般会先跑 IP 粒度的小图，快速验证模型通路是否正常，再切到 IP:Port 粒度做精细检测。
在编码方面，节点特征不能只用一个 IP 字符串打进去。常见做法是统计每个节点在每个时间窗口内的聚合行为特征，比如发出的总报文数、接收的总字节数、连接失败次数等。这些统计量拼接成节点的初始特征向量。边的特征则可以直接使用报文的统计属性，也可以只保留连接结构，让模型自行学习边的隐含信息。这份资源的图构建模块比较灵活，支持自定义特征维度，对做毕设的同学来说，替换成自己的特征向量并不困难。
2.3 一份可操作的图构建脚本与参数说明
先看一段图构建和动态图切片的示意代码，这个思路和资源里DyGCN/data的处理逻辑是对齐的。
import pandas as pd import numpy as np from datetime import timedelta def build_dynamic_graphs(df, window_seconds=60, node_mode="ip"): """ 将原始流量日志切成多个时间窗口，每个窗口内构建一张图。 df: 包含 ts, src_ip, dst_ip, bytes 等列的 DataFrame node_mode: "ip" 或 "ipport" 返回: graphs = [(t_start, edge_list, feature_dict), ...] """ graphs = [] t_min, t_max = df["ts"].min(), df["ts"].max() current_start = t_min while current_start < t_max: t_end = current_start + timedelta(seconds=window_seconds) window_df = df[(df["ts"] >= current_start) & (df["ts"] < t_end)] # 节点映射：IP 粒度模式直接把 IP 字符串映射为整数 ID if node_mode == "ip": node_map = {} for ip in pd.concat([window_df["src_ip"], window_df["dst_ip"]]).unique(): if ip not in node_map: node_map[ip] = len(node_map) else: # IP:Port 粒度需要把 ip 和 port 拼起来再做映射 window_df["src_ipport"] = window_df["src_ip"] + ":" + window_df["src_port"].astype(str) window_df["dst_ipport"] = window_df["dst_ip"] + ":" + window_df["dst_port"].astype(str) node_map = {} for ipport in pd.concat([window_df["src_ipport"], window_df["dst_ipport"]]).unique(): if ipport not in node_map: node_map[ipport] = len(node_map) # 构建边列表和节点特征 # 这里按 src/dst 聚合统计每个节点的出度、入度和流量字节 edge_list = [] node_feats = {nid: [] for nid in node_map.values()} for _, row in window_df.iterrows(): src_id = node_map.get(row["src_ip"]) dst_id = node_map.get(row["dst_ip"]) if src_id is None or dst_id is None: continue edge_list.append((src_id, dst_id)) # 特征统计量：字节数、报文数、同步重传标志位 node_feats[src_id].append(row.get("bytes", 0)) node_feats[dst_id].append(row.get("packets", 0)) # 聚合特征：用均值 / 和 / 标准差组合，维度可自行扩展 feat_dim = 8 feature_matrix = np.zeros((len(node_map), feat_dim), dtype=np.float32) for nid, feats in node_feats.items(): if len(feats) > 0: feature_matrix[nid, 0] = np.mean(feats) feature_matrix[nid, 1] = np.sum(feats) feature_matrix[nid, 2] = len(feats) graphs.append((current_start, edge_list, feature_matrix)) current_start = t_end # 滑向下一个窗口 return graphs这段代码的核心逻辑是：先按时间窗口切分原始日志，再在每个窗口内把通信记录映射为图的边，同时用聚合统计量构造节点特征。需要注意三点。第一，window_seconds直接影响图的数量和每个图的规模，窗口越短图越多、每个图越稀疏，长连接会被切断；窗口越长图越少、每个图越稠密，短期突发异常会被掩盖。第二，node_mode切换 IP 与 IP:Port 粒度时，边列表规模和节点数会有量级变化，feat_dim需要和模型输入维度保持一致。第三，聚合操作里同时使用均值与和值是有意义的——均值反映平均行为，和值反映总体规模，两者组合能区分“持续低速扫描”和“集中爆发式洪泛”，这两种情况在流量行为上差异很大，不能只用其中一种特征。实际使用时应参考项目中数据集文件的格式，把自己的字段对齐到资源里的数据接口上。
3. 训练动态图卷积网络：命令拆解、超参数解读与收敛判断
3.1 训练入口与命令行参数拆解
资源里的模型训练用一条命令就能跑起来，这里逐段拆开分析。
python DyGCN/main.py --mode train --ck_path DyGCN/savedmodel/model.pt --embs_path DyGCN/data/graph_embs.pt --dataset data/cic2017--mode train指定运行阶段，训练阶段会执行前向传播、损失计算、反向传播和模型保存。--ck_path是 checkpoint 的保存位置，模型权重和优化器状态会被序列化到该路径。--embs_path是图嵌入结果的输出路径，训练完成后会把每个节点的向量表示写到这里，供后续异常检测模块读取。--dataset data/cic2017指向数据集根目录，代码内部会根据该路径寻找切分好的图快照文件。
需要特别说明的是embs_path这个参数。许多人不理解为什么训练阶段就要指定嵌入路径，这是因为动态图模型在训练完成后需要立即对所有节点执行一次推理，把最终的节点向量保存下来。如果缺失这一步，后面做异常检测时就得重新加载模型再跑一次全量推理，既费时间又容易因为数据加载顺序不一致导致向量错位。建议训练前就把这个路径规划好，避免后续检测阶段来回倒腾。
运行日志会打印每个 epoch 的损失值和验证指标。损失下降的过程中，图卷积层学到的节点表示逐渐能够区分正常节点和异常节点。训练完成后，savedmodel/model.pt和data/graph_embs.pt两个文件都会生成，可以立即进入下一步。
3.2 训练日志怎么看，怎么判断收敛
很多人训练模型时只看 loss 是否下降，这是不够的。动态图模型的损失下降曲线比静态图模型更“毛糙”一点，因为每个 epoch 的图快照都在变化，结构不同导致损失天然有波动。
判断收敛我一般看三个信号。第一，损失值在开始几个 epoch 内明显下降，然后进入一个稳定波动区间，波动幅度不再持续缩小。第二，验证集上如果配置了 AUC 或准确率指标，该指标不再显著提升。第三，保存下来的嵌入向量的分布趋于稳定——如果你把相邻两个 epoch 的嵌入算一下余弦相似度，会发现相似度逐渐接近 1。
如果训练了 50 个 epoch 损失还在持续下降，说明你的图构建或学习率设置有问题，常见原因是节点特征归一化没做好，导致模型在小特征和大特征之间来回震荡。如果损失从一开始就不降，优先排查图数据的稀疏性——窗口切得太短、每个快照只有几条边，模型几乎没有结构信息可以学习。
3.3 训练参数调整：学习率、窗口长度与图卷积层数
模型训练涉及几个关键参数的权衡。学习率设置太大，权重更新幅度过大，损失曲线会出现明显震荡；太小则收敛缓慢，训练周期被拉长。资源里没有对学习率做强制说明，我一般建议从1e-3起步，如果损失震荡就降到5e-4，如果收敛太慢就调到2e-3，这个范围是动态图模型的常用区间。
图卷积层数也是一个容易被忽略的参数。层数越深，每个节点能感知的邻居范围越大，但层数过深会产生过平滑问题——所有节点的表示趋于相似，异常节点被“平均化”掉。做流量异常检测，2 到 3 层图卷积基本够用，因为通信图中的一跳邻居已经包含了交互对象的直接特征，两跳邻居可以覆盖间接通信路径，不需要更深地扩展感受野。
窗口长度同样值得调整。资源默认的数据集是 cic2017，其中包含多种攻击场景，不同攻击的持续时间差异很大。越短时间的攻击对应越短的窗口更有识别优势，但短窗口会破坏长连接会话的完整性。一个更稳的做法是配置多个窗口长度并行训练，最后把所有窗口的嵌入拼接起来做检测，能在一定程度上兼顾短突发和长会话两类异常。下面的配置片段展示了一个常见的多窗口策略。
# 短窗口捕获突发性扫描行为，长窗口捕获低频慢速渗透 python DyGCN/main.py --mode train --window_size 30 --dataset data/cic2017 --ck_path savedmodel/model_30s.pt python DyGCN/main.py --mode train --window_size 120 --dataset data/cic2017 --ck_path savedmodel/model_120s.pt两个窗口的模型单独训练，然后使用嵌入拼接，而不是取平均。拼接比平均的信息量更大：短窗口嵌入对突发敏感，长窗口嵌入对持续行为敏感，两种信号互补，而且拼接后的维度只扩大一倍，对异常检测模块的额外开销很小。
4. 图嵌入的异常检测应用：从向量到判别分数的三条路径
4.1 图嵌入结果到底长什么样，能做什么
训练结束后，--embs_path指定的文件中保存了图中每个节点的低维向量表示。这些向量的物理含义可以这样理解：在原始的特征空间中，一个节点由统计特征向量描述；经过图卷积层聚合邻居信息后，它的表示变成了一种“融合了自身行为与邻居行为”的压缩向量。两个行为模式相近的节点，它们在嵌入空间中的距离会比较近。
异常检测的核心思路在于：正常节点的嵌入分布在嵌入空间中呈现聚集性，而异常节点的嵌入往往偏离这些聚簇。异常检测模块要做的事情，就是在嵌入空间中度量每个节点的“离群程度”。资源里的intrusion_detection.py正是基于这个原理工作的。
4.2 单类分类器与距离度量的选择
在嵌入空间上做异常检测，常见做法有几种。第一种是设置一个距离阈值，计算每个节点到嵌入空间中心的马氏距离，超过阈值即判定为异常。第二种是训练一个单类分类器，比如 One-Class SVM，用正常节点的嵌入拟合一个决策边界，边界之外的点视为异常。第三种思路是把嵌入向量当作特征，喂给一个简单的分类器，但这种方式需要标签，且泛化能力不如前两种好。
主流的做法有两种：用单类 SVM 直接拟合决策边界，或者用距离度量定义离群分数。两者对异常的定义稍有不同，单类 SVM 关注的是边界形状的复杂性，距离度量关注的是统计分布上的偏离程度。资源中提供了使用图嵌入结果的检测脚本，下面是一段常见的判别流程示意代码。
# intrusion_detection.py 的逻辑简化演示 # 加载图嵌入结果（已训练好的节点向量矩阵） embs = torch.load("DyGCN/data/graph_embs.pt", map_location="cpu") node_vectors = embs["node_embeddings"].numpy() # shape: [num_nodes, emb_dim] # 训练一个单类 SVM 作为异常判别器 from sklearn.svm import OneClassSVM clf = OneClassSVM(nu=0.05, kernel="rbf", gamma="scale") clf.fit(node_vectors) # 只使用正常节点的嵌入进行拟合 # 对全部节点做预测，-1 表示异常，1 表示正常 preds = clf.predict(node_vectors) anomaly_scores = clf.score_samples(node_vectors) # 得分越低越异常这里nu=0.05的含义是模型预期大约 5% 的数据为异常。这个参数在流量检测场景中设成固定值并不合适，不同时间段网络本身的异常率差异很大，实际使用时应该结合验证集的标注做调整。gamma="scale"是 RBF 核的自动缩放参数，它对嵌入向量的尺度不敏感，适合作为初始值使用。值得说清楚的是，这份资源里训练集本身的标签分布会影响模型拟合边界的方式，如果训练数据中包含异常样本，单类 SVM 可能把一部分异常也包进边界内，导致检测能力下降。因此，训练单类边界时最好只用标注明确的正常数据，或者在数据准备阶段把异常样本单独抽离，不作为边界拟合的输入。
4.3 阈值调整：不要迷信固定阈值
异常检测的输出通常是一个连续分数，而不是二分类结果。判断一个节点是否异常，本质上是在决策“阈值设在哪里”。这个阈值直接决定了误报率和漏报率的平衡。
一个常见的错误是只跑一遍脚本，把输出当作最终结果。更稳妥的做法是：先对验证集跑一遍，画出分数的分布曲线，观察正常节点和异常节点的分数是否存在明显的间隔带；再根据这个间隔带选择阈值。如果两类节点的分数重叠严重，说明嵌入质量还需要优化，问题不出在检测端，而出在图构建或模型训练端。
阈值到底怎么选，下面这段代码给出了一个可操作的示例：
import numpy as np # 从验证集获得正常与异常节点的嵌入分数 normal_scores = get_scores_for_valid("normal") anomaly_scores = get_scores_for_valid("anomaly") # 遍历候选阈值寻找 F1 最大点 best_th, best_f1 = -1e9, -1.0 for th in np.linspace(np.min(normal_scores), np.max(anomaly_scores), 200): preds = scores_data < th # 分数低于阈值判为异常 tp = ((preds == 1) & (anomaly_flag == 1)).sum() fp = ((preds == 1) & (anomaly_flag == 0)).sum() fn = ((preds == 0) & (anomaly_flag == 1)).sum() precision = tp / (tp + fp + 1e-9) recall = tp / (tp + fn + 1e-9) f1 = 2 * precision * recall / (precision + recall + 1e-9) if f1 > best_f1: best_f1, best_th = f1, th print("最佳阈值:", best_th, "最佳F1:", best_f1)在真实场景里，网络流量的分布随时间变化，同一个阈值在上午表现良好、晚上误报率可能翻倍。所以生产环境的系统通常不是设置一个固定的阈值，而是每隔一段时间重新统计嵌入分数的分布再自适应调整。对于毕设场景，固定阈值加验证集选参的方式就已经足够支撑实验结论，但如果想进一步提升说服力，可以在论文里加入一段关于阈值时效性的讨论，这也是一个不错的加分项。
5. 避坑：训练与检测阶段最常见的五个坑
5.1 图嵌入向量与节点顺序对不上
现象：检测阶段计算出来的异常节点列表，和流量日志中实际看到的 IP 对不上。
原因：图构建阶段对 IP 做字符串到整数 ID 的映射，不同窗口的节点映射可能是重新生成的，导致 ID 顺序不一致。模型的输出是按 ID 索引的嵌入向量，如果映射关系没有持久化保存，后续检测时无法把向量索引对应回 IP。
解决：项目需要一个统一的全局节点映射表，在第一批数据加载时就生成，之后所有窗口都复用同一份映射。针对这个问题，我习惯把映射表单独保存一份为 JSON 文件，检测时直接加载。
import json node_map = {"1.1.1.1": 0, "2.2.2.2": 1} with open("node_map.json", "w") as f: json.dump(node_map, f, indent=2) # 检测阶段加载 with open("node_map.json", "r") as f: node_map = json.load(f) # 反向映射：id -> ip id2ip = {v: k for k, v in node_map.items()}5.2 边权设置不合理导致中心节点掩盖异常
现象：检测结果把所有高流量节点全部判为正常，少量低流量异常节点反而被忽略。
原因：在图卷积的传播过程中，高流量节点拥有大量连接，聚合到的信息很多，嵌入表示被原有的统计特征主导。异常节点的行为特征相对较弱，在聚合过程中被“淹没”掉了。
解决：对节点的度做归一化处理，同时在损失函数里加入对低度节点的正则项，或者单独提升低度节点在异常分数计算中的权重。具体做法是把度数信息单独保存为一个特征通道，让模型可以感知节点的“活跃程度”，而不是默认所有节点地位平等。
5.3 训练损失下降但检测效果差
现象：训练过程一切正常，损失收敛良好，但异常检测的 F1 很低。
原因：损失函数优化的是节点表示的重建或分类准确率，这个目标和“嵌入空间的离群可区分性”并不是一回事。模型可能学到了某种对分类有利但对离群点不敏感的表示。
解决：在训练中引入对比学习的损失项，让模型显式地拉近相似节点的距离、推开不相似节点的距离。资源中没有包含这个模块，但其设计留出了扩展接口。做毕设的同学如果能在这里补充一个对比损失模块，论文的工作量会实打实地提升一个档次。
5.4 窗口重叠过多导致数据泄漏
现象：训练集验证集指标都非常高，但是在真实场景中新数据表现不佳。
原因：滑动窗口切分数据时，如果窗口重叠率过高，同一个节点的信息会同时出现在训练集和测试集里，模型实际上“见过”了测试数据。
解决：切分时必须保证训练集和测试集在时间轴上完全隔离，比如先用前 70% 时间段的流量做训练，再用后 30% 时间段做测试，任何节点的特征都不应该跨时间段泄露。这一点不仅是工程问题，更是论文评审时容易被问到的问题。数据切分要严格按照时间顺序来做，不能用随机打乱的方式。
5.5 显存不够时盲目减小 batch size
现象：模型跑到中途爆显存，于是不断调小 batch size，结果训练效果变差。
原因：动态图模型通常按时间窗口批量处理图快照，减小 batch size 意味着每个 batch 覆盖的时间范围变小，图结构信息变少，模型看到的局部结构完整性下降，收敛质量受损。
解决：优先减少图快照的批量拼接长度，而不是减少 batch 数量。可以尝试用梯度累积来模拟更大的 batch，保持每次参数更新前模型看到了足够多的图结构信息。下面是梯度累积的一个实现思路。
accumulation_steps = 4 optimizer.zero_grad() for i, (batch_data, target) in enumerate(train_loader): loss = model(batch_data, target) loss = loss / accumulation_steps loss.backward() if (i + 1) % accumulation_steps == 0: optimizer.step() optimizer.zero_grad()把损失除以累积步数再反向传播，相当于每 4 个 batch 才做一次真正的参数更新，视觉上保留了较大的“有效 batch”，内存占用却没有线性增长。对于显存有限的训练环境，这是一个性价比很高的技巧。
6. 把标签噪声变成超参数：一个提升检测鲁棒性的实战习惯
流量数据集的标签质量远不如图像数据集那么干净。一个 IP 被标记为“正常”，可能只是因为它在当时的采样窗口内没有触发规则引擎的关键告警，但它实际上已经在进行慢速的端口扫描。这类标签噪声如果直接塞给监督学习模型，会让模型学到错误边界。对于异常检测这种本身就不需要严格二分类标签的任务来说，更好的做法是不要一刀切地信任标签，而是把“标签可信度”作为一个可调节的处理手段。
我在复现这个项目时，把 CIC2017 数据集中所有标注为良性流量的样本按一定比例随机抽取，混入一个单独的“待判定”集合——这个集合不参与边界拟合，只在最终评估阶段作为辅助参考。这样可以观察模型误报的来源到底是嵌入空间的天然重叠，还是标签本身的污染。实验效果很明显：当我把训练数据中 20% 的“正常”样本标记为未知后，模型的精确率没有下降，召回率提升明显，因为那些隐藏的异常行为不再被当作正常样本去约束边界形状了。
具体到代码实现，就是在构造训练集时增加一个样本筛选逻辑，让数据加载器跳过一部分标签为“正常”的样本，或者给它们更低的权重。
# 给正常样本一个 0.8 的采样概率，保留一部分作为“不参与边界拟合”的样本 import random sample_p = 0.8 filtered_indices = [] for idx, label in enumerate(train_labels): if label == 0 and random.random() > sample_p: continue # 跳过这个正常样本 filtered_indices.append(idx) train_dataset = torch.utils.data.Subset(train_dataset, filtered_indices)标签噪声的处理对异常检测场景尤其关键，因为它直接决定了分类边界会不会被污染。从那以后，我每次在流量数据集上训练检测模型之前，都会先做一步“标签可信度评估”——统计正常样本和异常样本的比例、按时间段交叉验证标签稳定性、找出那些始终稳定标志异常的样本作为核心训练集。这些步骤看起来简单，但对检测效果的提升极有价值，远比调整模型结构参数来得快。这次复现资源里虽然没有直接提供这个“带噪标签采样”的模块，但数据加载器的代码结构清晰，新增这样一个过滤层只需要几十行代码。希望这篇文章能帮你少走几步弯路，把资源里的模型跑通、调好，做出属于自己的实验结果。
本文还有配套的精品资源，点击获取
