先说结论：AI 大模型正在把传统 CTF 题目从“能力检验”变成“查表题”。“Web 手查报错、逆向手调模拟器、密码学手跑脚本”的流程，越来越容易被大模型快速替代。那 CTF 还有存在的必要吗？我的看法是：有，但形式必须变。未来更值得探索的方向不是“禁止 AI 参赛”，而是把竞赛设计成一种研究退隐（Research Retreat）——选手从短平快的刷题节奏中退出来，进入更接近真实研究过程的深水区。这篇文章会梳理 AI 对 CTF 的三重冲击、解释为什么“后 AI 竞赛格式”更像研究训练场，再给出一套可落地的题目类型、环境要求和评分草案。
内容面向三类读者：经常打 CTF 的学生和战队、负责 CTF 出题与平台运营的赛事组织者、以及研究 AI 安全和大模型攻防的技术人员。你可以把本文当作一次“赛制设计讨论稿”，而不是某个已经上线的比赛公告。
1. 核心能力速览
这里先把“Post-AI CTF Format”这个设想整理成一张速览表。它不是一个具体的开源项目或工具，而是一套竞赛格式设计方案，所以表格里的项目类型会和其他工具型博文不同。
| 能力项 | 说明 |
|---|---|
| 项目类型 | 网络安全竞赛格式 / 赛制设计草案 |
| 核心问题 | 传统 CTF 题目被 AI 大量自动化解决后，竞赛如何重新定义 |
| 场景定位 | 面向 CTF 选手、赛事组织者、AI 安全研究人员 |
| 核心手段 | 人机协作、AI 对抗任务、研究型开放题目、可复现验证 |
| 是否需要 GPU | 竞赛组织者可选用；选手本地推理可选 |
| 是否支持 API | 比赛环境本身可作为 API 服务平台 |
| 是否支持批量任务 | 题目生成与自动验证阶段支持批量 |
| 适合读者 | 学生战队、安全工程师、AI 安全研究者、CTF 平台运营者 |
| 与传统 CTF 差异 | 从“固定 flag 短时间解题”转向“研究推理 + 可复现报告” |
| 主要风险 | 算力不对等、AI 代答判定难、题目稳定性难保证 |
2. AI 对传统 CTF 的三重冲击
如果你近一年还在打 CTF，应该能明显感受到大模型带来的变化。这种变化不是舆论层面的“AI 会不会取代黑客”，而是实打实出现在解题环节里的。
2.1 第一重冲击：常见 Web 和逆向题目被 AI “秒杀”
很多基础漏洞题，本质上是“知识检索 + 模式匹配”。比如一段存在命令注入的 PHP 代码，传统选手需要理解参数传递、拼接逻辑和过滤绕过，但大模型可以直接给出 payload 并解释原因。Misc 类题目里的编码转换、LSB 隐写、压缩包伪加密，AI 也能快速生成处理脚本。
这导致一个尴尬局面：题目难度如果停留在“中等偏下”，人类选手还没读完题，AI 已经把 flag 交了。
2.2 第二重冲击：AI 成为解题辅助 Agent
更关键的是，即使选手不使用“AI 一键交 flag”，也会把大模型当搜索增强工具。过去查 CVE 需要翻文档、找 PoC、调试环境，现在可以直接让 AI 给出复现步骤。再进一步，基于 ReAct 范式的 AI Agent 可以调用终端、端口扫描器、SQLMap、Burp Suite 的 API，把“人工分析 + 写脚本”压缩成“描述目标 + 校验结果”。
这意味着，选手个人能力中的一部分“工具链熟练度”，正在被标准化为 AI Agent 的能力。
2.3 第三重冲击：AI 可以自动生成题目
传统的出题过程依赖出题人的经验与审美。有的题目是真实漏洞的简化，有的题目是脑洞题。现在出题人可以用大模型批量生成相似题目，也可以让模型辅助构造绕过逻辑。题目数量不再稀缺，稀缺的是题目的“有效区分度”。
于是，竞赛需要重新回答两个问题：
- 既然 AI 能解题，我们到底在考什么？
- 既然 AI 能出题，我们如何保证题目可信？
3. 为什么叫“Post-AI CTF”和“Research Retreat”
“Post-AI”不是说 AI 已经退役，而是指“大模型已经普及到 CTF 各个环节”之后的新阶段。在这个阶段，竞赛的任务目标应该从“找到预置 flag”转向“完成具有研究性质的安全任务”。
“Research Retreat”这个说法，直译是“研究退隐”或“研究静修”。它表达的是一种节奏与目标的变化：选手不再被限定在 48 小时、几百道题、越快越好的高压状态，而是在更长的周期里，围绕一个复杂主题做深度的分析、设计、攻击与防御，并提交可复现的结果。
从“CTF”到“Research Retreat”，本质上有四个转变。
| 传统 CTF | Post-AI CTF / Research Retreat |
|---|---|
| 短时间高强度，以解题速度为主要排名依据 | 中长周期，研究深度与完成度参与评分 |
| 结果高度确定，有固定 flag | 结果开放，强调方法、过程与可复现性 |
| 考核工具链掌握与即兴反应 | 考核问题定义、方案设计与工程实现 |
| 避免选手合作，防止抄袭 | 鼓励团队协作，要求公开透明记录工作流 |
需要强调一点：这不是说传统 CTF 应该消失。而是说，在 AI 大量替代基础解题能力之后，更高维度的能力需要新的载体。Post-AI CTF 正好可以承担这个载体。
4. 这类竞赛适合谁，不适合谁
如果你在考虑把这种新形式落地，第一件事是确认自己的目标人群和边界。
4.1 适合谁来参加
- 高校安全战队：成员有较好的技术基础，愿意在一道题上投入几天而不是几小时。
- AI 安全研究者：关注大模型自身的安全性，包括提示注入、越狱、后门、数据投毒。
- 安全研发工程师：熟悉漏洞利用、逆向工程、代码审计，希望探索 AI 辅助工具链的边界。
- CTF 出题人和平台运营者：需要思考赛制创新和防作弊策略。
4.2 不适合什么场景
- 新手入门第一场比赛：Post-AI CTF 的基础门槛比传统 CTF 高，新人会感到挫败。
- 强调秒杀和脑洞的娱乐赛：这类赛事的核心是趣味，不适合被研究型任务替代。
- 缺乏合规授权的攻防靶场：任何涉及真实系统、真实域名或第三方资产的测试，都必须先确认授权范围。这一点在本文最后一部分还会强调。
5. 一套可落地的 Post-AI CTF 格式草案
下面给出一套可供赛事组织者参考的格式草案。它不是唯一方案，但体现了“研究型任务 + 可复现报告 + 人机协作”的基本框架。
5.1 比赛阶段设计
建议把比赛分为三个阶段，总时长 5 到 14 天，避免 48 小时疲劳战：
| 阶段 | 时长建议 | 核心内容 | 提交物 |
|---|---|---|---|
| 前期挑战 | 第 1-2 天 | 高难度定向题目，筛选基本能力 | flag 提交 |
| 研究阶段 | 第 3-10 天 | 开放研究型任务，团队选择方向 | 技术报告 + 工具代码 |
| 复盘答辩 | 第 11-14 天 | 线上或线下答辩，评审质询 | 演示材料 + 复现说明 |
5.2 题型分类
传统 CTF 通常分为 Web、Pwn、Reverse、Crypto、Misc。Post-AI CTF 建议保留这些分类，但同时增加 AI 安全方向。这里给出一个更贴近“研究性质”的题型设想：
- 漏洞利用自动化与验证
- AI Agent 攻防
- 大模型提示注入
- 安全工具链评测
- 恶意代码分析与报告
每种题型都可以设计为“开放研究任务”，而不是“在特定环境里找到某个字符串”。
5.3 题目描述的 JSON 示例
为了让题目定义更标准化，可以设计一个 JSON 结构。这里给出一个简化示例：
{ "task_id": "postai-2025-001", "title": "构建一个可复现的提示注入检测器", "category": "ai-security", "type": "open-research", "description": "给定一组提示注入测试用例，设计并实现一个检测器，要求输出检测置信度与失败案例分析。", "input_files": [ "./datasets/prompt_injection_testset.jsonl" ], "allowed_resources": [ "open_source_model", "public_api_with_authorization" ], "evaluation": { "metric": "precision_recall_f1", "reproducibility": "same_env_rebuild" }, "submission": { "report": "markdown", "code_repo": "git", "model_card": "optional" } }这个 JSON 对选手的作用有两个：一是扫一眼就知道任务边界，二是明确知道评估指标，避免“题做完了不知道写什么”。
6. 技术环境与竞赛平台选型
Post-AI CTF 对环境的要求比传统 CTF 高。它不仅要提供题目容器，还要提供选手可用的训练、推理与调试环境。
6.1 平台基础设施建议
- 题目分发与管理：可以使用 CTFd 或自建平台，建议支持动态 flag 和容器隔离。
- 选手计算资源：如果比赛允许选手使用大模型进行辅助分析，平台需要准备 GPU 队列，或者允许选手自带 API Key。
- 沙箱与隔离：所有靶机环境建议放在 Docker 或 Kubernetes 中，避免选手通过真实漏洞影响平台自身。
- 日志可审计：AI Agent 的调用、命令行操作和网络流量应被记录，方便赛后复核和防作弊。
6.2 选手本地环境
从选手角度，推荐准备 Linux 环境、Docker、Python 3.10+，以及至少一块支持 CUDA 的显卡。如果只做分析不训练模型，16G 内存的 CPU 机器也可以完成大部分任务。这里给出一个最小工具清单：
# 常用工具，按需安装 sudo apt update sudo apt install -y docker.io docker-compose git curl jq python3-pip pip install requests openai torch transformers datasets注意：使用任何第三方大模型 API 时，必须确认服务提供方的条款允许你把这些请求用于竞赛场景，并且不要在未授权的情况下将靶场数据发送到外部服务。
6.3 代码仓库与报告模板
建议平台预先提供一个研究报告模板，包含以下章节：
- 背景与问题定义
- 方法设计与实现
- 实验设置与复现步骤
- 结果与局限性
- 安全与合规说明
这看起来像“写论文”，但对安全工程师来说，这种能力并不多余。一个漏洞利用建议如果不带复现环境和边界说明，研发团队根本没法定级和修复。
7. AI 辅助解题的 Pipeline 设计
如果你想提前体验“Post-AI CTF”的节奏，可以自己在本地搭一套 AI 辅助解题流程。下面给出一个通用 Pipeline，它包含题目下载、智能体分析、人工验证和结果输出四个环节。
import subprocess import json from pathlib import Path def run_command(command: str, timeout: int = 60): result = subprocess.run( command, shell=True, capture_output=True, text=True, timeout=timeout ) return { "stdout": result.stdout, "stderr": result.stderr } def analyze_task_with_llm(task_desc: str, code_snippet: str, api_key: str): # 这里使用 requests 调用任意兼容 OpenAI 格式的大模型服务 import requests resp = requests.post( url="https://your-api-endpoint/v1/chat/completions", headers={"Authorization": f"Bearer {api_key}"}, json={ "model": "your-model-name", "messages": [ { "role": "system", "content": "你是一个 CTF 解题助手，只能给出分析思路与命令建议，不能直接声称已拿到结果。" }, { "role": "user", "content": f"任务描述：{task_desc}\n代码片段：{code_snippet}" } ], "temperature": 0.2 }, timeout=120 ) data = resp.json() return data["choices"][0]["message"]["content"] if __name__ == "__main__": task_desc = "分析目标二进制中的缓冲区溢出位置并给出利用思路" code_snippet = Path("./sample.c").read_text() if Path("./sample.c").exists() else "no source" api_key = "replace-with-your-key" suggestion = analyze_task_with_llm(task_desc, code_snippet, api_key) print("AI 建议：") print(suggestion) print("\n请人工验证后再执行任何命令。")这个示例演示了一个关键原则：AI 给出的是思路，人类负责验证与决策。在真实攻防和竞赛中，直接无脑执行 AI 生成命令是很危险的。
8. 评分标准与防作弊思路
Post-AI CTF 最容易引起争议的就是评分。传统 CTF 以 flag 提交时间排名，客观清晰；但开放研究任务很难自动化打分。这里给出一套组合评分方案供参考。
8.1 评分维度
| 评分维度 | 权重建议 | 考察点 |
|---|---|---|
| 问题定义能力 | 15% | 是否准确描述了任务边界与难点 |
| 方法正确性 | 30% | 技术方案是否合理，是否误用漏洞或模型 |
| 实现完整性 | 25% | 代码是否可运行，是否处理了边界情况 |
| 实验可复现性 | 20% | 环境配置、数据和命令是否完整 |
| 合规与伦理 | 10% | 是否明确授权范围，是否越权测试 |
8.2 如何减少 AI 代答
- 阶段一仍保留少量传统题型，用于建立成绩基线。
- 研究阶段要求每个团队保留操作日志与决策记录。
- 答辩时随机抽取报告片段，让选手现场复现思路。
- 提供“AI 使用声明”选项，允许团队明确说明使用了哪些大模型工具。
这里要说明：Post-AI CTF 不追求“完全禁用 AI”，而是追求“AI 使用透明”。隐瞒 AI 使用比使用 AI 更影响竞赛公平。
9. 资源占用与性能观察方法
如果是研究型竞赛涉及模型推理和微调，资源规划就是重点。不要只是买几块 GPU 然后等开赛，建议先在平台侧做一轮容量估算。
| 观察点 | 工具 | 说明 |
|---|---|---|
| GPU 显存占用 | nvidia-smi | 推理和微调任务实时监控 |
| 容器 CPU 使用 | docker stats | 判断靶机是否被滥用 |
| 网络流量 | tcpdump / zeek | 发现未授权外传数据 |
| 存储增长 | df -h / du | 限制选手镜像大小，防止磁盘打满 |
这里不给出具体显存数字，因为不同任务差异很大。但有一条通用原则：平台在发题之前，应该用最低配置机器完整跑通一遍每道题，记录显存、内存和耗时，作为选手提交环境配置的参考依据。
10. 常见问题与排查方法
Post-AI CTF 作为一种新赛制，组织和参赛过程中会遇到大量实际问题。这里列一些典型问题，并给出排查思路。
| 问题现象 | 可能原因 | 排查方式 | 解决方案 |
|---|---|---|---|
| 选手任务报告雷同 | 过度依赖同一个大模型生成模板 | 对比提交报告结构，检查日志 | 鼓励提交完整工程代码和实验记录 |
| 靶机被选手拿下后造成横向渗透 | 环境隔离不足 | 检查 Kubernetes 网络策略 | 每个题独立 namespace，限制出网 |
| AI Agent 频繁调用外部 API 产生高费用 | 选手未设置调用配额 | 查看 API 网关日志 | 平台统一代理 API Key，设置日配额 |
| 题目在选手环境中无法复现 | 平台环境与题目依赖不一致 | 对比 Dockerfile 和选手描述 | 要求题目必须提供标准镜像 |
| 答辩时选手无法解释代码 | 代码由 AI 生成且未理解 | 随机抽问核心函数原理 | 评分提高可解释性权重 |
11. 最佳实践与使用建议
下面这些建议，无论是参赛还是办赛，都值得先记下来。
11.1 首次尝试的团队
- 从“单题研究”开始：不要一开始就组织 14 天大型竞赛，先拿一个开放题目做 48 小时小规模测试。
- 保留传统 CTF 基础能力训练：Post-AI CTF 不是基础训练替代品，没有 Web、Pwn、Reverse 基础，直接做研究型任务会非常吃力。
- 明确记录 AI 使用过程：包括用了哪个模型、输入了什么命令、如何验证输出。这不仅是比赛要求，也是工程规范。
11.2 赛事组织者
- 赛前内部实测：所有任务都要由非出题人跑一遍，验证时间、资源和难度。
- 设计重复率检测：报告相似度低不等于没有合作，但不能完全不看。
- 提供离线数据包：选手无法联网时，也需要有基本分析材料。
- 合规优先：所有靶场环境使用自建资产或已授权资产，不用真实域名、真实个人数据和未授权系统。
11.3 合规与授权提醒
这一段必须单独强调。无论 AI 多强、赛制多新颖，有一些红线不能碰：
- 未经授权不得对第三方系统进行扫描、探测、利用。
- 不得使用 AI 工具批量生成针对真实目标的攻击载荷。
- 涉及人脸、声音、个人数据时，必须获得明确授权。
- 比赛靶场内的数据要模拟或脱敏，不得直接投放真实用户数据。
- 选手和出题人都要签署行为承诺，明确违规后果。
12. 未来的方向与小结
Post-AI CTF 这类形式的吸引力，不是因为它更能“难住选手”，而是因为它把竞赛从“做题”拉回“研究”。传统 CTF 像短跑，拼爆发力；Post-AI CTF 更像课题制，拼问题定义、系统设计和可复现交付。
最值得先尝试的，不是把整套赛制全改掉，而是挑一个方向做试点。比如在原有 CTF 后面加一道开放研究题，让选手在一个月内提交分析报告和利用验证脚本。这样既能保持传统 CTF 的紧张刺激，又能测试“研究型评价”在防作弊、评分、平台负载上的表现。
最容易踩的坑有三个：一是把开放题做成了“写作文”，没有工程验证；二是忽视了算力差异，导致富机器碾压；三是缺少合规边界，把比赛变成真实渗透测试。这三个坑，只要在设计赛制时留一个心眼，都能避免。
如果这篇文章对你有启发，建议收藏备用，下次办赛或备赛的时候直接拿来做参考。后续可以继续扩展的方向包括：AI 自动出题与人工审核结合、基于大模型的多智能体攻防对抗、以及比赛成果向安全研究论文或工具库转化。
Post-AI CTF 不一定要成为替代品，它可以成为 CTF 社区里的一块“研究飞地”。传统比赛的肾上腺素不该消失，但深度研究带来的长期价值，同样值得被认真对待。
