1. RAG 安全评测为什么需要 Claude Code 的提示词工程
RAG 安全评测这件事，本质上是在一个大型代码库里反复做三件容易失控的事：构造攻击样本、跑多模型对比、统计指标并复现。它和普通业务开发最大的区别在于，评测流程里既有昂贵的 API 调用，又有大量需要人工判断的中间结果，一旦让 AI 自由发挥，很容易出现改错核心逻辑、反复重试烧额度、上下文越聊越乱的情况。
Claude Code 在这里的价值，不是替你写一个函数，而是作为一个能读整个仓库、能执行命令、能按阶段推进的协作代理。但前提是你要把提示词和配置设计好。我试过在没有任何约束的情况下让它跑一个检索器消融实验，结果它自己改了 BM25 的 top_k 参数，还顺手把评测脚本里的模型列表替换成了它“觉得更合理”的几个，最后指标全对不上。
所以这篇内容聚焦的是：在 RAG 安全评测这个具体场景下，怎么用 Claude Code 的提示词模板、记忆文件、硬性约束和配置骨架，把一条可复现的评测链路搭起来。适合已经写过 RAG 流程、准备做安全评测、但被 AI 协作的不确定性折腾过的开发者。下面会给出可复制的 settings.json 与 config.toml 骨架、TaoToken 统一 Key 接入步骤、提示词模板，以及验证请求和常见报错排查。
2. TaoToken 前置：统一 Key 与 API 通道接入
在评测项目里，模型调用往往涉及多个来源，如果每个脚本各自读环境变量、各自拼 base_url，最后复现时最头疼的就是“这个 key 到底配在哪”。我的做法是用 TaoToken 作为统一通道，把模型对话、编码代理、评测脚本的调用都收敛到一套 Key 和一套 API 地址上，这样记忆文件里只需要记录一个变量名。
官网入口在这里：https://taotoken.net/?utm_source=taotoken_aicg_blog_end&utm_medium=csdn&utm_campaign=rewrite&utm_content= ，注册后在控制台创建 Key。API 基地址是 https://taotoken.net/api ，注意这个地址不带任何查询参数，脚本里直接写死即可。
接入分三步走。第一步，在控制台生成 API Key，建议按项目命名，比如saferag-eval，方便后面在记忆文件里对应。第二步，把 Key 写进环境变量，不要硬编码进仓库：
export TAOTOKEN_API_KEY="sk-你的key" export TAOTOKEN_BASE_URL="https://taotoken.net/api"第三步，在评测脚本里统一读取这两个变量。Python 侧可以这样封装一个客户端工厂，避免每个实验文件重复写：
import os from openai import OpenAI def build_client(): return OpenAI( api_key=os.environ["TAOTOKEN_API_KEY"], base_url=os.environ["TAOTOKEN_BASE_URL"], ) client = build_client() resp = client.chat.completions.create( model="claude-sonnet-4-20250514", messages=[{"role": "user", "content": "ping"}], temperature=0, ) print(resp.choices[0].message.content)这里把temperature固定为 0，是安全评测的基本要求，否则同一批攻击样本两次跑出来的命中率会有波动，复现就无从谈起。Key 管理页面在 https://taotoken.net/api-keys?utm_source=taotoken_aicg_blog_end&utm_medium=csdn&utm_campaign=rewrite&utm_content= ，接入文档在 https://taotoken.net/doc?utm_source=taotoken_aicg_blog_end&utm_medium=csdn&utm_campaign=rewrite&utm_content= ，遇到鉴权问题时对照文档里的请求头格式检查。
注意：评测脚本里所有模型调用都走同一个 base_url，这样切换模型只需要改 model 字段，不用动网络层代码，复现成本最低。
3. 可复制配置：settings.json 与 config.toml 骨架
Claude Code 的行为很大程度上由项目级配置决定。我习惯在仓库根目录放两个文件：一个是 Claude Code 自己的settings.json，控制权限和自动记忆；另一个是评测项目自己的config.toml，控制实验矩阵。两者职责分开，改评测参数不会影响代理权限。
先看settings.json骨架。核心是允许它读文件、跑测试命令，但禁止它执行全量评测脚本：
{ "permissions": { "allow": [ "Read", "Glob", "Grep", "Bash(python -c *)", "Bash(pytest *)", "Bash(bash test_suite.sh)" ], "deny": [ "Bash(python run_full_eval.py *)", "Bash(bash run_all.sh)", "Bash(curl *)" ] }, "autoMemory": true, "env": { "TAOTOKEN_BASE_URL": "https://taotoken.net/api" } }deny里把全量评测和run_all.sh挡掉，是因为这类脚本一跑就是几十分钟、消耗大量额度，必须由人手动触发。autoMemory打开后，对话里以#开头的内容会自动进入记忆，适合记录“Embedding 用本地 bge-base-zh-v1.5，禁止联网下载”这类硬规则。
再看config.toml，它描述评测矩阵本身：
[env] conda = "saferag" python = "/home/user/miniconda3/envs/saferag/bin/python" [api] base_url = "https://taotoken.net/api" key_env = "TAOTOKEN_API_KEY" temperature = 0.0 [models] ids = [ "claude-sonnet-4-20250514", "claude-haiku-4-20250514", "gpt-4o-mini" ] [retrievers] enabled = ["bm25", "dense", "hybrid"] top_k = 5 [attack] types = ["prompt_injection", "context_poisoning", "pii_leak"]这份配置的好处是，Claude Code 在实施阶段可以直接@config.toml引用它，不用你在提示词里反复口述模型列表和攻击类型。记忆文件里只需要写“模型 ID 以 config.toml 的 models.ids 为准”，就能避免它自己编造模型名。
4. 提示词模板与评测验证动作
配置就位后，真正决定成败的是提示词。我把 RAG 安全评测的提示词拆成四类模板，分别对应研究、实施、审查、验证四个阶段，每个模板都带明确的输入引用和输出约束。
研究阶段模板，用来锁定边界：
@config.toml @docs/attack_spec.md 任务：梳理本次安全评测的问题边界。 要求： 1. 列出 3 类攻击各自的判定标准，每条不超过 2 行。 2. 指出当前 config.toml 中缺失的字段，不要自行补充。 3. 输出到 research-summary.md，不要修改任何代码。实施阶段模板，用来约束改动范围：
@config.toml @src/retrievers/bm25.py 任务：为 BM25 检索器增加 top_k 参数校验。 硬性约束： - 只允许修改 src/retrievers/bm25.py。 - 禁止修改 config.toml 中的 models.ids。 - 禁止调用任何在线 API 做测试，用离线 mock。 完成后运行 pytest tests/test_bm25.py，展示结果后停止。审查阶段模板，用来做指标正确性检查：
@results/metrics.json @src/eval/metrics.py 任务：核对 metrics.json 中 attack_success_rate 的计算口径。 要求： 1. 逐行说明分子分母分别来自哪个字段。 2. 如果与 metrics.py 中的实现不一致，列出差异行号。 3. 不要修改文件，只输出审查结论。验证阶段模板，用来做最小化连通性测试：
@config.toml 任务：编写 verify_retrievers.py，验证 3 种检索器能否正常返回结果。 要求： - 每种检索器只跑 1 条 query，top_k=1。 - 使用离线索引，禁止联网。 - 输出格式：retriever_name -> ok/fail。 写完后运行一次，展示输出，然后停止。这四类模板的共同点是：都显式@引用了具体文件，都规定了“做完就停”，都禁止了自动重试。实测下来，光是把“禁止自动重试、失败就展示完整错误前 15 行”写进提示词，就能省掉大量排查时间。
验证动作本身也要可复现。我通常先跑一个最小请求确认通道通，再跑检索器连通性，最后才跑单条攻击样本。最小请求可以直接用模型对话页面手动发一条，确认 Key 有效：https://taotoken.net/models?utm_source=taotoken_aicg_blog_end&utm_medium=csdn&utm_campaign=rewrite&utm_content= 。如果要在脚本里验证，就用第 2 节那段 Python 代码，看到返回内容即说明通道正常。
5. 本篇常见错排查
第一个高频错误是鉴权失败，报 401。多数情况是环境变量没导出，或者脚本里读的是旧变量名。排查顺序：先echo $TAOTOKEN_API_KEY确认非空，再确认 base_url 写的是https://taotoken.net/api而不是带/v1的变体。如果 Key 是在别的项目里复用的，去 https://taotoken.net/api-keys?utm_source=taotoken_aicg_blog_end&utm_medium=csdn&utm_campaign=rewrite&utm_content= 确认它没被禁用。
第二个错误是模型名不存在，报 404 或 model not found。这通常是因为 Claude Code 在实施阶段自己“猜”了一个模型 ID。解决办法是在记忆文件里写死“模型 ID 只能来自 config.toml 的 models.ids，禁止自行推断”，并在提示词里@config.toml。如果确实需要新增模型，先去模型对话页面确认可用名称。
第三个错误是评测结果不可复现，两次跑出来 attack_success_rate 差很多。先检查 temperature 是否为 0，再检查检索器是否用了随机采样。BM25 本身确定，但 dense 检索如果索引没固定，结果会漂。建议在 config.toml 里固定 top_k 和索引路径，并在记忆文件里注明“索引文件只读”。
第四个错误是 Claude Code 陷入死循环，反复改同一个文件。这时候按 Escape 中断，然后开新会话，把当前状态提炼成一段提示词重新粘贴。不要用/compact硬撑，上下文里混着失败尝试反而更容易让它走捷径。如果项目进入全新阶段，直接/clear更干净。
第五个错误是权限被拒，脚本跑不起来。检查 settings.json 的allow列表里有没有对应的 Bash 模式，比如Bash(pytest *)只匹配 pytest 开头的命令，python verify_retrievers.py需要单独加Bash(python verify_retrievers.py)。deny 优先级高于 allow，确认没把要跑的命令误加进 deny。
6. 长期编码与 Agent 场景的接入建议
如果你不只是做一次性评测，而是要把 Claude Code 长期用在 RAG 安全评测的迭代上，建议把编码代理的调用也收敛到同一套通道。Coding Plan 适合这种持续性的仓库级协作，入口在 https://taotoken.net/coding-plan?utm_source=taotoken_aicg_blog_end&utm_medium=csdn&utm_campaign=rewrite&utm_content= ，它和评测脚本共用同一个 Key，记忆文件里只需要维护一份环境说明。
控制台里可以按项目拆分 Key，评测用一个、日常编码用一个，这样某个 Key 额度异常时不会互相影响：https://taotoken.net/console?utm_source=taotoken_aicg_blog_end&utm_medium=csdn&utm_campaign=rewrite&utm_content= 。Claude Code 侧的 Anthropic 兼容接入说明在 https://taotoken.net/doc/claudecode-anthropic?utm_source=taotoken_aicg_blog_end&utm_medium=csdn&utm_campaign=rewrite&utm_content= ，配置时把 base_url 指向统一地址即可。
最后留一个我踩过的坑：记忆文件不要写太长，超过一屏后 Claude Code 反而会忽略中间部分。把环境、模型列表、禁令三块压到 30 行以内，其余细节靠@引用具体文件，比一股脑塞进记忆更有效。
