llm-wiki-compiler工作流与Artifact系统进阶:构建跨会话持久化状态的多阶段知识流水线
【免费下载链接】llm-wiki-compilerThe knowledge compiler. Raw sources in, interlinked wiki out. Inspired by Karpathy's LLM Wiki pattern.项目地址: https://gitcode.com/gh_mirrors/ll/llm-wiki-compiler
llm-wiki-compiler 是一个开源知识编译器,能把论文、笔记、PDF 等原始资料编译成带引用的互联 Wiki。它的进阶能力在于工作流(Workflow)系统与Artifact 证据文件:把"导入→构思→实验→归档"这样的多阶段知识流水线写成配置,运行状态跨会话持久化,每个阶段产物用内容哈希锚定,保证任何时刻中断、重启都能精确接上。
演示动图:llm-wiki-compiler 从原始资料到编译 Wiki 的完整过程。
为什么需要多阶段知识流水线
普通的 Wiki 工具只关心"存页面",但真实的知识生产是有流程的:
- 实验没有结果文件,就不能标记为
complete - 稿件没有引用关系,就不能进入
submitted状态 - 新闻编辑流程要区分起草、编辑、归档、发布等阶段
llm-wiki-compiler 通过 可配置生命周期档案 CLP 把这些领域规则写进.llmwiki/profile.json——档案是数据,引擎逻辑保持通用。引擎读取档案后,在每次写入时强制执行阶段顺序、前置条件和信任门,绕过声明的写入会直接失败(fail-closed)。
工作流系统:把领域流程变成配置
工作流是配置而非代码:每个阶段(stage)声明它读取哪些实体类型、可写什么、产出哪些 Artifact、有哪些门禁。
一键启动并查看运行状态
llmwiki workflow list llmwiki workflow start research --input topic=attention llmwiki workflow status以 AutoSci 研究档案为例,research工作流依次经过论文导入、分类筛选、蒸馏、构思、实验设计、实验完成等阶段,完整声明见 src/profile/templates/builtin/autosci/workflows.ts。
跨会话持久化:中断后能精确续上
这是工作流系统最关键的设计:运行记录是持久化的,保存在项目的.llmwiki/目录下,跨多次命令调用保留——包括运行等待人工审批的中间状态。
- 每次命令都在本地执行,变更由项目锁串行化,无需编排服务
- 阶段未满足时,运行暂停停靠(parked),而不是丢失进度
- 换一台终端、隔天再来,
workflow status <run-id>仍能精确还原当前阶段
常用操作命令:
llmwiki workflow submit <run-id> --kind page --entity-type ideas --slug my-idea --body-file ./idea.md llmwiki workflow advance <run-id> # 阶段满足后推进 llmwiki workflow resume <run-id> # 恢复运行 llmwiki workflow cancel <run-id> # 取消运行submit支持四种产物类型:page(知识页面)、relation(关系边)、lifecycle-transition(生命周期状态迁移)、artifact(证据文件),每个输出都会对照活动档案校验,不满足契约的输出会被拒收。
Artifact 系统:内容哈希锚定的证据文件
Artifact 是档案声明的类型化文件,存放在 Wiki 页面之外的artifacts/目录,写入时自动哈希,页面通过哈希锚定的artifactRef字段引用它。
写一个 Artifact
LLMWIKI_TRUSTED_WRITE=autosci \ llmwiki artifact write \ --type experiment-result \ --slug attention-ablation \ --body-file ./result.json命令输出形如experiment-result/attention-ablation@sha256:4b7...的紧凑引用。注意:直接写入 Artifact 要求LLMWIKI_TRUSTED_WRITE授权,没有授权会在写任何字节之前拒绝。
用哈希引用把页面与证据绑定
--- title: Attention ablation stage: complete result: experiment-result/attention-ablation@sha256:4b7... ---当生命周期状态声明了Artifact 前置条件(如 AutoSci 的experiments进入complete需要健康的experiment-result引用)时,引用缺失、格式错误、类型不符、被篡改或不可读,写入都会失败关闭。验证命令llmwiki artifact verify只打印元数据与健康判定,绝不打印文件正文。
Artifact 的存储布局与校验逻辑:
artifacts/<artifact-type>/<slug>/<fileName> artifacts/<artifact-type>/<slug>/<fileName>.manifest.json信任门禁:多阶段流水线的安全底座
多阶段流水线最怕"某个阶段偷偷写入"。llm-wiki-compiler 的门禁分三类:
| 门禁 | 满足方式 | 作用 |
|---|---|---|
trust:信任门 | 设置LLMWIKI_TRUSTED_WRITE=<profileId> | 干净阶段写入才能自动生效,否则停靠 |
human:人工门 | 仅交互式确认路径 | --actor human参数被直接拒绝 |
| 审查队列 | review approve+ 内容哈希锚定 | 外部数据先暂存,批准后正文与审查时一致 |
授权只影响"写入是否立即生效",不能覆盖规划器拒收或隔离判定——这是流水线可审计的基础。
实战:AutoSci 研究流水线
完整的端到端示例见 AutoSci 研究工作流指南:
llmwiki template init autosci安装研究档案(论文、想法、实验、稿件等类型)llmwiki connector run crossref --input doi=...从 DOI 导入论文元数据,进入审查队列llmwiki workflow start research --input topic=attention启动多阶段运行- 各阶段
workflow submit提交想法页面、实验设计 llmwiki artifact write记录实验结果 Artifact,保存打印出的哈希引用- 实验页面携带锚定引用提交,前置条件全部满足后才被接受为
complete
进阶提示与常见疑问
- 工作流不是编排平台:官方定位为轻量本地层,运行记录跨会话保留,但不承诺自动重放中断的操作。需要分布式调度时,基于 SDK 自建协调器即可
- 运行完整性:档案变更会导致运行被阻塞,
workflow status只读检查且以非零码退出;workflow adapt --dry-run可预演档案适配 - 投影文件:
workflow project <run-id>在声明projectionFile时生成派生 Markdown 视图,不改变运行状态 - 源码阅读入口:工作流运行时实现在 src/workflows/,Artifact 契约与声明式档案定义在 src/profile/,CLI 参考见 docs/cli/workflow.mdx 与 docs/cli/artifact.mdx
用 llm-wiki-compiler 的工作流与 Artifact 系统,你可以把任何"多阶段、有证据、需审批"的知识生产流程——科研、编辑、内容运营——沉淀为一条可中断、可续跑、可审计的持久化流水线。
【免费下载链接】llm-wiki-compilerThe knowledge compiler. Raw sources in, interlinked wiki out. Inspired by Karpathy's LLM Wiki pattern.项目地址: https://gitcode.com/gh_mirrors/ll/llm-wiki-compiler
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考