news 2026/9/27 22:51:35

139、LangSmith评估与监控实战

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
139、LangSmith评估与监控实战

139、LangSmith评估与监控实战

昨天凌晨两点,客服机器人突然开始胡言乱语。我们没发过代码,没动过Prompt模板,唯一变化的是后端模型供应商悄悄把GPT-4换成了GPT-4-Turbo,这事他们不主动公告。用户投诉截图里,机器人把“退款”理解成了“退货”,还自作主张给用户发了个优惠券。我第一反应是查日志,但传统日志里只有HTTP状态码和延迟,根本看不出模型内部发生了什么。直到把聊天记录扔进LangSmith,才发现问题链:某个Tool节点的输入居然是上一轮的残缺token,LLM在中间层就把意图分类错了。那篇文章就是来聊LangSmith怎么在真实项目里帮你把这种脏水捞干净。

先别急着写评估,把追踪打开

LangSmith最值钱的东西不是你写的那几行评测函数,而是它默认给你埋好的追踪(Trace)。每个Chain/Agent的调用都会自动记录输入输出、Token消耗、延迟、模型ID,甚至包括工具调用的每一步参数。你不需要额外插桩,只要在初始化LangChain时设置好环境变量:

importosfromlangsmithimportClient os.environ[
版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/9/27 22:50:31

Java 程序员第 49 阶段5:BERT 预训练目标 MLM+NSP 的工程含义

1. 为什么「BERT 预训练目标 MLMNSP 的工程含义」值得 Java 工程师专门吃透 在大模型工程落地里,这个话题绕不开。很多 Java 同学刚接触时容易只看结论、不究原理,一旦线上出问题就无从下手。先把「为什么重要」说清楚,后面才好理解它怎么用。…

作者头像 李华
网站建设 2026/9/27 22:49:28

第 8 篇:注意力到底是什么(零门槛入门系列)

一句话导读:注意力(attention)不神秘,它就是"每个词按相关度,对其它词做一次加权平均":先算像不像,再把分数归一化成一组比例,最后按比例把历史信息混起来。 关键词&…

作者头像 李华
网站建设 2026/9/27 22:48:19

PLC编程必学!S7-1200定时器指令用法,一篇讲透TP/TON/TOF/TONR

做工控PLC编程,延时启动、定时停机、脉冲触发、设备累计计时这些功能,90%都要靠定时器实现。可以说,定时器是西门子S7-1200 PLC编程的核心指令,也是新手入门必须吃透的基础内容。很多刚接触S7-1200的朋友,总是分不清TP…

作者头像 李华
网站建设 2026/9/27 22:47:41

static 的五种含义:同一个关键字,五种不同的事

static 大概是 C 里最「身兼数职」的关键字:放在函数里的局部变量前、放在全局变量前、放在类成员前,意思全不一样,新手极易混淆。但万变不离其宗——它要么改变存储期(storage duration,变量活多久)&#…

作者头像 李华
网站建设 2026/9/27 22:46:42

VsCode 前端常用快捷键:用 TaoToken 统一 Key 打通 AI 补全配置

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

作者头像 李华