Kotaemon支持问答过程录屏回放，便于复盘分析

Kotaemon支持问答过程录屏回放，便于复盘分析

在远程协作日益频繁、人机交互愈发复杂的今天，一个AI系统的“聪明”程度，早已不能只靠回答是否准确来衡量。真正决定体验上限的，往往是那些隐藏在对话背后的细节：用户是怎么一步步提出问题的？是在哪一刻表现出困惑的？系统响应后，用户的操作路径是否发生了变化？

这些看似微小的行为轨迹，恰恰是优化服务、提升智能的核心线索。Kotaemon作为新一代智能化问答平台，没有止步于“答得对”，而是进一步实现了“看得清”——通过问答全过程录屏回放功能，将每一次交互还原成可追溯、可分析、可迭代的完整故事。

这不只是加了个录像按钮那么简单。从屏幕捕捉到事件同步，再到高效回放与安全存储，背后是一整套融合前端能力、时间系统设计和云架构协同的技术体系。接下来，我们就拆开来看，这套机制是如何让“看不见的交互”变得清晰可见的。

录屏引擎：让每一次提问都有迹可循

要记录整个问答过程，第一步就是把画面和声音可靠地捕获下来。Kotaemon采用的是基于现代浏览器标准的混合方案：WebRTC + MediaRecorder API，兼顾兼容性与性能。

当用户点击“开始录制”时，系统会调用navigator.mediaDevices.getDisplayMedia()请求共享屏幕权限。一旦授权成功，就能拿到包含视频帧和音频流的媒体流对象（MediaStream）。这个过程不需要安装插件，也不依赖特定客户端，在主流浏览器中即可运行。

紧接着，MediaRecorder接口接管数据流，按设定格式进行编码打包。我们默认使用video/webm; codecs=vp8,opus这一组合，既保证了音画同步，又能在大多数设备上顺畅播放。分片策略设为每秒生成一个数据块，避免长时间录制导致内存溢出。

对于 Electron 或 Qt 构建的桌面应用，则直接调用操作系统提供的图形捕获接口，比如 Windows 的 Graphics Capture API 或 macOS 的 AVFoundation 框架。这类原生方式效率更高，支持窗口级选择、光标捕获甚至 GPU 加速渲染，适合对画质要求更高的专业场景。

整个采集链路的设计目标很明确：低延迟、高保真、轻负担。实际测试中，帧率稳定在 30fps，音频采样达 48kHz，足以清晰还原操作细节。同时引入自适应码率控制，根据网络状况动态调整比特率（500kbps ~ 2Mbps），在网络波动时自动降码率保流畅，带宽恢复后再提升画质。

安全性也贯穿始终。所有录屏行为必须由用户主动触发并授权；敏感区域如密码输入框会在录制前自动遮蔽；传输全程启用 TLS 加密，落地存储则使用 AES-265 加密，确保数据不被滥用或泄露。

下面是一段典型的浏览器端启动逻辑：

async function startRecording() { try { const stream = await navigator.mediaDevices.getDisplayMedia({ video: true, audio: true }); const mediaRecorder = new MediaRecorder(stream, { mimeType: 'video/webm; codecs=vp8,opus', videoBitsPerSecond: 1500000 }); const chunks = []; mediaRecorder.ondataavailable = event => { if (event.data.size > 0) { chunks.push(event.data); } }; mediaRecorder.onstop = () => { const blob = new Blob(chunks, { type: 'video/webm' }); uploadRecording(blob); }; mediaRecorder.start(1000); return mediaRecorder; } catch (err) { console.error("录屏权限拒绝或设备错误:", err); throw err; } }

这段代码虽短，却涵盖了权限申请、流配置、分片收集和上传处理等关键环节。尤其是start(1000)设置的时间间隔，有效防止了大文件一次性加载带来的内存压力，是保障稳定性的重要细节。

时间轴同步：把“做了什么”精准锚定在“什么时候”

光有视频还不够。一段没人说话的画面，就像没有注释的代码，很难快速理解发生了什么。真正的价值在于——你能清楚知道，在第几分几秒，用户提了什么问题，AI又是何时做出回应的。

为此，Kotaemon构建了一套毫秒级对齐的时间同步机制。核心思路是：统一时钟基准 + 结构化事件注入。

所有客户端和服务端均通过 NTP 协议校准时钟，确保全局时间误差控制在 ±50ms 以内。每当发生关键动作——例如用户发送消息、AI完成推理、页面跳转或按钮点击——前端就会生成一条带 UTC 时间戳的事件日志，并异步上报至后端。

服务端收到这些事件后，将其与对应的录屏文件关联，建立基于偏移量的索引表。比如某条“用户提问”事件发生在2025-04-05T10:23:45.120Z，而视频起始时间为2025-04-05T10:23:36.400Z，那么它在视频中的相对位置就是8720ms。

最终形成的数据结构如下：

{ "timestamp": "2025-04-05T10:23:45.120Z", "video_offset_ms": 8720, "type": "user_question", "content": "如何重置密码？", "metadata": { "input_mode": "keyboard", "sentiment": "neutral", "entities": ["password", "reset"] } }

这样的标记不仅标注了时间点，还附带语义信息，比如输入方式、情绪倾向、识别出的关键实体等。回放时，播放器结合 HTML5 Video API 的currentTime属性实时比对当前进度，一旦接近某个事件节点，立即弹出提示或在时间轴上点亮图标。

videoElement.addEventListener('timeupdate', () => { const currentTimeMs = videoElement.currentTime * 1000; const nearestEvent = findNearestEvent(currentTimeMs); if (nearestEvent && !nearestEvent.viewed) { showEventMarker(nearestEvent); nearestEvent.viewed = true; } });

这种联动机制极大提升了复盘效率。过去需要反复拖动进度条猜测“刚才说到哪儿了”，现在只需扫一眼标记轨道，就能精准定位到关键交互瞬间。

视频存储与流式回放：让万人并发也能秒开

录下来的视频如果打不开、加载慢，那一切努力都白费。尤其在企业级应用场景下，可能每天产生数百小时的录制内容，如何高效管理与分发，是对系统底层能力的巨大考验。

Kotaemon采用了“边缘缓存 + 对象存储 + HLS 分片”的三层架构，兼顾存储成本、访问速度和扩展性。

流程上，客户端结束录制后，将原始 WebM 文件分块上传至云对象存储（如 AWS S3 或阿里云 OSS）。上传支持断点续传，利用 ETag 校验实现失败任务的精确恢复，避免重复传输浪费带宽。

随后，后台异步触发转码任务，使用 FFmpeg 将 WebM 转换为更通用的 H.264 编码 MP4，并切分为 HLS 流。以下是典型的转码命令：

ffmpeg -i input.webm \ -c:v libx264 \ -preset fast \ -b:v 1500k \ -c:a aac \ -ar 48000 \ -f hls \ -hls_time 6 \ -hls_list_size 0 \ -hls_segment_filename "segments/%v_%03d.ts" \ -master_pl_name playlist.m3u8 \ output.m3u8

其中-hls_time 6表示每 6 秒生成一个 TS 片段，有利于渐进式加载；-hls_list_size 0保持完整播放列表，适用于点播类场景。转码完成后，HLS 索引文件和分片被推送到全球 CDN 节点，用户无论身处何地，都能就近获取资源，实现“秒开”。

前端播放器则根据实时网络状况自适应选择不同码率版本（如高清/标清），在网络较差时自动切换低码率流，保障基本可用性。

此外，系统还设置了严格的权限控制：
- 所有视频链接均为时效签名 URL，有效期默认 1 小时；
- 基于 RBAC 模型控制访问权限，例如仅允许项目成员查看相关会话；
- 支持审计日志追踪谁在何时访问了哪些录像。

经过压缩优化，平均每分钟视频仅占 30~50MB，适合长期归档。一套完整的生命周期管理策略，使得即便面对大规模部署，也能维持稳定高效的回放体验。

实际应用：从“看结果”到“懂过程”

这套录屏回放能力上线以来，已在多个场景中展现出独特价值。

一位教师使用 Kotaemon 辅导学生解题，事后回放发现，学生在第 2 分 15 秒反复修改输入内容，表情迟疑。结合事件标记看到其连续尝试了三种不同的提问方式仍未获得满意答案。这说明不是知识缺失，而是表达不清导致误解。于是教师针对性地加强了“如何精准描述问题”的引导训练。

在客服质检场景中，AI 回答看似合理，但用户最终仍选择了转接人工。通过回放才发现，用户用方言提问“咋重置密码”，ASR 模块误识别为“怎么重启电脑”，导致后续回答完全偏离主题。这一发现推动语音团队专项优化方言识别模型，显著降低了误判率。

产品团队做可用性测试时，观察到多位用户在“提交反馈”按钮前长时间停留。录屏显示他们频繁抬头看向摄像头方向，像是在确认是否被录制。原来 UI 上缺少明确的隐私提示标识。改进后，该行为消失，转化率明显上升。

这些案例共同揭示了一个趋势：未来的智能系统不仅要能做事，更要懂得反思。而反思的前提，是有完整的上下文可供回顾。

当然，我们也意识到一些现实约束。比如长时间录屏会影响前端性能，建议单次不超过 30 分钟；老旧浏览器可能不支持getDisplayMedia，需降级为 Canvas 逐帧绘制方案；为了控制成本，非关键会话可采用更低分辨率录制（如 720p@15fps）。

更重要的是隐私边界。我们提供“局部屏蔽”功能，允许用户手动标记不应录制的区域（如私人文档、摄像头画面），并在录制前预览脱敏效果，真正做到“知情同意、可控可见”。

写在最后

Kotaemon 的录屏回放功能，本质上是在构建一种新型的“认知镜像”。它不只记录结果，更还原过程；不只保存数据，更沉淀理解。

当 AI 开始拥有“回忆”的能力，它的进化路径也将变得更加透明和可控。未来，我们可以期待更多基于录屏数据的自动化分析：比如 AI 自动识别沟通卡点、生成会话摘要、预警异常交互行为，甚至为主管提供个性化的培训建议。

技术的意义，从来不只是让人更高效，更是让人更清醒。而 Kotaemon 正在做的，就是让每一次对话，都成为一次可以被看见的成长。