简介：《搜索引擎用户满意度评估》PDF是一份面向Web开发、互联网搜索与信息检索技术的研究型文献，聚焦用户满意度这一搜索引擎性能评价的核心指标，适合搜索引擎研发人员、高校科研人员及中高级Web技术爱好者阅读。压缩包内含1个PDF文件，大小7.58MB，内容为论文全文，排版工整，便于直接阅读与打印。目前已有88人浏览学习。文档源自清华大学计算机系的研究工作，系统梳理了传统相关性评价方法的局限性，分析了异质化搜索结果页（SERPs）中垂直结果的质量、样式和位置对用户满意度的影响，并提出从鼠标移动模式中提取高质量特征来预测满意度的新策略，实验证明该方法在异质搜索环境中优于现有方式。通过这份材料，读者可掌握搜索满意度评估的相关性与用户感知关系、实验设计思路及基于行为数据的预测建模方法，对优化搜索产品体验具有直接参考价值。
1. 搜索引擎用户满意度评估：别只盯着 CTR，也不要把问卷当全部
产品经理在周会上问“搜索引擎的满意度到底是涨了还是跌了”，很多人第一反应是拉一版 CTR。CTR 上涨可能是摘要写得更夸张，点进去并不是用户想要的内容；CTR 下跌也可能是首屏结果变差了，但用户懒得再翻第二页。搜索引擎用户满意度评估的核心任务，是把用户的主观感受拆成可观测、可复现、可下钻的信号，从点击、停留、翻页和主动反馈里还原真实偏好，最终形成一份能被评审会接受的 PDF 报告。这套评估方案不仅适用于通用网页搜索，也适用于全文搜索引擎、网盘搜索引擎等垂直场景。搜索算法工程师、推荐系统工程师和用户研究员都能从中找到可以直接复用的指标口径和统计方法。
2. 满意度指标设计：把主观感受翻译成可计算的中间指标
2.1 显式反馈与隐式行为：怎样让两者互相校准
显式反馈是用户主动表达的判断，例如“这个结果有用吗”按钮、星级评分或问卷。信噪比高，不受位置偏差干扰；缺点也很明显，收集率低，通常只有百分之几的用户愿意点击，且带有幸存者偏差：特别生气和特别满意的用户更倾向反馈，中间沉默的大多数消失了。
隐式行为才是搜索引擎里覆盖率最高的证据。一次点击代表用户认为某个结果有吸引力，停留 30 秒以上说明内容接住了意图，点击后立刻返回搜索页并换词重搜，说明刚才那次点击基本是失败的。行为数据噪声大，但可以通过规则统一打标。
所以评估的第一原则是：显式反馈用来校验规则和做抽样审计，隐式行为用来全量打标。两者结合，而不是互相替代。如果一个点击停留 50 秒但用户随后点了踩，说明该会话不能算满意；反之，如果用户点击“没问题”但秒退，也要在报告中打上异常标记。
2.2 满意度指标表：从点击、翻页到长期留存
下面这组指标是我在搜索引擎满意度评估里最常用到的。它们的共同点是都能从搜索日志算出来，且报告读者不需要太多背景就能看懂。
| 指标 | 计算口径 | 使用场景 |
|---|---|---|
| 展示点击率 CTR | 点击次数 / 展示次数 | 衡量结果吸引力和位置效应，不作为满意度主指标 |
| 满意点击率 SCTR | 满意点击次数 / 总点击次数 | 满意度核心指标，依赖停留时间与回跳行为 |
| 首条满意率 | 点击了首条且该点击为满意的会话数 / 有首条点击的会话数 | 首条结果权重最高，单独监控 |
| 无点击会话率 | 0 点击会话数 / 会话总数 | 结果完全不吸引或查询语句有问题 |
| 翻页率 | 翻到第 2 页及以上的会话数 / 会话数 | 越高代表首屏满足能力越弱 |
| 无结果率 | 返回零结果的查询次数 / 查询总次数 | 索引覆盖问题，单独汇报 |
| 次日回访率 | 次日有搜索行为的新用户数 / 当日新用户数 | 长期满意度信号，适合月报 |
单看任何一个指标都会误导。翻页率上涨，可能是首屏结果变差，也可能是用户在做精确资料核对，故意多翻；CTR 上涨，可能是标题党变得更多。因此需要把多个指标合成为一个指数，但合成之前要先确定“满意点击”的判定规则。
2.3 用 SQL 把“满意”定义为可执行规则
业内最常见的满意点击判定是：点击后停留时间大于阈值，且没有在同一会话内快速返回搜索页。阈值一般取 30 秒或 60 秒。导航类结果可以直接进入目标页，停留短也属于正常，因此要先按 query_type 区分。
-- 以会话为单位，计算满意点击率 WITH click_events AS ( SELECT session_id, query, query_type, click_position, dwell_time_sec, CASE WHEN follow_return_search_sec <= 30 THEN 1 ELSE 0 END AS is_quick_return FROM search_event_log WHERE event_type = 'click' ), satisfied AS ( SELECT *, CASE WHEN dwell_time_sec >= 30 AND is_quick_return = 0 THEN 1 ELSE 0 END AS is_satisfied FROM click_events ) SELECT query_type, COUNT(*) AS total_clicks, AVG(is_satisfied) AS satisfied_click_rate FROM satisfied GROUP BY query_type;这段 SQL 的逻辑分两步：先计算每个点击后 30 秒内是否发生回跳，再把“停留 >= 30 秒且未回跳”标记为满意。dwell_time_sec >= 30和follow_return_search_sec <= 30是两个核心参数，前一个要根据内容深浅调整，后一个基本不需要动。如果日志里没有follow_return_search_sec，可以用“该 session 内下一个搜索行为时间戳与点击时间差”来替代。
2.4 组成满意度指数时，权重怎么给才不拍脑袋
把一个指标集合成一个数值，最简单的是加权平均。权重来源有三种常见路径：专家打分、历史实验回归、业务目标对齐。
专家打分适合冷启动。例如让搜索产品、算法和用研各出 5 个权重方案，取平均值后归一化。历史实验回归是更省力的做法：拉出过去三个月所有搜索相关 A/B 实验的胜负结果，用逻辑回归拟合各底层指标对实验结论的贡献，把标准回归系数的绝对值归一化后作为权重。业务目标对齐则要求团队先回答“这个季度优先提升什么”，如果目标是提升新用户首次搜索体验，就应该把首条满意率和无点击会话率权重调高。
权重定下来之后，建议每季度重新做一次校准，而不是一直沿用。新功能上线后，某些指标可能被优化得失去区分度，例如满意点击率普遍超过 80% 时，它对改进的敏感度就会下降。
2.5 常见误用：平均停留时间、CTR 漂移和位置偏差
我见过最多的三个误用。第一，直接看平均停留时间，认为停留越长越满意。停留时间分布严重长尾，极少数阅读长文的用户会把均值拉高，应该用中位数或 P75。第二，把 CTR 放进满意度指数后不做位置归一化。Top1 的点击率高是位置带来的，不是结果质量带来的。如果某个改版让 Top1 的标题更醒目，CTR 上涨很容易掩盖 SCTR 下跌。第三，把无点击会话一律算作不满意。用户可能通过摘要就满足了，根本没有点击必要。建议在日志中单独记录“仅看摘要并结束会话”的比例，作为中性地带。
3. 从搜索日志到满意度分：Python 实战与置信区间
3.1 评估所用的搜索日志字段清单
线上搜索日志通常包含曝光、点击、转化三张表，做评估前要先 join 成一张事件宽表。以下是我在项目里最依赖的字段：
| 字段 | 类型 | 说明 |
|---|---|---|
| event_time | 时间戳 | 用户行为发生时间 |
| session_id | 字符串 | 一次搜索会话的唯一 ID |
| user_id | 字符串 | 用户标识，用于分层抽样 |
| query | 字符串 | 用户输入 |
| query_type | 字符串 | 网页、图片、网盘等资源类型 |
| shown_positions | 数组 | 每次曝光的结果位置 |
| clicked_positions | 数组 | 点击过的结果位置 |
| dwell_time_sec | 数值 | 点击后停留秒数 |
| return_within_30s | 布尔 | 点击后 30 秒内是否重新搜索 |
| is_conversion | 布尔 | 会话是否完成目标转化 |
如果 click 事件和 search 事件分离，可以把 search-event 表和 click-event 表按 session_id 做左连接，再按 click 事件打标。下面直接以规整好的 DataFrame 为例，方便你快速套用。
3.2 会话级指标计算的 Python 实现
import pandas as pd import numpy as np def mark_satisfied_clicks(df, dwell_min=30, return_max=30): """ 给每条点击记录打上满意标记。 dwell_min: 最小停留秒数，低于该值判定为不满意 return_max: 点击后多少秒内重新搜索判定为回跳 """ df = df.copy() df["is_satisfied"] = ( (df["dwell_time_sec"] >= dwell_min) & ~df["return_within_30s"] ).astype(int) return df def session_satisfaction_agg(df): """ 输入：已打上 is_satisfied 标记的点击流水 输出：每个 session 的满意点击数与满意点击率 """ df = df.copy() agg = df.groupby("session_id").agg( total_clicks=("click_position", "size"), satisfied_clicks=("is_satisfied", "sum"), has_conversion=("is_conversion", "max"), query=("query", "first"), query_type=("query_type", "first"), ) agg["sctr"] = agg["satisfied_clicks"] / agg["total_clicks"] return agg.reset_index() # 实际使用 # df = pd.read_parquet("search_log.parquet") # df = mark_satisfied_clicks(df, dwell_min=30, return_max=30) # session_df = session_satisfaction_agg(df)mark_satisfied_clicks中的两个参数建议放到配置文件里，每次调整都要留下记录。dwell_min的默认值按资讯站点习惯设成 30，如果你的业务大多是查电话、查天气等即时满足场景，可以改为 10 到 15 秒。return_max保持 30 秒即可，过长会把偶然的二次搜索也当成回跳。
3.3 加权满意度指数 SUE 的归一化与计算
会话级指标出来后，通常按周聚合，然后做 min-max 归一化。归一化的上下界不能直接用当前样本的 max 和 min，否则这周数字高，下周数字会被顶高，报告里数字波动失真。我一般取过去 13 周该指标的 P5 和 P95 作为固定上下界。
def minmax(series, floor=None, ceil=None): """归一化到 0-1，带平滑项防止除零""" floor = series.quantile(0.05) if floor is None else floor ceil = series.quantile(0.95) if ceil is None else ceil return (series - floor) / (ceil - floor + 1e-9) def compute_sue(weekly_metrics, weights): """ weekly_metrics: 按周聚合的指标 DataFrame weights: dict，键为指标名，值为权重，权重之和应为 1 """ normalized = pd.DataFrame(index=weekly_metrics.index) for name in weights: normalized[name] = minmax(weekly_metrics[name]) sue = pd.Series(0.0, index=weekly_metrics.index) for name, w in weights.items(): sue += w * normalized[name] return suecompute_sue的返回值是每周一个满意度指数。这里要特别强调：权重字典里的顺序不会影响结果，但所有指标的方向必须一致。例如翻页率是无序指标，翻页越多满意度越差，需要先取负值或1 - value再参与归一化，否则会出现“翻页越多 SUE 越高”的倒挂。
3.4 Bootstrap 置信区间：重采样不能破坏会话结构
只有 SUE 的点估计，很难判断两周之间 0.02 的差异是真实波动还是随机噪声。用 bootstrap 可以对会话样本重采样，得到置信区间。
def bootstrap_ci(session_df, weights, metric_fn, n_boot=2000, seed=202405): """ session_df: 会话级数据 weights: 指标权重 metric_fn: 输入 session_df 输出周度 SUE 的函数 """ rng = np.random.default_rng(seed) user_ids = session_df["user_id"].unique() n_users = len(user_ids) boot_sue = [] for _ in range(n_boot): sample_users = rng.choice(user_ids, size=n_users, replace=True) sample = session_df[session_df["user_id"].isin(sample_users)] if sample.empty: continue boot_sue.append(metric_fn(sample, weights)) return np.percentile(boot_sue, [2.5, 97.5])注意这里抽样单位是用户而不是 session。同一个用户多次搜索之间存在强相关，直接重采样 session 会低估方差，导致置信区间假性收紧。n_boot=2000在百万级用户量下仍然很快，如果样本量特别大，可以调到 1000；seed固定后报告可以复现，这点在评审时很重要。
3.5 下钻定位满意度变化来源
整体 SUE 下跌 0.03，产品经理第一反应是“哪里崩了”。用多维下钻可以快速缩小范围。常见维度有 query_type、设备端、新老用户、搜索入口。
def drill_down_sue(session_df, weights, dim="query_type"): result = [] for value in session_df[dim].unique(): sub = session_df[session_df[dim] == value].copy() # 如果只用均值衡量，要记录样本量，避免小样本抖动 if len(sub) < 100: continue week_col = sub["event_time"].dt.to_period("W") weekly = sub.groupby(week_col).agg( sctr=("sctr", "mean"), no_click_rate=("no_click", "mean"), ) sue_series = compute_sue(weekly, weights) result.append({ dim: value, "sue_mean": sue_series.mean(), "sessions": len(sub), }) return pd.DataFrame(result)这段代码把每个 query_type 单独算一遍 SUE，并留下sessions字段。线上实际使用时要加上环比差和置信区间，只靠一个值容易误判。特别是网盘搜索引擎这类资源型场景，同一个 query 可能对应多种资源格式，建议再增加资源的文件类型维度和结果页平均首次加载时间。
4. 从数字到 PDF：自动化输出满意度评估报告
4.1 报告结构：先回答“变没变”，再回答“为什么”
一份能被评审会接纳的满意度 PDF 报告，结构可以固定为四个部分：结论、趋势、下钻、建议。结论放在第一页，直接写“满意度指数未显著变化”或“满意度指数下降 3%，主要来自移动端无结果率上升”，不要在前面放一堆方法说明。方法能放进附录就行。
我会在报告里强制要求画一个带置信区间的 SUE 趋势图，并且用误差棒标出区间。没有误差棒的数字，别人很难判断波动。
4.2 用 matplotlib 和 PdfPages 自动输出多页 PDF
生产环境可以用 reportlab 或 weasyprint 做复杂排版，但快速生成周报时，matplotlib 自带的 PdfPages 更轻量，只需要一个 Python 脚本就能把趋势图、结论文本和明细表合进同一个 PDF。
import matplotlib.pyplot as plt import numpy as np from matplotlib.backends.backend_pdf import PdfPages weeks = ["W01", "W02", "W03", "W04"] sue = [0.62, 0.64, 0.63, 0.65] ci = [(0.59, 0.65), (0.61, 0.67), (0.60, 0.66), (0.62, 0.68)] yerr_low = [m - lo for m, (lo, hi) in zip(sue, ci)] yerr_high = [hi - m for m, (lo, hi) in zip(sue, ci)] with PdfPages("search_user_satisfaction_report.pdf") as pdf: fig, ax = plt.subplots(figsize=(8, 3.5)) ax.errorbar(weeks, sue, yerr=[yerr_low, yerr_high], fmt="-o", capsize=4, color="#1f77b4") ax.axhline(0.64, color="gray", linestyle="--", linewidth=0.8) ax.set_title("Search User Satisfaction Evaluation") ax.set_ylabel("SUE") ax.grid(alpha=0.3) pdf.savefig(fig) plt.close(fig) fig2, ax2 = plt.subplots(figsize=(8, 5)) ax2.axis("off") ax2.text(0.05, 0.8, "结论：W04 SUE 为 0.65，较 W01 的 0.62 上升 0.03。" "置信区间存在重叠，当前不能判定为统计显著改善。", va="top", fontsize=12) pdf.savefig(fig2) plt.close(fig2)这段代码用errorbar把置信区间画成误差棒，第二页用纯文本页写结论。关键参数是yerr的低位和高位数组，它们必须来自 bootstrap 结果，不能手写到代码里。axhline(0.64)是往季基线，有了这条线，读者一眼就能看出本周是否超过历史水位。
4.3 一个关键技巧：误差棒会说话，但别让它带节奏
最后落一个容易被忽视的细节：当你要对比两个版本的满意度时，不要只画两条独立的误差棒，要画“差值的置信区间”。如果差值置信区间跨过 0，就不要在结论里写“有提升”。否则评审会上很可能被资深的用研同学问倒：你这两个置信区间有大量重叠，凭什么说效果好？
用 bootstrap 对两个版本分别采样，再计算差值分布，得到差值的 2.5% 和 97.5% 分位点。只有下限大于 0，才能下“显著提升”的结论。这个逻辑同样适用于不同 query_type 之间的对比。写报告时，把差值置信区间画成横向条形图，每行一个维度，区间不跨 0 的维度高亮出来。这样即使不看文字，管理层也能快速看出真正有差异的点在哪里。
本文还有配套的精品资源，点击获取
