简介：一份面向推荐系统隐私保护方向的毕业设计项目资料，适合计算机相关专业学生、研究差分隐私与协同过滤的开发者。项目基于Python实现基于用户的协同过滤推荐系统，采用两种相似度计算方法，并通过差分隐私机制对推荐结果进行加密扰动，在MovieLens不同规模数据集上完成实验对比，系统分析隐私预算对推荐准确度与隐私保护程度的影响。压缩包共77个文件，核心内容包括12个Python源码、60张实验与过程截图、2个Word论文文档，以及数据集、License和README说明，整体仅3.37MB，结构清晰、便于下载归档。已有922人学习，内容覆盖推荐系统与差分隐私的研究背景、算法原理、系统设计、实现测试和结果分析，适合毕业设计参考、算法复现或隐私保护方向的进一步研究。
1. 带差分隐私的协同过滤推荐系统：一份能跑通毕设的完整工程包
如果你正被“推荐系统 + 隐私保护”这个毕业设计方向卡住，最大的问题往往不是看不懂差分隐私公式，而是打开一个代码包时发现：只有零散脚本、没有数据集、没有论文文档、跑起来还全是乱码。这份资源包把闭环给齐了：基于Python手写的协同过滤算法、余弦和皮尔逊两种相似度计算、拉普拉斯噪声注入模块、MovieLens小规模数据集、实验截图、论文5.5稿和排版模板。它不是把差分隐私当作论文里的一页理论，而是真正把噪声加进了推荐结果，并通过对照实验找到了隐私预算与推荐精度之间的平衡点。适合准备做推荐系统方向毕设的学生，也适合想在项目里快速落地差分隐私的开发者。拿到手就能按步骤复现。
2. 协同过滤与差分隐私：为什么推荐系统要扛着噪声干活
推荐系统越精准，需要的用户行为数据就越细，隐私泄露的风险就越大。差分隐私解决的核心矛盾，是让推荐系统在输出有价值的推荐结果时，不泄露单个用户的评分记录。这一章先把协同过滤和差分隐私这两块基石讲清楚，后面拆代码时才不会“知其然不知其所以然”。
2.1 基于用户的协同过滤核心流程
基于用户的协同过滤有三个固定步骤：收集用户偏好、找到相似用户、生成加权推荐。第一步收集偏好，在MovieLens这类显式反馈数据集里，评分就是偏好信号。常见做法是把评分数据整理成user-item矩阵，行是用户，列是电影，单元格值是对应用户的评分，未评分的位置一般填0。但要记住，这里的0不代表用户给了0分，而是表示“不知道用户是否看过这部电影”，这个区别在计算相似度时非常关键。
第二步寻找相似用户是整个算法的核心。遍历目标用户与其他用户的评分向量，计算相似度。余弦相似度把每个用户的所有评分看成一个高维向量，通过向量夹角的余弦值衡量相似程度，优点是计算简单、天然不受用户评分数量差异影响。皮尔逊相关系数则在余弦之前先对每个用户的评分做中心化处理，减掉该用户自己的评分均值，这样做能消除用户打分宽严不一致的问题——有人习惯给4分以上，有人喜欢给2到3分，中心化之后比较的是“相对偏好”而不是“绝对分值”。
第三步生成推荐。选出与目标用户相似度最高的k个用户作为邻居，邻居们对某部电影的评分用相似度加权平均，得到目标用户对这部电影的预测评分。权重就是相似度值，相似度越高的邻居，对预测分数的影响越大，最后取预测分最高的TopN部电影作为推荐列表。k值一般在10到50之间调，太小邻居代表性不足，太大则会混入大量低相似度用户。
这个项目选用基于用户的协同过滤而不是基于物品，主要有两个原因：一是隐私风险更直接地落在用户身上，论文里想讨论的正是“通过推荐结果反推某个用户看过什么”，用户维度天然契合；二是实验用的数据集规模不大，用户数在几百这个量级，用户-用户相似度矩阵的计算成本完全可控，适合作为毕设主算法。
2.2 差分隐私的定义与拉普拉斯机制
差分隐私要防御的攻击模型是：攻击者可以多次查询推荐系统的输出，通过比较“包含某个用户的推荐结果”和“不包含某个用户的推荐结果”，逐步推断出该用户的评分记录。如果推荐算法对训练数据中任意一条记录的增删都不敏感，攻击者的推断就无法得到可靠结论。
形式化的说法是：对于只差一条数据记录的两个相邻数据集D和D’，某个随机算法K在两个数据集上的输出分布满足比率不超过e^ε，就称算法K满足ε-差分隐私。其中ε叫隐私预算，ε越小，两个分布越接近，单个用户数据的影响被掩盖得越好，隐私保护强度越高。代价是加进结果里的噪声越大，推荐精度下降越明显。
最常用的实现机制是拉普拉斯机制：对查询函数f的输出结果加上一个服从拉普拉斯分布的随机噪声，噪声尺度由Δf/ε决定，Δf是f的敏感度，即相邻数据集下f输出结果的最大变化范围。在推荐系统里，相似度函数的值域是[-1, 1]，敏感度可以取2；评分预测函数的值域是1到5，敏感度取4。敏感度和ε共同决定噪声大小，这就是为什么隐私预算是一个需要仔细实验的工程参数，而不是一个拍脑袋定的数。
差分隐私还有一个很好的性质叫并行组合性：如果把数据集按用户分成互不重叠的组，每个组单独分配隐私预算，总的隐私保护强度不会叠加。在设计实验时，可以对每个用户的相似度计算分别分配ε，然后复用同一份预算分析多个物品的推荐结果，这也是差分隐私在实际系统里优于简单脱敏的关键原因。
2.3 差分隐私嵌入推荐系统的三种位置
把差分隐私和协同过滤结合，有三种常见的嵌入位置。第一种是输入扰动：在用户评分进入算法之前就给评分矩阵加噪声。优点是实现最直接，缺点也很明显，噪声会在后续的相似度计算和加权聚合过程中不断累计，小数据集上零点几的噪声就可能让推荐结果面目全非，论文实验里一般不建议用这种方式。
第二种是目标扰动：在协同过滤的优化目标中注入噪声，把推荐问题改造成带噪声的目标函数。这种方式保留了更多模型结构，理论上看很有趣，但实现复杂度高，而且需要把相似度矩阵的闭式解改写，对毕业设计来说工作量偏大。
第三种是输出扰动，也是这份资源采用的方式：正常完成相似度计算和推荐列表生成之后，在最终输出前添加拉普拉斯噪声。具体到这个项目，是在计算完用户相似度矩阵后，对相似度值施加噪声，再用扰动后的相似度去做加权预测。这样做的工程价值很明显：差分隐私模块被设计成一个可插拔组件，模型主体逻辑不用动，跑一组无噪声基线，再跑一组有噪声实验，就能得到精度对比曲线。
从隐私分析的角度看，输出扰动面对的是“攻击者能直接看到加了噪声的相似度或推荐列表”的场景，只要保证噪声是算法输出前唯一的数据出口，并且每个查询都消耗对应的隐私预算，这套机制就算成立。这也决定了实验时要特别小心：任何中间结果如果没加噪声就写到日志或图片里，都会让隐私保证失效。
3. 工程结构与运行环境：从解压到跑通全流程
下载这份资源包后，第一步不是急着打开IDE，而是先把目录结构看清楚。很多人在毕设里踩的坑，都是因为不知道哪个文件夹能跑、哪份文档对应哪部分代码。这一章按“解压-装环境-看数据-跑脚本”的顺序，把整个流程走一遍。
3.1 解压与目录结构：先弄清每个文件的作用
资源包解压后，核心内容大致如下：
| 目录/文件 | 作用 |
|---|---|
| code/ | 可运行的Python代码，包含数据处理、协同过滤、差分隐私、实验脚本 |
| data/ | ml-latest-small.zip 压缩包，内含 ratings.csv、movies.csv、tags.csv |
| img/ | 实验运行截图，与论文中的结果图对应 |
| 论文 5.5 稿.docx | 毕业设计论文文稿，含算法设计、实验分析、隐私预算讨论 |
| 格式模版_demo.docx | 用于排版论文的格式模板 |
| README.md | 环境要求、运行命令、复现步骤说明 |
强烈建议把README.md当作第一份阅读文档。它通常会写明Python版本、依赖库安装命令、数据集来源和入口脚本参数。我拆过不少毕设资源，绝大多数“跑不起来”的问题，其实README里都已经写了注意事项，只是被直接跳过。
img目录下的截图文件名看起来是一串哈希，但内容对应论文里不同隐私预算下的实验结果图。跑通代码后，可以用这些截图来比对自己生成的曲线，判断是不是哪里逻辑写歪了。论文5.5稿是接近终稿的版本，章节结构完整，从研究背景到实验分析都在里面，写自己的论文时可以直接对照这个骨架来组织章节。
3.2 环境配置：Python版本与依赖项选择
这个项目的算法部分完全是手写实现，不依赖深度学习框架，依赖项很克制。我一般会建议使用Python 3.8或3.10，搭配虚拟环境管理依赖，避免和其他项目的包冲突。下面是建议的requirements.txt：
numpy>=1.21.0 pandas>=1.3.0 scikit-learn>=1.0.0 scipy>=1.7.0 matplotlib>=3.4.0安装命令：
python -m venv venv source venv/bin/activate pip install -r requirements.txt逻辑说明：numpy负责矩阵计算，pandas读取评分CSV，scikit-learn用于训练测试集划分和误差指标计算，scipy提供稀疏矩阵支持，matplotlib画隐私预算-精度曲线。整个推荐算法和差分隐私扰动逻辑都建立在这些基础库上，没有需要编译的高版本要求。
参数说明：版本号取的是保守值。如果你用的是Python 3.11或更高版本，部分老版本库可能缺少预编译wheel，导致pip安装时自动走源码编译并报错。遇到这种情况，降低Python版本到3.10重跑一遍虚拟环境，是最快的解法。Windows用户注意，成功激活虚拟环境后命令行提示符前面会出现(venv)，确保后续pip install都在这个状态下执行。
3.3 数据探索与清洗：比解压更重要的一步
ml-latest-small.zip解压后，核心文件ratings.csv的结构是userId、movieId、rating、timestamp四列。运行协同过滤之前，有必要先看一眼数据分布：
import pandas as pd df = pd.read_csv("data/ml-latest-small/ratings.csv") print("总评分记录数:", len(df)) print("用户数:", df["userId"].nunique()) print("电影数:", df["movieId"].nunique()) print("评分均值:", df["rating"].mean()) user_count = df.groupby("userId")["movieId"].count() print("评分>=10条的用户占比:", (user_count >= 10).mean())逻辑说明：前四条打印用来确认数据加载正确、理解数据规模。最后一行统计每个用户的评分数量，计算评分次数不少于10次的用户占比，这个比例决定了能不能直接使用全量数据。
参数说明：如果用户数在600左右、电影数在9000左右，说明是标准的MovieLens小数据集。稀疏度大致是1减去非零评分位置占总矩阵位置的比例，通常高达95%以上。对于协同过滤来说，这么高的稀疏度意味着两个用户找到共同评分的电影并不容易，A同学的项目里就是先做了这层探索，才决定把共同评分数量低于5的用户直接排除在邻居选择之外。
数据清洗还有一个容易忽略的点：检查是否有重复评分。某些版本的数据集可能因为采集异常出现同一个用户对同一部电影有多条评分，直接删除重复记录比较稳妥：
df = df.drop_duplicates(subset=["userId", "movieId"], keep="last")逻辑说明：drop_duplicates保留最后一次评分作为该用户对该物品的最终态度。如果保留全部重复记录，后续构建评分矩阵时会因为id重复而报错，或者在pivot_table聚合时产生不确定的取值。
3.4 运行实验脚本：参数怎么传，输出怎么读
数据准备完成后，运行入口脚本。命令形式一般是：
python code/main.py \ --data data/ml-latest-small/ratings.csv \ --metric cosine \ --epsilon 1.0 \ --k 20 \ --topn 10脚本运行结束后，预期输出包含三类信息：
[info] metric=cosine, epsilon=1.0, k=20, topn=10 [result] MAE=0.7921, RMSE=0.9834 [result] private_top10_overlap=0.724逻辑说明：--metric控制用余弦相似度还是皮尔逊相关系数，--epsilon设置隐私预算，--k是邻居数量，--topn控制推荐列表长度。运行日志里先打印实验配置，再输出误差指标和推荐列表重合度。重合度表示“加噪声之后的推荐列表与不加噪声版本的重叠比例”，它是衡量隐私保护代价的关键指标。
参数说明：第一次跑通建议把epsilon设成一个大数，比如10.0，此时噪声极小，和纯协同过滤几乎没有区别。确认流程通畅后，再把epsilon逐步降到0.1、0.5、1.0，观察MAE和重合度的变化趋势。直接上小epsilon容易碰到后面章节里描述的全乱套情况。
4. 核心代码拆解：相似度计算、拉普拉斯扰动与隐私预算
这一章直接进入代码层。我会按照协同过滤实验的正常顺序，从数据预处理、相似度计算、噪声注入到推荐评估，逐步展示关键代码片段，并对每个参数做说明。代码风格是常见的手写实现，方便你根据自己的数据集调整。
4.1 构建评分矩阵与数据划分
评分数据是长表结构，需要转成矩阵才能参与后续计算。最常见的方式是pandas的pivot_table：
import pandas as pd import numpy as np df = pd.read_csv("data/ml-latest-small/ratings.csv") df = df.drop_duplicates(subset=["userId", "movieId"], keep="last") pivot = df.pivot_table( index="userId", columns="movieId", values="rating" ) matrix = pivot.fillna(0).values print("评分矩阵尺寸:", matrix.shape)逻辑说明：pivot_table以userId为行、movieId为列、rating为值，自动整理出用户-电影评分矩阵。fillna(0)把未评分的空缺位补成0，这是为了能用矩阵乘法做批量运算。但前面已经强调过，这些0只代表未知，不代表用户打了0分，所以在后续相似度计算时必须用掩码排除0值位置。
参数说明：matrix.shape输出的是用户数×电影数，如果数据量是几万用户，这里的内存开销就会快速膨胀。遇到大数据集，建议改用scipy.sparse.csr_matrix存储稀疏矩阵：
from scipy.sparse import csr_matrix user_ids = df["userId"].astype("category").cat.codes.values item_ids = df["movieId"].astype("category").cat.codes.values sparse_matrix = csr_matrix( (df["rating"].values, (user_ids, item_ids)), shape=(user_ids.max() + 1, item_ids.max() + 1) )逻辑说明：把原始userId、movieId映射成从0开始的连续整数，保存成稀疏矩阵，只存储非零评分位置。差分隐私加噪时，也只需要对矩阵中的非零元素操作，效率和密集矩阵完全不是一个量级。
数据划分建议按时间切分，而不是随机切分。推荐系统的目标是用历史行为预测未来行为，随机划分会引入未来信息，使评估结果虚高：
df = df.sort_values("timestamp") train = df.groupby("userId").head(-1) test = df.groupby("userId").tail(1)逻辑说明：head(-1)表示每个用户去掉最后一次评分作为训练集，tail(1)取最后一次评分作为测试集。这样训练和测试在时间上严格前后分离，更贴近真实推荐场景。
参数说明：这个划分方式在数据不平衡时可能导致某些用户只有一条记录，这种情况下tail(1)取到的就是唯一一条，而训练集为空。稳妥的办法是先过滤掉评分数量小于2的用户，再做划分。
4.2 余弦相似度与皮尔逊相关系数实现
相似度计算是整个算法里最容易隐藏bug的地方。直接对fillna(0)矩阵做余弦相似度会得到严重误导：
def cosine_similarity_native(matrix): norm = np.linalg.norm(matrix, axis=1, keepdims=True) matrix = matrix / (norm + 1e-10) return matrix @ matrix.T这个写法看似正确，但0值位置会被当作共同评分参与点积计算，把“两个用户都没看过的电影”误当成“两个用户都喜欢同一部电影”，相似度被拉高。正确的实现要基于共同评分的掩码：
def cosine_similarity_two_users(a, b, min_common=5): """计算两个用户向量的余弦相似度""" mask = (a > 0) & (b > 0) common_count = mask.sum() if common_count < min_common: return 0.0 a_masked = a[mask] b_masked = b[mask] dot = np.dot(a_masked, b_masked) norm_a = np.linalg.norm(a_masked) norm_b = np.linalg.norm(b_masked) if norm_a == 0 or norm_b == 0: return 0.0 return dot / (norm_a * norm_b)逻辑说明：mask选中两个用户都有评分的电影位置，后续点积和模长计算都只在mask后的向量上进行。common_count小于min_common时直接返回0，避免少数几个共同评分产生的偶然高相似度。
参数说明：min_common是共同评分数量阈值，经验值在5到10之间。MovieLens小数据集上，阈值取5会有更多用户对进入候选邻居集合，取10则相似度更稳定但邻居候选变少。如果后续发现很多用户找不到邻居，可以适当调低。
皮尔逊相关系数同样需要掩码，并在计算前做中心化：
def pearson_similarity_two_users(a, b, min_common=5): """计算两个用户向量的皮尔逊相关系数""" mask = (a > 0) & (b > 0) common_count = mask.sum() if common_count < min_common: return 0.0 a_centered = a[mask] - a[mask].mean() b_centered = b[mask] - b[mask].mean() denominator = np.linalg.norm(a_centered) * np.linalg.norm(b_centered) if denominator == 0: return 0.0 return np.dot(a_centered, b_centered) / denominator逻辑说明：中心化后，计算的是用户评分相对自身评分均值的偏差趋势，而不是绝对分数的一致性。这样克服了“一个用户习惯打4分，另一个用户习惯打2分”导致的相似度假性偏低问题。
参数说明：当a_centered或b_centered全为0时，说明该用户对所有共同评分电影给出了完全一致的分数，此时相关系数无定义，返回0是平稳处理。论文实验里会同时跑这两种相似度，目的就是看评分中心化对推荐精度的影响。
4.3 拉普拉斯扰动模块与隐私预算控制
差分隐私模块的核心是拉普拉斯噪声生成器：
def add_laplace_noise_to_matrix(sim_matrix, epsilon, sensitivity=2.0): """对相似度矩阵施加差分隐私扰动 epsilon: 隐私预算，越小噪声越大 sensitivity: 敏感度，相似度值域[-1,1]所以取2 """ scale = sensitivity / epsilon noise = np.random.laplace(0.0, scale, size=sim_matrix.shape) noisy = sim_matrix + noise # 相似度值域约束在[-1,1] noisy = np.clip(noisy, -1.0, 1.0) # 保持矩阵对称 noisy = (noisy + noisy.T) / 2 np.fill_diagonal(noisy, 1.0) return noisy逻辑说明：np.random.laplace生成位置参数为0、尺度为scale的拉普拉斯噪声，加到原始相似度矩阵上。加噪后可能出现三个问题：值超出[-1,1]、矩阵不对称、对角线不为1，所以用clip、对称化和恢复对角线的操作逐一修正。这里的敏感度取2，是因为相似度函数的输出范围是从-1到1，任改一条用户评分，相似度最大变化就是这个范围宽度。
参数说明：epsilon是最关键的实验参数。epsilon=2.0时scale=1.0，噪声均值较大，推荐结果会明显偏离基线；epsilon=10.0时scale=0.2，噪声影响很小。从隐私保证角度看，ε=2.0已经能提供可观保护，所以论文实验区间一般落在0.1到2.0之间，从大到小扫描，找到精度明显下降的那个拐点。
如果要在预测评分阶段加噪，敏感度需要重新推导。评分值域是1到5，函数输出最大变化范围是4，所以敏感度取4：
def perturb_rating(pred, epsilon, sensitivity=4.0): """对预测评分加噪声并限制在评分值域内""" scale = sensitivity / epsilon noisy = pred + np.random.laplace(0.0, scale) return np.clip(noisy, 1.0, 5.0)逻辑说明：这个函数适用于对单个预测评分做扰动，比如离线评估时逐条加噪。注意，对同一条数据的多次查询会累计消耗隐私预算，实验中要避免对同一个用户反复调用来制造假性的隐私保护。
4.4 推荐生成与精度评估
相似度矩阵计算完成后，生成候选推荐列表。基于用户的协同过滤预测通常是按用户逐行计算：
def predict_for_user(sim_row, rating_matrix, k=20): """基于相似度加权平均预测一个用户的缺失评分""" n_items = rating_matrix.shape[1] preds = np.zeros(n_items) # 排除自己，取相似度最高的k个邻居 neighbor_idx = np.argsort(sim_row)[::-1][1:k+1] neighbor_sims = sim_row[neighbor_idx] neighbor_ratings = rating_matrix[neighbor_idx, :] for item in range(n_items): ratings = neighbor_ratings[:, item] valid_mask = ratings > 0 if valid_mask.sum() == 0: continue weights = neighbor_sims[valid_mask] preds[item] = np.sum(ratings[valid_mask] * weights) / np.sum(weights) return preds逻辑说明：argsort默认从小到大排序，[::-1]反转后从大到小，取前k个邻居，去掉索引0也就是用户自己。对每个物品，找到邻居中有评分的位置，用相似度加权平均预测缺失评分。如果所有邻居都没有看过该物品，就跳过该位置。
参数说明：k是邻居数，决定推荐的广度和稳定性。k偏小，比如5，推荐结果会集中在极少数高度相似的用户偏好里，覆盖率低；k偏大，比如50，会把大量低相关用户拉进来，预测值趋向平均值。实验里一般取20作为默认值，并做k=10、20、50三组对比。
评估时使用MAE和RMSE：
from sklearn.metrics import mean_absolute_error, mean_squared_error pred_values = [] true_values = [] for user_row, item, true_rating in test[["userId", "movieId", "rating"]].values: pred = predict_for_user(sim_matrix[user_row], rating_matrix, k=20)[item] pred_values.append(pred) true_values.append(true_rating) mae = mean_absolute_error(true_values, pred_values) rmse = np.sqrt(mean_squared_error(true_values, pred_values)) print(f"MAE={mae:.4f}, RMSE={rmse:.4f}")逻辑说明：逐个从测试集中取出真实评分对应的预测值，攒成两个列表后交给sklearn计算指标。MAE衡量平均绝对误差，RMSE对误差大的样本更敏感，两者同时看可以判断预测是否存在极端偏离。
参数说明：如果某个测试物品在所有邻居中都没有评分记录，predict_for_user会返回0，导致MAE被严重拉低。遇到这种情况，需要在收集pred_values时过滤掉预测为0的位置，或者给未预测位置补一个全局评分均值。
5. 避坑记录：隐私预算、稀疏矩阵与复现不一致
这个项目我前后拆过几次，每次都会在不同位置翻车。有一些坑是参数调出来的，有一些是数据本身带来的，还有一类属于“论文和代码对不上”。这一章把典型的踩坑记录按现象、原因、解决三条线整理出来，每一条都值得在跑实验前先看一遍。
5.1 参数类踩坑：隐私预算与随机噪声
现象一：把epsilon从1.0直接调到0.01，再去看推荐列表，发现加噪后的结果和未加噪版本几乎没有重叠，MAE飙升到接近随机猜测的水平。
原因：拉普拉斯噪声的尺度是sensitivity/epsilon，epsilon=0.01意味着scale=200，而用户之间的相似度值通常集中在-0.3到0.8之间，一个尺度为200的噪声加进去，相似度排序被彻底打乱，推荐结果基本等于随机抽取。这不是实现bug，是差分隐私的数学性质决定的必然结果。
解决：不要一上来就追求小隐私预算。先跑epsilon=1.0的基线，记录MAE和重叠率，然后按0.5、0.2、0.1的顺序逐步缩小，每次只调一个参数，直到某个epsilon值下MAE明显恶化，那个点就是工程上可接受的最小预算。
现象二：两次运行完全相同参数的实验，输出结果差异明显，甚至相邻两次MAE相差0.1以上。
原因：拉普拉斯噪声是随机生成的，np.random.rand没有固定随机种子时，每次运行都产生不同的噪声矩阵，实验结果自然不可复现。差分隐私实验本质上是随机实验，单次结果没有太大参考价值。
解决：在main.py开头固定随机种子，比如np.random.seed(42)，并把这个值写进日志。实验时对同一参数组合重复运行5次，取MAE和重叠率的平均值作为最终指标。论文表格里的每个数值，都应该是多次重复实验的均值，而不是挑一次好看的结果。
现象三：加噪后的相似度矩阵出现不对等元素，sim_matrix[1][2]和sim_matrix[2][1]不相等，导致推荐结果不稳定。
原因：np.random.laplace在生成噪声矩阵时，每个位置独立采样，原始矩阵对称但噪声矩阵不对称，相加后对称性被破坏。协同过滤里相似度的语义要求双向一致，否则两个用户互为邻居的关系会单向成立，推荐结果出现随机振荡。
解决：加噪后执行noisy = (noisy + noisy.T) / 2，强制对称化，再用np.fill_diagonal(noisy, 1.0)恢复对角元为1。这个处理不会显著影响隐私保证，因为对称化本身只是对噪声结果做了确定性的后处理。
5.2 数据类踩坑：稀疏矩阵与数据集规模
现象四：过滤完用户后，计算相似度矩阵发现大量用户行全是0，邻居数量不足，推荐列表只能靠少数几个用户撑起来。
原因：MovieLens small数据集有几百个用户和近万个电影，评分覆盖率很低。两个用户共同评过分的电影可能只有个位数，低于min_common阈值导致相似度被置0。这种情况在数据越稀疏时越严重。
解决：先把min_common从5调到3试试，如果仍然大量为0，说明用户维度过稀疏，考虑切换到基于物品的协同过滤。物品维度比用户维度稠密得多，每部电影的评分数量相对用户评分数量更集中，相似度计算能获得更多有效共同点。另一个思路是保留那些“看过至少N部不同电影”的用户维度，但要权衡数据损失。
现象五：把ml-latest-small替换成完整版MovieLens数据集后，程序刚加载数据就MemoryError，或者运行到相似度计算阶段内存占用飙升。
原因：pivot_table产生的密集矩阵需要用户数×电影数×8字节存储，完整版数据集用户数接近14万、电影数接近5.7万，乘积是约80亿个数值，远超常规笔记本内存。密集矩阵和基于循环的预测函数都承受不住这个规模。
解决：评分矩阵改用scipy.sparse的csr_matrix存储，相似度计算用稀疏矩阵乘法实现，噪声注入只对非零元素操作。推荐生成部分要避免逐物品循环整个矩阵，可以先构建非零位置索引列表，只对存在评分的邻居位置计算。如果还想进一步压缩计算时间，可以对用户做采样，随机选取一部分用户作为邻居候选集。
现象六：按照README里的参数跑完，实验指标和论文5.5稿里的数值对不上，甚至趋势完全相反。
原因：最常见的原因是数据集版本不一致。ml-latest-small是精简版，完整版评分数量差了一个量级，不同版本的用户ID和电影ID也不一样。其次是训练测试划分方式不一致，随机划分和时间划分的结果差异很大，差分隐私噪声又带来额外波动。
解决：每一次实验都把数据版本、划分方式、随机种子、epsilon、k、topn这些参数完整记录下来。论文里写明的参数，和代码里真正跑出来的参数必须一致。如果论文表格里没有写随机种子，那就默认最优结果不可复现，需要自己用代码里的默认seed重新跑一轮，然后更新论文数据。
5.3 排查清单：实验记录表应该记什么
差分隐私实验里最忌讳“跑完就忘”。我后来的习惯是维护一张实验记录表，每次运行自动生成一行记录：
| 字段 | 示例值 | 说明 |
|---|---|---|
| dataset | ml-latest-small | 数据集版本 |
| metric | cosine | 相似度方式 |
| epsilon | 1.0 | 隐私预算 |
| sensitivity | 2.0 | 噪声敏感度 |
| k | 20 | 邻居数量 |
| random_seed | 42 | 随机种子 |
| train_mode | time | 训练测试划分方式 |
| MAE | 0.7921 | 平均绝对误差 |
| overlap | 0.724 | 加噪前后推荐列表重合度 |
排查结果异常时，先检查这张表里的字段是否都记录完整，再对照代码里的默认参数，十条里有八条的“玄学问题”最后都会落在这些字段上。这也是我强烈建议每个复现这个项目的人都补上的一套习惯。
6. 进阶：换自己的数据，并验证隐私保护与精度的平衡
跑通原始资源包只是第一步。如果你想把这个项目变成自己的毕设，或者用到实际业务数据里，需要知道怎么替换数据、怎么验证差分隐私是否真正生效，以及怎么把实验过程做得规范。
6.1 把自己的数据转成标准格式
协同过滤代码只认列名，不认数据内容。把任意“用户ID、物品ID、评分、时间戳”数据整理成四列并重命名即可：
import pandas as pd raw = pd.read_csv("your_data.csv") raw.columns = ["userId", "itemId", "rating", "timestamp"] raw = raw[["userId", "itemId", "rating", "timestamp"]] raw.to_csv("data/custom_ratings.csv", index=False)逻辑说明：代码内部会用pandas的category类型把userId和itemId重新映射成连续整数，不需要你提前做ID编码。参数说明：如果你的数据是隐式反馈，比如点击、点赞，没有评分值，可以把点击次数或一行值1作为评分代入，但要注意评分值域变化会直接影响敏感度的设置，差分隐私预算也要重新实验。
6.2 验证方法：用重合度曲线证明隐私保护在起作用
只报告“加了噪声之后MAE涨了”不够严谨。差分隐私生效的证据，应该是加噪前后推荐列表的重合度随epsilon变化而平滑变动。用Jaccard重叠率计算：
def jaccard_overlap(list_a, list_b, topn=10): set_a = set(list_a[:topn]) set_b = set(list_b[:topn]) intersect = len(set_a & set_b) union = len(set_a | set_b) return intersect / max(union, 1)逻辑说明：对同一个用户，取不加噪的TopN推荐列表和加噪后的TopN推荐列表，计算两个集合的交并比。重合度接近1说明噪声对推荐结果影响很小，隐私保护强度有限；重合度接近0说明推荐内容已被噪声完全改变，但此时MAE往往也高得没法用。理想结果是一条平滑下降的曲线，中间经过一个可接受的平台期。
参数说明：topn要与前面的推荐评估一致，通常取10或20。可以跑一组epsilon=[0.1, 0.5, 1.0, 2.0, 5.0, 10.0]，把每个预算下的平均重合率画成曲线，论文里直接用作隐私保护与推荐精度的平衡证据。
6.3 一个值得保留的实验习惯
我在这类项目上吃过一次亏：当时跑了一整晚实验，找到一组看起来很好的epsilon参数，隔天回来想补一张截图，却完全不记得自己用了什么随机种子、什么划分方式，重新跑出来的结果跟昨晚完全不同，之前的分析方向一下变得不可信。从那以后，我每次做差分隐私实验都强制走一遍固定流程：先固定环境随机种子，再在main.py里把epsilon、k、数据集路径、时间划分标记全部写进日志文件名，最后把每次运行结果追加到实验记录表里。这个流程让“隐私预算与推荐精度之间那个平衡点”变得可复现、可追溯，不再像玄学一样飘忽不定。希望帮到你。
本文还有配套的精品资源，点击获取
