CiteSpace关键词聚类重叠问题解析与优化实践-平芜编程栈

背景与痛点

做文献计量的小伙伴几乎都踩过这个坑：把 CNKI 或 WOS 数据扔进 CiteSpace，一键生成关键词聚类，结果图里红一块、绿一块，标签层层叠叠，根本分不清边界。聚类重叠不仅把图谱“涂成调色盘”，更麻烦的是：

同一关键词被硬分到多个簇，导致中心性计算失真；
主题演化路径断裂，时区图里出现“跳跃”；
后续战略坐标、突现检测等二次分析直接跑偏。

一句话：看得见的热区不一定是真实的研究前沿，重叠让“可视化”变成“可误导化”。

技术选型对比

CiteSpace 默认用 LLR（Log-Likelihood Ratio）+ 标签传播，本质仍是“先聚类后命名”。当关键词共现矩阵稀疏、维度高时，簇边界自然模糊。下面把常见算法拉出来遛一遛：

算法	对重叠的容忍度	调参难度	结果可解释性	备注
K-means	硬划分，0 容忍	★☆☆	高	需预置 K，高维稀疏效果差
层次聚类	可剪枝得软边界	★★☆	中高	树状图能看合并过程，但大数据慢
DBSCAN	密度可达，天然抗噪	★★★	中	对“核”关键词密度敏感，需调 ε 与 MinPts
谱聚类	可捕捉非凸结构	★★★	低	需建相似度图，内存爆炸风险

经验：如果数据量 <5 万条，优先用“层次 + Jaccard”；>5 万条或含大量低频词，用“DBSCAN + 余弦”更稳。

核心实现细节

1. 数据准备

从 CiteSpace 菜单 “Export/Network” 把keywords+co-occurrence矩阵存成.net文件，再用networkx.read_pajek读入 Python。记得顺手去掉“综述”“展望”这类停用词，它们会伪连很多簇。

2. 相似度算法选择

余弦相似度：适合向量长度差异大的场景，但对共现次数绝对值不敏感。
Jaccard 系数：只看共现与否，对稀疏矩阵更友好，实验下来重叠率能降 10–20%。

3. 参数调优套路

层次聚类：用scipy.cluster.hierarchy的fcluster，通过max_d控制切割高度；建议从 0.75 分位开始，步长 0.05 往下调，直到 Silhouette 系数开始回落。
DBSCAN：固定min_samples=3，对 ε 做 K-距离图，找“肘部”；若高频词核过大，可把min_samples提到 5–7，强制拆小簇。

4. 重叠后处理

对边界关键词（到两个簇中心距离差 <5%）加一步“二次分配”：

计算该词与簇内其他词的平均共现强度；
把词归到平均强度更高的簇；
若仍打平，按“时间戳最新”原则划分，保证演化链不断。

代码示例

下面给出一段最小可运行（MRE）代码，依赖pandas、scikit-learn、networkx、scipy。默认你已把.net转成edgelist.csv（三列：source, target, weight）。

import pandas as pd import networkx as nx from sklearn.metrics.pairwise import cosine_similarity from scipy.cluster.hierarchy import linkage, fcluster from scipy.spatial.distance import squareform import matplotlib.pyplot as plt # 1. 读入并建图 df = pd.read_csv('edgelist.csv') G = nx.from_pandas_edgelist(df, edge_attr='weight') # 2. 生成共现矩阵 & 距离矩阵 nodes = list(G.nodes()) mat = nx.to_numpy_array(G, nodelist=nodes) # Jaccard 距离 = 1 - Jaccard 系数 jacc_dist = squareform(1 - cosine_similarity(mat>0)) # 3. 层次聚类 Z = linkage(jacc_dist, method='ward') # 自动找 Silhouette 最大的簇数 from sklearn.metrics import silhouette_score best_k, best_sc = 0, -1 for k in range(2, 15): labels = fcluster(Z, k, criterion='maxclust') sc = silhouette_score(jacc_dist, labels, metric='precomputed') if sc > best_sc: best_k, best_sc = k, sc labels = fcluster(Z, best_k, criterion='maxclust') # 4. 输出簇映射 cluster_map = dict(zip(nodes, labels)) pd.Series(cluster_map).to_csv('keyword_cluster.csv', header=['cluster']) print(f'最优簇数: {best_k}, Silhouette: {best_sc:.3f}')

跑完后把keyword_cluster.csv导回 CiteSpace（菜单 Overlay/Cluster 上传），图谱瞬间清爽。