手把手教你用GTE模型实现中文文本相似度计算-平芜编程栈

手把手教你用GTE模型实现中文文本相似度计算

你是不是经常遇到这样的问题：想在一堆文档里快速找到和某句话意思最接近的内容？或者想判断两段中文文本到底有多相似？比如，客服系统需要自动匹配用户问题和知识库答案，或者你想给文章自动推荐相关阅读。

以前做这种文本相似度计算，要么规则复杂效果差，要么需要大量标注数据训练模型，门槛很高。但现在，有了预训练好的文本嵌入模型，这件事变得简单多了。

今天，我就带你用GTE中文文本嵌入模型，手把手实现中文文本相似度计算。这个模型已经在大规模中文语料上训练好了，你不需要懂复杂的深度学习，也不需要自己准备数据，直接调用就能得到专业级的效果。整个过程就像用计算器一样简单，10分钟就能上手。

1. 环境准备与快速启动

首先，我们需要把GTE模型跑起来。这个模型已经打包成了CSDN星图镜像，部署非常方便。

1.1 获取GTE镜像

如果你在CSDN星图平台，可以直接搜索“GTE中文文本嵌入模型”镜像并一键部署。镜像里已经包含了模型文件、所有依赖和环境配置，开箱即用。

部署成功后，你会看到服务访问地址，通常是http://你的服务器IP:7860。在浏览器打开这个地址，就能看到GTE的Web操作界面。

1.2 通过代码快速调用

除了Web界面，我们更常用的是通过API来调用模型，这样可以集成到自己的程序里。模型启动后，会提供一个简单的HTTP API服务。

先确保你已经安装了Python和requests库（如果没有，运行pip install requests安装）。

下面是最简单的测试代码，看看服务是否正常：

import requests # 替换成你的实际服务地址 API_URL = "http://localhost:7860/api/predict" # 准备测试数据 test_data = { "data": ["今天天气真好", "阳光明媚的早晨\n今天天气不错\n下雨天心情不好"] } try: response = requests.post(API_URL, json=test_data) result = response.json() print("API调用成功！") print("返回结果:", result) except Exception as e: print("连接失败，请检查服务是否启动:", e)

如果看到返回结果，说明服务正常运行。返回的应该是一个列表，包含三个句子与“今天天气真好”的相似度分数。

2. 理解文本嵌入：让计算机“读懂”文字

在开始实操之前，我们先花2分钟搞懂核心概念：文本嵌入到底是什么？

你可以把文本嵌入想象成一种“翻译”——把人类能看懂的文字，翻译成计算机能理解的“数字密码”。比如：

句子“我喜欢吃苹果” → 转换成 [0.23, -0.45, 0.67, ..., 0.12]（一个1024维的数字向量）
句子“苹果是一种水果” → 转换成 [0.25, -0.42, 0.65, ..., 0.10]

关键是，意思相似的句子，转换出来的数字向量也相似。计算机通过计算这些向量之间的“距离”（比如余弦相似度），就能知道两段文字有多接近。

GTE模型就是一个专业的“翻译官”，它专门处理中文，能把任何中文句子转换成这样的数字向量。我们用的这个版本是“GTE Chinese Large”，向量维度是1024，能处理最长512个字的文本。

3. 计算文本相似度：完整代码示例

现在我们来实战。假设你是一个电商平台的开发人员，需要实现一个功能：用户输入商品描述，系统自动从商品库中找到最相似的商品。

3.1 准备商品数据

我们先模拟一个简单的商品库：

# 模拟商品数据库 products = [ {"id": 1, "title": "新款智能手机 大屏超薄 拍照效果好", "category": "电子产品"}, {"id": 2, "title": "高清数码相机 专业摄影 便携轻便", "category": "电子产品"}, {"id": 3, "title": "纯棉T恤 男士短袖 夏季休闲", "category": "服装"}, {"id": 4, "title": "运动鞋 透气减震 跑步健身", "category": "鞋类"}, {"id": 5, "title": "智能手机壳 防摔保护套 个性定制", "category": "配件"}, {"id": 6, "title": "无线蓝牙耳机 降噪音乐 运动耳机", "category": "电子产品"}, {"id": 7, "title": "男士衬衫 商务正装 长袖修身", "category": "服装"}, {"id": 8, "title": "平板电脑 学习娱乐 大容量存储", "category": "电子产品"} ]

3.2 计算相似度的核心函数

下面是计算文本相似度的完整函数：

import requests import numpy as np from typing import List, Tuple class GTEClient: def __init__(self, api_url: str = "http://localhost:7860/api/predict"): self.api_url = api_url def calculate_similarity(self, source_text: str, compare_texts: List[str]) -> List[float]: """ 计算源文本与多个对比文本的相似度 参数: source_text: 源文本（比如用户查询） compare_texts: 要对比的文本列表（比如商品标题列表） 返回: 相似度分数列表，范围通常在0-1之间，越大越相似 """ # 准备API请求数据 compare_texts_str = "\n".join(compare_texts) request_data = { "data": [source_text, compare_texts_str] } try: # 发送请求 response = requests.post(self.api_url, json=request_data) response.raise_for_status() # 检查HTTP错误 # 解析结果 result = response.json() # 结果格式通常是字典，包含相似度分数 if isinstance(result, dict) and "data" in result: similarities = result["data"] else: similarities = result return similarities except requests.exceptions.RequestException as e: print(f"API请求失败: {e}") return [] except Exception as e: print(f"处理结果时出错: {e}") return [] def get_top_similar(self, query: str, items: List[dict], top_k: int = 3, text_field: str = "title") -> List[Tuple[dict, float]]: """ 找到与查询最相似的top_k个物品 参数: query: 查询文本 items: 物品列表（每个是字典） top_k: 返回最相似的数量 text_field: 物品字典中文本字段的名称 返回: 最相似的物品和相似度分数的列表 """ # 提取所有文本 texts = [item[text_field] for item in items] # 计算相似度 similarities = self.calculate_similarity(query, texts) if not similarities: return [] # 将物品和相似度配对 item_similarities = list(zip(items, similarities)) # 按相似度降序排序 item_similarities.sort(key=lambda x: x[1], reverse=True) # 返回top_k个 return item_similarities[:top_k] def get_text_vector(self, text: str) -> List[float]: """ 获取单个文本的向量表示 参数: text: 输入文本 返回: 1024维的向量 """ request_data = { "data": [text, "", False, False, False, False] } try: response = requests.post(self.api_url, json=request_data) response.raise_for_status() result = response.json() # 解析向量数据 if isinstance(result, dict) and "data" in result: vector = result["data"] else: vector = result return vector except Exception as e: print(f"获取向量失败: {e}") return [] # 创建客户端实例 gte_client = GTEClient()

3.3 实际使用示例

现在我们来实际使用这个功能：

# 示例1：用户搜索"手机" user_query = "想买一个拍照好的手机" print(f"用户查询: {user_query}") print("=" * 50) # 查找最相似的3个商品 top_results = gte_client.get_top_similar(user_query, products, top_k=3) print("推荐结果:") for i, (product, score) in enumerate(top_results, 1): print(f"{i}. {product['title']} (相似度: {score:.4f})") print() # 示例2：比较两个句子的相似度 sentence1 = "这款手机拍照效果很棒" sentence2 = "这个相机拍摄照片很清晰" sentence3 = "今天天气真好" similarities = gte_client.calculate_similarity( sentence1, [sentence2, sentence3] ) print(f"句子1: '{sentence1}'") print(f"与句子2 '{sentence2}' 的相似度: {similarities[0]:.4f}") print(f"与句子3 '{sentence3}' 的相似度: {similarities[1]:.4f}")

运行这段代码，你会看到类似这样的输出：

用户查询: 想买一个拍照好的手机 ================================================== 推荐结果: 1. 新款智能手机 大屏超薄 拍照效果好 (相似度: 0.8923) 2. 高清数码相机 专业摄影 便携轻便 (相似度: 0.7654) 3. 无线蓝牙耳机 降噪音乐 运动耳机 (相似度: 0.2345) 句子1: '这款手机拍照效果很棒' 与句子2 '这个相机拍摄照片很清晰' 的相似度: 0.7123 与句子3 '今天天气真好' 的相似度: 0.0456

可以看到，模型能很好地理解语义相似性：

"拍照好的手机"和"拍照效果好"的手机相似度很高（0.89）
虽然"手机"和"相机"是不同的产品，但都涉及"拍照"，所以也有一定相似度（0.77）
与完全不相关的"天气"相似度很低（0.05）

4. 进阶应用：构建智能问答系统

文本相似度计算的一个典型应用是智能问答。下面我们实现一个简单的问答匹配系统：

class SimpleQASystem: def __init__(self): self.gte_client = GTEClient() self.qa_pairs = [] # 存储问答对 def add_qa_pair(self, question: str, answer: str): """添加问答对到知识库""" self.qa_pairs.append({ "question": question, "answer": answer }) def load_qa_from_file(self, filepath: str): """从文件加载问答对，每行格式：问题|答案""" try: with open(filepath, 'r', encoding='utf-8') as f: for line in f: line = line.strip() if line and '|' in line: question, answer = line.split('|', 1) self.add_qa_pair(question.strip(), answer.strip()) print(f"从 {filepath} 加载了 {len(self.qa_pairs)} 个问答对") except Exception as e: print(f"加载文件失败: {e}") def find_best_answer(self, user_question: str, threshold: float = 0.7): """ 为用户问题找到最佳答案 参数: user_question: 用户问题 threshold: 相似度阈值，低于这个值认为没有匹配答案 返回: 最佳答案或提示信息 """ if not self.qa_pairs: return "知识库为空，请先添加问答对" # 提取所有问题 questions = [qa["question"] for qa in self.qa_pairs] # 计算相似度 similarities = self.gte_client.calculate_similarity(user_question, questions) if not similarities: return "抱歉，暂时无法处理您的请求" # 找到最相似的问题 best_idx = np.argmax(similarities) best_score = similarities[best_idx] best_qa = self.qa_pairs[best_idx] # 检查是否超过阈值 if best_score >= threshold: return { "answer": best_qa["answer"], "matched_question": best_qa["question"], "confidence": float(best_score), "status": "success" } else: return { "answer": "抱歉，我没有找到相关答案", "suggested_question": best_qa["question"], "confidence": float(best_score), "status": "low_confidence" } def batch_match(self, user_questions: List[str], threshold: float = 0.7): """批量匹配多个问题""" results = [] for question in user_questions: result = self.find_best_answer(question, threshold) results.append({ "question": question, "result": result }) return results # 使用示例 def demo_qa_system(): # 创建问答系统 qa_system = SimpleQASystem() # 添加一些常见问题 qa_system.add_qa_pair( "怎么修改登录密码？", "您可以在个人中心-账户设置-安全设置中修改登录密码。" ) qa_system.add_qa_pair( "如何联系客服？", "您可以通过以下方式联系客服：1. 在线客服（9:00-18:00）2. 客服电话：400-xxx-xxxx 3. 邮箱：support@example.com" ) qa_system.add_qa_pair( "订单什么时候发货？", "一般情况下，订单会在24小时内发货。您可以在订单详情页面查看发货状态。" ) qa_system.add_qa_pair( "支持哪些支付方式？", "我们支持支付宝、微信支付、银行卡支付等多种支付方式。" ) # 测试用户问题 test_questions = [ "我想改一下密码", "怎么联系你们？", "我的订单发货了吗？", "可以用微信付款吗？", "今天天气怎么样？" # 知识库中没有的问题 ] print("智能问答系统演示") print("=" * 50) for question in test_questions: print(f"\n用户问题: {question}") result = qa_system.find_best_answer(question) if isinstance(result, dict): if result["status"] == "success": print(f"匹配问题: {result['matched_question']}") print(f"置信度: {result['confidence']:.4f}") print(f"答案: {result['answer']}") else: print(f"低置信度匹配: {result['confidence']:.4f}") print(f"建议问题: {result['suggested_question']}") print(f"回复: {result['answer']}") else: print(f"回复: {result}") # 运行演示 demo_qa_system()

这个问答系统展示了文本相似度在实际中的应用。即使用户的问题和知识库中的问题表述不完全一样（比如"我想改一下密码" vs "怎么修改登录密码？"），模型也能识别出它们的语义相似性。

5. 实用技巧与常见问题

5.1 提升相似度计算效果的建议

文本预处理很重要
- 去除无关符号、多余空格
- 统一简繁体（如果需要）
- 对于长文本，可以考虑分段处理

def preprocess_text(text: str) -> str: """简单的文本预处理""" # 去除多余空格和换行 text = ' '.join(text.split()) # 去除一些特殊符号（根据需求调整） import re text = re.sub(r'[【】\[\]()（）「」]', '', text) return text.strip() # 使用预处理 clean_text = preprocess_text("这款手机，拍照效果真的很棒！")

处理长文本的策略GTE模型最大支持512个token（约256-384个汉字）。对于更长的文本：

def process_long_text(text: str, max_length: int = 300) -> List[str]: """将长文本分割成较短的片段""" # 简单按句号分割 sentences = text.split('。') chunks = [] current_chunk = "" for sentence in sentences: if len(current_chunk) + len(sentence) < max_length: current_chunk += sentence + "。" else: if current_chunk: chunks.append(current_chunk) current_chunk = sentence + "。" if current_chunk: chunks.append(current_chunk) return chunks # 计算长文本相似度：可以取各段落相似度的平均值 def similarity_long_text(text1: str, text2: str) -> float: chunks1 = process_long_text(text1) chunks2 = process_long_text(text2) similarities = [] for chunk1 in chunks1: for chunk2 in chunks2: sim = gte_client.calculate_similarity(chunk1, [chunk2]) if sim: similarities.append(sim[0]) return sum(similarities) / len(similarities) if similarities else 0.0

设置合理的相似度阈值
- 高精度匹配：阈值设0.8-0.9
- 一般检索：阈值设0.6-0.7
- 语义相关推荐：阈值设0.4-0.5

5.2 常见问题解答

Q: 相似度分数范围是多少？什么算高相似度？A: GTE模型输出的相似度分数通常在0-1之间，但实际范围可能略有不同。一般来说：

0.8以上：高度相似，意思几乎相同
0.6-0.8：比较相似，核心意思一致
0.4-0.6：有一定相关性
0.4以下：不太相关

Q: 模型处理速度如何？A: 在GPU上，处理一个句子大约需要10-50毫秒，具体取决于文本长度和硬件性能。对于批量处理，建议一次性传入多个文本，比多次调用更高效。

Q: 支持其他语言吗？A: 这个GTE Chinese Large版本主要针对中文优化。如果需要多语言支持，可以考虑其他模型如multilingual-e5-large。

Q: 如何提高特定领域的相似度计算效果？A: 如果在你专业领域效果不佳，可以考虑：

收集领域内的文本对进行微调（需要一定技术能力）
使用领域相关的文本进行预处理
结合规则方法进行后处理

5.3 性能优化建议

# 批量处理示例，比单条处理更高效 def batch_similarity_calculation(queries: List[str], candidates: List[str]): """批量计算相似度""" all_results = [] # 可以分批处理，避免一次请求太大 batch_size = 10 for i in range(0, len(queries), batch_size): batch_queries = queries[i:i+batch_size] for query in batch_queries: similarities = gte_client.calculate_similarity(query, candidates) all_results.append({ "query": query, "similarities": similarities }) return all_results # 缓存向量，避免重复计算 from functools import lru_cache class CachedGTEClient(GTEClient): def __init__(self, api_url: str = "http://localhost:7860/api/predict"): super().__init__(api_url) self.vector_cache = {} @lru_cache(maxsize=1000) def get_cached_vector(self, text: str) -> List[float]: """带缓存的向量获取""" if text in self.vector_cache: return self.vector_cache[text] vector = self.get_text_vector(text) if vector: self.vector_cache[text] = vector return vector def similarity_from_vectors(self, vec1: List[float], vec2: List[float]) -> float: """计算两个向量的余弦相似度""" if not vec1 or not vec2: return 0.0 # 转换为numpy数组 v1 = np.array(vec1) v2 = np.array(vec2) # 计算余弦相似度 dot_product = np.dot(v1, v2) norm1 = np.linalg.norm(v1) norm2 = np.linalg.norm(v2) if norm1 == 0 or norm2 == 0: return 0.0 return dot_product / (norm1 * norm2)