shibing624/text2vec-base-chinese中文语义向量模型使用指南

shibing624/text2vec-base-chinese中文语义向量模型使用指南

【免费下载链接】text2vec-base-chinese项目地址: https://ai.gitcode.com/hf_mirrors/ai-gitcode/text2vec-base-chinese

模型简介

shibing624/text2vec-base-chinese是一个基于CoSENT方法训练的中文句子嵌入模型，能够将句子映射到768维的密集向量空间，适用于句子嵌入、文本匹配和语义搜索等任务。

环境配置

使用该模型前需要安装必要的Python库：

pip install -U text2vec transformers sentence-transformers

基础使用方法

使用text2vec库

from text2vec import SentenceModel # 加载模型 model = SentenceModel('shibing624/text2vec-base-chinese') # 输入句子 sentences = ['如何更换花呗绑定银行卡', '花呗更改绑定银行卡'] # 获取句子嵌入 embeddings = model.encode(sentences) # 打印句子嵌入 print(embeddings)

使用HuggingFace Transformers

from transformers import BertTokenizer, BertModel import torch # 均值池化函数 def mean_pooling(model_output, attention_mask): token_embeddings = model_output[0] input_mask_expanded = attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float() return torch.sum(token_embeddings * input_mask_expanded, 1) / torch.clamp(input_mask_expanded.sum(1), min=1e-9) # 加载模型和分词器 tokenizer = BertTokenizer.from_pretrained('shibing624/text2vec-base-chinese') model = BertModel.from_pretrained('shibing624/text2vec-base-chinese') sentences = ['如何更换花呗绑定银行卡', '花呗更改绑定银行卡'] # 分词处理 encoded_input = tokenizer(sentences, padding=True, truncation=True, return_tensors='pt') # 计算嵌入向量 with torch.no_grad(): model_output = model(**encoded_input) sentence_embeddings = mean_pooling(model_output, encoded_input['attention_mask']) print("Sentence embeddings:") print(sentence_embeddings)

使用sentence-transformers

from sentence_transformers import SentenceTransformer model = SentenceTransformer("shibing624/text2vec-base-chinese") sentences = ['如何更换花呗绑定银行卡', '花呗更改绑定银行卡'] sentence_embeddings = model.encode(sentences) print("Sentence embeddings:") print(sentence_embeddings)

性能优化版本

ONNX优化版本（GPU加速）

from sentence_transformers import SentenceTransformer model = SentenceTransformer( "shibing624/text2vec-base-chinese", backend="onnx", model_kwargs={"file_name": "model_O4.onnx"}, ) embeddings = model.encode(["如何更换花呗绑定银行卡", "花呗更改绑定银行卡", "你是谁"]) print(embeddings.shape)

OpenVINO版本（CPU加速）

from sentence_transformers import SentenceTransformer model = SentenceTransformer( "shibing624/text2vec-base-chinese", backend="openvino", ) embeddings = model.encode(["如何更换花呗绑定银行卡", "花呗更改绑定银行卡", "你是谁"]) print(embeddings.shape)

INT8量化版本（CPU极致加速）

from sentence_transformers import SentenceTransformer model = SentenceTransformer( "shibing624/text2vec-base-chinese", backend="onnx", model_kwargs={"file_name": "model_qint8_avx512_vnni.onnx"}, ) embeddings = model.encode(["如何更换花呗绑定银行卡", "花呗更改绑定银行卡", "你是谁"]) print(embeddings.shape)

模型架构

该模型基于以下架构构建：

• Transformer编码器：基于hfl/chinese-macbert-base预训练模型
• 池化层：均值池化，输出768维句子向量
• 最大序列长度：128个token

训练细节

模型在中文自然语言推理数据集shibing624/nli_zh上使用CoSENT方法进行微调，关键训练参数包括：

• 训练数据集：shibing624/nli_zh
• 最大序列长度：128
• 最佳训练轮数：5
• 句子嵌入维度：768

应用场景

• 文本相似度计算
• 语义搜索系统
• 文档聚类分析
• 智能问答匹配
• 信息检索任务

注意事项

• 输入文本长度超过256个字符会被自动截断
• 对于不同的硬件环境，可以选择合适的优化版本以获得最佳性能
• 模型支持中文文本处理，在语义匹配任务中表现优异

性能表现

该模型在多个中文文本匹配基准测试中均表现出色，包括ATEC、BQ、LCQMC、PAWSX、STS-B等数据集，平均性能指标达到51.61。

通过本指南，您可以快速上手使用shibing624/text2vec-base-chinese模型，在实际项目中实现中文文本的语义向量表示。

【免费下载链接】text2vec-base-chinese项目地址: https://ai.gitcode.com/hf_mirrors/ai-gitcode/text2vec-base-chinese