news 2026/6/11 9:36:14

06-FAISS向量数据库

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
06-FAISS向量数据库

①.基于 FAISS(Facebook 开源的高效向量检索库)和 LangChain 构建的中文文本向量检索系统,核心功能是将文本数据向量化后存入 FAISS 向量库,并实现相似性检索。

1.安装FAISS

pip install faiss-cpu,也可以是gpu,看具体使用情况

2.实现代码

import faiss from langchain_community.docstore import InMemoryDocstore from langchain_community.vectorstores import FAISS from langchain_huggingface import HuggingFaceEmbeddings from langchain_core.documents import Document model_name = "BAAI/bge-large-zh-v1.5" model_kwargs = {'device': 'cpu'} encode_kwargs = {'normalize_embeddings': True} # set True to compute cosine similarity bge_hf_embedding = HuggingFaceEmbeddings( model_name=model_name, model_kwargs=model_kwargs, encode_kwargs=encode_kwargs, ) #1.初始化数据库 #先创建索引 #向量维度 index=faiss.IndexFlatL2(1024) vector_store=FAISS( embedding_function=bge_hf_embedding, index=index, docstore=InMemoryDocstore(), index_to_docstore_id={} ) # 2、 准备数据(Document) #page_content里面的数据必须经过向量化,不需要向量化的数据放在metadata document_1 = Document( page_content="今天早餐我吃了巧克力薄煎饼和炒蛋。", metadata={"source": "tweet", "time": "上午"}, ) document_2 = Document( page_content="明天的天气预报是阴天多云,最高气温62华氏度。", metadata={"source": "news"}, ) document_3 = Document( page_content="正在用LangChain构建一个激动人心的新项目——快来看看吧!", metadata={"source": "tweet"}, ) document_4 = Document( page_content="劫匪闯入城市银行,盗走了100万美元现金。", metadata={"source": "news"}, ) document_5 = Document( page_content="哇!那部电影太精彩了,我已经迫不及待想再看一遍。", metadata={"source": "tweet"}, ) document_6 = Document( page_content="新iPhone值得这个价格吗?阅读这篇评测一探究竟。", metadata={"source": "website"}, ) document_7 = Document( page_content="当今世界排名前十的足球运动员。", metadata={"source": "website"}, ) document_8 = Document( page_content="LangGraph是构建有状态智能体应用的最佳框架!", metadata={"source": "tweet"}, ) document_9 = Document( page_content="由于对经济衰退的担忧,今日股市下跌500点。", metadata={"source": "news"}, ) document_10 = Document( page_content="我有种不好的预感,我要被删除了 :(", metadata={"source": "tweet"}, ) documents = [ document_1, document_2, document_3, document_4, document_5, document_6, document_7, document_8, document_9, document_10, ] ids=['id'+str(i+1) for i in range(len(documents))] vector_store.add_documents(documents,ids=ids) #把数据库写入磁盘 vector_store.save_local('../faiss_db') #语言检索 resp=vector_store.similarity_search('今天的投资建议',2) for i in resp: print(i.page_content) print(type(i))

输出:

左边的文件栏也会出现保存的数据库:

②.从保存的向量数据库中进行检索

from langchain_community.docstore import InMemoryDocstore from langchain_community.vectorstores import FAISS from langchain_core.embeddings import Embeddings from sentence_transformers import SentenceTransformer from langchain_core.documents import Document import faiss class CustomQwen3Embeddings(Embeddings): ''' 定义一个Qwen3的Embedding和lang'chain整合的类 ''' def __init__(self,model_name): self.qwen3_embedding = SentenceTransformer(model_name) #输入的问题向量化 def embed_query(self, text: str) -> list[float]: return self.embed_documents([text])[0] #文本内容向量化 def embed_documents(self, texts: list[str]) -> list[list[float]]: return self.qwen3_embedding.encode(texts) qwen3=CustomQwen3Embeddings('Qwen/Qwen3-Embedding-0.6B') #加载数据库 vector_store=FAISS.load_local('../faiss_db',embeddings=qwen3,allow_dangerous_deserialization=True) resp = vector_store.similarity_search_with_score('有美食的内容吗', k=4, filter={"source": 'tweet'}) # 带分数 for i,score in resp: print(type(i)) print(i) print(i.id) print(f"{score:3f}")

输出:

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/6/10 17:23:52

Docker本地部署AutoGPT实战指南

Docker本地部署AutoGPT实战指南 在你还在反复调整提示词、手动点击“发送”来与AI对话时,有没有想过——有一天AI能自己思考、拆解目标、上网查资料、写文件、执行代码,甚至在你睡觉的时候替你完成一份完整的项目计划? 这不是科幻。随着Aut…

作者头像 李华
网站建设 2026/6/10 18:56:42

Python安装onnxruntime加速GPT-SoVITS推理

Python安装onnxruntime加速GPT-SoVITS推理 在语音合成技术飞速发展的今天,个性化声音克隆已不再是科幻电影中的桥段。从虚拟主播到智能助手,越来越多的应用开始追求“像人”的声音——不仅要说得清楚,更要说得像你。而 GPT-SoVITS 正是这一浪…

作者头像 李华
网站建设 2026/6/9 21:25:03

Linly-Talker容器化部署与环境搭建指南

Linly-Talker容器化部署与环境搭建指南 在虚拟主播、AI客服和数字员工等场景日益普及的今天,如何快速构建一个能“听懂、说话、表情自然”的全栈式数字人系统,成为许多开发者关注的核心问题。Linly-Talker 正是为此而生——它不是一个简单的语音或动画工…

作者头像 李华
网站建设 2026/6/7 19:52:04

LobeChat能否处理JSON数据?结构化信息操作

LobeChat 能否处理 JSON 数据?一场关于结构化信息操作的深度实践 在现代 AI 应用开发中,我们早已不再满足于“你叫什么名字?”“请讲个笑话”这类简单交互。越来越多的开发者和用户期望大模型不仅能理解自然语言,还能输出可被程序…

作者头像 李华
网站建设 2026/6/9 14:42:42

Android AI示例宝库:一站式探索Google AI模型的无限可能

Android AI Sample Catalog Android AI Sample Catalog 是一个独立的应用程序,旨在为开发者提供一系列自包含的示例,集中展示Google AI模型解锁的各种生成式AI能力。这些示例涵盖了从基础文本对话、多模态理解到实时语音交互、视频内容分析以及图像生成…

作者头像 李华