news 2026/8/25 1:42:33

Java团队如何用Spring AI与LangChain4j构建RAG与AI Agent应用

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
Java团队如何用Spring AI与LangChain4j构建RAG与AI Agent应用

如果你是一名Java开发者，最近被AI浪潮冲击得有些迷茫，不知道从何下手，那么这篇文章就是为你准备的。我们不再空谈“AI将改变一切”，而是聚焦一个具体问题：一个Java技术团队，如何用最低的迁移成本、最熟悉的Spring生态，快速构建一个具备AI能力的业务系统？

答案是：Spring AI + LangChain4j + RAG + AI Agent这套组合拳。这不仅仅是几个热门框架的堆砌，而是一条经过验证的、能让你在保持Java技术栈优势的同时，平滑接入大模型能力的工程化路径。本文将从一个真实的“智能航空客服”场景出发，为你彻底拆解这套技术栈的选型逻辑、核心概念、落地步骤以及那些官方文档里不会写的“坑”。

读完本文，你将能清晰地回答：我的项目该不该上AI？该选Spring AI还是LangChain4j？RAG和Agent到底先做哪个？以及，如何用你熟悉的Java代码，跑通第一个AI增强应用。

1. 为什么Java开发者需要关注这套AI技术栈？

很多Java开发者对AI有误解，认为那是Python和数据科学家的领域。但现实是，企业核心业务系统（如电商、金融、航空、客服）大量基于Java构建，AI能力必须无缝集成到这些现有系统中，而不是推倒重来。这就是Java在AI时代的新机会。

Spring AI的出现，标志着Spring官方对AI应用开发范式的认可。它不是一个AI模型，而是一个抽象层。就像Spring Data统一了数据库访问，Spring AI旨在统一对大模型（OpenAI、Azure OpenAI、Ollama等）的访问。它的核心价值是：让Java开发者用熟悉的@Bean、@Service注解和RestTemplate风格来调用AI能力，无需关心底层HTTP API的细节。

LangChain4j则是另一个维度的解决方案。它源自Python生态的LangChain，提供了更高阶的“链”（Chain）和“智能体”（Agent）编排能力。如果说Spring AI解决了“连接”问题，那么LangChain4j更擅长解决“流程”和“推理”问题。

那么，我们该如何选择？一个简单的判断是：

  • 如果你的需求是快速、标准化地集成大模型对话、文生图等基础能力到Spring Boot应用，优先考虑Spring AI。它的学习曲线平缓，与Spring Cloud、Security等组件集成天衣无缝。
  • 如果你的需求是构建复杂的、多步骤的AI工作流（例如需要联网搜索、调用工具、进行条件判断的智能客服），或者你需要高度的灵活性和对Prompt工程的精细控制，LangChain4j可能更合适。

而RAG和AI Agent，是构建实用AI系统的两大核心架构模式。RAG解决“知识保鲜”问题，让大模型能回答私有、最新的数据；Agent解决“行动力”问题，让大模型能调用外部工具（如查数据库、发邮件）来完成复杂任务。

本文的实战案例“智能航空客服”，将同时用到这两者：用RAG接入最新的航班手册和票务规则，用Agent来决策是回答问题、查询订单还是转接人工。

2. 核心概念解析：RAG、Agent与LangChain4j、Spring AI的关系

在深入代码之前，必须理清这几个容易混淆的概念。它们不是并列关系，而是不同层面的抽象。

2.1 RAG：给大模型装上“外部知识库”

  • 是什么：检索增强生成。核心流程是“提问 -> 从向量数据库检索相关文档 -> 将文档作为上下文喂给大模型 -> 生成答案”。
  • 解决了什么问题：大模型的训练数据有截止日期，且不知道你的私有数据（公司文档、产品手册）。RAG让模型能基于你提供的、最新的、特定的知识来回答，避免“胡言乱语”。
  • 关键组件：文本分割器、嵌入模型（Embedding Model）、向量数据库（如Chroma、Milvus、Redis Stack）。

2.2 AI Agent：具备“思考”和“行动”能力的AI程序

  • 是什么：一个能感知环境、进行规划、执行动作（调用工具）以达到目标的系统。核心是ReAct框架（Reason + Act）。
  • 解决了什么问题：大模型本身是“思想家”，但不会操作现实系统。Agent通过让大模型决定“下一步该调用哪个工具”，将思考转化为行动，例如查天气、计算、操作数据库。
  • 关键组件：LLM（大脑）、工具（Tools）、执行器（Agent Executor）。

2.3 LangChain4j 与 Spring AI：两种实现路径

你可以把它们理解为构建AI应用的两种“框架”或“SDK”。

特性维度Spring AILangChain4j
出身Spring官方项目源自Python LangChain的Java移植
核心哲学Spring生态整合优先，提供统一抽象AI应用模式（链、代理）优先，提供丰富组件
主要优势与Spring Boot无缝集成，配置简单，学习成本低功能更全面，对复杂Agent、RAG流程支持更成熟
适用场景在Spring应用中快速添加AI功能构建复杂的、多步骤的AI工作流或独立AI应用
向量数据库支持通过Spring Data风格Repository支持提供更丰富的原生客户端集成

一个重要趋势：两者正在融合。Spring AI Alibaba项目就在探索将LangChain4j的Agent、Graph（工作流）等概念引入Spring生态。对于Java团队，最佳策略可能是“以Spring AI为基座，在需要复杂编排时引入LangChain4j组件”。

3. 环境准备：构建智能航空客服的技术栈

我们假设一个场景：为某航空公司开发一个智能客服原型，它能回答航班政策、行李规定等通用问题（RAG），也能在用户授权后查询订单状态（Agent）。

技术栈选型与版本：

  • JDK: 17 或 21 (LTS版本)
  • 构建工具: Maven 3.6+ 或 Gradle 7.x
  • Spring Boot: 3.2.x (与Spring AI版本兼容)
  • Spring AI: 0.8.1 (请关注官方最新稳定版)
  • LangChain4j: 0.31.0
  • 向量数据库:Chroma(轻量，易于本地启动) 或Redis Stack(生产环境更常见)
  • 嵌入模型:Ollama + nomic-embed-text(本地运行，免费) 或OpenAI text-embedding-3-small(云端，效果好)
  • 大语言模型:Ollama + llama3.2(本地) 或OpenAI GPT-4o-mini(云端，性价比高)
  • 其他: Lombok, Spring Web

为什么选择Ollama？对于学习和原型开发，Ollama允许你在本地Mac/Windows/Linux上运行开源大模型和嵌入模型，完全免费，无需API密钥，避免了网络和费用问题。生产环境再考虑切换为云服务。

4. 第一步：搭建基础Spring AI应用

我们先从最简单的开始：创建一个Spring Boot应用，集成Spring AI，并实现与大模型的对话。

4.1 项目初始化与依赖

使用 Spring Initializr 创建项目，或直接配置pom.xml：

<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>3.2.5</version> <relativePath/> </parent> <groupId>com.example</groupId> <artifactId>smart-airline-assistant</artifactId> <version>0.0.1-SNAPSHOT</version> <name>smart-airline-assistant</name> <description>AI-Powered Airline Customer Service</description> <properties> <java.version>17</java.version> <spring-ai.version>0.8.1</spring-ai.version> </properties> <dependencies> <!-- Spring Boot Web --> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> <!-- Spring AI OpenAI Starter (兼容Ollama的OpenAI API协议) --> <dependency> <groupId>org.springframework.ai</groupId> <artifactId>spring-ai-openai-spring-boot-starter</artifactId> </dependency> <!-- Lombok --> <dependency> <groupId>org.projectlombok</groupId> <artifactId>lombok</artifactId> <optional>true</optional> </dependency> <!-- 测试 --> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-test</artifactId> <scope>test</scope> </dependency> </dependencies> <dependencyManagement> <dependencies> <dependency> <groupId>org.springframework.ai</groupId> <artifactId>spring-ai-bom</artifactId> <version>${spring-ai.version}</version> <type>pom</type> <scope>import</scope> </dependency> </dependencies> </dependencyManagement> <build> <plugins> <plugin> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-maven-plugin</artifactId> <configuration> <excludes> <exclude> <groupId>org.projectlombok</groupId> <artifactId>lombok</artifactId> </exclude> </excludes> </configuration> </plugin> </plugins> </build> </project>

4.2 配置Ollama本地模型

首先，在你的电脑上安装并启动Ollama（访问 ollama.com 下载）。 然后在终端拉取并运行模型：

# 拉取并运行一个轻量级对话模型（例如llama3.2） ollama run llama3.2 # 在另一个终端拉取嵌入模型 ollama pull nomic-embed-text

Ollama默认会在11434端口提供兼容OpenAI API的服务。

接下来，配置Spring AI连接Ollama。在application.yml中：

spring: application: name: smart-airline-assistant ai: openai: # Ollama 兼容 OpenAI API，base-url指向其地址 base-url: http://localhost:11434/v1 api-key: ollama # 非OpenAI官方服务，可填任意非空值 chat: options: model: llama3.2 # 与ollama run使用的模型名一致 temperature: 0.7

4.3 实现第一个对话接口

创建一个简单的Controller来测试连接：

// 文件路径：src/main/java/com/example/assistant/controller/ChatController.java package com.example.assistant.controller; import lombok.RequiredArgsConstructor; import org.springframework.ai.chat.client.ChatClient; import org.springframework.web.bind.annotation.GetMapping; import org.springframework.web.bind.annotation.RequestParam; import org.springframework.web.bind.annotation.RestController; @RestController @RequiredArgsConstructor public class ChatController { // Spring AI 的核心入口：ChatClient private final ChatClient chatClient; @GetMapping("/chat") public String chat(@RequestParam(value = "message", defaultValue = "你好") String message) { return chatClient.prompt() .user(message) .call() .content(); } }

启动应用，访问http://localhost:8080/chat?message=什么是随身行李？。如果一切正常，你将收到模型生成的关于随身行李的解释。这证明你的Spring AI基础环境已就绪。

5. 核心实战：为客服系统注入专业知识（RAG实现）

现在，我们要让客服能回答航空公司的具体规定。假设我们有一份《旅客行李运输规定》PDF文档。目标是：将文档内容处理后，让模型能基于它来回答。

5.1 引入向量数据库与Embedding依赖

我们选择Chroma作为向量数据库，因为它简单。修改pom.xml，添加依赖：

<!-- Spring AI Chroma 向量存储 --> <dependency> <groupId>org.springframework.ai</groupId> <artifactId>spring-ai-chroma-store-spring-boot-starter</artifactId> </dependency> <!-- 如果使用Redis Stack，则用下面这个 --> <!-- <dependency> <groupId>org.springframework.ai</groupId> <artifactId>spring-ai-redis-store-spring-boot-starter</artifactId> </dependency> -->

同时，需要配置Embedding模型。我们使用Ollama的nomic-embed-text模型。在application.yml中追加：

spring: ai: openai: embedding: options: model: nomic-embed-text # Ollama中的嵌入模型名称 vectorstore: chroma: # ChromaDB默认运行在本地8000端口 embedding-dimension: 768 # nomic-embed-text模型的维度，需查阅模型文档确认

5.2 文档加载、分割与向量化

创建一个服务，负责将知识文档“灌入”向量数据库。

// 文件路径：src/main/java/com/example/assistant/service/RagService.java package com.example.assistant.service; import jakarta.annotation.PostConstruct; import lombok.RequiredArgsConstructor; import lombok.extern.slf4j.Slf4j; import org.springframework.ai.document.Document; import org.springframework.ai.reader.TextReader; import org.springframework.ai.transformer.splitter.TokenTextSplitter; import org.springframework.ai.vectorstore.VectorStore; import org.springframework.core.io.Resource; import org.springframework.core.io.ResourceLoader; import org.springframework.stereotype.Service; import java.io.IOException; import java.nio.charset.StandardCharsets; import java.util.List; @Service @Slf4j @RequiredArgsConstructor public class RagService { private final VectorStore vectorStore; private final ResourceLoader resourceLoader; // 应用启动时，初始化知识库（生产环境应有更优雅的触发方式） @PostConstruct public void initKnowledgeBase() { try { // 1. 加载文档（这里以txt为例，PDF需使用PdfReader） Resource resource = resourceLoader.getResource("classpath:knowledge/行李规定.txt"); TextReader textReader = new TextReader(resource); textReader.setCharset(StandardCharsets.UTF_8.name()); List<Document> documents = textReader.get(); // 2. 分割文档（按Token数分割，防止超出模型上下文） TokenTextSplitter splitter = new TokenTextSplitter(); List<Document> splitDocuments = splitter.apply(documents); // 3. 向量化并存储到Chroma vectorStore.add(splitDocuments); log.info("成功加载 {} 个文档片段到向量数据库。", splitDocuments.size()); } catch (IOException e) { log.error("加载知识库文档失败", e); } } }

在src/main/resources/knowledge/目录下创建行李规定.txt，内容示例：

随身行李规定：经济舱旅客可携带一件随身行李，尺寸不超过55cm x 40cm x 20cm，重量不超过7公斤。 托运行李规定：经济舱免费托运额度为20公斤，超重部分按每公斤票面价的1.5%收取费用。 危险品：任何锂电池设备（如充电宝）必须随身携带，禁止托运。 航班延误补偿：因承运人原因延误4小时以上，提供餐食住宿；延误8小时以上，提供经济补偿。

5.3 实现RAG问答接口

现在，我们可以创建一个结合了检索和生成的智能问答接口。

// 文件路径：src/main/java/com/example/assistant/controller/RagController.java package com.example.assistant.controller; import lombok.RequiredArgsConstructor; import org.springframework.ai.chat.client.ChatClient; import org.springframework.ai.chat.client.advisor.SimpleVectorStoreAdvisor; import org.springframework.ai.chat.model.ChatResponse; import org.springframework.ai.vectorstore.VectorStore; import org.springframework.web.bind.annotation.GetMapping; import org.springframework.web.bind.annotation.RequestParam; import org.springframework.web.bind.annotation.RestController; @RestController @RequiredArgsConstructor public class RagController { private final ChatClient chatClient; private final VectorStore vectorStore; @GetMapping("/rag/ask") public String ask(@RequestParam String question) { // 关键：使用SimpleVectorStoreAdvisor，在对话前自动检索相关文档 ChatResponse response = chatClient.prompt() .advisors(new SimpleVectorStoreAdvisor(vectorStore)) // 注入检索逻辑 .user(u -> u.text(question) .param("similarityThreshold", 0.7) // 相似度阈值，过滤不相关结果 ) .call() .chatResponse(); return response.getResult().getOutput().getContent(); } }

访问http://localhost:8080/rag/ask?question=充电宝可以托运吗？。模型会先从向量库中检索出关于“危险品”和“锂电池”的文档片段，然后结合这些上下文生成答案：“根据规定，任何锂电池设备（如充电宝）必须随身携带，禁止托运。” 答案准确且源自你的知识库。

6. 进阶：让客服拥有“行动力”（AI Agent实现）

RAG让客服有了知识，但客服还需要行动，比如帮用户查询订单。这就需要AI Agent。这里我们引入LangChain4j来实现一个更复杂的Agent。

6.1 添加LangChain4j依赖

在pom.xml中加入：

<!-- LangChain4j 核心 --> <dependency> <groupId>dev.langchain4j</groupId> <artifactId>langchain4j</artifactId> <version>0.31.0</version> </dependency> <!-- LangChain4j Spring Boot Starter --> <dependency> <groupId>dev.langchain4j</groupId> <artifactId>langchain4j-spring-boot-starter</artifactId> <version>0.31.0</version> </dependency> <!-- 使用Ollama，需要OpenAI兼容的模块 --> <dependency> <groupId>dev.langchain4j</groupId> <artifactId>langchain4j-ollama</artifactId> <version>0.31.0</version> </dependency>

6.2 定义Agent的工具（Tools）

工具是Agent的手和脚。我们模拟一个查询订单状态的工具。

// 文件路径：src/main/java/com/example/assistant/agent/tool/OrderQueryTool.java package com.example.assistant.agent.tool; import dev.langchain4j.agent.tool.Tool; import lombok.extern.slf4j.Slf4j; import org.springframework.stereotype.Component; import java.time.LocalDateTime; import java.util.HashMap; import java.util.Map; @Component @Slf4j public class OrderQueryTool { // 模拟一个订单数据库 private static final Map<String, String> ORDER_DB = new HashMap<>(); static { ORDER_DB.put("ORD123456", "状态：已出票，航班：CA1234，时间：2024-06-01 10:00，座位：12A"); ORDER_DB.put("ORD789012", "状态：值机完成，航班：MU5678，时间：2024-06-02 14:30，座位：08C"); } /** * 定义一个供AI Agent调用的工具。 * @Tool注解是关键，name和description会被模型理解。 */ @Tool(name = "queryOrderStatus", description = "根据订单号查询航班订单的当前状态、航班信息和座位号。") public String queryOrderStatus(@Tool("用户的订单号，例如 ORD123456") String orderNumber) { log.info("[工具调用] 查询订单状态，订单号: {}", orderNumber); // 模拟查询耗时 try { Thread.sleep(500); } catch (InterruptedException e) { Thread.currentThread().interrupt(); } String status = ORDER_DB.getOrDefault(orderNumber, "错误：未找到该订单号。请确认订单号是否正确。"); return String.format("订单 %s 的查询结果：%s (查询时间：%s)", orderNumber, status, LocalDateTime.now()); } }

6.3 配置并创建AI Agent

我们需要配置LangChain4j，让它使用Ollama模型，并识别我们定义的Tool。

// 文件路径：src/main/java/com/example/assistant/agent/AirlineAgent.java package com.example.assistant.agent; import dev.langchain4j.service.SystemMessage; import dev.langchain4j.service.UserMessage; import dev.langchain4j.service.V; import dev.langchain4j.service.spring.AiService; // 使用@AiService注解，LangChain4j会自动创建代理实现类 @AiService public interface AirlineAgent { // SystemMessage设定Agent的角色和基础规则 @SystemMessage(""" 你是一个专业的航空客服智能助手。 你的能力包括： 1. 回答关于行李规定、航班政策、退改签规则等通用问题（基于你的知识）。 2. 在用户提供订单号后，调用工具查询具体的订单状态。 3. 如果问题超出你的能力范围或需要人工介入，礼貌地建议用户联系人工客服。 请根据用户问题的性质，决定是直接回答，还是调用工具。 调用工具时，必须确保用户提供了准确的订单号。 """) String chat(@UserMessage String userMessage); }

配置LangChain4j的连接属性，在application.yml中追加：

langchain4j: ollama: chat-model: base-url: http://localhost:11434 model-name: llama3.2 temperature: 0.7 timeout: 120s

6.4 创建Agent服务并测试

创建一个Service来封装Agent的调用。

// 文件路径：src/main/java/com/example/assistant/service/AgentService.java package com.example.assistant.service; import com.example.assistant.agent.AirlineAgent; import lombok.RequiredArgsConstructor; import lombok.extern.slf4j.Slf4j; import org.springframework.stereotype.Service; @Service @Slf4j @RequiredArgsConstructor public class AgentService { private final AirlineAgent agent; public String processQuery(String userInput) { log.info("用户查询: {}", userInput); String response = agent.chat(userInput); log.info("Agent回复: {}", response); return response; } }

最后，创建一个Controller来暴露Agent接口。

// 文件路径：src/main/java/com/example/assistant/controller/AgentController.java package com.example.assistant.controller; import com.example.assistant.service.AgentService; import lombok.RequiredArgsConstructor; import org.springframework.web.bind.annotation.GetMapping; import org.springframework.web.bind.annotation.RequestParam; import org.springframework.web.bind.annotation.RestController; @RestController @RequiredArgsConstructor public class AgentController { private final AgentService agentService; @GetMapping("/agent/chat") public String chat(@RequestParam String message) { return agentService.processQuery(message); } }

现在，进行终极测试：

  1. 访问http://localhost:8080/agent/chat?message=我的订单号是ORD123456，现在状态怎么样？预期：Agent会识别出需要调用queryOrderStatus工具，并返回具体的订单信息。
  2. 访问http://localhost:8080/agent/chat?message=随身行李可以带多大？预期：Agent发现这是一个通用知识问题，会直接调用其内在的LLM知识（或结合RAG，见下文）来回答。
  3. 访问http://localhost:8080/agent/chat?message=我要改签航班。预期：Agent识别此操作复杂，可能会回复：“改签航班涉及具体票务规则和费用，为了给您最准确的处理，建议您直接联系我们的24小时人工客服。”

7. 融合架构：RAG + Agent 的智能客服

单独的RAG和Agent能力都不够完美。理想状态是：Agent作为大脑，决定做什么；RAG作为记忆库，提供专业知识。我们可以将两者结合。

一种简单而有效的模式是：在Agent的SystemMessage中，动态注入从RAG检索到的相关知识。这需要稍微改造一下我们的服务。

// 文件路径：src/main/java/com/example/assistant/service/EnhancedAgentService.java package com.example.assistant.service; import com.example.assistant.agent.AirlineAgent; import dev.langchain4j.data.message.SystemMessage; import dev.langchain4j.data.message.UserMessage; import dev.langchain4j.model.chat.ChatLanguageModel; import dev.langchain4j.service.AiServices; import dev.langchain4j.service.TokenStream; import lombok.RequiredArgsConstructor; import org.springframework.ai.vectorstore.VectorStore; import org.springframework.stereotype.Service; import java.util.List; @Service @RequiredArgsConstructor public class EnhancedAgentService { private final ChatLanguageModel chatModel; // LangChain4j注入的模型 private final VectorStore vectorStore; // Spring AI的向量库 private final OrderQueryTool orderQueryTool; // 工具Bean public String enhancedChat(String userInput) { // 1. 先用RAG检索相关知识 List<org.springframework.ai.document.Document> relevantDocs = vectorStore.similaritySearch(userInput); String knowledgeContext = relevantDocs.stream() .map(doc -> doc.getContent()) .reduce("", (a, b) -> a + "\n\n" + b); // 2. 动态构建增强版的System Prompt String systemPrompt = """ 你是一个专业的航空客服智能助手。 以下是公司的现行规定，请严格依据此内容回答： %s 你的能力还包括： 1. 在用户提供订单号后，调用工具查询具体的订单状态。 2. 如果问题超出上述规定和你的能力范围，礼貌地建议用户联系人工客服。 请先根据上述规定回答问题。如果涉及订单查询，再调用工具。 """.formatted(knowledgeContext); // 3. 动态创建注入知识的Agent AirlineAgent agent = AiServices.builder(AirlineAgent.class) .chatLanguageModel(chatModel) .tools(orderQueryTool) .systemMessageProvider(ignore -> SystemMessage.from(systemPrompt)) // 动态系统消息 .build(); // 4. 调用Agent return agent.chat(userInput); } }

这样，当用户问“充电宝能托运吗？”，Agent会先拿到RAG检索出的“禁止托运”规定，然后生成准确回答。当用户问“我的订单ORD123456状态？”，Agent会忽略无关规定，直接调用工具。这便是一个具备“专业知识”和“行动力”的初级智能客服。

8. 常见问题与排查思路

在整合这套技术栈时，你几乎一定会遇到以下问题：

问题现象可能原因排查方式解决方案
启动报错No qualifying bean of type 'ChatClient'Spring AI 自动配置未生效或依赖冲突1. 检查pom.xml中spring-ai-openai-starter依赖。
2. 检查application.yml中spring.ai.openai配置是否正确。
3. 查看启动日志是否有AI相关配置加载。		确保父POM中正确import了spring-ai-bom。确认base-url和api-key配置无误（Ollama下api-key可设为任意非空字符串）。
访问/chat接口超时或连接拒绝Ollama服务未启动或模型未加载1. 在终端执行ollama list查看模型是否存在。
2. 执行curl http://localhost:11434/api/tags测试Ollama API是否通畅。		1. 运行ollama run llama3.2确保模型在运行。
2. 检查Spring配置的base-url是否为http://localhost:11434/v1。
RAG检索结果不相关，回答不准1. 嵌入模型不匹配。
2. 文本分割不合理。
3. 相似度阈值设置不当。		1. 检查spring.ai.openai.embedding.options.model是否与Ollama中拉取的嵌入模型名一致。
2. 查看分割后的文档片段是否过碎或过长。
3. 调整SimpleVectorStoreAdvisor的similarityThreshold参数。		1. 确认使用适合的嵌入模型（如nomic-embed-text）。
2. 调整TokenTextSplitter的maxSegmentSize等参数。
3. 将阈值从0.7逐步调高（如0.8）以过滤不相关内容。
Agent不调用工具，总是直接回答1. 模型能力不足，无法理解工具描述。
2.@Tool注解描述不清。
3. 系统提示词未明确指示使用工具。		1. 用简单问题测试工具调用，如直接说“调用queryOrderStatus工具查ORD123456”。
2. 检查工具方法的description和参数@Tool注解是否清晰。
3. 查看SystemMessage是否鼓励使用工具。		1. 尝试能力更强的模型（如llama3.1:8b或GPT系列）。
2. 优化工具描述，明确输入输出。
3. 在系统提示词中加入“当你需要查询订单时，必须调用queryOrderStatus工具”。
LangChain4j 与 Spring AI 冲突两者都自动配置了ChatModel或EmbeddingModel等Bean。查看启动日志，是否有BeanDefinitionOverrideException或相关Warn。在application.yml中通过spring.main.allow-bean-definition-overriding=true允许覆盖（临时方案）。或仔细排除其中一个starter的自动配置类。
Chroma 连接失败Chroma服务未启动。检查Docker容器或本地Chroma进程是否运行在localhost:8000。使用Docker快速启动：docker run -p 8000:8000 chromadb/chroma

9. 生产环境最佳实践与建议

将原型推进到生产环境，你需要考虑更多：

  1. 模型部署：

    • 本地化：对于高数据隐私要求，坚持使用Ollama部署本地模型，但需准备充足的GPU资源。
    • 云端化：对于稳定性和性能要求高，切换为阿里云灵积、百度千帆、OpenAI等商用API。只需修改配置中的base-url和api-key。

  2. 向量数据库选型：

    • 开发/测试：Chroma足够轻量。
    • 生产环境：优先考虑Redis Stack（性能好，易集成）、PgVector（与PostgreSQL生态好）或Milvus（专为大规模向量检索设计）。

  3. 系统提示词工程：

    • 将提示词模板化、外部化（如存数据库或配置中心），便于运营人员调整而不需发版。
    • 为不同客服场景（票务、行李、投诉）设计不同的SystemMessage，通过路由选择。

  4. Agent流程管控：

    • 为工具调用设置权限校验（如查询订单前先验证用户身份）。
    • 实现对话历史管理，让Agent具备多轮对话能力。
    • 设计兜底策略，当Agent多次尝试失败或用户表达不满时，平滑转接人工。

  5. 监控与评估：

    • 记录每一次用户提问、RAG检索片段、Agent思考过程（Chain-of-Thought）和最终回复。这对优化提示词和知识库至关重要。
    • 定义业务指标（如问题解决率、转人工率）来评估AI客服的效果。

  6. 安全与合规：

    • 输入输出过滤：对用户输入和模型输出进行敏感词过滤和内容审核。
    • 权限控制：工具调用（如订单查询）必须绑定严格的用户会话和权限验证。
    • 数据隐私：确保知识库文档不包含敏感信息，向量数据库访问受控。

对于Java团队而言，拥抱AI不是要转向Python，而是用熟悉的Spring生态去集成和驾驭AI能力。从本文的“智能航空客服”原型出发，你可以将RAG扩展到产品手册、故障知识库，将Agent的能力扩展到库存查询、工单创建、数据可视化生成等更多业务工具。技术栈是固定的，但结合业务场景的想象力才是关键。建议你从本地Ollama环境开始，跑通整个流程，再逐步替换为云服务并优化架构。这套组合拳，足以让你在企业的AI化升级中占据有利位置。

版权声明: 本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若内容造成侵权/违法违规/事实不符，请联系邮箱：809451989@qq.com进行投诉反馈，一经查实，立即删除！
网站建设 2026/8/25 1:39:57

中小企业图片审核服务选型指南：五大维度与避坑实践

1. 项目概述&#xff1a;为什么图片审核是中小企业的“必修课”&#xff1f;最近和几个做电商、社交、内容社区的朋友聊天&#xff0c;发现大家不约而同地都在头疼同一个问题&#xff1a;图片审核。一个做原创设计品电商的朋友&#xff0c;上周刚因为用户上传了一张“擦边”素材…

作者头像 李华
网站建设 2026/8/25 1:38:23

SKU繁多作图效率低下？蛤蟆AI一键批量搞定电商主图！

做电商的商家大多都面临同一个难题&#xff1a;店铺SKU品类繁杂、产品数量多&#xff0c;每次上新、换主图、更新视觉素材时&#xff0c;都需要美工逐张制作修改。几十上百款产品&#xff0c;单靠人工逐一设计主图、优化画面、调整规格&#xff0c;不仅耗时费力、流程繁琐&…

作者头像 李华
网站建设 2026/8/25 1:33:56

AI编程助手三层架构解析：从上下文感知到工具集成的工程实践

最近在几个技术社区里&#xff0c;看到不少关于“AI编程助手到底能不能替代程序员”的争论。一方觉得Copilot、Claude Code这类工具已经能写不少代码&#xff0c;另一方则认为它们不过是高级一点的“代码补全”&#xff0c;离真正理解业务逻辑还差得远。这种争论其实有点跑偏了…

作者头像 李华
网站建设 2026/8/25 1:30:48

UGC平台AI视频鉴别实战：从原理到云原生部署的完整防御体系

1. 项目概述&#xff1a;当UGC平台遭遇AI视频“洪水”最近和几个做UGC&#xff08;用户生成内容&#xff09;平台的朋友聊天&#xff0c;大家不约而同地提到了同一个头疼的问题&#xff1a;后台审核压力剧增。以前是人工审核团队和“标题党”、低俗内容斗智斗勇&#xff0c;现在…

作者头像 李华