最近在尝试将开源大模型集成到自己的应用中时，发现很多在线API要么收费，要么有速率限制，数据隐私也让人担忧。于是，转向本地部署成了更可控的选择。在众多本地运行方案中，llama.cpp以其极致的性能和广泛的模型格式支持脱颖而出，尤其是对GGUF格式模型的优化，让普通开发者也能在消费级硬件上流畅运行大模型。
本文将手把手带你完成一个开源AI助手项目，核心是教你如何对接本地的llama.cpp，加载并运行GGUF格式的大模型。无论你是想打造一个私密的对话机器人、一个本地的代码助手，还是为现有应用注入AI能力，这套从环境搭建、模型获取、接口对接到实战开发的完整流程都能直接复用。我们会从零开始，涵盖所有关键步骤和避坑指南。
1. 背景与核心概念：为什么是 llama.cpp + GGUF？
在深入实操之前，我们有必要厘清几个核心概念，理解为什么这个组合是当前本地部署的优选方案。
1.1 什么是 llama.cpp？
llama.cpp是一个用 C/C++ 编写的高性能推理框架，最初是为了在 CPU 上高效运行 Meta 的 LLaMA 模型而诞生。它的核心优势在于：
- 极致性能与低资源消耗：通过大量的底层优化（如算子融合、内存管理、量化支持），它能在纯 CPU 环境下实现令人惊讶的推理速度。对于没有高端 GPU 的开发者或个人用户，这是最大的福音。
- 广泛的硬件与平台支持：不仅支持 x86_64 和 ARM64 架构的 CPU，还通过 Metal、CUDA、Vulkan 等后端支持 GPU 加速。可以在 macOS、Linux、Windows 甚至 Docker 中运行。
- 丰富的模型生态：虽然以“llama”命名，但它现在支持众多基于 Transformer 架构的模型家族，如 LLaMA、Mistral、Qwen、Phi 等，社区活跃，模型转换工具链成熟。
简单说，llama.cpp是一个让你能在自己电脑上“跑起来”大模型的强大引擎。
1.2 什么是 GGUF 格式？
GGUF(GPT-Generated Unified Format) 是llama.cpp社区设计的下一代模型文件格式，用于替代旧的GGML格式。它的设计目标就是解决本地部署中的痛点：
- 单文件部署：将模型架构、权重、词汇表、配置（如上下文长度）等所有必要信息打包进一个
.gguf文件。无需再搭配额外的配置文件，管理起来非常简单。 - 内置量化信息：量化是让大模型能在有限内存中运行的关键技术（如将 FP16 权重转换为 INT4）。GGUF 文件头明确包含了量化类型、版本等信息，加载器能自动识别，避免了版本不匹配导致的错误。
- 可扩展的元数据：文件格式允许嵌入丰富的元数据（如作者、提示词模板、特殊 token 等），为工具链和前端应用提供了更多可能性。
- 加载更快：采用内存映射（mmap）方式加载，可以做到“瞬间”加载大型模型，只有实际需要的部分才会被读入物理内存。
GGUF vs. 其他格式：相比于 PyTorch 的.pth或 Hugging Face 的safetensors，GGUF 是专门为llama.cpp这类本地推理引擎优化的“即用型”格式，开箱即用，无需复杂的转换或依赖庞大的 PyTorch 生态。
1.3 技术栈全景图
理解了我们使用的核心组件后，一个典型的本地 AI 助手技术栈如下所示：
[你的 Python/Node.js/等应用] <--(HTTP/WebSocket)--> [llama.cpp 的 server 模块] <--(加载)--> [.gguf 模型文件]你的应用程序（AI助手）通过标准的 HTTP API 与llama.cpp的服务器进程通信，后者负责管理模型、执行推理。这种解耦设计让应用开发变得灵活且语言无关。
2. 环境准备与版本说明
我们将在一个干净的 Linux/macOS 环境下进行演示，Windows 用户可以通过 WSL2 获得类似体验。核心是编译安装llama.cpp并准备 Python 环境用于编写助手应用。
2.1 系统与工具要求
- 操作系统：Ubuntu 20.04/22.04 LTS, macOS 12+, Windows (WSL2 推荐)。
- 编译器：支持 C++11 的编译器（如 gcc/g++ >= 8, clang）。
- 构建工具：
CMake(>= 3.13)，这是编译llama.cpp的主流方式。 - Python：3.8 或更高版本，用于编写测试客户端和可能的简单封装。
- 硬件：至少 8GB 空闲 RAM。运行 7B 参数的量化模型通常需要 4-6GB，13B 模型需要 8-12GB，依此类推。
2.2 安装依赖
首先，更新系统并安装基础开发工具。
对于 Ubuntu/Debian：
sudo apt update sudo apt install -y build-essential cmake git python3-pip对于 macOS：
# 确保已安装 Homebrew /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)" brew install cmake git python2.3 获取并编译 llama.cpp
这是最关键的一步。我们将编译开启基础加速功能的llama.cpp。
# 1. 克隆仓库 git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp # 2. 创建构建目录并编译 mkdir build cd build # 基础编译指令，启用CPU加速（AVX2等）。macOS用户可添加 `-DLLAMA_METAL=on` 启用Metal GPU加速。 cmake .. -DCMAKE_BUILD_TYPE=Release # 开始编译，-j 参数指定并行任务数，可加快速度 cmake --build . --config Release -j $(nproc)编译完成后，在build目录下（或bin目录，取决于版本）会生成几个重要的可执行文件：
main：用于命令行交互式问答和测试。server：提供 HTTP API 服务的守护进程，这是我们对接的重点。quantize：用于模型量化转换的工具。
你可以运行./main -h和./server -h来查看帮助信息，确认编译成功。
3. 获取与准备 GGUF 模型文件
llama.cpp本身不提供模型，我们需要从社区获取预转换好的 GGUF 模型，或者自己动手转换。
3.1 从哪里下载 GGUF 模型？
Hugging Face Hub 是当前最大的开源模型社区，许多用户和组织会上传他们转换好的 GGUF 模型。
- 访问 Hugging Face：打开 huggingface.co 。
- 搜索模型：在搜索框输入“模型名 + GGUF”，例如 “
Mistral-7B-Instruct-v0.2 GGUF” 或 “Qwen2.5-7B-Instruct GGUF”。 - 选择仓库：通常会进入类似
TheBloke/Mistral-7B-Instruct-v0.2-GGUF的仓库。TheBloke是一位活跃的贡献者，提供了大量高质量的量化模型。 - 选择量化版本：在仓库的文件列表中，你会看到多个以
.gguf结尾的文件，如：mistral-7b-instruct-v0.2.Q2_K.gguf(极低精度，体积最小，质量损失较大)mistral-7b-instruct-v0.2.Q4_K_M.gguf(推荐平衡点，质量与速度兼顾)mistral-7b-instruct-v0.2.Q8_0.gguf(高精度，体积大，质量接近原版)对于初次尝试，建议选择Q4_K_M或Q5_K_M版本，在质量和资源消耗间取得较好平衡。
- 下载模型：点击文件名，然后点击“Download”按钮下载到本地。对于较大的模型，可以使用
wget或huggingface-cli命令行工具。
示例：下载一个常用模型
# 进入一个专门存放模型的目录 mkdir -p ~/models cd ~/models # 使用 wget 下载 (链接需替换为实际下载链接) wget https://huggingface.co/TheBloke/Mistral-7B-Instruct-v0.2-GGUF/resolve/main/mistral-7b-instruct-v0.2.Q4_K_M.gguf3.2 （可选）将其他格式模型转换为 GGUF
如果你有 Hugging Face 格式的模型（.bin或.safetensors），可以使用llama.cpp仓库内的转换脚本。
# 回到 llama.cpp 目录 cd /path/to/llama.cpp # 安装 Python 依赖 pip install -r requirements.txt # 转换 Hugging Face 模型为 FP16 格式的 GGUF python convert-hf-to-gguf.py /path/to/your/hf-model --outtype f16 --outfile /path/to/output/model.f16.gguf # 进一步量化（例如量化到 Q4_K_M） ./quantize /path/to/output/model.f16.gguf /path/to/output/model.q4_k_m.gguf q4_k_m这个过程需要原模型仓库有config.json和tokenizer.model等文件，且对磁盘和内存有一定要求。
4. 启动 llama.cpp 服务器并测试
有了模型和编译好的server，我们就可以启动服务了。
4.1 启动服务器
在llama.cpp/build目录下执行：
# 基础启动命令 ./server -m ~/models/mistral-7b-instruct-v0.2.Q4_K_M.gguf -c 2048 --host 0.0.0.0 --port 8080参数解释：
-m: 指定 GGUF 模型文件的路径。-c: 上下文长度（token 数）。根据模型能力和你的需求设置，常见的有 2048, 4096, 8192 等。--host: 绑定地址，0.0.0.0表示监听所有网络接口，允许其他设备访问。如果只本机使用，可改为127.0.0.1。--port: 服务端口，默认为 8080。- 其他常用参数：
-ngl: (Number of GPU Layers) 将多少层模型卸载到 GPU 运行，可以显著提升速度。例如-ngl 40。需要编译时支持 GPU。--threads: 使用的 CPU 线程数。--cont-batching: 启用连续批处理，提升吞吐量。-tb: 临时缓存大小（MiB），用于存储计算过程中的中间结果。
服务器成功启动后，你会看到类似以下的日志，包含模型信息、加载的层数、系统信息等：
llama_server_http: listening on http://0.0.0.0:8080 llama_model_loader: loaded meta data with 20 key-value pairs and 291 tensors from /home/user/models/mistral-7b-instruct-v0.2.Q4_K_M.gguf (version GGUF V3) ... llama_new_context_with_model: kv self size = 400.00 MB llama_new_context_with_model: compute buffer total size = 306.00 MB llama_new_context_with_model: VRAM scratch buffer: 304.00 MB llama_new_context_with_model: total VRAM used: 4704.00 MB (model: 4400.00 MB, context: 304.00 MB) system_info: n_threads = 8 / 12 | AVX = 1 | AVX2 = 1 | AVX512 = 0 | FMA = 1 | NEON = 0 | ARM_FMA = 0 | F16C = 1 | FP16_VA = 0 | WASM_SIMD = 0 | BLAS = 0 | SSE3 = 1 | VSX = 0 |4.2 测试 API 接口
llama.cpp的 server 模块提供了 OpenAI 兼容的 API 接口，这极大简化了对接工作。我们可以用curl命令进行测试。
1. 检查服务器状态
curl http://localhost:8080/health应该返回{"status":"ok"}。
2. 列出已加载的模型
curl http://localhost:8080/v1/models返回信息中会包含当前加载的模型 ID。
3. 进行文本补全（Completion）
curl http://localhost:8080/v1/completions \ -H "Content-Type: application/json" \ -d '{ "model": "gpt-3.5-turbo-instruct", # 这里可以任意写，server会使用当前加载的模型 "prompt": "中国的首都是", "max_tokens": 50, "temperature": 0.7 }'4. 进行聊天对话（Chat Completion）—— 更常用对于 Instruct 指令微调过的模型，应使用聊天接口，并遵循其特定的消息格式（如[INST] ... [/INST]对于 Mistral）。llama.cppserver 会自动处理部分格式，但最好明确指定。
curl http://localhost:8080/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "mistral-7b-instruct", "messages": [ {"role": "system", "content": "你是一个乐于助人的AI助手。"}, {"role": "user", "content": "用简单的语言解释一下什么是人工智能？"} ], "max_tokens": 200, "temperature": 0.8, "stream": false }'如果一切正常，你将收到一个 JSON 响应，其中包含模型生成的回复。
5. 构建你的开源 AI 助手（Python 示例）
现在，我们将编写一个简单的 Python AI 助手客户端，它通过 HTTP 调用我们本地的llama.cpp服务器。
5.1 项目结构与依赖
创建项目目录：
mkdir my_ai_assistant && cd my_ai_assistant创建requirements.txt文件，添加依赖：
openai>=1.0.0 requests python-dotenv安装依赖：
pip install -r requirements.txt这里我们使用openai库的 v1.0+ 版本，因为它提供了与 OpenAI API 兼容的客户端，可以无缝对接llama.cpp的服务器。
5.2 核心客户端类
创建assistant_client.py文件：
# assistant_client.py import os from openai import OpenAI from dotenv import load_dotenv import logging # 加载环境变量 load_dotenv() class LocalAIClient: """ 本地 llama.cpp AI 助手客户端 """ def __init__(self, base_url="http://localhost:8080/v1", api_key="not-needed", model=None): """ 初始化客户端 :param base_url: llama.cpp server 地址 :param api_key: 本地部署无需真实key，但需要传入一个非空字符串 :param model: 默认使用的模型名（需与server加载的模型对应） """ self.client = OpenAI( base_url=base_url, api_key=api_key ) # 可以从环境变量读取，或使用默认值 self.default_model = model or os.getenv("LOCAL_AI_MODEL", "mistral-7b-instruct") self.logger = logging.getLogger(__name__) def chat_completion(self, messages, model=None, temperature=0.7, max_tokens=500, stream=False): """ 发送聊天补全请求 :param messages: 消息列表，格式 [{"role": "user", "content": "..."}, ...] :param model: 模型名，为None则使用默认模型 :param temperature: 温度参数，控制随机性 (0.0-2.0) :param max_tokens: 生成的最大token数 :param stream: 是否使用流式输出 :return: 模型回复内容或生成器（流式时） """ try: response = self.client.chat.completions.create( model=model or self.default_model, messages=messages, temperature=temperature, max_tokens=max_tokens, stream=stream ) if stream: # 返回一个生成器，逐块产出内容 def response_generator(): for chunk in response: if chunk.choices[0].delta.content is not None: yield chunk.choices[0].delta.content return response_generator() else: # 直接返回完整内容 return response.choices[0].message.content except Exception as e: self.logger.error(f"API请求失败: {e}") raise def simple_ask(self, user_input, system_prompt="你是一个有帮助的AI助手。", **kwargs): """ 快速提问的便捷方法 """ messages = [ {"role": "system", "content": system_prompt}, {"role": "user", "content": user_input} ] return self.chat_completion(messages, **kwargs) # 示例：单轮对话 if __name__ == "__main__": # 配置日志 logging.basicConfig(level=logging.INFO) # 初始化客户端，假设你的 server 运行在本地 8080 端口 ai_client = LocalAIClient(base_url="http://localhost:8080/v1") # 简单提问 question = "写一首关于编程的短诗。" print(f"用户: {question}") try: answer = ai_client.simple_ask(question, temperature=0.8, max_tokens=150) print(f"助手: {answer}") except Exception as e: print(f"出错: {e}")5.3 创建交互式助手脚本
创建interactive_assistant.py，实现一个简单的命令行交互循环：
# interactive_assistant.py import sys import threading import time from assistant_client import LocalAIClient def stream_print(generator): """流式打印输出""" for chunk in generator: print(chunk, end='', flush=True) print() # 换行 def main(): print("=== 本地 AI 助手 (基于 llama.cpp) ===") print("输入您的问题，输入 'quit' 或 'exit' 退出。") print("-" * 40) client = LocalAIClient() # 可选：设置系统指令 system_msg = input("请设定助手的角色（直接回车使用默认）: ").strip() system_prompt = system_msg if system_msg else "你是一个知识渊博且乐于助人的AI助手。" while True: try: user_input = input("\n您: ").strip() if user_input.lower() in ['quit', 'exit', 'q']: print("再见！") break if not user_input: continue print("助手: ", end='', flush=True) # 使用流式输出，体验更好 start_time = time.time() response_stream = client.simple_ask( user_input, system_prompt=system_prompt, temperature=0.7, max_tokens=800, stream=True # 启用流式 ) stream_print(response_stream) elapsed = time.time() - start_time print(f"\n[生成耗时: {elapsed:.2f}秒]") except KeyboardInterrupt: print("\n\n程序被中断。") break except Exception as e: print(f"\n发生错误: {e}") if __name__ == "__main__": main()5.4 运行你的助手
- 确保
llama.cpp服务器正在运行（步骤4.1）。 - 在另一个终端，运行你的 Python 助手：
python interactive_assistant.py- 根据提示，你可以设定助手角色，然后开始对话。
6. 进阶配置与优化
基础功能跑通后，我们可以进行一些优化，让助手更强大、更高效。
6.1 服务器启动优化参数
根据你的硬件调整服务器启动参数，能显著提升性能：
# 示例：针对拥有 8核 CPU 和 NVIDIA GPU 的优化启动命令 ./server \ -m ~/models/qwen2.5-7b-instruct-q4_k_m.gguf \ -c 8192 \ # 更大的上下文 --host 0.0.0.0 \ --port 8080 \ -ngl 99 \ # 尽可能多的层放到 GPU (如果支持) --cont-batching \ # 启用连续批处理，提高并发 --parallel 4 \ # 并行处理数 --threads 8 \ # CPU 线程数 --mlock \ # 将模型锁定在内存，防止交换 --no-mmap \ # 如果不使用内存映射，则用此参数 -tb 512 \ # 增大临时缓存 -b 512 \ # 批处理大小 --log-format json # JSON 格式日志，便于监控关键参数解读：
-ngl：最重要的 GPU 加速参数。设置为99或一个较大的数，表示将所有模型层卸载到 GPU。使用nvidia-smi监控 GPU 显存使用。--cont-batching：在处理多个并发请求时，能更高效地利用 GPU，减少空闲时间。--mlock：防止模型被交换到磁盘，保持响应速度，但要求有足够物理内存。-tb：增大此值有助于处理更长的序列，但会消耗更多显存。
6.2 使用多个模型与模型热加载
llama.cppserver 支持在运行时加载多个模型（通过--model-path参数指定一个模型别名文件models.list），也支持通过 API 动态加载/卸载模型（需要编译时开启-DLLAMA_NODE=OFF并启用相关端点，具体请查阅最新文档）。这对于需要切换不同专业领域模型的助手场景非常有用。
6.3 集成到 Web 应用或 API 服务
你可以将上面的LocalAIClient类轻松集成到 FastAPI、Flask 或 Django 等 Web 框架中，构建一个提供 AI 能力的后端 API。
FastAPI 示例片段：
# main.py (FastAPI) from fastapi import FastAPI, HTTPException from pydantic import BaseModel from assistant_client import LocalAIClient import uvicorn app = FastAPI(title="本地AI助手API") ai_client = LocalAIClient() class ChatRequest(BaseModel): message: str system_prompt: str = "你是一个助手。" temperature: float = 0.7 max_tokens: int = 500 @app.post("/chat") async def chat_endpoint(request: ChatRequest): try: response = ai_client.simple_ask( user_input=request.message, system_prompt=request.system_prompt, temperature=request.temperature, max_tokens=request.max_tokens, stream=False ) return {"response": response} except Exception as e: raise HTTPException(status_code=500, detail=str(e)) if __name__ == "__main__": uvicorn.run(app, host="0.0.0.0", port=8000)运行后，你就可以通过http://localhost:8000/docs访问自动生成的 API 文档并进行测试。
7. 常见问题与排查思路
在部署和运行过程中，你可能会遇到以下问题：
| 问题现象 | 可能原因 | 排查与解决思路 |
|---|---|---|
编译llama.cpp失败 | 1. 缺少编译依赖（如cmake,g++）。2. 源码拉取不完整。 3. 特定平台（如旧版 macOS）兼容性问题。 | 1. 根据错误信息安装对应依赖。 2. 删除 build目录，重新git clone并编译。3. 查阅 llama.cppGitHub 仓库的 Issues 和 Wiki。 |
./server: not found或无法执行 | 1. 编译未成功生成可执行文件。 2. 文件权限问题。 3. 动态链接库缺失。 | 1. 确认在build目录下，并检查文件是否存在 (ls -lh server)。2. 添加执行权限： chmod +x server。3. 使用 ldd server检查依赖。 |
服务器启动失败，提示failed to load model | 1. 模型文件路径错误。 2. 模型文件损坏或不完整。 3. 模型格式不被支持（如非 GGUF 格式）。 4. 内存不足。 | 1. 使用绝对路径，并确认文件存在且有读取权限。 2. 重新下载模型文件，检查 MD5/SHA256。 3. 确认文件是 .gguf格式，使用./main -m your_model.gguf测试。4. 检查系统空闲内存，尝试量化等级更低的模型（如 Q2_K）。 |
API 请求返回404或Connection refused | 1. 服务器未启动。 2. 端口被占用。 3. 防火墙阻止。 4. 客户端连接的地址/端口错误。 | 1. 检查服务器进程是否在运行 (`ps aux |
| 推理速度非常慢 | 1. 未启用 GPU 加速。 2. 模型量化等级过低（如 Q2_K）导致质量差需更多迭代。 3. CPU 性能瓶颈。 4. 上下文长度 ( -c) 设置过大。 | 1. 编译时启用 GPU 支持（CUDA/Metal），启动时使用-ngl参数。2. 尝试 Q4_K_M 或 Q5_K_M 模型。 3. 增加 --threads参数，但不要超过物理核心数。4. 根据实际需要调整上下文长度。 |
| 生成内容乱码或毫无逻辑 | 1. 模型未针对聊天进行指令微调。 2. 提示词格式不符合模型要求。 3. Temperature 参数过高，导致随机性太大。 | 1. 使用-instruct后缀的模型。2. 查阅模型卡片，使用正确的消息模板（如 [INST] ... [/INST]）。对于聊天接口，llama.cppserver 会尝试自动格式化，但复杂情况需手动处理。3. 将 temperature调低至 0.1-0.7 范围。 |
流式输出 (stream=True) 不工作 | 1. 客户端处理流式响应的代码有误。 2. 服务器版本过旧不支持。 3. 网络或代理问题导致流中断。 | 1. 参考本文 5.3 节的stream_print函数正确迭代生成器。2. 更新 llama.cpp到最新版本并重新编译。3. 在本地环境测试，排除网络问题。 |
8. 最佳实践与工程建议
将本地大模型用于生产级助手项目，需要考虑更多工程化因素。
模型选择与量化策略：
- 起步：从 7B 参数的
Q4_K_M量化模型开始，在性能和质量间取得平衡。 - 质量优先：如果资源充足，考虑 13B-34B 参数的
Q5_K_M或Q6_K模型。 - 速度优先：对于实时性要求高的场景，可测试 7B 的
Q3_K_M或Q4_0。 - 专用化：根据助手领域选择模型，如代码助手选
CodeLlama，数学推理选DeepSeek-Math。
- 起步：从 7B 参数的
服务部署与监控：
- 进程管理：使用
systemd(Linux) 或launchd(macOS) 管理server进程，确保异常退出后能自动重启。 - 日志收集：启用
--log-format json，将日志导入 ELK 或 Grafana Loki 进行监控和分析。 - 健康检查与熔断：在应用客户端添加对
/health端点的定期检查，并实现简单的熔断机制，防止服务器压力过大。 - 资源隔离：考虑使用 Docker 容器化部署，便于环境管理和资源限制。
- 进程管理：使用
应用层优化：
- 提示词工程：设计清晰的
system提示词来约束助手行为，例如定义身份、输出格式、知识边界等。这是提升助手可用性的关键。 - 上下文管理：对于长对话，需要实现上下文窗口的管理，例如只保留最近 N 轮对话或通过摘要压缩历史。
- 异步处理：在 Web 后端使用异步框架（如 FastAPI 的
async/await）处理 AI 请求，避免阻塞。 - 缓存策略：对常见、确定性的问答结果进行缓存，减少对模型的重复调用。
- 提示词工程：设计清晰的
安全与合规：
- 网络暴露：生产环境切勿将
server的--host设置为0.0.0.0并无保护地暴露在公网。应通过反向代理（如 Nginx）进行转发，并配置防火墙规则。 - 输入过滤：对用户输入进行严格的过滤和清理，防止提示词注入攻击。
- 输出审查：对模型生成的内容进行必要的后处理或审查，特别是面向公众的服务。
- 数据隐私：明确告知用户数据仅在本地处理，不发送至外部服务器，这是本地部署的核心优势。
- 网络暴露：生产环境切勿将
性能调优：
- 批处理：如果有多条请求排队，可以考虑在应用层进行合并，利用服务器的
--cont-batching特性提升吞吐。 - 预热：在服务启动后，先发送一些简单的请求进行“预热”，让模型相关缓存就绪。
- 硬件利用：持续监控 GPU/CPU 和内存使用情况，通过调整
-ngl,--threads,-c,-b等参数找到最优配置。
- 批处理：如果有多条请求排队，可以考虑在应用层进行合并，利用服务器的
通过本文的教程，你已经掌握了从零开始搭建一个基于llama.cpp和GGUF模型的开源本地 AI 助手的全流程。这套方案为你提供了一个完全自主可控、数据私密且成本可控的 AI 能力底座。你可以在此基础上，继续探索模型微调、Function Calling、RAG（检索增强生成）等高级功能，打造更专业、更智能的专属助手。
