Qwen1.5-1.8B-Chat-GPTQ-Int4实操手册：Chainlit中实现PDF上传与问答分析

Qwen1.5-1.8B-Chat-GPTQ-Int4实操手册：Chainlit中实现PDF上传与问答分析

1. 环境准备与模型部署

在开始使用Qwen1.5-1.8B-Chat-GPTQ-Int4模型进行PDF文档分析之前，我们需要先确保环境正确部署。这个模型是通义千问1.5系列的轻量级版本，经过GPTQ量化技术处理，在保持较好性能的同时大幅降低了计算资源需求。

1.1 模型部署验证

首先检查模型服务是否正常启动。使用webshell连接到您的部署环境，执行以下命令查看服务状态：

cat /root/workspace/llm.log

如果看到类似下面的输出，说明模型已经成功部署：

模型加载成功，服务已启动 推理服务运行在端口8000 vLLM引擎初始化完成

1.2 必要的Python依赖

确保您的环境中安装了以下Python包：

pip install chainlit==1.0.200 pip install PyPDF2==3.0.1 pip install python-dotenv==1.0.0 pip install requests==2.31.0 pip install unstructured==0.12.5

这些库将帮助我们构建前端界面、处理PDF文档以及与模型API进行交互。

2. Chainlit前端基础配置

Chainlit是一个专门为AI应用设计的Python框架，可以快速构建交互式聊天界面。下面我们来配置基础的前端环境。

2.1 创建应用入口文件

创建一个名为app.py的文件，这是我们的主应用文件：

import chainlit as cl import requests import os from PyPDF2 import PdfReader import io # 模型API配置 MODEL_API_URL = "http://localhost:8000/v1/completions"

2.2 配置Chainlit设置

在项目根目录创建.chainlit文件夹，并在其中创建config.toml文件：

[project] name = "PDF问答分析系统" description = "基于Qwen1.5-1.8B模型的PDF文档智能分析工具" [UI] name = "PDF智能助手" description = "上传PDF文档，获取智能问答分析" show_sidebar = true

3. PDF文档处理模块

要实现PDF问答功能，首先需要能够正确解析和提取PDF中的文本内容。

3.1 PDF文本提取函数

创建一个专门处理PDF文件的工具函数：

def extract_text_from_pdf(pdf_file): """ 从PDF文件中提取文本内容 """ try: # 将上传的文件转换为字节流 pdf_bytes = pdf_file.read() pdf_stream = io.BytesIO(pdf_bytes) # 使用PyPDF2读取PDF reader = PdfReader(pdf_stream) text = "" # 逐页提取文本 for page in reader.pages: page_text = page.extract_text() if page_text: text += page_text + "\n\n" return text.strip() except Exception as e: return f"PDF解析失败: {str(e)}"

3.2 文本预处理与分块

为了更好的处理长文档，我们需要将文本分块：

def chunk_text(text, chunk_size=1000, overlap=200): """ 将长文本分割成适当大小的块 """ chunks = [] start = 0 while start < len(text): end = start + chunk_size # 尽量在句子边界处分割 if end < len(text): while end > start and text[end] not in ['。', '.', '\n', '!', '?']: end -= 1 if end == start: # 如果没有找到合适的边界 end = start + chunk_size chunk = text[start:end] chunks.append(chunk) start = end - overlap # 设置重叠部分 return chunks

4. 模型调用与问答实现

现在我们来实现与Qwen1.5模型的交互逻辑。

4.1 模型API调用函数

async def call_qwen_model(prompt, max_tokens=500): """ 调用Qwen1.5模型API """ headers = { "Content-Type": "application/json" } payload = { "prompt": prompt, "max_tokens": max_tokens, "temperature": 0.1, "top_p": 0.9, "stop": ["<|endoftext|>", "<|im_end|>"] } try: response = requests.post(MODEL_API_URL, json=payload, headers=headers) response.raise_for_status() result = response.json() return result["choices"][0]["text"] except Exception as e: return f"模型调用失败: {str(e)}"

4.2 问答提示词模板

为了提高问答质量，我们使用结构化的提示词：

def create_qa_prompt(question, context): """ 创建问答提示词 """ prompt_template = """基于以下文档内容，请回答用户的问题。 文档内容： {context} 问题：{question} 请根据文档内容提供准确、简洁的回答。如果文档中没有相关信息，请如实告知。 回答：""" return prompt_template.format(context=context, question=question)

5. 完整应用集成

现在我们将所有模块整合到一起，创建完整的Chainlit应用。

5.1 文件上传处理器

@cl.on_message async def main(message: cl.Message): """ 处理用户消息 """ # 检查是否有文件上传 if message.elements: for element in message.elements: if element.type == "pdf": # 处理PDF文件 await process_pdf_file(element, message) return # 处理文本问答 await process_text_question(message.content) @cl.on_chat_start async def start(): """ 聊天开始时发送欢迎消息 """ welcome_msg = """欢迎使用PDF智能问答系统！ 您可以： 1. 直接上传PDF文档 2. 对已上传的文档提问 3. 进行一般性对话 我会基于Qwen1.5模型为您提供智能帮助。""" await cl.Message(content=welcome_msg).send()

5.2 PDF处理与问答流程

async def process_pdf_file(element, message): """ 处理上传的PDF文件 """ # 显示处理状态 msg = cl.Message(content="正在解析PDF文档，请稍候...") await msg.send() # 提取文本 pdf_text = extract_text_from_pdf(element) if pdf_text.startswith("PDF解析失败"): await cl.Message(content=pdf_text).send() return # 保存到会话状态 cl.user_session.set("pdf_text", pdf_text) cl.user_session.set("pdf_name", element.name) # 分析文档内容 summary_prompt = f"请总结以下文档的主要内容，不超过200字：\n\n{pdf_text[:3000]}" summary = await call_qwen_model(summary_prompt) response = f"✅ 文档《{element.name}》解析成功！\n\n" response += f"📄 文档摘要：{summary}\n\n" response += "您现在可以针对文档内容提问了。" await cl.Message(content=response).send() async def process_text_question(question): """ 处理文本问答 """ pdf_text = cl.user_session.get("pdf_text") if not pdf_text: # 没有PDF上下文，直接回答问题 response = await call_qwen_model(question) await cl.Message(content=response).send() return # 基于PDF内容回答问题 prompt = create_qa_prompt(question, pdf_text) response = await call_qwen_model(prompt) await cl.Message(content=response).send()

6. 高级功能扩展

为了让应用更加实用，我们可以添加一些高级功能。

6.1 多文档支持

# 在用户会话中维护多个文档 cl.user_session.set("documents", {}) async def handle_multiple_documents(element): """ 处理多个文档上传 """ doc_text = extract_text_from_pdf(element) documents = cl.user_session.get("documents", {}) documents[element.name] = doc_text cl.user_session.set("documents", documents) return f"文档《{element.name}》已添加到知识库"

6.2 文档检索增强

def search_relevant_chunks(question, text, top_k=3): """ 基于问题检索最相关的文本块 """ chunks = chunk_text(text) # 简单的关键词匹配检索（可升级为向量检索） relevant_chunks = [] for chunk in chunks: # 计算问题与文本块的相关性 keyword_match = sum(1 for word in question.lower().split() if word in chunk.lower()) if keyword_match > 0: relevant_chunks.append((chunk, keyword_match)) # 按相关性排序 relevant_chunks.sort(key=lambda x: x[1], reverse=True) # 返回最相关的几个块 return [chunk for chunk, score in relevant_chunks[:top_k]]

7. 运行与测试

7.1 启动应用

在终端中运行以下命令启动Chainlit应用：

chainlit run app.py -w

应用将在默认端口（通常是8000）启动，您可以在浏览器中访问提供的URL。

7.2 测试流程

1. 上传PDF文档：点击上传按钮选择PDF文件
2. 等待解析完成：系统会自动解析并生成摘要
3. 提出问题：基于文档内容提问，如"这篇文章的主要观点是什么？"
4. 获取答案：模型会基于文档内容给出回答

7.3 常见问题处理

如果遇到问题，可以检查：

• 模型服务是否正常运行：cat /root/workspace/llm.log
• 端口是否被占用
• 依赖包是否安装完整

8. 总结

通过本教程，我们成功构建了一个基于Qwen1.5-1.8B-Chat-GPTQ-Int4模型的PDF文档问答系统。这个系统结合了Chainlit的友好界面和Qwen模型的强大理解能力，为用户提供了便捷的文档分析体验。

关键实现要点：

1. 模型部署：使用vLLM高效部署量化后的Qwen模型
2. 文档处理：利用PyPDF2实现PDF文本提取和预处理
3. 交互设计：通过Chainlit构建直观的文件上传和问答界面
4. 提示工程：设计合适的提示词提升问答准确性
5. 错误处理：完善的异常处理确保应用稳定性

这个系统不仅可以用于学术文献分析，还可以应用于企业文档处理、法律条文解读、技术手册查询等多个场景。通过进一步的优化，如添加向量检索、支持更多文件格式、实现多轮对话等，可以打造更加强大的文档智能分析平台。

---

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。