OFA-COCO蒸馏版WebUI定制：添加历史记录存储、描述质量评分、多候选caption生成功能-平芜编程栈

OFA-COCO蒸馏版WebUI定制：添加历史记录存储、描述质量评分、多候选caption生成功能

1. 项目背景与模型介绍

OFA图像描述系统是基于iic/ofa_image-caption_coco_distilled_en模型构建的实用工具，能够为输入图片生成自然语言描述。这个蒸馏版模型在保持良好描述能力的同时，显著降低了资源消耗，非常适合实际部署应用。

1.1 模型核心特点

精简高效：蒸馏版模型体积更小，推理速度更快
专业优化：针对COCO数据集风格进行专门调优
英文描述：生成语法正确、简洁明了的英文图片描述
本地运行：支持离线部署，保护数据隐私

# 模型加载示例代码 from transformers import OFATokenizer, OFAModel tokenizer = OFATokenizer.from_pretrained("iic/ofa_image-caption_coco_distilled_en") model = OFAModel.from_pretrained("iic/ofa_image-caption_coco_distilled_en")

2. 基础功能回顾

2.1 标准功能概述

原始WebUI已提供以下核心能力：

图片上传生成描述（支持文件上传和URL输入）
简洁的前端交互界面
基本的图片和结果展示

2.2 系统部署方式

使用Supervisor管理服务，确保稳定运行：

[program:ofa-image-webui] command=/opt/miniconda3/envs/py310/bin/python app.py directory=/root/ofa_image-caption_coco_distilled_en user=root autostart=true autorestart=true redirect_stderr=true stdout_logfile=/root/workspace/ofa-image-webui.log

3. 新增功能开发

3.1 历史记录存储功能

实现思路：

使用SQLite数据库存储用户查询记录
记录图片哈希、生成时间、描述内容等信息
提供历史记录查询界面

# 数据库模型示例 class CaptionHistory(db.Model): id = db.Column(db.Integer, primary_key=True) image_hash = db.Column(db.String(64), unique=True) timestamp = db.Column(db.DateTime) caption = db.Column(db.Text) score = db.Column(db.Float)

3.2 描述质量评分系统

评分维度：

语法正确性（使用语言模型评估）
描述丰富度（关键词数量与多样性）
与图片相关性（CLIP模型相似度计算）

def calculate_caption_score(caption, image_embedding): # 语法评分 grammar_score = grammar_checker(caption) # 丰富度评分 richness_score = len(set(caption.split())) / 10 # 相关性评分 clip_score = clip_model.compare(image_embedding, caption) return 0.4*grammar_score + 0.3*richness_score + 0.3*clip_score

3.3 多候选caption生成

实现方案：

修改模型推理参数，生成多个候选描述
使用束搜索(beam search)获取多样结果
前端展示Top-K个候选描述供用户选择

# 多候选生成代码 def generate_multiple_captions(image, num_captions=3): inputs = tokenizer([image], return_tensors="pt") outputs = model.generate(**inputs, num_beams=5, num_return_sequences=num_captions, no_repeat_ngram_size=2) return [tokenizer.decode(out, skip_special_tokens=True) for out in outputs]

4. 系统集成与部署

4.1 更新后的目录结构

ofa_image-caption_coco_distilled_en/ ├── app.py ├── requirements.txt ├── templates/ │ ├── index.html (更新) │ └── history.html (新增) ├── static/ │ ├── style.css (更新) │ └── script.js (更新) ├── database/ │ └── captions.db (新增) └── README.md (更新)

4.2 前端界面改进

新增功能在前端的体现：

历史记录查看按钮和页面
质量评分展示（星级或百分制）
多候选描述的切换选择器

<!-- 新增历史记录按钮 --> <button id="showHistory" class="btn btn-secondary"> View History </button> <!-- 多候选展示区域 --> <div class="caption-options"> <select id="captionSelector"> <option value="0">Option 1</option> <option value="1">Option 2</option> <option value="2">Option 3</option> </select> </div>