文章主要内容总结
本文介绍了哈尔滨工业大学(深圳)(HITSZ)为IWSLT 2025 Indic赛道提交的语音到文本翻译(ST)系统,聚焦英语与印度语言(印地语、孟加拉语、泰米尔语)的双向翻译任务。针对低资源语言对的翻译质量提升问题,研究团队提出了一种端到端系统,将预训练的Whisper自动语音识别(ASR)模型与印度语专用大语言模型(LLM)Krutrim相结合。
实验结果显示,该端到端系统在英语到印度语言方向的平均BLEU分数为28.88,在印度语言到英语方向为27.86。此外,研究还探索了思维链(Chain-of-Thought, CoT)方法,发现其在成功解析的输出上能显著提升翻译质量(如泰米尔语到英语的BLEU分数提升13.84),但存在模型难以持续遵循CoT输出格式的挑战。
文章创新点
- 端到端系统架构:首次将Whisper语音识别模型与印度语专用LLM Krutrim整合,针对英语-印度语言这一低资源场景构建高效端到端语音翻译系统,平衡了翻译质量与 latency(延迟)。
- 模块化微调策略:采用LoRA(Low-Rank Adaptation)适配器进行微调,仅更新轻量级模块(如Q-Former和LLM适配器),冻结预训练模型主体参数,实现低资源场景下的高效任务适配。
- 思维链(CoT)方法探索:首次在英语-印度语言语音翻译中验证CoT方法的潜力,发现其在格式合规的输出中能大幅提升翻译质量,为低资源语言翻译提供了新的优化思路。