2025_NIPS_Table2LaTeX-RL: High-Fidelity LaTeX Code Generation from Table Images via Reinforced Mu...

文章主要内容与创新点总结

一、主要内容

本文聚焦于“表格图像到LaTeX代码生成”这一未被充分探索的任务，目标是从视觉输入中自动重建高质量、可直接用于学术出版的LaTeX表格。现有方法多聚焦于HTML生成，缺乏LaTeX所需的结构表达力和排版精度，且在处理大尺寸、深度嵌套、内容复杂的表格时表现不佳。

为解决上述问题，研究团队开展了以下工作：

1. 数据集构建：从arXiv的学术论文中爬取并清理数据，构建了包含1,209,986个表格-LaTeX对的大规模数据集，并按结构复杂度将表格分为简单、中等、复杂三类，用于精细化评估。
2. 模型框架设计：以预训练多模态大语言模型（MLLM）为基础，先通过有监督微调（SFT）让模型掌握表格图像到LaTeX代码的基础生成能力，再提出基于分组相对策略优化（GRPO）的双奖励强化学习策略（VSGRPO），联合优化结构准确性和视觉保真度。
3. 评估体系优化：针对现有单一评估指标的缺陷，采用混合评估策略，结合TEDS-Structure（评估结构保真度）和CW-SSIM（评估视觉相似度），全面衡量生成结果的质量。
4. 实验验证：在自建测试集和外部基准数据集上进行大量实验，与Mathpix、GPT-4o等商业工具和开源模型对比，同时开展人类评估和消融实验，验证了方法的有效性。

二、创新点

1. 深入剖析任务核心挑战