文章总结与翻译
一、文章主要内容
该研究聚焦阿拉伯语医疗领域，旨在评估当前主流大型语言模型（LLMs）在阿拉伯语医疗自然语言处理（NLP）任务中的医疗理解与推理能力，以填补阿拉伯语医疗LLM评估的空白。
1. 研究背景
- 现有LLMs在众多阿拉伯语NLP应用中表现出色，但在阿拉伯语医疗NLP领域的有效性缺乏深入研究。
- 多数医疗LLM基准测试集中于英语，阿拉伯语因高质量临床数据集匮乏、语言多样性以及多语言模型在特定领域任务表现有限等问题，相关评估存在空白。
2. 研究问题
- RQ1：最先进的专有基础LLMs在阿拉伯语医疗任务中表现如何？
- RQ2：具备推理能力的最先进专有基础LLMs在阿拉伯语医疗任务中的优势程度如何？
- RQ3：基于开源的阿拉伯语LLMs在阿拉伯语医疗任务中表现怎样？
- RQ4：多个LLMs之间的多数投票机制如何提升阿拉伯语医疗任务的性能？
3. 研究方法
- 数据集：采用MedArabiQ2025赛道中AraHealthQA挑战赛的医疗数据集，包含700个多样化临床样本（涵盖选择题、填空题、医患问答等），后又新增200个样本用于测试模型推理与理解能力。
- 评估模型：
- 专有LLMs：包括Claude
