文章主要内容总结
本文聚焦于利用大型语言模型（LLMs）解决应用用户反馈分类的挑战，传统方法依赖有监督机器学习，但受限于标注数据集的规模和质量。研究通过三个核心实验评估了4种先进LLMs（GPT-3.5-Turbo、GPT-4o、Flan-T5、Llama3-70b）的性能：
- LLMs在用户反馈分类中的基础能力：在零样本设置下，LLMs对不同来源（应用商店、X平台、论坛）和分类方案的用户反馈进行分类，结果显示其在粗粒度分类（如“bug报告”“功能请求”“其他”）中表现较好，但细粒度分类效果不佳。
- 粗粒度分类方案的影响：将数据集统一为“bug报告”“功能请求”“其他”的粗粒度方案后，LLMs的分类准确性显著提升，尤其在应用商店数据集上；但X平台和论坛数据的表现仍不理想。
- LLMs用于数据集增强：利用多个LLMs的共识标注数据，增强人工标注的训练集，发现这能有效提升基于Transformer的分类器（如DistilBERT）的性能，且通用数据与特定应用数据的增强效果差异不显著。
文章创新点
- 全面评估LLMs在用户反馈分类中的适用性：首次系统对比了4种LLMs在8个不同来源（应用商店、社交平台、论坛）和分类方案（细粒度、粗粒度）下的表现，揭示了分类方案粒度对LLMs性能的关键影响。
- 提出基于LLMs共识的数据集增强方法：证明通过多个LLMs的共识标注数据增强训练集，可有效解决标
