文章主要内容总结
本文聚焦于探索大型语言模型（LLMs）在预测辅导对话中导师策略和学生结果的能力，通过两个数学辅导对话数据集（MathDial和AlgebraNation）展开研究。具体内容包括：
- 研究任务：定义了四项核心任务，即预测未来导师动作（策略）、分类当前导师动作、预测对话整体成功结果、预测下一个学生回合的成功结果。
- 模型与方法：评估了Llama 3（微调）和GPT-4o（零样本提示）等LLMs的表现，并与马尔可夫链、逻辑回归、LSTM等传统方法对比；同时分析了“仅对话文本”和“对话文本+先前导师动作标签”两种输入对预测的影响。
- 主要发现：
- 即使是最先进的LLMs，在预测未来导师动作（策略）方面仍表现不佳（MathDial的F1值最高49%，AlgebraNation仅27%），表明导师行为难以预测。
- 学生结果预测更易实现，LLMs和LSTM在对话成功结果预测上表现较好，且加入导师动作标签能提升预测准确性。
- 不同导师策略对学生结果影响显著：AlgebraNation中“确认性反馈”“给予指导”“给予解释”正向影响最大；MathDial中“通用型”“探究型”动作更有效，而“告知型”动作有负面影响。
创新点
- 首次使用现代生成式LLMs研究导师策略预测：以往研究多关注识别现有导师动作，本文首次系统探究Llama 3、G
