1. 项目概述
在人力资源技术领域，自动从招聘信息中提取技能要求一直是个具有挑战性的任务。传统方法通常依赖规则引擎或词典匹配，但这些方案在面对多语言、表述多样的真实场景时往往表现不佳。我们最近完成了一个针对土耳其语招聘信息的技能提取项目，采用大型语言模型(LLMs)结合提示工程技术，取得了显著优于传统方法的效果。
这个项目的核心创新点在于：
- 针对土耳其语特性设计了专门的提示模板
- 比较了静态与动态few-shot提示策略的性能差异
- 结合ESCO技能库进行二次精排
- 系统性地分析了不同配置下的成本效益比
我们的实验结果表明，最优配置方案在销售-市场和金融两个领域的技能识别准确率(MUC)分别达到0.81和0.84，而端到端的技能链接准确率(F1)最高可达0.55。更重要的是，我们发现通过合理的提示工程和模型选择，可以在保持90%性能的情况下将处理成本降低5-10倍。
2. 技术方案设计
2.1 整体架构
我们的技能提取流水线分为两个主要阶段：
- 技能识别(Skill Identification)：从职位描述文本中识别出所有技能相关的短语
- 技能链接(Skill Linking)：将识别出的技能短语映射到标准化的ESCO技能库
这种两阶段设计有几个关键优势：
- 允许分别优化每个子任务的提示策略
- 可以利用不同LLM的优势（如Gemma用于识别，GPT-4用于链接）
- 便于进行渐进式开发和调试
2.2 模型选型
我们评估了三种主流LLM在土耳其语技能提取任务上的表现：
| 模型 | 类型 | 参数量 | 土耳其语支持 | API成本(每千token) |
|---|---|---|---|---|
| Claude Sonnet 3.7 | 闭源 | 未公开 | 良好 | $0.003/$0.015 |
| Gemma 3 27B | 开源 | 270亿 | 中等 | 仅计算成本 |
| GPT-4o | 闭源 | 未公开 | 优秀 | $0.005/$0.015 |
选择这些模型的考虑因素包括：
- 语言能力：需要处理土耳其语特有的语法和词汇
- 成本效益：特别是对于需要大量实验的开发阶段
- 部署灵活性：Gemma可以本地部署，避免API延迟和费用
实际测试发现，虽然GPT-4o在英语任务上表现最好，但在土耳其语场景下Claude Sonnet 3.7的性价比更高。Gemma 3作为开源模型，在调整提示后也能达到接近闭源模型的水平。
3. 提示工程实践
3.1 技能识别提示设计
我们设计了多种提示策略来指导LLM识别技能短语：
基础提示(土耳其语)：
Sana bir ilan vereceğim ve aranan pozisyon için gerekli görülen yetenekleri <skill start> ve <skill end> etiketleri arasına almanı istiyorum. Açıklama yapma. Metni etiketleri ile birlikte aynı şekilde farklı bir değişiklik yapmadan döndür. Okunan okul ve deneyimler yetenek değildir.关键设计要点：
- 明确要求只标记技能，不包括教育背景和工作经验
- 指定严格的输出格式（使用特定标签包裹）
- 禁止模型对文本做任何修改或解释
- 使用土耳其语提示以适应目标文本
3.2 Few-shot学习策略
我们比较了三种few-shot配置：
- Zero-shot：仅提供任务说明
- Static few-shot：固定不变的示例
- Dynamic few-shot：根据输入文本动态检索最相关示例
实验结果表明显著差异：
| 策略 | 销售-市场(MUC) | 金融(MUC) | 平均F1 |
|---|---|---|---|
| Zero-shot | 0.63 | 0.66 | 0.25 |
| Static Two-shot | 0.78 | 0.81 | 0.48 |
| Dynamic Ten-shot | 0.78 | 0.79 | 0.57 |
动态提示的优势在于：
- 能根据具体职位类型提供最相关的示例
- 避免静态示例可能带来的偏差
- 在保持相同token数量的情况下获得更好效果
4. 技能链接与精排
4.1 ESCO技能库整合
ESCO(European Skills/Competences, Qualifications and Occupations)是欧盟开发的标准化技能框架，包含超过13,000项技能定义。我们将识别出的技能短语与ESCO进行匹配，实现技能标准化。
匹配过程分为两步：
- 初步检索：使用嵌入相似度或模糊匹配找出候选技能
- 精排：用LLM对候选技能进行相关性排序
4.2 精排提示设计
我们开发了三种精排提示，复杂度递增：
- 基础精排：简单排序任务
- 上下文精排：加入技能出现的句子上下文
- 因果推理精排：要求模型以HR身份解释相关性
因果推理提示示例：
Bir insan kaynakları asistanı olarak davran... [角色设定] ...NEDEN alakalı olabileceğini düşün, daha sonra... SONUCUNU düşün... [因果推理要求]精排效果对比：
| 方法 | 平均F1提升 | 相对成本 |
|---|---|---|
| 无精排 | 基准 | 1x |
| 基础精排 | +0.12 | 1.8x |
| 因果推理精排 | +0.15 | 2.1x |
5. 成本优化实践
5.1 成本结构分析
我们记录了不同配置的实际花费：
| 阶段 | 模型 | 最贵配置 | 最便宜配置 | 性价比推荐 |
|---|---|---|---|---|
| 识别 | Claude | $1.60(Ten-shot) | $0.50(Zero-shot) | Dynamic Two-shot($0.69) |
| 精排 | GPT-4o | $7.16 | $6.39 | RerankKey($6.39) |
关键发现：
- 精排阶段占总支出的80-90%
- 从zero-shot到two-shot提升最大，之后边际效益递减
- 动态提示不增加token消耗但提升效果
5.2 实用优化技巧
基于项目经验，我们总结出以下成本优化方法：
- 分阶段开发：先单独优化识别阶段，再添加精排
- 缓存中间结果：避免重复处理相同文本
- 混合模型策略：用Gemma做开发测试，Claude用于生产
- 动态示例选择：5-6个精心挑选的示例通常足够
- 轻量级精排：对非关键岗位使用基础精排
在实际部署中，我们最终采用Gemma(Dynamic Six-shot)识别+GPT-4o(RerankKey)精排的组合，在保持90%顶级性能的同时，将单次处理成本从$8.76降至$1.92。
6. 实际应用挑战
6.1 土耳其语特有难题
在土耳其语技能提取中，我们遇到几个特殊挑战：
形态复杂性：土耳其语是高度黏着语，一个词根可衍生多种形式
- 解决方案：在示例中包含不同词形变化
复合技能表述：如"finansal analiz ve raporlama"(财务分析与报告)
- 解决方案：提示中明确要求保持原样不拆分
文化特定技能：某些本地化技能不在ESCO中
- 解决方案：保留原始短语并标记为"本地技能"
6.2 评估指标解读
我们使用三种主要指标：
| 指标 | 计算方式 | 侧重方面 |
|---|---|---|
| MUC | 完全匹配 | 精确度 |
| Partial | 部分匹配 | 召回率 |
| F1 | 综合得分 | 平衡性 |
值得注意的是，人类评估发现：
- 73%的提取技能被标记为完全正确(红色)
- 17%部分正确(蓝色)
- 10%不相关(灰色)
常见错误类型包括：
- 将职责误认为技能(如"work in team")
- 忽略关键技能(如"Power BI")
- 文化不匹配(如"purchase supplies"在土耳其语境重要性低)
7. 扩展与应用
7.1 多语言扩展
虽然本项目聚焦土耳其语，但方法论可推广到其他语言：
- 提示翻译：保持结构不变，翻译任务说明
- 示例替换：收集目标语言的few-shot示例
- 本地化适配：调整技能标准和评估方式
7.2 相关应用场景
该技术可应用于：
- 简历-职位匹配：自动分析双方技能需求
- 技能差距分析：识别团队或个人的技能缺失
- 培训推荐：基于市场需求推荐学习路径
- 薪酬基准：技能与市场薪资水平关联分析
7.3 未来优化方向
从项目实践中，我们识别出几个有潜力的改进方向：
- 混合方法：结合规则引擎处理高频率技能
- 主动学习：让人力专家标注模型不确定的案例
- 轻量化部署：探索蒸馏小型专用模型
- 多模态扩展：处理包含图表的职位描述
在本地化部署方面，我们正在测试QLoRA微调Gemma模型，初步结果显示在保持95%性能的同时，可将推理成本降低至API方案的1/20。这对于需要处理大量职位信息的企业特别有价值。
