1. 文本表示：从符号到向量的进化之路
在自然语言处理领域，文本表示是让计算机理解人类语言的基础。早期的文本表示方法主要采用one-hot编码，每个词被表示为一个维度等于词表大小的稀疏向量。这种方法简单直接，但存在两个致命缺陷：维度灾难（词表动辄上万维）和语义鸿沟（无法表达词与词之间的关系）。
2013年，Mikolov等人提出的Word2Vec模型彻底改变了这一局面。通过浅层神经网络学习，词向量能够将语义相似的词映射到向量空间中相近的位置。例如"国王"-"男人"+"女人"≈"女王"这样的向量运算，直观展示了词向量的神奇特性。
关键突破：Word2Vec通过预测上下文词（CBOW）或根据中心词预测上下文（Skip-gram）的方式，使词向量能够捕捉分布式语义特征。这种"一个词的含义由其上下文决定"的理念，源自Harris的分布假说。
2. 词向量技术深度解析
2.1 Word2Vec的两种架构对比
CBOW（连续词袋模型）： 适合小型数据集和频繁词预测 训练速度较快 对上下文词取平均处理
Skip-gram： 适合大型数据集和稀有词学习 能更好处理低频词 通过负采样优化计算效率
在实践选择时，如果应用场景更关注高频词（如搜索引擎建议），CBOW可能是更好选择；而需要捕捉细粒度语义关系（如诗歌生成）时，Skip-gram通常表现更优。
2.2 进阶技巧：动态窗口与子词信息
原始Word2Vec使用固定大小的上下文窗口，但实际语言中上下文重要性往往不对称。改进方案包括：
- 动态调整窗口大小（如基于词频）
- 引入衰减权重（离中心词越远权重越低）
FastText进一步创新性地引入子词（subword）信息，将单词拆解为字符n-gram。这使得模型能够：
- 处理未登录词（OOV）
- 捕捉词形变化规律
- 适用于形态丰富的语言（如德语、土耳其语）
3. 从词向量到大模型的演进
3.1 上下文相关表示的突破
传统词向量是静态的——同一个词在不同语境下具有相同的表示。ELMo首次引入双向LSTM架构，生成基于上下文的动态词表示。这解决了多义词的表示难题，例如：
- "苹果"在水果和科技公司语境下的不同含义
- "银行"在金融和地理意义上的区别
3.2 Transformer的革新
2017年提出的Transformer架构通过自注意力机制，实现了：
- 并行化计算（相比RNN的顺序处理）
- 长距离依赖捕捉（不受梯度消失影响）
- 可解释的注意力模式（可视化词语关联）
BERT将Transformer推向新高度，通过掩码语言模型（MLM）和下一句预测（NSP）任务，构建了深层次的上下文理解能力。实践表明，BERT-base的768维词向量在语义相似度任务上比300维Word2Vec向量平均提升15-20%。
4. 实践指南：词向量训练与优化
4.1 数据预处理关键步骤
文本清洗：
- 保留有效标点（如问号对问答系统很重要）
- 谨慎处理大小写（全小写可能损失信息）
- 特定领域术语保护（如医学术语不拆分）
超参数调优：
# Gensim示例配置 model = Word2Vec( vector_size=300, window=5, # 动态调整效果更好 min_count=10, workers=4, sg=1, # 1=Skip-gram, 0=CBOW hs=0, # 0=负采样, 1=层次softmax negative=5, ns_exponent=0.75 # 负采样分布调整 )
4.2 评估方法论
内在评估：
- 词语类比（king - man + woman ≈ queen）
- 相似度计算（与人工标注比较）
外在评估：
- 下游任务表现（文本分类、命名实体识别等）
- 领域适应性测试（跨领域迁移效果）
经验提示：当语料库规模小于1GB时，建议使用预训练词向量进行微调，而非从头训练。中文推荐使用腾讯AI Lab的800万词向量，英文可考虑Google News预训练模型。
5. 大模型时代的词向量新定位
随着GPT等大模型的兴起，静态词向量似乎正在被动态上下文表示所取代。但深入分析发现：
资源效率：
- Word2Vec训练仅需单GPU几小时
- BERT-base训练需要16个TPU三天
特定场景优势：
- 小型设备部署（IoT应用）
- 实时性要求高的场景（搜索建议）
- 数据稀疏领域（专业术语处理）
混合架构趋势：
- 先用词向量捕捉基础语义
- 再用Transformer建模上下文
- 知识图谱嵌入补充结构化信息
在实际项目中，我们常采用分层策略：底层使用轻量级词向量快速筛选候选，上层用大模型精细处理。这种方案在电商搜索系统中实现了响应时间缩短40%的同时，准确率提升12%。
6. 前沿探索与挑战
6.1 多语言与跨模态表示
最新研究致力于打破语言壁垒：
- 对齐向量空间（无需平行语料）
- 共享子词词汇表
- 视觉-语言联合训练（如CLIP模型）
6.2 知识增强表示
传统词向量的局限在于：
- 缺乏事实性知识
- 难以进行逻辑推理
解决方案包括：
- 知识图谱注入（在训练时融入实体关系）
- 描述文本增强（为每个词添加百科说明）
- 对比学习（区分事实性表述与虚构内容）
在医疗领域应用中，经过医学知识库增强的词向量在诊断代码预测任务上F1值提升了8.3%，显著优于通用模型。
