**Embedding（嵌入）**是大语言模型和其他机器学习模型中的一种核心技术，它通过将离散的数据（如单词、句子、图像）转换为连续的向量表示，使得这些数据可以在高维空间中进行操作和分析。Embedding 的本质是为模型提供一种能够捕捉数据之间语义或特征关系的紧凑数值表示。
Embedding 的基本概念
- 向量表示：Embedding 将离散数据映射为高维实数向量。每个向量通常有几十到几百个维度，这些维度捕捉了数据之间的某种关系或模式。
- 语义相似性：在高维向量空间中，具有相似语义或特征的输入数据会被映射到彼此相邻的位置。比如，在文本处理任务中，"king" 和 "queen" 这两个单词的向量在空间中可能非常接近，因为它们在语义上具有相似性。
- 训练过程：Embedding 通常是在模型训练过程中通过优化目标函数得到的。目标是让模型能够准确预测目标值或输出，同时生成的向量能够有效捕捉输入数据的特征和关系。
Embedding 的应用场景
- 自然语言处理 (NLP)：
- 词向量 (Word Embeddings)：将单词映射为向量表示，例如 Word2Vec、GloVe 等。这些向量表示可以捕捉单词之间的语义关系，如“巴黎”和“法国”的关系类似于“伦敦”和“英国”。
- 句子或文档向量 (Sentence/Document Embeddings)：将整个句子或文档
