词向量/嵌入

换成大白话

嵌入（Embedding）是将离散的符号（词、子词、句子、图像等）映射为低维连续向量的技术。在语言模型中，每个token通过查表得到一个固定维度（如768、4096）的向量，作为Transformer层的输入。 嵌入向量的关键性质是"语义相近则向量相近"：通过训练，语义相关的词在向量空间中距离更近，从而支持相似度计算、聚类、检索等下游任务。句子级、文档级嵌入（如sentence-BERT、OpenAI text-embedding）广泛用于RAG、语义搜索、推荐系统。 嵌入质量直接影响模型表现，其维度、训练目标（对比学习、掩码语言模型）、覆盖语种都是关键设计因素。嵌入数据库（如Pinecone、Milvus、Chroma）是构建RAG应用的基础设施。

它通常在什么场景出现

这个术语常见于模型选择、训练与微调、推理与部署、评测或产品功能说明等场景；当你遇到“词向量/嵌入”时，多半是在讨论模型行为、处理方式或指标口径。

具体出现在哪类场景，可以用下方“跨库查找”搜索包含该概念的模型、训练、评测或产品资料。

容易混淆的地方

不要把“词向量/嵌入”理解成模型本身的能力或在某个榜单上的具体名次；它更多是描述一种机制、一种处理方式或一个指标口径，而不是模型实力的绝对结论。