向量表示（Embedding）

基本概念

向量 = 一组有序数字。在 Transformer 中，每个词/token 都会被转换成一个固定维度的向量（如 512 维、768 维）。

"我"   → [0.1, 0.2, 0.3, ...]
"喜欢" → [0.4, 0.5, 0.6, ...]

为什么需要向量

• 计算机只能处理数字，不能直接理解文字
• 向量包含词的语义信息
• 相似的词有相似的向量，可通过数学计算语义关系

核心特点

• 语义相似性：意思相近的词，向量距离近
• 可计算：支持加减等数学运算（经典例子：国王 - 男人 + 女人 ≈ 女王）
• 上下文感知：Transformer 中向量会随上下文变化（同一个词在不同句子中向量不同）

应用场景

• 语义搜索
• RAG 文档检索
• 推荐系统
• 文本分类
• 聚类分析

与 Transformer 的关系

文本 → Token化 → Embedding层 → 向量序列 → 自注意力机制 → 输出

向量是 Transformer 处理文本的基础数据形式，bridge 了人类语言和计算机计算。