Transformer是2017年Google在论文《Attention Is All You Need》中提出的神经网络架构。它彻底摒弃了RNN的序列计算方式，转而使用自注意力（Self-Attention）机制让模型在处理每个位置时能同时关注输入序列的所有位置，实现完全并行化计算。 其核心创新在于多头注意力机制，模型可以从不同子空间学习序列中的依赖关系。配合位置编码、前馈网络和残差连接，Transformer在处理长序列时既高效又强大。 几乎所有现代大语言模型（GPT、Claude、Gemini、LLaMA等）都基于Transformer架构，它已成为自然语言处理乃至计算机视觉、语音等领域的通用基础架构。