大模型Transformer

一、 Transformer 机制与大模型的关系用一句话概括Transformer 是现代大语言模型LLM的“发动机”和“底层基石”。没有 Transformer就不会有今天我们看到的 ChatGPT、文心一言、LLaMA 等大模型。它们的关系可以从以下几个维度来理解架构基础目前市面上几乎所有主流的大语言模型其底层网络架构都是基于 Transformer 或其变体特别是 Transformer 的 Decoder-only 架构。突破了算力瓶颈并行计算在 Transformer 出现之前自然语言处理主要依靠 RNN循环神经网络或 LSTM。RNN 必须“从左到右”逐个词处理无法同时计算而 Transformer 抛弃了循环结构允许所有词同时进行处理高度并行化这使得利用海量 GPU 训练千亿参数的模型成为可能。解决了长文本依赖问题Transformer 引入的“自注意力机制Self-Attention”能够直接计算句子中任意两个词之间的关联度无论它们相隔多远。这让大模型具备了极强的上下文理解能力。涌现能力的催化剂Transformer 架构对算力和数据的扩展性Scaling Law极好。当模型参数量和训练数据量大到一定程度时基于 Transformer 的模型“涌现”出了逻辑推理、代码编写等惊人的高级能力。二、 详细讲解 Transformer 机制Transformer 是 Google 在 2017 年的经典论文《Attention Is All You Need》中提出的。它的核心思想是完全抛弃传统的 RNN 和 CNN仅依靠“注意力机制Attention”来处理序列数据。Transformer 的核心组件可以拆解为以下几个部分自注意力机制 (Self-Attention) —— 核心中的核心这是 Transformer 最具革命性的设计。它的作用是让模型在处理当前词时能够“看到”并“关注”句子中的其他词从而理解语境。它通过三个矩阵来实现Q (Query/查询)、K (Key/键)、V (Value/值)。打个比方假设你去图书馆找书。Q 是你在搜索框里输入的关键词K 是图书馆里每本书的书名和标签V 是书里面的具体内容。计算过程模型把句子里的每个词都转换成 Q、K、V 三个向量。用当前词的 Q 去和句子中所有词的 K 进行点积计算匹配度打分。得分越高说明这两个词关联度越大。将得分转化为权重通过 Softmax 函数然后乘以对应的 V内容。把所有加权后的 V 相加就得到了这个词结合了全文语境后的“新表示”。效果在“苹果公司今年发布了新手机”这句话中处理“苹果”时自注意力机制会给“公司”和“手机”分配高权重从而知道这里的“苹果”是科技公司而不是水果。2. 多头注意力 (Multi-Head Attention)如果只有一个注意力机制模型可能只会关注到某一种维度的关系比如语法关系。多头注意力就是把 Q、K、V 分成多组比如 8 个头或 96 个头让模型同时从不同的角度如语法、语义、情感、指代等去理解句子最后再把结果拼接起来大大增强了模型的表达能力。位置编码 (Positional Encoding)因为 Transformer 是同时处理所有词的并行计算它本身不知道词的先后顺序。为了解决这个问题Transformer 在输入数据时加入了一个“位置向量”。这个向量包含了词在句子中的绝对位置或相对位置信息让模型能够区分“狗咬人”和“人咬狗”。前馈神经网络 (Feed-Forward Network, FFN)在注意力机制提取了词与词之间的关系后数据会经过一个两层的全连接神经网络。它的作用是引入非线性变换进一步加工和记忆特征信息。残差连接与层归一化 (Add Norm)为了防止网络太深导致“梯度消失”即模型无法训练Transformer 在每一层都使用了残差连接把输入直接加到输出上并进行了层归一化Layer Normalization使得数据分布更加稳定加速训练。编码器与解码器 (Encoder Decoder)最初的 Transformer 包含两部分Encoder编码器负责阅读和理解输入文本提取特征。代表模型BERTDecoder解码器负责根据 Encoder 提取的特征逐个生成输出文本。代表模型GPT 系列注现在的大多数生成式大模型如 GPT-4, LLaMA为了追求极致的生成能力通常只保留了 Decoder 部分Decoder-only 架构。