Transformer 中文学习台

动手理解 Transformer简化教学示例

01 · 看上下文

一个词，关注了谁？

点选一个词，看看它怎样分配注意力。后面的词还没有出现，会被遮住。

「雨」的注意力合计 100%

分词和关联分数为预设示例；占比由 softmax 计算。这里观察一个注意力头。

02 · 选下一个词

调整温度，观察同一组候选的概率如何变化，再抽取一次。

小猫坐在窗边，接着……

Temperature · 温度1.0

候选分数保持不变，只调整温度。

用预设分数演示注意力与采样，所有计算在浏览器完成。

先点选一个词，观察它能看到哪些上下文；再调整温度，对比候选词的概率。这里用预设数值简化过程，不进行大模型推理。

建议不要急着记公式，先理解信息如何从 token 流过 Embedding、Transformer Block、Output Probabilities。

文本生成型 Transformer 可以先理解成三段流水线： Embedding 把文字变成向量， Transformer Block 反复加工这些向量， Output Probabilities 把加工后的结果转成“下一个 token”的概率。

GPT-2 small 有 12 层 Transformer Block。层数越往后，token 的表示通常越抽象，也更融合上下文。

Embedding 的任务是把离散文字转成连续向量。流程是 Tokenization、Token Embedding、Positional Encoding，最后把 token 含义和位置信息合在一起。

直觉上，Token Embedding 表示“这个词或子词是什么”，Positional Encoding 表示“它在句子里的第几个位置”。

Self-Attention 让每个 token 根据上下文更新自己。它会生成 Query (Q)、Key (K)、Value (V)： Q 像搜索问题，K 像可匹配的索引，V 是真正要取回的信息。

Multi-Head 的意思是同时用多个 attention head 看同一句话。不同 head 可能关注语法、指代、局部短语或长距离语义。

Masked Self-Attention 会遮住未来 token，防止模型提前“偷看答案”。这对自回归文本生成很关键。

Attention 负责在 token 之间搬运信息，MLP 更像对每个 token 的表示做独立加工。在 GPT-2 small 中，MLP 会先把 768 维扩展到 3072 维，再压回 768 维，中间使用 GELU 激活函数。

模型最后会给词表里每个 token 一个 logit。softmax 把 logits 转成概率分布，然后模型选择下一个 token。

Layer Normalization 稳定训练， Dropout 降低过拟合， Residual Connections 让梯度更容易穿过深层网络。初学时先知道它们“帮助训练更稳”，不必一开始钻太深。

中文学习笔记参考 Transformer Explainer 整理。Polo Club 提供原交互可视化与模型；本页的中文学习笔记与本地简化教学示例由 Dance 整理。