时间的形状：论注意力机制中位置编码的必然性与唯一性

良之

2026年5月

引言：一个被忽视的根本问题

在构建现代语言模型时，有一个看似朴素、实则深不可测的问题：模型如何感知“时间”？

循环神经网络（RNN）天然地按时间顺序处理输入，卷积神经网络（CNN）通过滑动窗口捕捉局部时序。而Transformer——这个统治了2020年代人工智能的架构——却完全没有内在的时间概念。在纯粹的自注意力机制中，序列中所有位置被一视同仁地对待。对于语言模型而言，这意味着“我爱你”和“你爱我”在未经特殊处理时将无法被区分。

这正是位置编码（Positional Encoding）所要解决的问题。它必须在自注意力计算中注入“位置”这一关键信息，使得模型能够感知到——是“爱”在“你”之前，还是“你”在“爱”之前。

目前最流行的方案是RoPE（旋转位置编码）。它将查询和键向量按位置相关的角度进行旋转，如同钟表的指针随时间转动。RoPE效果出色，但它远非唯一的选择。事实上，一个根本性的问题长期未被追问：究竟存在多少种可能的位置编码？它们的边界在哪里？

这篇文章试图回答这一问题。我们将从第一性原理出发，严格推导出位置编码所必须满足的数学约束，并证明：在所有“合理的”位置编码中，只有少数几个家族是数学上可能的——而这些家族，恰好已经被人类在工程实践中发现和使用了。

这是一次对“时间”在深度学习中的数学形式的彻底追问。

一、问题的形式化

1.1 没有位置编码的注意力

我们先回顾纯粹的自注意力机制。假设我们有查询向量序列 $\{q_t\}$ 和键向量序列 $\{k_t\}$，其中 $t$ 表示时间（或在序列中的位置索引）。在没有位置编码的情况下，注意力分数的计算就是简单的向量内积：

$\text{Attention}(q_t, k_s) = \langle q_t, k_s \rangle$

这个内积是时间无关的——它只取决于 $q_t$ 和 $k_s$ 的内容，而不关心 $t$ 和 $s$ 的相对位置。对于任何需要理解顺序的任务（例如语言、时间序列预测、视频理解），这是一个根本性的缺陷。

1.2 位置编码的引入

为了引入位置信息，我们最直接的想法是：将时间作为参数，显式地变换查询和键向量。 设 $f_t$ 和 $g_t$ 分别是针对查询和键的时间相关变换函数，我们令：

$q_t' = f_t(q_t), \quad k_s' = g_s(k_s)$

那么带有位置信息的注意力分数就变为：

$\text{Attention}(q_t, k_s) = \langle f_t(q_t), g_s(k_s) \rangle$

我们假设 $f_t$ 和 $g_t$ 不改变向量的维度（否则可在位置编码之前先做一次与时间无关的维度变换，这不影响后续分析）。

1.3 线性假设

我们需要施加一些约束，以便将数学问题变得可处理。第一个关键假设是线性性：

假设1（线性性）： $f_t$ 是 $q_t$ 的线性函数，$g_s$ 是 $k_s$ 的线性函数。

这意味着存在与时间相关的方阵 $F(t)$ 和 $G(s)$，使得： $f_t(q_t) = F(t) q_t, \quad g_s(k_s) = G(s) k_s$

从而注意力分数改写为： $\langle F(t) q_t, G(s) k_s \rangle = q_t^T F(t)^T G(s) k_s$

为简化表达，我们定义： $A(t, s) = F(t)^T G(s)$

位置编码的整个核心，便凝聚在这个与时间相关的方阵 $A(t, s)$ 上。它决定了“时间 $s$ 的键”与“时间 $t$ 的查询”之间，内积将如何被调制。

二、平移不变性：相对位置的强制性

第二个核心假设是平移不变性：

假设2（平移不变性）： 注意力分数只取决于查询和键之间的相对位置，而非它们的绝对位置。

$A(t + \tau, s + \tau) = A(t, s), \quad \forall t, s, \tau$

这是出于实际的泛化需求。如果模型在训练时只见过长度为 $N$ 的序列，但在推理时需要处理更长的序列，那么绝对位置索引就不再可靠。唯有基于相对位置的编码，才能自然地泛化到更长序列。

如果我们考虑所有时间对 $(t, s)$ 构成的表格，平移不变性意味着：沿着任意一条对角线（$t - s$ 为定值），$A(t, s)$ 的值是相同的。 我们只需要关心“时间差”这个单一变量。

2.1 对角矩阵假设与自然归约

我们再加一个技术上不损失一般性的假设：对于同一时间的查询和键，位置编码不应产生影响。即 $A(t, t) = I$（单位矩阵）。若原始的位置编码不满足此性质，我们可以对键进行一个与时间无关的线性变换（重新定义 $k_s$）来吸收它。这与我们之前的分析框架相容。

结合平移不变性，立即得到： $A(t, t) = A(0, 0) = I$

进一步，令 $\tau = t - s$，定义： $R(\tau) = A(t, s) = A(\tau, 0)$

于是位置编码完全由单变量的矩阵族 $\{R(\tau)\}$ 所决定。它决定了当我们“向前看 $\tau$ 步”时，注意力内积应如何被调制。

2.2 群结构的诞生

平移不变性的一个深刻推论是：矩阵族 $\{R(\tau)\}$ 构成了一个群。

考虑两步平移：先移 $\tau_1$，再移 $\tau_2$。这等价于一步平移 $\tau_1 + \tau_2$： $A(t+\tau_1+\tau_2, t) = A(t+\tau_1+\tau_2, t+\tau_1) \cdot A(t+\tau_1, t)$

（这里我们依赖于线性代数中线性变换的复合性质，并结合了平移不变性。）

用 $R(\tau)$ 重新表达： $R(\tau_1 + \tau_2) = R(\tau_1) \cdot R(\tau_2)$

这是一个非常强的约束。它说明 $R$ 是一个从实数加法群 $(\mathbb{R}, +)$ 到矩阵乘法群的群同态。

2.3 连续性假设

我们再加上最后一个温和的约束：

假设3（连续性）： $R(\tau)$ 是 $\tau$ 的连续函数。

（排除掉那些需要选择公理来构造的病态解，它们无法在物理计算机上实现，不在本文讨论范围内。）

满足群同态性和连续性的矩阵族，在数学中有一个确切的名字：单参数子群（One-Parameter Group）。而单参数子群是完全被分类了的——它们由一个固定的生成元矩阵 $M$ 决定，并具有形式： $R(\tau) = \exp(\tau M)$ 其中 $\exp$ 是矩阵指数函数。

这一定理将我们的任务从一个“设计问题”转化为一个“分类问题”：我们只需穷举所有可能的生成元 $M$，就能穷举所有可能的位置编码。 这是本文最核心的洞察。

三、穷举所有的位置编码

既然 $R(\tau) = \exp(\tau M)$，那么生成元 $M$ 的代数性质，决定了位置编码的全部行为。我们可以对 $M$ 进行对角化分析。

3.1 对角化的生成元

如果 $M$ 可对角化（在复数域上），那么存在一个基变换（可逆矩阵 $P$），使得： $M = P \Lambda P^{-1}, \quad \Lambda = \text{diag}(\lambda_1, \lambda_2, \ldots, \lambda_d)$

在这个新基下， $R(\tau) = \exp(\tau M) = P \cdot \text{diag}(e^{\tau \lambda_1}, \ldots, e^{\tau \lambda_d}) \cdot P^{-1}$

而基变换 $P$ 本身是不依赖时间的，因此可以“吸收”进对查询和键的预处理中。也就是说，我们总可以假装 $M$ 已经是对角矩阵了，而把基变换看作神经网络线性层的一部分。于是不同特征值 $\lambda_i$ 对应的子空间是彼此解耦的：位置编码在每个子空间上独立作用。

每个特征值 $\lambda = a + i\omega$（$a, \omega \in \mathbb{R}$）将对应一个一维子空间（若为实数）或一对二维子空间（若为复数且 $M$ 原为实矩阵，则复数特征值与其共轭成对出现）。

3.1.1 实数特征值：指数衰减或增长

若 $\lambda = a$ 是实数，则在该子空间上 $R(\tau) = e^{\tau a}$。注意力内积被调制为： $\langle q, k \rangle \mapsto e^{\tau a} \langle q, k \rangle$

• $a > 0$：随着时间差 $\tau$ 增大，$e^{\tau a}$ 指数增长。这意味着过去的键对当前查询的影响会爆炸性地增强，这既不切实际也不稳定。我们排除这种可能。
• $a = 0$：$R(\tau) = 1$，位置编码在该子空间上消失。这正是“无位置编码”（NoPE）的情形。
• $a < 0$：$e^{\tau a}$ 指数衰减。过去的键对当前查询的影响随时间流逝而指数式消退。这是线性注意力机制中常见的指数衰减，常见于RetNet和Mamba-3等模型中。

3.1.2 复数特征值：旋转（RoPE）

若 $\lambda = a + i\omega$ 与其共轭 $\bar{\lambda} = a - i\omega$ 成对出现，则它们在对应的二维子空间上的作用，可等价为以下实矩阵（通过标准实化）： $R(\tau) \simeq e^{\tau a} \begin{pmatrix} \cos(\tau \omega) & -\sin(\tau \omega) \\ \sin(\tau \omega) & \cos(\tau \omega) \end{pmatrix}$

这里我们看到两个因子：

1. 旋转矩阵 $\begin{pmatrix} \cos(\tau \omega) & -\sin(\tau \omega) \\ \sin(\tau \omega) & \cos(\tau \omega) \end{pmatrix}$：这正是旋转位置编码（RoPE）的核心。旋转角度 $\tau \omega$ 随相对位置线性增长，如同钟表指针随时间转动。
2. 指数衰减因子 $e^{\tau a}$：与实数特征值情形相同，我们要求 $a \leq 0$ 以防止爆炸。当 $a < 0$ 时，得到的是带指数衰减的旋转位置编码，这正是RetNet和Mamba-3所采用的位置编码。

当 $a = 0$ 时，我们恢复纯粹的RoPE——目前最流行、最有效的选择。

3.2 不可对角化（有缺陷）的生成元：新的可能性？

现在让我们进入一个更奇特、但也更迷人的领域：如果生成元 $M$ 不可对角化（即它是一个有缺陷的矩阵），会发生什么？

线性代数告诉我们，当矩阵不可对角化时，我们可以通过相似变换将它化为若尔当标准型（Jordan Normal Form）。若尔当块具有以下形式（以 $2 \times 2$ 为例，对应特征值 $\lambda$ 的简单若尔当块）： $M = \begin{pmatrix} \lambda & 1 \\ 0 & \lambda \end{pmatrix}$

计算其矩阵指数： $R(\tau) = \exp(\tau M) = e^{\tau \lambda} \begin{pmatrix} 1 & \tau \\ 0 & 1 \end{pmatrix}$

注意：这里出现了 $\tau$ 的多项式因子！ 对于一个 $k \times k$ 的若尔当块，$R(\tau)$ 将包含 $\tau$ 的 $k-1$ 次多项式。

这意味着什么呢？如果我们限制在可对角化的生成元上（这也是几乎所有人都在做的），位置编码的行为只包含指数衰减和旋转。但若尔当块——这些数学上“病态”的矩阵——为位置编码打开了一扇通向多项式调制的大门。

举一个简单的物理例子来帮助理解。考虑一个以恒定速度 $v$ 滑行的冰球（无摩擦）。在时间 $t$ 时，其位置 $x_t$ 和速度 $v_t$（恒定）的状态向量为 $\begin{pmatrix} x_t \\ v_t \end{pmatrix}$。其演化方程为： $\begin{pmatrix} x_t \\ v_t \end{pmatrix} = \underbrace{\begin{pmatrix} 1 & t \\ 0 & 1 \end{pmatrix}}_{R(t)} \begin{pmatrix} x_0 \\ v_0 \end{pmatrix}$

这正是由不可对角化生成元产生的位置编码。在这里，$x_0$ 和 $v_0$ 分别对应了查询或键向量中的两个分量：一个是“位置”信号（随时间线性漂移），另一个是“速度”信号（保持恒定）。

这种多项式位置编码有实际意义吗？ 坦率地说，目前尚无定论。多项式项的存在意味着某些注意力交互会随时间线性（甚至更高阶地）增长，这在典型语言建模中似乎没有明确对应。事实上，我几乎可以断言：所有在实践中表现出色的位置编码，都已经在前面的“可对角化”类别中被穷举了。但不可对角化生成元在理论上仍然是合法的，这为未来探索提供了边界上的惊奇。

事实上，在本文写作之后，我读到了张义凡等人最近的论文《GRAPE》，他们独立地利用了单参数子群的框架，并明确指出了有缺陷生成元和ALiBi之间的关联。这是理论洞察跨越个体研究者的一个美丽例证。

四、终章：时间的形式，以及藏在形式背后的人

我们将一个看似开放的设计问题——“用什么位置编码好？”——转化为一个封闭的数学问题：满足线性性、平移不变性和连续性的位置编码，在忽略了不重要的基变换后，只能由生成元 $M$ 的代数性质所决定。 而生成元，无非是对角化的（对应指数衰减与旋转）或不可对角化的（对应多项式时间调制）。

这个结果在哲学上是深刻的。它意味着：人类在设计位置编码时，看似有无限的自由，实际上却被数学法则牢牢地约束着。 我们在现实中最成功地使用的RoPE、指数衰减、以及它们的组合，并非偶然的创新，而是这套数学约束下“几乎唯一”的必然产物。这正是我在Tendre必要性定理中反复申说的信念：在逻辑必然性面前，工程师的自由度并不如想象中那么大。

就像物理定律限制了宇宙中可能的粒子类型一样，群论法则限制了注意力机制中可能的位置编码类型。我们不是在创造，而是在发现。发现那些早已被数学本身锁定的、时间的形状。

参考文献

[1] Puranik, A. (2026). Using group theory to explore the space of positional encodings for attention. Jane Street Tech Blog.

[2] Su, J., Lu, Y., Pan, S., Wen, B., & Liu, Y. (2021). RoFormer: Enhanced transformer with rotary position embedding. arXiv preprint arXiv:2104.09864.

[3] Sun, Y., Dong, L., Patra, B., Ma, S., Huang, S., Benhaim, A., ... & Wei, F. (2023). Retentive network: A successor to transformer for large language models. arXiv preprint arXiv:2307.08621.

[4] Zhang, Y., et al. (2025). GRAPE: Group Representational Positional Encoding. arXiv preprint.

[5] Press, O., Smith, N. A., & Lewis, M. (2021). Train short, test long: Attention with linear biases enables input length extrapolation. arXiv preprint arXiv:2108.12409. (ALiBi)

良之，2026年