MonadFlow：面向 AI4Math 的动态多尺度单元架构研究提案

摘要　当前大语言模型在数学推理上的一个隐性瓶颈，不在注意力机制本身，而在入口处的静态分词：BPE 以人类语料频率固化边界，使十进制进位链、符号结构与公式层级在尚未进入模型之前便已被切碎。MonadFlow 主张放弃“以固定词表预先决定计算粒度”的强先验，将原始字节流无损映射为随上下文动态生成的多尺度单元（Monad），并依据任务难度为不同 Monad 分配非均质算力。其目标不是另造一个更大的分词器，而是把“在哪里计算、以何种粒度计算”从预处理阶段交还给模型，在优化压力下自行涌现。面向 AI4Math，MonadFlow 首先应在一张消费级 GPU 上完成机制存在性证明：以 10M–40M 参数级字节模型为试验床，检验动态粒度是否在算术进位、符号对齐与证明步骤建模上带来可测量的增益。

关键词　动态分词；多尺度单元；信息熵；算力分配；数学推理；AI4Math

一、背景：数学推理的入口之痛

数学推理对表示有一个近乎苛刻的要求：结构必须保真。多位数乘法要求从个位起右对齐、逐位传播进位；代数化简要求识别运算符优先级与括号配对；证明步骤要求保持前提、引理与结论之间的局部依赖。换言之，数学对象的计算拓扑是一条条带位置权与依赖方向的结构链。

BPE 类分词器的边界由语料频率决定，而非由数学结构决定。19840102 * 389 可能被切成 198|401|02| *| 389 之类的碎片。对语言模型而言，这些碎片是离散符号块；对算术而言，它们却应被还原为八个带十进制权重的位。token 位置不等于数位位置，token 边界不保证进位链局部化，长程进位必须跨越任意碎片传播。于是，模型被迫在“碎片重建”与“算术推理”之间同时分配注意力，幻觉便不再是偶发失误，而是静态切分与数学拓扑错位后的结构性风险。

更一般地说，固定词表把人类语料的频率统计固化成了模型入口的网格。它在普通文本上或许是有效的压缩妥协，却在数学符号、长数字、代码与低资源书写系统上暴露出同一缺陷：粒度不能随任务变化。数学需要逐位高分辨率，普通叙述需要概念级低分辨率；固定 BPE 无法同时满足二者。

二、核心命题：把粒度选择交还模型

MonadFlow 的核心命题可以凝练为一句话：

不以固定词表预先规定计算单元，而以信息结构动态生成多尺度单元；不以均质网格分配算力，而以任务难度非均质地分配计算。

这里的“Monad”不是范畴论意义上的 monad，而是带跨度、层级与特征的无损动态单元。它可以是一个十进制位、一个运算符、一个公式片段，也可以是一个词组或一个概念块。其边界不由词典决定，而由下一字节条件熵、类别切换、合并增益与任务敏感信号共同决定；其计算量不由位置均分，而由预测熵、不确定性或可学习的难度估计决定。

这一命题与“苦涩教训”同向：人类为理解世界而强加的最后一个顽固先验，正是“文本应先被切成人类词表里的 token”。MonadFlow 不主张立刻废除 token 作为输出单位，而是主张把“单元是什么”从静态预处理中解放出来，让模型在优化压力下自己发现合适的分辨率。

三、形式框架：单元化、算力分配与联合优化

设原始字节流为

X=(x_1,\dots,x_N)\in \Sigma_B^N,\qquad \Sigma_B=\{0,\dots,255\}.

3.1 单元化函数

定义动态单元化函数

U_\theta:\Sigma_B^N\rightarrow \mathcal{M}^*,

将字节流无损映射为 Monad 序列

m_k=(s_k,e_k,\ell_k,\nu_k),

其中 $s_k,e_k$ 为字节起止位置， $\ell_k$ 为分辨率层级， $\nu_k$ 为单元特征。无损性要求

\operatorname{concat}\big(U_\theta(X)\big)=X.

令 $z_i\in\{0,1\}$ 表示第 $i$ 个字节前是否设边界。定义下一字节条件熵

H_i=-\sum_{b\in\Sigma_B}p_\theta(x_{i+1}=b\mid x_{\le i}) \log p_\theta(x_{i+1}=b\mid x_{\le i}),

以及合并增益

\Delta H_i=H(x_{i+1}\mid x_{\le i}) -H(x_{i+1}\mid x_{\le i},x_i).

则边界概率可写为

p_\theta(z_i=1\mid X) =\sigma\!\left( f_\theta\big(h_i,H_i,\Delta H_i,c_i, \mathbb{1}[\operatorname{cat}(x_i)\ne\operatorname{cat}(x_{i+1})]\big) \right),

其中 $h_i$ 为上下文表示， $c_i$ 为数学敏感特征。高熵、类别切换、数学符号区域提高切分概率，使数字与运算符进入高分辨率；低熵、稳定文本区域降低切分概率，使叙述合并为较大 Monad。

3.2 算力分配函数

设总计算预算为 $C$ 。定义算力分配函数

A_\phi:\mathcal{M}^*\rightarrow \mathbb{R}_+^{K},

对每个 Monad 分配计算量

c_k=A_\phi(m_k,\text{context}) =C\frac{\exp(g_\phi(d_k)/\tau)} {\sum_j\exp(g_\phi(d_j)/\tau)},

并满足

\sum_k c_k\le C.

难度信号可取

d_k=H(Y\mid m_k)+\lambda\operatorname{Var}\big(p_\psi(Y\mid m_k)\big),

即预测熵与不确定性之和。进位链、括号匹配、符号优先级等区域获得更多计算；可预测叙述区域获得较少计算。

3.3 联合优化目标

令任务损失为 $L_{\text{task}}$ ，边界自监督损失为 $L_{\text{seg}}$ ，则联合目标为

\min_{\theta,\phi,\psi} \mathbb{E}_{(X,Y)\sim\mathcal{D}} \Big[ L_{\text{task}}\big(Y;\psi(U_\theta(X),A_\phi(U_\theta(X)))\big) +\alpha L_{\text{seg}}(Z;p_\theta) +\beta \mathbb{H}(Z\mid X) +\gamma\Big(\sum_{m}c_m-C\Big)_+^2 +\delta R(\theta,\phi,\psi) \Big],

约束为 $\operatorname{concat}(U_\theta(X))=X$ 。其中 $\mathbb{H}(Z\mid X)$ 防止退化为逐字节或整串两种平凡解，预算项强制算力约束， $R$ 为正则项。

标准 BPE + Transformer 可视为该框架的特例：

U_\theta(X)=T_{\text{BPE}}(X),\qquad A_\phi(m_k)=\text{constant}.

因此 MonadFlow 的假设空间包含固定分词 Transformer；当最优计算分辨率随任务变化时，它具有严格更优的潜力。

四、面向 AI4Math 的系统设计

其一，数学敏感的高分辨率通道。 对数字、运算符、括号、关系符等字节类别设置敏感信号；在检测到算术表达式或公式片段时，边界预测器倾向逐位或逐符号切分，使进位链与优先级结构在 Monad 序列中保持局部对齐。

其二，文本与证明叙述的低分辨率通道。 对自然语言叙述、定理陈述与证明段落，允许熵驱动与合并增益驱动的大粒度合并，使模型在概念级单元上分配较少计算，把算力留给符号密集区域。

其三，层级化 Monad。 低层 Monad 对应位、符号、词素；高层 Monad 对应表达式、公式块、证明步骤。层级边界同样由信息结构决定，而非由固定窗口决定。这样，模型既能在低位粒度上执行进位，也能在高位粒度上组织证明策略。

其四，可审计的边界可视化。 对每个数学样本输出 Monad 边界、层级与算力分配热图，使“模型在哪里收缩粒度、在哪里放大粒度”成为可观察、可消融的实验对象，而非黑箱副产品。

五、初步实验方案：一张 RTX 3060 Laptop 上的机制证明

本提案不以求大为目标，而以机制存在性证明为首要目标。RTX 3060 Laptop（6GB 或 12GB）足以支撑 10M–40M 参数级字节模型的端到端实验；BLT 的社区复现已证明，字节级动态分块的核心思想可在单张 6GB 消费级 GPU 上跑通 TinyStories 规模训练。

实验一：动态粒度 vs. 静态切分。 在相同参数量、相同训练字节量、相同算力预算下，对比固定 BPE、固定字节块与 MonadFlow 动态分块三类模型。语料采用 TinyStories 与合成数学表达式混合集。指标包括字节级预测损失（BPB）、多位数乘法准确率、符号化简准确率与单位算力下的有效推理步数。核心假设是：在算力/数据对齐条件下，动态粒度在数学子集上带来可测量增益。

实验二：分块器剥离消融。 冻结小型字节主干，仅训练轻量边界预测器（数 M 参数），比较熵驱动、类别切换驱动、数学敏感驱动与混合驱动的边界质量。此步显存需求极低，却能干净隔离“动态 Monad 本身”的价值。

实验三：算力分配消融。 在相同 Monad 序列上，对比均质算力分配与难度驱动非均质分配，观察进位链区域获得更多计算后，长数字算术与多步符号推理是否改善。

实验四：规模 sanity check（可选）。 若 12GB 版本可用，将参数量推至 80M–100M，或扩展数学/代码混合语料，观察动态粒度优势是否保持或放大。工程上采用 bf16、梯度检查点、小 batch 加梯度累积、序列长度从 256–512 起步，避免显存线性爆炸。

六、与相关工作的位置

MonadFlow 并非凭空而来。BLT 以下一字节熵驱动 patch 边界，证明字节级动态分块可在规模上匹敌 token 模型；ByteFlow Net 以编码率驱动分段，说明“语义单元”可由优化自发涌现；ConceptMoE 以语义相似度动态合并 token 为概念表示，展示非均质算力分配的效率红利；DLCM 与 H-Net 则把动态分块推进到概念级推理与层级字节建模。CNF-MCE 从另一侧提供了严格参照：即使保持静态词表，仅将贪心编码升级为全局最小代价编码，也能从 BPE 手中夺回可观的压缩损失。它划出了一条“静态全局最优”的下界，而 MonadFlow 要追问的是：若连候选单元都不应由静态词表预先决定，边界应由何种信号生成？

七、预期贡献、风险与边界

预期贡献有三。其一，给出面向数学推理的动态多尺度单元形式框架，把边界生成与算力分配纳入统一优化目标。其二，在消费级 GPU 上完成可复现的机制验证，提供动态粒度优于静态切分的受控证据。其三，产出可审计的 Monad 边界与算力热图，为 AI4Math 的可解释性提供新观测面。

风险亦须诚实列出。小规模结论不可直接外推至大模型；动态边界在预训练早期可能引入训练不稳定性；推理引擎对动态变长单元的工程适配成本高于固定词表；数学评测若只测最终答案，可能掩盖中间进位链的改善或恶化。因此，实验应同时报告最终准确率、中间步骤一致性与单位算力效率，避免单一指标误导。

八、结语

数学推理的困难，不只在于模型是否足够大，更在于模型入口处的那张网格是否允许它按数学本来的结构去计算。Token 是人类的先验，Monad 是机器在苦涩中自我进化的涌现。MonadFlow 的研究提案，正是要在 AI4Math 最需要结构保真的地方，先松开这道静态脚镣：让字节在信息熵与任务压力的共同作用下，自行组合成位、符号、公式与概念；让算力随难度流动，而非随位置均分。若这一机制能在最小的实验床上被干净地证明，那么它给出的将不仅是一个新分词器，而是一种更根本的主张——计算粒度不应由人类词表预先规定，而应由模型在优化中自己学会。