BLOG / 2026.11.05
MIT CSAIL 几位作者把一篇博客推到前排:Weight-Space Programming——用通用大模型直接读、改、甚至从零写神经网络权重。标题卡上最刺眼的一张图是:Qwen3.5-0.8B 的 MATH-500 从 7.9% 拉到 48.1%,只动了 0.016% 的权重。
中文圈很快把它读成「6 倍暴涨、模型突然会数学了」。作者日志与第三方复跑其实在说另一件事:先砍掉思考死循环,再释放模型原本就有、但被循环拖死的水平。和今日站内那篇 Codex 6.2 Astra 灰测完全不是一条新闻——本文谈的是 MIT 用 GPT-6 Astra 去改小模型权重的研究。
把「6 倍暴涨」降级为「解除循环障碍后释放原有水平 + 可独立核对的权重补丁」。
他们到底演示了什么
博客把能力拆成三条:读权重、修权重、从零写权重。小网络上,Astra 能只看权重说出策略网络在玩哪款游戏;能把卡在坡上的小车策略一键改通;还能在 MinAtar 上从零写出打过 PPO-1 亿步的网络。这些实验里,有的真是「权重当文本塞进上下文」,有的已经允许 Python 沙箱与有限次前向。

放大到语言型号体量时,规则变了。识别谄媚的 Gemma、给 Qwen 做数学向编辑,都不再是「裸看浮点」:要 Python、要注意力工具或练习题上的前向预算。作者自己在后文写清:Qwen 实验允许最多 50 次前向(批量练习),并明确禁止梯度训练。

MATH 暴涨:循环没了,不等于植入新数学
Qwen3.5-0.8B 开思考时,模型卡自己就警告容易陷入思考循环。作者报告:基线在练习集上前 96 个回答里有 85 个顶到 32,768 token 上限。Astra 把循环追到第 15、19 层 MLP 的某个方向,从每层 64 个输出列里减掉该方向,共改 131,072 个权重(0.016%)。

在作者口径与同一采样设置下:MATH-500 7.9%→48.1%,GSM8K 13.8%→67.1%,IFEval 21.0%→62.3%,触顶率 93%→33.1%。Hugging Face 上已有带权重与 sha256 的补丁仓库;第三方复跑 MATH-500 约 51.0%。这些都是博客 / 作者 / 复跑口径,不是本站实测。
同一篇文章里还有对照:几乎不怎么循环的 Gemma 3 270M,同样预算下 MATH 几乎不动。作者原话级别的结论是——编辑可以拆掉挡住已有能力的障碍,但很难「写入」模型本来没有的能力。这句比标题卡上的绿柱更重要。
Honnibal 为什么说 misleading
spaCy 作者 Matthew Honnibal 发文批评:摘要把「只看原始权重」的语感,和后面依赖 Python、前向、练习题的 Qwen 实验揉在一起,读者容易以为是同一套手法打穿了从 1.7 万参到 8 亿参的光谱。他的对照表把各实验是否读裸权重、是否写权重、是否跑网络列得很清楚——真正「裸浮点进上下文」的,主要停在几万到十几万参的小网。
这不等于全盘否定。能在 harness 里定位循环方向并给出可复现补丁,本身仍是工程信号;但营销句若写成「大模型通灵权重空间、随便改两下就会奥数」,就过线了。作者侧也已承认 MATH 涨分主因是消除死循环,并补上可核对的权重文件——争议焦点从「有没有这回事」变成「标题是否把不同技术栈说成同一种魔法」。
再补一层机制细节,避免只记住绿柱:作者描述循环对应「某一方向」被 MLP 反复写进残留流;编辑动作近似于从特定输出列里减去该方向,而不是重训注意力或换 tokenizer。触顶率从 93% 降到 33.1% 之后,模型才有机会把已经算对的中间步骤写完——分数上涨,很大一部分是「终于交卷了」,不是突然掌握新定理。
日志与权重已公开:完整对话、代码与评估在 GitHub 日志仓;HF 仓库提供改后权重与校验和,方便第三方复跑。对学校或团队实验室,最小核对路径是:固定温度与 top-p,先测触顶率,再测 MATH-500,而不是只盯着一张对比柱状图转发。
主提示「让模型更擅长数学」本身极短,后续由 Claude Code 等工具扩写 harness——这也是争议点之一:标题容易让人以为是 Astra 单独「看懂了 8 亿权重」,实际上是带工具、带练习题预算的工程会话。把它写成「提示词工程 + 权重编辑」,比写成「通灵」更准确。
One More Thing:和 Astra 灰测新闻拆开
站内另有 Codex 用量里闪过 gpt-6.2-astra 的灰测追踪;那是产品可用性雷达。本文的 Astra 是研究博客里的调用对象,用来演示权重读写。两边可以都真实,但读者任务完全不同:一个决定你改不改 model ID,一个决定你信不信「改 0.016% 权重=学会数学」。
若要自行核对:先看作者博客实验设置表,再下 HF 补丁对 sha256,最后用同一采样复跑 MATH-500 / 触顶率。比转发「6 倍」截图有用得多。
我们的判断:把「6 倍暴涨」降级为「解除循环障碍后释放原有水平 + 可独立核对的权重补丁」。Weight-Space Programming 作为研究方向值得跟,但请把「裸读小网权重」和「带工具改大模型」分两栏记账;与 Codex 6.2 Astra 灰测新闻完全拆开,避免一篇稿里两件事互相洗白。


评论列表 (0条):
加载更多评论 Loading...