80亿参数记性不如U盘：他算出了大模型记忆天花板 - 智源社区

Кратко: 新智元报道   新智元报道 【新智元导读】参数越多，大模型就能装下越多知识？一篇被NeurIPS拒过的论文把账算死了：每个参数只有3.6 bit。15亿参数模型的记忆，还不如一支U盘。 大模型的记性，比你想象中可能差远了。 一个80亿参数的大模型，一口气吞下15万亿token的训练数据，堆到硬盘上差不多7TB。 可它真正「背」得下来的，少得可怜：每个参数只装得下3.6 bit。一个英文字母8 bit，连半个都填不满。 7TB数据灌进去，整个模型记得住的大约只有两千分之一。你往里塞再多，它也只装下这么点。 捅开这一真相的，是7月5日ICML 2026的一篇获奖论文，题目就叫《How much do language models memorize?》（《语言模型能记住多少东西？》）。 这篇在Meta做出来的论文，第一次给「大模型的记忆」称出了重量。 如果把大模型想象成一块闪存，它的容量一出厂就焊死：每个参数大约3.6 bit，填满一格，就少一格。 这些参数并非通往无限知识的入口，更像一根填满就再也塞不进去的存储条。 数据喂得再多，各模型的记忆量都会撞上自己的容量天花板。模型越大，天花板越高。 这篇论文的特别之处，不止它的观点，更在它背后的故事。 两年前，它先被NeurIPS拒了。 Morris没放弃，把实验重新清理、补做了一遍，两年后转投ICML，最终拿下ICML 2026杰出论文荣誉提名（Outstanding Paper Honorable Mention）。 奖项一公布，Morris难言兴奋，在X上写道： 他一一感谢了合作者，但也没客气： 让他高兴的，是论文里「大模型就像一块闪存」的容量理念，正被越来越多人接受。 而且这套方法已经落了地——至少一家前沿实验室，把它实打实用在了中期训练的数据筛选上。 作为研究员，Morris长期盯着语言模型的表征，从嵌入（embedding）到权重，追问的始终是同一个问题：信息，到底存在模型的什么地方。 这篇论文，算是他这条主线的一次集中交卷。 这项研究的八位作者横跨Meta、Google DeepMind、康奈尔、英伟达，一头扎在工业界，一头连着学术界。 ICML官方的评价是：这项工作提出了区分「记忆」与「泛化」的新视角，理论底子扎实，又配上实打实的实测，撑起了那个3.6 bit的大胆结论。 只是两年前，人们还没意识到他这篇论文的分量。 这篇论文，打破了这些年大家一个默认的认知： 其中，一件重要的事一直没人说透： 模型到底是真「学会」了，还是只是把训练数据「背」了下来？ 过去，衡量记忆的办法很粗糙。 要么想尽办法让模型把训练数据原样吐出来，要么去判断某条数据在不在训练集里。 但这两种方式，都没分清这样一件事：模型说出某句话，是因为它记住了，还是因为它真的会推理。 比如，你让模型算两个数相加，它没见过这道题也能答对。 这显然不算「记忆」。 Meta的研究团队所做的，是第一次把「记忆」和「泛化」彻底区分开。 他们的思路，借鉴了信息论（information theory）：一条数据，如果在有模型帮忙的情况下能被压缩得更短，就说明模型「记住」了它。 压缩得越狠，记得越牢。 在这个框架里，记忆被拆成两块。 一块叫非预期记忆（unintended memorization），是模型死记硬背的、关于某个具体数据集的信息。 另一块叫泛化（generalization），是模型真正学到的、关于数据背后规律的东西。 把泛化那部分减掉，剩下的就是模型硬记下来的总量。 拿这个总量去除以参数规模，就得到了那个关键的比值：每个参数装了多少bit。 团队训了数百个从50万到15亿参数不等的Transformer，反复测量。 最终，结论都指向这样一个数字： 这就是它记忆的天花板。 GPT类模型每参数约3.64 bit，容量随参数线性增长。 要说明的是，这3.6 bit并不是说「一个参数只能塞3.6 bit文本」。 它是在一套特定的信息论定义下，估算出的记忆容量。是模型「死记硬背」的上限，而不是它硬盘意义上的存储量。 这个比喻，戳破了两个关于大模型的认知。 第一，你以为大模型把训练数据都记住了？其实根本装不下。 现在每个主流大模型都在几万亿token上训练，可它们的容量压根塞不进这么多，数据早就溢出了。 第二，当灌进去的数据超过容量，模型反而会「变聪明」。它不再一条条死记，而是被逼着去找通用的规律。 这时候就冒出了所谓的双下降（double descent）：损失先降后升再降。 记忆填满的那一刻，恰恰是泛化开始的起点。 数据量撑爆容量的那一刻，双下降出现，模型被逼着转向泛化。 论文里把这个转折叫作「顿悟」（grokking）的开端：模型记不下了，这才真正开始开窍。 在纯随机的比特串上，模型只能硬记，容量一填满就到顶。可换成真实文本，情形就变了。 模型先拿容量去记，记到装不下，就掉头用泛化来顶替死记，转而学那些能反复复用的通用模式。 记忆和泛化，在同一个模型里此消彼长。 所以，先不要着急得出「大模型就是个数据库」「AI只是在背答案」这样的结论，这篇论文证明的恰恰相反：正因为记不住，它才不得不学会举一反三。 这套框架还顺手回答了一个隐私问题：记不住，某种程度上反倒成了一种保护。 数据越多，成员推断越接近随机猜测（F1趋近0.5）。 既然大模型的容量早被海量数据撑爆，那想靠成员推断（membership inference）去反推某条数据在不在训练集里，就变得越来越难。 对绝大多数在天量数据上训练的模型来说，这事儿几乎测不准。 奖项背后，更让人感兴趣的，是这个发现对整个行业意味着什么。 如果参数容量真有上限，那「无脑堆参数」的路就看得见尽头了。因为模型再大，能记的东西也是有数的。 竞争的重心，会从「喂更多数据」转向一个更刁钻的问题：哪些数据，才值得被模型记住？ 这正好呼应了这两年最热的几个方向：数据筛选、合成数据（synthetic data），以及中期训练（midtraining）阶段的数据选择。 同样的参数预算，喂进去的是高信息密度的精料，还是重复冗余的「水货」，结果会差出一大截。 谁能挑出那些最值得被模型记住的数据，谁就能在容量的天花板下，多榨出一分能力。 这意味着，Scaling Law的玩法也得变了。 过去十年，规矩简单粗暴：模型更大、数据更多、算力更猛，能力就往上走。 可一旦容量见了底，光靠加参数就不灵了。下一程的胜负手，大概率不在「多」，而在「准」。 Morris透露，他们这套方法，已经被至少一家前沿实验室拿去做中期训练的数据筛选了。 一篇两年前被拒、差点被埋掉的论文，正在悄悄改写真实的训练流程。 大模型的能力上限，已经不只看参数量，还看每个参数到底被喂了什么。 Morris，2025年底离开博士项目，拉着几位研究者创办了一家叫Engram的公司。 Engram创始团队合影。左起Jack Morris、Sabri Eyuboglu、Dan Biderman（CEO）、Scott Linderman、Jessy Lin 2026年6月，Engram正式走出隐身，13个人的公司，一出场就带着9800万美元融资、6亿美元估值。 Engram押注的，恰好就是论文测出的那个限制。 模型容量有限，他们就干脆换了个打法： 他们号称在不少任务上能少烧10到100倍的token，效果还追平甚至压过前沿实验室。 微软、Notion、法律AI公司Harvey已经接入了他们的模型，投资人名单里还包括刚加盟Anthropic的Karpathy。 上线那天，Karpathy还在X上公开道贺。 为一家主打省token的创业公司捧场，Karpathy这份表态背后是整个行业的焦虑：AI账单正在失控，token越烧越多，成本压不住。 Morris给出的答案是把算力掉头——不砸向公共互联网，而去啃透你自己的语料。 在他看来，真正卡住AI的是记性，不是算力。 参考资料： 编辑：元宇 内容中包含的图片若涉及版权问题，请及时与我们联系删除