{"id":52339,"topic":"ai","source":"智源社区","title":"80亿参数记性不如U盘：他算出了大模型记忆天花板 - 智源社区","url":"https://hub.baai.ac.cn/view/56847","url_hash":"9abfa898fbdb8102d3f921251a6aa6728da67b0a","author":"","summary":"<a href=\"https://news.google.com/rss/articles/CBMiSEFVX3lxTFBad3pmZ2NJYUlkSXNUdmtxRUZZal9wdm96em54eHdhNHZhQjd3MjZxWENjTjlZci02ek84Wkx4a3VibXVEZGlZMA?oc=5\" target=\"_blank\">80亿参数记性不如U盘：他算出了大模型记忆天花板</a>&nbsp;&nbsp;<font color=\"#6f6f6f\">智源社区</font>","content":"新智元报道  \n新智元报道\n【新智元导读】参数越多，大模型就能装下越多知识？一篇被NeurIPS拒过的论文把账算死了：每个参数只有3.6 bit。15亿参数模型的记忆，还不如一支U盘。\n大模型的记性，比你想象中可能差远了。\n一个80亿参数的大模型，一口气吞下15万亿token的训练数据，堆到硬盘上差不多7TB。\n可它真正「背」得下来的，少得可怜：每个参数只装得下3.6 bit。一个英文字母8 bit，连半个都填不满。\n7TB数据灌进去，整个模型记得住的大约只有两千分之一。你往里塞再多，它也只装下这么点。\n捅开这一真相的，是7月5日ICML 2026的一篇获奖论文，题目就叫《How much do language models memorize?》（《语言模型能记住多少东西？》）。\n这篇在Meta做出来的论文，第一次给「大模型的记忆」称出了重量。\n如果把大模型想象成一块闪存，它的容量一出厂就焊死：每个参数大约3.6 bit，填满一格，就少一格。\n这些参数并非通往无限知识的入口，更像一根填满就再也塞不进去的存储条。\n数据喂得再多，各模型的记忆量都会撞上自己的容量天花板。模型越大，天花板越高。\n这篇论文的特别之处，不止它的观点，更在它背后的故事。\n两年前，它先被NeurIPS拒了。\nMorris没放弃，把实验重新清理、补做了一遍，两年后转投ICML，最终拿下ICML 2026杰出论文荣誉提名（Outstanding Paper Honorable Mention）。\n奖项一公布，Morris难言兴奋，在X上写道：\n他一一感谢了合作者，但也没客气：\n让他高兴的，是论文里「大模型就像一块闪存」的容量理念，正被越来越多人接受。\n而且这套方法已经落了地——至少一家前沿实验室，把它实打实用在了中期训练的数据筛选上。\n作为研究员，Morris长期盯着语言模型的表征，从嵌入（embedding）到权重，追问的始终是同一个问题：信息，到底存在模型的什么地方。\n这篇论文，算是他这条主线的一次集中交卷。\n这项研究的八位作者横跨Meta、Google DeepMind、康奈尔、英伟达，一头扎在工业界，一头连着学术界。\nICML官方的评价是：这项工作提出了区分「记忆」与「泛化」的新视角，理论底子扎实，又配上实打实的实测，撑起了那个3.6 bit的大胆结论。\n只是两年前，人们还没意识到他这篇论文的分量。\n这篇论文，打破了这些年大家一个默认的认知：\n其中，一件重要的事一直没人说透：\n模型到底是真「学会」了，还是只是把训练数据「背」了下来？\n过去，衡量记忆的办法很粗糙。\n要么想尽办法让模型把训练数据原样吐出来，要么去判断某条数据在不在训练集里。\n但这两种方式，都没分清这样一件事：模型说出某句话，是因为它记住了，还是因为它真的会推理。\n比如，你让模型算两个数相加，它没见过这道题也能答对。\n这显然不算「记忆」。\nMeta的研究团队所做的，是第一次把「记忆」和「泛化」彻底区分开。\n他们的思路，借鉴了信息论（information theory）：一条数据，如果在有模型帮忙的情况下能被压缩得更短，就说明模型「记住」了它。\n压缩得越狠，记得越牢。\n在这个框架里，记忆被拆成两块。\n一块叫非预期记忆（unintended memorization），是模型死记硬背的、关于某个具体数据集的信息。\n另一块叫泛化（generalization），是模型真正学到的、关于数据背后规律的东西。\n把泛化那部分减掉，剩下的就是模型硬记下来的总量。\n拿这个总量去除以参数规模，就得到了那个关键的比值：每个参数装了多少bit。\n团队训了数百个从50万到15亿参数不等的Transformer，反复测量。\n最终，结论都指向这样一个数字：\n这就是它记忆的天花板。\nGPT类模型每参数约3.64 bit，容量随参数线性增长。\n要说明的是，这3.6 bit并不是说「一个参数只能塞3.6 bit文本」。\n它是在一套特定的信息论定义下，估算出的记忆容量。是模型「死记硬背」的上限，而不是它硬盘意义上的存储量。\n这个比喻，戳破了两个关于大模型的认知。\n第一，你以为大模型把训练数据都记住了？其实根本装不下。\n现在每个主流大模型都在几万亿token上训练，可它们的容量压根塞不进这么多，数据早就溢出了。\n第二，当灌进去的数据超过容量，模型反而会「变聪明」。它不再一条条死记，而是被逼着去找通用的规律。\n这时候就冒出了所谓的双下降（double descent）：损失先降后升再降。\n记忆填满的那一刻，恰恰是泛化开始的起点。\n数据量撑爆容量的那一刻，双下降出现，模型被逼着转向泛化。\n论文里把这个转折叫作「顿悟」（grokking）的开端：模型记不下了，这才真正开始开窍。\n在纯随机的比特串上，模型只能硬记，容量一填满就到顶。可换成真实文本，情形就变了。\n模型先拿容量去记，记到装不下，就掉头用泛化来顶替死记，转而学那些能反复复用的通用模式。\n记忆和泛化，在同一个模型里此消彼长。\n所以，先不要着急得出「大模型就是个数据库」「AI只是在背答案」这样的结论，这篇论文证明的恰恰相反：正因为记不住，它才不得不学会举一反三。\n这套框架还顺手回答了一个隐私问题：记不住，某种程度上反倒成了一种保护。\n数据越多，成员推断越接近随机猜测（F1趋近0.5）。\n既然大模型的容量早被海量数据撑爆，那想靠成员推断（membership inference）去反推某条数据在不在训练集里，就变得越来越难。\n对绝大多数在天量数据上训练的模型来说，这事儿几乎测不准。\n奖项背后，更让人感兴趣的，是这个发现对整个行业意味着什么。\n如果参数容量真有上限，那「无脑堆参数」的路就看得见尽头了。因为模型再大，能记的东西也是有数的。\n竞争的重心，会从「喂更多数据」转向一个更刁钻的问题：哪些数据，才值得被模型记住？\n这正好呼应了这两年最热的几个方向：数据筛选、合成数据（synthetic data），以及中期训练（midtraining）阶段的数据选择。\n同样的参数预算，喂进去的是高信息密度的精料，还是重复冗余的「水货」，结果会差出一大截。\n谁能挑出那些最值得被模型记住的数据，谁就能在容量的天花板下，多榨出一分能力。\n这意味着，Scaling Law的玩法也得变了。\n过去十年，规矩简单粗暴：模型更大、数据更多、算力更猛，能力就往上走。\n可一旦容量见了底，光靠加参数就不灵了。下一程的胜负手，大概率不在「多」，而在「准」。\nMorris透露，他们这套方法，已经被至少一家前沿实验室拿去做中期训练的数据筛选了。\n一篇两年前被拒、差点被埋掉的论文，正在悄悄改写真实的训练流程。\n大模型的能力上限，已经不只看参数量，还看每个参数到底被喂了什么。\nMorris，2025年底离开博士项目，拉着几位研究者创办了一家叫Engram的公司。\nEngram创始团队合影。左起Jack Morris、Sabri Eyuboglu、Dan Biderman（CEO）、Scott Linderman、Jessy Lin\n2026年6月，Engram正式走出隐身，13个人的公司，一出场就带着9800万美元融资、6亿美元估值。\nEngram押注的，恰好就是论文测出的那个限制。\n模型容量有限，他们就干脆换了个打法：\n他们号称在不少任务上能少烧10到100倍的token，效果还追平甚至压过前沿实验室。\n微软、Notion、法律AI公司Harvey已经接入了他们的模型，投资人名单里还包括刚加盟Anthropic的Karpathy。\n上线那天，Karpathy还在X上公开道贺。\n为一家主打省token的创业公司捧场，Karpathy这份表态背后是整个行业的焦虑：AI账单正在失控，token越烧越多，成本压不住。\nMorris给出的答案是把算力掉头——不砸向公共互联网，而去啃透你自己的语料。\n在他看来，真正卡住AI的是记性，不是算力。\n参考资料：\n编辑：元宇\n内容中包含的图片若涉及版权问题，请及时与我们联系删除","image_url":"https://simg.baai.ac.cn/hub-detail/ab0aa787852190bfb60b5fa59416d84e1785764418368.webp","lang":"zh","published_at":"2026-08-03T13:40:00+00:00","fetched_at":"2026-08-03T14:15:09+00:00","status":"read","starred":0,"extract_state":"ok","summary_auto":"新智元报道  \n新智元报道\n【新智元导读】参数越多，大模型就能装下越多知识？一篇被NeurIPS拒过的论文把账算死了：每个参数只有3.6 bit。15亿参数模型的记忆，还不如一支U盘。\n大模型的记性，比你想象中可能差远了。\n一个80亿参数的大模型，一口气吞下15万亿token的训练数据，堆到硬盘上差不多7TB。\n可它真正「背」得下来的，少得可怜：每个参数只装得下3.6 bit。一个英文字母8 bit，连半个都填不满。\n7TB数据灌进去，整个模型记得住的大约只有两千分之一。你往里塞再多，它也只装下这么点。\n捅开这一真相的，是7月5日ICML 2026的一篇获奖论文，题目就叫《How much do language models memorize?》（《语言模型能记住多少东西？》）。\n这篇在Meta做出来的论文，第一次给「大模型的记忆」称出了重量。\n如果把大模型想象成一块闪存，它的容量一出厂就焊死：每个参数大约3.6 bit，填满一格，就少一格。\n这些参数并非通往无限知识的入口，更像一根填满就再也塞不进去的存储条。\n数据喂得再多，各模型的记忆量都会撞上自己的容量天花板。模型越大，天花板越高。\n这篇论文的特别之处，不止它的观点，更在它背后的故事。\n两年前，它先被NeurIPS拒了。\nMorris没放弃，把实验重新清理、补做了一遍，两年后转投ICML，最终拿下ICML 2026杰出论文荣誉提名（Outstanding Paper Honorable Mention）。\n奖项一公布，Morris难言兴奋，在X上写道：\n他一一感谢了合作者，但也没客气：\n让他高兴的，是论文里「大模型就像一块闪存」的容量理念，正被越来越多人接受。\n而且这套方法已经落了地——至少一家前沿实验室，把它实打实用在了中期训练的数据筛选上。\n作为研究员，Morris长期盯着语言模型的表征，从嵌入（embedding）到权重，追问的始终是同一个问题：信息，到底存在模型的什么地方。\n这篇论文，算是他这条主线的一次集中交卷。\n这项研究的八位作者横跨Meta、Google DeepMind、康奈尔、英伟达，一头扎在工业界，一头连着学术界。\nICML官方的评价是：这项工作提出了区分「记忆」与「泛化」的新视角，理论底子扎实，又配上实打实的实测，撑起了那个3.6 bit的大胆结论。\n只是两年前，人们还没意识到他这篇论文的分量。\n这篇论文，打破了这些年大家一个默认的认知：\n其中，一件重要的事一直没人说透：\n模型到底是真「学会」了，还是只是把训练数据「背」了下来？\n过去，衡量记忆的办法很粗糙。\n要么想尽办法让模型把训练数据原样吐出来，要么去判断某条数据在不在训练集里。\n但这两种方式，都没分清这样一件事：模型说出某句话，是因为它记住了，还是因为它真的会推理。\n比如，你让模型算两个数相加，它没见过这道题也能答对。\n这显然不算「记忆」。\nMeta的研究团队所做的，是第一次把「记忆」和「泛化」彻底区分开。\n他们的思路，借鉴了信息论（information theory）：一条数据，如果在有模型帮忙的情况下能被压缩得更短，就说明模型「记住」了它。\n压缩得越狠，记得越牢。\n在这个框架里，记忆被拆成两块。\n一块叫非预期记忆（unintended memorization），是模型死记硬背的、关于某个具体数据集的信息。\n另一块叫泛化（generalization），是模型真正学到的、关于数据背后规律的东西。\n把泛化那部分减掉，剩下的就是模型硬记下来的总量。\n拿这个总量去除以参数规模，就得到了那个关键的比值：每个参数装了多少bit。\n团队训了数百个从50万到15亿参数不等的Transformer，反复测量。\n最终，结论都指向这样一个数字：\n这就是它记忆的天花板。\nGPT类模型每参数约3.64 bit，容量随参数线性增长。\n要说明的是，这3.6 bit并不是说「一个参数只能塞3.6 bit文本」。\n它是在一套特定的信息论定义下，估算出的记忆容量。是模型「死记硬背」的上限，而不是它硬盘意义上的存储量。\n这个比喻，戳破了两个关于大模型的认知。\n第一，你以为大模型把训练数据都记住了？其实根本装不下。\n现在每个主流大模型都在几万亿token上训练，可它们的容量压根塞不进这么多，数据早就溢出了。\n第二，当灌进去的数据超过容量，模型反而会「变聪明」。它不再一条条死记，而是被逼着去找通用的规律。\n这时候就冒出了所谓的双下降（double descent）：损失先降后升再降。\n记忆填满的那一刻，恰恰是泛化开始的起点。\n数据量撑爆容量的那一刻，双下降出现，模型被逼着转向泛化。\n论文里把这个转折叫作「顿悟」（grokking）的开端：模型记不下了，这才真正开始开窍。\n在纯随机的比特串上，模型只能硬记，容量一填满就到顶。可换成真实文本，情形就变了。\n模型先拿容量去记，记到装不下，就掉头用泛化来顶替死记，转而学那些能反复复用的通用模式。\n记忆和泛化，在同一个模型里此消彼长。\n所以，先不要着急得出「大模型就是个数据库」「AI只是在背答案」这样的结论，这篇论文证明的恰恰相反：正因为记不住，它才不得不学会举一反三。\n这套框架还顺手回答了一个隐私问题：记不住，某种程度上反倒成了一种保护。\n数据越多，成员推断越接近随机猜测（F1趋近0.5）。\n既然大模型的容量早被海量数据撑爆，那想靠成员推断（membership inference）去反推某条数据在不在训练集里，就变得越来越难。\n对绝大多数在天量数据上训练的模型来说，这事儿几乎测不准。\n奖项背后，更让人感兴趣的，是这个发现对整个行业意味着什么。\n如果参数容量真有上限，那「无脑堆参数」的路就看得见尽头了。因为模型再大，能记的东西也是有数的。\n竞争的重心，会从「喂更多数据」转向一个更刁钻的问题：哪些数据，才值得被模型记住？\n这正好呼应了这两年最热的几个方向：数据筛选、合成数据（synthetic data），以及中期训练（midtraining）阶段的数据选择。\n同样的参数预算，喂进去的是高信息密度的精料，还是重复冗余的「水货」，结果会差出一大截。\n谁能挑出那些最值得被模型记住的数据，谁就能在容量的天花板下，多榨出一分能力。\n这意味着，Scaling Law的玩法也得变了。\n过去十年，规矩简单粗暴：模型更大、数据更多、算力更猛，能力就往上走。\n可一旦容量见了底，光靠加参数就不灵了。下一程的胜负手，大概率不在「多」，而在「准」。\nMorris透露，他们这套方法，已经被至少一家前沿实验室拿去做中期训练的数据筛选了。\n一篇两年前被拒、差点被埋掉的论文，正在悄悄改写真实的训练流程。\n大模型的能力上限，已经不只看参数量，还看每个参数到底被喂了什么。\nMorris，2025年底离开博士项目，拉着几位研究者创办了一家叫Engram的公司。\nEngram创始团队合影。左起Jack Morris、Sabri Eyuboglu、Dan Biderman（CEO）、Scott Linderman、Jessy Lin\n2026年6月，Engram正式走出隐身，13个人的公司，一出场就带着9800万美元融资、6亿美元估值。\nEngram押注的，恰好就是论文测出的那个限制。\n模型容量有限，他们就干脆换了个打法：\n他们号称在不少任务上能少烧10到100倍的token，效果还追平甚至压过前沿实验室。\n微软、Notion、法律AI公司Harvey已经接入了他们的模型，投资人名单里还包括刚加盟Anthropic的Karpathy。\n上线那天，Karpathy还在X上公开道贺。\n为一家主打省token的创业公司捧场，Karpathy这份表态背后是整个行业的焦虑：AI账单正在失控，token越烧越多，成本压不住。\nMorris给出的答案是把算力掉头——不砸向公共互联网，而去啃透你自己的语料。\n在他看来，真正卡住AI的是记性，不是算力。\n参考资料：\n编辑：元宇\n内容中包含的图片若涉及版权问题，请及时与我们联系删除","cluster_id":null,"extract_retries":0,"extract_error":null,"contract_version":"news_item.v1","format_contract_version":"news_item_formats.v1","dedup_url":"https://hub.baai.ac.cn/view/56847","quality_profile":{"profile_version":"extraction_quality.v2","bucket":"high","confidence":0.9,"failure_kind":"none","retryable":false,"retry_after_attempts":0,"reason":"High confidence: full text extraction produced 3317 characters.","operator_guidance":{"severity":"ok","recommended_action":"trust_full_text","next_step":"Use the extracted full text as the primary article source.","operator_label":"Ready","can_retry":false,"can_use_summary":false,"diagnostics_required":false},"content_depth":{"contract_version":"content_depth.v1","category":"full_text","label":"Full text","has_full_text":true,"has_summary":true,"content_length":3317,"summary_length":3317,"usable_text_length":3317,"source_field":"content"},"legacy_collapsed":false,"signals":{"extract_state":"ok","extract_error":null,"extract_retries":0,"content_length":3317,"summary_length":3317}},"news_item":{"id":52339,"canonical_url":"https://hub.baai.ac.cn/view/56847","source_url":"https://hub.baai.ac.cn/view/56847","title":"80亿参数记性不如U盘：他算出了大模型记忆天花板 - 智源社区","source_name":"智源社区","author":null,"published_at":"2026-08-03T13:40:00+00:00","locale":"zh","topic":"ai","tags":[],"rss_summary":"<a href=\"https://news.google.com/rss/articles/CBMiSEFVX3lxTFBad3pmZ2NJYUlkSXNUdmtxRUZZal9wdm96em54eHdhNHZhQjd3MjZxWENjTjlZci02ek84Wkx4a3VibXVEZGlZMA?oc=5\" target=\"_blank\">80亿参数记性不如U盘：他算出了大模型记忆天花板</a>&nbsp;&nbsp;<font color=\"#6f6f6f\">智源社区</font>","full_text":"新智元报道  \n新智元报道\n【新智元导读】参数越多，大模型就能装下越多知识？一篇被NeurIPS拒过的论文把账算死了：每个参数只有3.6 bit。15亿参数模型的记忆，还不如一支U盘。\n大模型的记性，比你想象中可能差远了。\n一个80亿参数的大模型，一口气吞下15万亿token的训练数据，堆到硬盘上差不多7TB。\n可它真正「背」得下来的，少得可怜：每个参数只装得下3.6 bit。一个英文字母8 bit，连半个都填不满。\n7TB数据灌进去，整个模型记得住的大约只有两千分之一。你往里塞再多，它也只装下这么点。\n捅开这一真相的，是7月5日ICML 2026的一篇获奖论文，题目就叫《How much do language models memorize?》（《语言模型能记住多少东西？》）。\n这篇在Meta做出来的论文，第一次给「大模型的记忆」称出了重量。\n如果把大模型想象成一块闪存，它的容量一出厂就焊死：每个参数大约3.6 bit，填满一格，就少一格。\n这些参数并非通往无限知识的入口，更像一根填满就再也塞不进去的存储条。\n数据喂得再多，各模型的记忆量都会撞上自己的容量天花板。模型越大，天花板越高。\n这篇论文的特别之处，不止它的观点，更在它背后的故事。\n两年前，它先被NeurIPS拒了。\nMorris没放弃，把实验重新清理、补做了一遍，两年后转投ICML，最终拿下ICML 2026杰出论文荣誉提名（Outstanding Paper Honorable Mention）。\n奖项一公布，Morris难言兴奋，在X上写道：\n他一一感谢了合作者，但也没客气：\n让他高兴的，是论文里「大模型就像一块闪存」的容量理念，正被越来越多人接受。\n而且这套方法已经落了地——至少一家前沿实验室，把它实打实用在了中期训练的数据筛选上。\n作为研究员，Morris长期盯着语言模型的表征，从嵌入（embedding）到权重，追问的始终是同一个问题：信息，到底存在模型的什么地方。\n这篇论文，算是他这条主线的一次集中交卷。\n这项研究的八位作者横跨Meta、Google DeepMind、康奈尔、英伟达，一头扎在工业界，一头连着学术界。\nICML官方的评价是：这项工作提出了区分「记忆」与「泛化」的新视角，理论底子扎实，又配上实打实的实测，撑起了那个3.6 bit的大胆结论。\n只是两年前，人们还没意识到他这篇论文的分量。\n这篇论文，打破了这些年大家一个默认的认知：\n其中，一件重要的事一直没人说透：\n模型到底是真「学会」了，还是只是把训练数据「背」了下来？\n过去，衡量记忆的办法很粗糙。\n要么想尽办法让模型把训练数据原样吐出来，要么去判断某条数据在不在训练集里。\n但这两种方式，都没分清这样一件事：模型说出某句话，是因为它记住了，还是因为它真的会推理。\n比如，你让模型算两个数相加，它没见过这道题也能答对。\n这显然不算「记忆」。\nMeta的研究团队所做的，是第一次把「记忆」和「泛化」彻底区分开。\n他们的思路，借鉴了信息论（information theory）：一条数据，如果在有模型帮忙的情况下能被压缩得更短，就说明模型「记住」了它。\n压缩得越狠，记得越牢。\n在这个框架里，记忆被拆成两块。\n一块叫非预期记忆（unintended memorization），是模型死记硬背的、关于某个具体数据集的信息。\n另一块叫泛化（generalization），是模型真正学到的、关于数据背后规律的东西。\n把泛化那部分减掉，剩下的就是模型硬记下来的总量。\n拿这个总量去除以参数规模，就得到了那个关键的比值：每个参数装了多少bit。\n团队训了数百个从50万到15亿参数不等的Transformer，反复测量。\n最终，结论都指向这样一个数字：\n这就是它记忆的天花板。\nGPT类模型每参数约3.64 bit，容量随参数线性增长。\n要说明的是，这3.6 bit并不是说「一个参数只能塞3.6 bit文本」。\n它是在一套特定的信息论定义下，估算出的记忆容量。是模型「死记硬背」的上限，而不是它硬盘意义上的存储量。\n这个比喻，戳破了两个关于大模型的认知。\n第一，你以为大模型把训练数据都记住了？其实根本装不下。\n现在每个主流大模型都在几万亿token上训练，可它们的容量压根塞不进这么多，数据早就溢出了。\n第二，当灌进去的数据超过容量，模型反而会「变聪明」。它不再一条条死记，而是被逼着去找通用的规律。\n这时候就冒出了所谓的双下降（double descent）：损失先降后升再降。\n记忆填满的那一刻，恰恰是泛化开始的起点。\n数据量撑爆容量的那一刻，双下降出现，模型被逼着转向泛化。\n论文里把这个转折叫作「顿悟」（grokking）的开端：模型记不下了，这才真正开始开窍。\n在纯随机的比特串上，模型只能硬记，容量一填满就到顶。可换成真实文本，情形就变了。\n模型先拿容量去记，记到装不下，就掉头用泛化来顶替死记，转而学那些能反复复用的通用模式。\n记忆和泛化，在同一个模型里此消彼长。\n所以，先不要着急得出「大模型就是个数据库」「AI只是在背答案」这样的结论，这篇论文证明的恰恰相反：正因为记不住，它才不得不学会举一反三。\n这套框架还顺手回答了一个隐私问题：记不住，某种程度上反倒成了一种保护。\n数据越多，成员推断越接近随机猜测（F1趋近0.5）。\n既然大模型的容量早被海量数据撑爆，那想靠成员推断（membership inference）去反推某条数据在不在训练集里，就变得越来越难。\n对绝大多数在天量数据上训练的模型来说，这事儿几乎测不准。\n奖项背后，更让人感兴趣的，是这个发现对整个行业意味着什么。\n如果参数容量真有上限，那「无脑堆参数」的路就看得见尽头了。因为模型再大，能记的东西也是有数的。\n竞争的重心，会从「喂更多数据」转向一个更刁钻的问题：哪些数据，才值得被模型记住？\n这正好呼应了这两年最热的几个方向：数据筛选、合成数据（synthetic data），以及中期训练（midtraining）阶段的数据选择。\n同样的参数预算，喂进去的是高信息密度的精料，还是重复冗余的「水货」，结果会差出一大截。\n谁能挑出那些最值得被模型记住的数据，谁就能在容量的天花板下，多榨出一分能力。\n这意味着，Scaling Law的玩法也得变了。\n过去十年，规矩简单粗暴：模型更大、数据更多、算力更猛，能力就往上走。\n可一旦容量见了底，光靠加参数就不灵了。下一程的胜负手，大概率不在「多」，而在「准」。\nMorris透露，他们这套方法，已经被至少一家前沿实验室拿去做中期训练的数据筛选了。\n一篇两年前被拒、差点被埋掉的论文，正在悄悄改写真实的训练流程。\n大模型的能力上限，已经不只看参数量，还看每个参数到底被喂了什么。\nMorris，2025年底离开博士项目，拉着几位研究者创办了一家叫Engram的公司。\nEngram创始团队合影。左起Jack Morris、Sabri Eyuboglu、Dan Biderman（CEO）、Scott Linderman、Jessy Lin\n2026年6月，Engram正式走出隐身，13个人的公司，一出场就带着9800万美元融资、6亿美元估值。\nEngram押注的，恰好就是论文测出的那个限制。\n模型容量有限，他们就干脆换了个打法：\n他们号称在不少任务上能少烧10到100倍的token，效果还追平甚至压过前沿实验室。\n微软、Notion、法律AI公司Harvey已经接入了他们的模型，投资人名单里还包括刚加盟Anthropic的Karpathy。\n上线那天，Karpathy还在X上公开道贺。\n为一家主打省token的创业公司捧场，Karpathy这份表态背后是整个行业的焦虑：AI账单正在失控，token越烧越多，成本压不住。\nMorris给出的答案是把算力掉头——不砸向公共互联网，而去啃透你自己的语料。\n在他看来，真正卡住AI的是记性，不是算力。\n参考资料：\n编辑：元宇\n内容中包含的图片若涉及版权问题，请及时与我们联系删除","excerpt":"新智元报道  \n新智元报道\n【新智元导读】参数越多，大模型就能装下越多知识？一篇被NeurIPS拒过的论文把账算死了：每个参数只有3.6 bit。15亿参数模型的记忆，还不如一支U盘。\n大模型的记性，比你想象中可能差远了。\n一个80亿参数的大模型，一口气吞下15万亿token的训练数据，堆到硬盘上差不多7TB。\n可它真正「背」得下来的，少得可怜：每个参数只装得下3.6 bit。一个英文字母8 bit，连半个都填不满。\n7TB数据灌进去，整个模型记得住的大约只有两千分之一。你往里塞再多，它也只装下这么点。\n捅开这一真相的，是7月5日ICML 2026的一篇获奖论文，题目就叫《How much do language models memorize?》（《语言模型能记住多少东西？》）。\n这篇在Meta做出来的论文，第一次给「大模型的记忆」称出了重量。\n如果把大模型想象成一块闪存，它的容量一出厂就焊死：每个参数大约3.6 bit，填满一格，就少一格。\n这些参数并非通往无限知识的入口，更像一根填满就再也塞不进去的存储条。\n数据喂得再多，各模型的记忆量都会撞上自己的容量天花板。模型越大，天花板越高。\n这篇论文的特别之处，不止它的观点，更在它背后的故事。\n两年前，它先被NeurIPS拒了。\nMorris没放弃，把实验重新清理、补做了一遍，两年后转投ICML，最终拿下ICML 2026杰出论文荣誉提名（Outstanding Paper Honorable Mention）。\n奖项一公布，Morris难言兴奋，在X上写道：\n他一一感谢了合作者，但也没客气：\n让他高兴的，是论文里「大模型就像一块闪存」的容量理念，正被越来越多人接受。\n而且这套方法已经落了地——至少一家前沿实验室，把它实打实用在了中期训练的数据筛选上。\n作为研究员，Morris长期盯着语言模型的表征，从嵌入（embedding）到权重，追问的始终是同一个问题：信息，到底存在模型的什么地方。\n这篇论文，算是他这条主线的一次集中交卷。\n这项研究的八位作者横跨Meta、Google DeepMind、康奈尔、英伟达，一头扎在工业界，一头连着学术界。\nICML官方的评价是：这项工作提出了区分「记忆」与「泛化」的新视角，理论底子扎实，又配上实打实的实测，撑起了那个3.6 bit的大胆结论。\n只是两年前，人们还没意识到他这篇论文的分量。\n这篇论文，打破了这些年大家一个默认的认知：\n其中，一件重要的事一直没人说透：\n模型到底是真「学会」了，还是只是把训练数据「背」了下来？\n过去，衡量记忆的办法很粗糙。\n要么想尽办法让模型把训练数据原样吐出来，要么去判断某条数据在不在训练集里。\n但这两种方式，都没分清这样一件事：模型说出某句话，是因为它记住了，还是因为它真的会推理。\n比如，你让模型算两个数相加，它没见过这道题也能答对。\n这显然不算「记忆」。\nMeta的研究团队所做的，是第一次把「记忆」和「泛化」彻底区分开。\n他们的思路，借鉴了信息论（information theory）：一条数据，如果在有模型帮忙的情况下能被压缩得更短，就说明模型「记住」了它。\n压缩得越狠，记得越牢。\n在这个框架里，记忆被拆成两块。\n一块叫非预期记忆（unintended memorization），是模型死记硬背的、关于某个具体数据集的信息。\n另一块叫泛化（generalization），是模型真正学到的、关于数据背后规律的东西。\n把泛化那部分减掉，剩下的就是模型硬记下来的总量。\n拿这个总量去除以参数规模，就得到了那个关键的比值：每个参数装了多少bit。\n团队训了数百个从50万到15亿参数不等的Transformer，反复测量。\n最终，结论都指向这样一个数字：\n这就是它记忆的天花板。\nGPT类模型每参数约3.64 bit，容量随参数线性增长。\n要说明的是，这3.6 bit并不是说「一个参数只能塞3.6 bit文本」。\n它是在一套特定的信息论定义下，估算出的记忆容量。是模型「死记硬背」的上限，而不是它硬盘意义上的存储量。\n这个比喻，戳破了两个关于大模型的认知。\n第一，你以为大模型把训练数据都记住了？其实根本装不下。\n现在每个主流大模型都在几万亿token上训练，可它们的容量压根塞不进这么多，数据早就溢出了。\n第二，当灌进去的数据超过容量，模型反而会「变聪明」。它不再一条条死记，而是被逼着去找通用的规律。\n这时候就冒出了所谓的双下降（double descent）：损失先降后升再降。\n记忆填满的那一刻，恰恰是泛化开始的起点。\n数据量撑爆容量的那一刻，双下降出现，模型被逼着转向泛化。\n论文里把这个转折叫作「顿悟」（grokking）的开端：模型记不下了，这才真正开始开窍。\n在纯随机的比特串上，模型只能硬记，容量一填满就到顶。可换成真实文本，情形就变了。\n模型先拿容量去记，记到装不下，就掉头用泛化来顶替死记，转而学那些能反复复用的通用模式。\n记忆和泛化，在同一个模型里此消彼长。\n所以，先不要着急得出「大模型就是个数据库」「AI只是在背答案」这样的结论，这篇论文证明的恰恰相反：正因为记不住，它才不得不学会举一反三。\n这套框架还顺手回答了一个隐私问题：记不住，某种程度上反倒成了一种保护。\n数据越多，成员推断越接近随机猜测（F1趋近0.5）。\n既然大模型的容量早被海量数据撑爆，那想靠成员推断（membership inference）去反推某条数据在不在训练集里，就变得越来越难。\n对绝大多数在天量数据上训练的模型来说，这事儿几乎测不准。\n奖项背后，更让人感兴趣的，是这个发现对整个行业意味着什么。\n如果参数容量真有上限，那「无脑堆参数」的路就看得见尽头了。因为模型再大，能记的东西也是有数的。\n竞争的重心，会从「喂更多数据」转向一个更刁钻的问题：哪些数据，才值得被模型记住？\n这正好呼应了这两年最热的几个方向：数据筛选、合成数据（synthetic data），以及中期训练（midtraining）阶段的数据选择。\n同样的参数预算，喂进去的是高信息密度的精料，还是重复冗余的「水货」，结果会差出一大截。\n谁能挑出那些最值得被模型记住的数据，谁就能在容量的天花板下，多榨出一分能力。\n这意味着，Scaling Law的玩法也得变了。\n过去十年，规矩简单粗暴：模型更大、数据更多、算力更猛，能力就往上走。\n可一旦容量见了底，光靠加参数就不灵了。下一程的胜负手，大概率不在「多」，而在「准」。\nMorris透露，他们这套方法，已经被至少一家前沿实验室拿去做中期训练的数据筛选了。\n一篇两年前被拒、差点被埋掉的论文，正在悄悄改写真实的训练流程。\n大模型的能力上限，已经不只看参数量，还看每个参数到底被喂了什么。\nMorris，2025年底离开博士项目，拉着几位研究者创办了一家叫Engram的公司。\nEngram创始团队合影。左起Jack Morris、Sabri Eyuboglu、Dan Biderman（CEO）、Scott Linderman、Jessy Lin\n2026年6月，Engram正式走出隐身，13个人的公司，一出场就带着9800万美元融资、6亿美元估值。\nEngram押注的，恰好就是论文测出的那个限制。\n模型容量有限，他们就干脆换了个打法：\n他们号称在不少任务上能少烧10到100倍的token，效果还追平甚至压过前沿实验室。\n微软、Notion、法律AI公司Harvey已经接入了他们的模型，投资人名单里还包括刚加盟Anthropic的Karpathy。\n上线那天，Karpathy还在X上公开道贺。\n为一家主打省token的创业公司捧场，Karpathy这份表态背后是整个行业的焦虑：AI账单正在失控，token越烧越多，成本压不住。\nMorris给出的答案是把算力掉头——不砸向公共互联网，而去啃透你自己的语料。\n在他看来，真正卡住AI的是记性，不是算力。\n参考资料：\n编辑：元宇\n内容中包含的图片若涉及版权问题，请及时与我们联系删除","extraction":{"state":"ok","confidence":0.9,"error":null,"explanation":"High confidence: full text extraction produced 3317 characters.","diagnostics_url":"/api/diagnose?url=https%3A//hub.baai.ac.cn/view/56847","quality_profile":{"profile_version":"extraction_quality.v2","bucket":"high","confidence":0.9,"failure_kind":"none","retryable":false,"retry_after_attempts":0,"reason":"High confidence: full text extraction produced 3317 characters.","operator_guidance":{"severity":"ok","recommended_action":"trust_full_text","next_step":"Use the extracted full text as the primary article source.","operator_label":"Ready","can_retry":false,"can_use_summary":false,"diagnostics_required":false},"content_depth":{"contract_version":"content_depth.v1","category":"full_text","label":"Full text","has_full_text":true,"has_summary":true,"content_length":3317,"summary_length":3317,"usable_text_length":3317,"source_field":"content"},"legacy_collapsed":false,"signals":{"extract_state":"ok","extract_error":null,"extract_retries":0,"content_length":3317,"summary_length":3317}}},"display_formats":["compact","card","full","digest_section","json"]},"daily_stack_record":{"title":"80亿参数记性不如U盘：他算出了大模型记忆天花板 - 智源社区","url":"https://hub.baai.ac.cn/view/56847","summary":"新智元报道  \n新智元报道\n【新智元导读】参数越多，大模型就能装下越多知识？一篇被NeurIPS拒过的论文把账算死了：每个参数只有3.6 bit。15亿参数模型的记忆，还不如一支U盘。\n大模型的记性，比你想象中可能差远了。\n一个80亿参数的大模型，一口气吞下15万亿token的训练数据，堆到硬盘上差不多7TB。\n可它真正「背」得下来的，少得可怜：每个参数只装得下3.6 bit。一个英文字母8 bit，连半个都填不满。\n7TB数据灌进去，整个模型记得住的大约只有两千分之一。你往里塞再多，它也只装下这么点。\n捅开这一真相的，是7月5日ICML 2026的一篇获奖论文，题目就叫《How much do language models memorize?》（《语言模型能记住多少东西？》）。\n这篇在Meta做出来的论文，第一次给「大模型的记忆」称出了重量。\n如果把大模型想象成一块闪存，它的容量一出厂就焊死：每个参数大约3.6 bit，填满一格，就少一格。\n这些参数并非通往无限知识的入口，更像一根填满就再也塞不进去的存储条。\n数据喂得再多，各模型的记忆量都会撞上自己的容量天花板。模型越大，天花板越高。\n这篇论文的特别之处，不止它的观点，更在它背后的故事。\n两年前，它先被NeurIPS拒了。\nMorris没放弃，把实验重新清理、补做了一遍，两年后转投ICML，最终拿下ICML 2026杰出论文荣誉提名（Outstanding Paper Honorable Mention）。\n奖项一公布，Morris难言兴奋，在X上写道：\n他一一感谢了合作者，但也没客气：\n让他高兴的，是论文里「大模型就像一块闪存」的容量理念，正被越来越多人接受。\n而且这套方法已经落了地——至少一家前沿实验室，把它实打实用在了中期训练的数据筛选上。\n作为研究员，Morris长期盯着语言模型的表征，从嵌入（embedding）到权重，追问的始终是同一个问题：信息，到底存在模型的什么地方。\n这篇论文，算是他这条主线的一次集中交卷。\n这项研究的八位作者横跨Meta、Google DeepMind、康奈尔、英伟达，一头扎在工业界，一头连着学术界。\nICML官方的评价是：这项工作提出了区分「记忆」与「泛化」的新视角，理论底子扎实，又配上实打实的实测，撑起了那个3.6 bit的大胆结论。\n只是两年前，人们还没意识到他这篇论文的分量。\n这篇论文，打破了这些年大家一个默认的认知：\n其中，一件重要的事一直没人说透：\n模型到底是真「学会」了，还是只是把训练数据「背」了下来？\n过去，衡量记忆的办法很粗糙。\n要么想尽办法让模型把训练数据原样吐出来，要么去判断某条数据在不在训练集里。\n但这两种方式，都没分清这样一件事：模型说出某句话，是因为它记住了，还是因为它真的会推理。\n比如，你让模型算两个数相加，它没见过这道题也能答对。\n这显然不算「记忆」。\nMeta的研究团队所做的，是第一次把「记忆」和「泛化」彻底区分开。\n他们的思路，借鉴了信息论（information theory）：一条数据，如果在有模型帮忙的情况下能被压缩得更短，就说明模型「记住」了它。\n压缩得越狠，记得越牢。\n在这个框架里，记忆被拆成两块。\n一块叫非预期记忆（unintended memorization），是模型死记硬背的、关于某个具体数据集的信息。\n另一块叫泛化（generalization），是模型真正学到的、关于数据背后规律的东西。\n把泛化那部分减掉，剩下的就是模型硬记下来的总量。\n拿这个总量去除以参数规模，就得到了那个关键的比值：每个参数装了多少bit。\n团队训了数百个从50万到15亿参数不等的Transformer，反复测量。\n最终，结论都指向这样一个数字：\n这就是它记忆的天花板。\nGPT类模型每参数约3.64 bit，容量随参数线性增长。\n要说明的是，这3.6 bit并不是说「一个参数只能塞3.6 bit文本」。\n它是在一套特定的信息论定义下，估算出的记忆容量。是模型「死记硬背」的上限，而不是它硬盘意义上的存储量。\n这个比喻，戳破了两个关于大模型的认知。\n第一，你以为大模型把训练数据都记住了？其实根本装不下。\n现在每个主流大模型都在几万亿token上训练，可它们的容量压根塞不进这么多，数据早就溢出了。\n第二，当灌进去的数据超过容量，模型反而会「变聪明」。它不再一条条死记，而是被逼着去找通用的规律。\n这时候就冒出了所谓的双下降（double descent）：损失先降后升再降。\n记忆填满的那一刻，恰恰是泛化开始的起点。\n数据量撑爆容量的那一刻，双下降出现，模型被逼着转向泛化。\n论文里把这个转折叫作「顿悟」（grokking）的开端：模型记不下了，这才真正开始开窍。\n在纯随机的比特串上，模型只能硬记，容量一填满就到顶。可换成真实文本，情形就变了。\n模型先拿容量去记，记到装不下，就掉头用泛化来顶替死记，转而学那些能反复复用的通用模式。\n记忆和泛化，在同一个模型里此消彼长。\n所以，先不要着急得出「大模型就是个数据库」「AI只是在背答案」这样的结论，这篇论文证明的恰恰相反：正因为记不住，它才不得不学会举一反三。\n这套框架还顺手回答了一个隐私问题：记不住，某种程度上反倒成了一种保护。\n数据越多，成员推断越接近随机猜测（F1趋近0.5）。\n既然大模型的容量早被海量数据撑爆，那想靠成员推断（membership inference）去反推某条数据在不在训练集里，就变得越来越难。\n对绝大多数在天量数据上训练的模型来说，这事儿几乎测不准。\n奖项背后，更让人感兴趣的，是这个发现对整个行业意味着什么。\n如果参数容量真有上限，那「无脑堆参数」的路就看得见尽头了。因为模型再大，能记的东西也是有数的。\n竞争的重心，会从「喂更多数据」转向一个更刁钻的问题：哪些数据，才值得被模型记住？\n这正好呼应了这两年最热的几个方向：数据筛选、合成数据（synthetic data），以及中期训练（midtraining）阶段的数据选择。\n同样的参数预算，喂进去的是高信息密度的精料，还是重复冗余的「水货」，结果会差出一大截。\n谁能挑出那些最值得被模型记住的数据，谁就能在容量的天花板下，多榨出一分能力。\n这意味着，Scaling Law的玩法也得变了。\n过去十年，规矩简单粗暴：模型更大、数据更多、算力更猛，能力就往上走。\n可一旦容量见了底，光靠加参数就不灵了。下一程的胜负手，大概率不在「多」，而在「准」。\nMorris透露，他们这套方法，已经被至少一家前沿实验室拿去做中期训练的数据筛选了。\n一篇两年前被拒、差点被埋掉的论文，正在悄悄改写真实的训练流程。\n大模型的能力上限，已经不只看参数量，还看每个参数到底被喂了什么。\nMorris，2025年底离开博士项目，拉着几位研究者创办了一家叫Engram的公司。\nEngram创始团队合影。左起Jack Morris、Sabri Eyuboglu、Dan Biderman（CEO）、Scott Linderman、Jessy Lin\n2026年6月，Engram正式走出隐身，13个人的公司，一出场就带着9800万美元融资、6亿美元估值。\nEngram押注的，恰好就是论文测出的那个限制。\n模型容量有限，他们就干脆换了个打法：\n他们号称在不少任务上能少烧10到100倍的token，效果还追平甚至压过前沿实验室。\n微软、Notion、法律AI公司Harvey已经接入了他们的模型，投资人名单里还包括刚加盟Anthropic的Karpathy。\n上线那天，Karpathy还在X上公开道贺。\n为一家主打省token的创业公司捧场，Karpathy这份表态背后是整个行业的焦虑：AI账单正在失控，token越烧越多，成本压不住。\nMorris给出的答案是把算力掉头——不砸向公共互联网，而去啃透你自己的语料。\n在他看来，真正卡住AI的是记性，不是算力。\n参考资料：\n编辑：元宇\n内容中包含的图片若涉及版权问题，请及时与我们联系删除","source":"智源社区","date":"2026-08-03T13:40:00+00:00","content":"新智元报道  \n新智元报道\n【新智元导读】参数越多，大模型就能装下越多知识？一篇被NeurIPS拒过的论文把账算死了：每个参数只有3.6 bit。15亿参数模型的记忆，还不如一支U盘。\n大模型的记性，比你想象中可能差远了。\n一个80亿参数的大模型，一口气吞下15万亿token的训练数据，堆到硬盘上差不多7TB。\n可它真正「背」得下来的，少得可怜：每个参数只装得下3.6 bit。一个英文字母8 bit，连半个都填不满。\n7TB数据灌进去，整个模型记得住的大约只有两千分之一。你往里塞再多，它也只装下这么点。\n捅开这一真相的，是7月5日ICML 2026的一篇获奖论文，题目就叫《How much do language models memorize?》（《语言模型能记住多少东西？》）。\n这篇在Meta做出来的论文，第一次给「大模型的记忆」称出了重量。\n如果把大模型想象成一块闪存，它的容量一出厂就焊死：每个参数大约3.6 bit，填满一格，就少一格。\n这些参数并非通往无限知识的入口，更像一根填满就再也塞不进去的存储条。\n数据喂得再多，各模型的记忆量都会撞上自己的容量天花板。模型越大，天花板越高。\n这篇论文的特别之处，不止它的观点，更在它背后的故事。\n两年前，它先被NeurIPS拒了。\nMorris没放弃，把实验重新清理、补做了一遍，两年后转投ICML，最终拿下ICML 2026杰出论文荣誉提名（Outstanding Paper Honorable Mention）。\n奖项一公布，Morris难言兴奋，在X上写道：\n他一一感谢了合作者，但也没客气：\n让他高兴的，是论文里「大模型就像一块闪存」的容量理念，正被越来越多人接受。\n而且这套方法已经落了地——至少一家前沿实验室，把它实打实用在了中期训练的数据筛选上。\n作为研究员，Morris长期盯着语言模型的表征，从嵌入（embedding）到权重，追问的始终是同一个问题：信息，到底存在模型的什么地方。\n这篇论文，算是他这条主线的一次集中交卷。\n这项研究的八位作者横跨Meta、Google DeepMind、康奈尔、英伟达，一头扎在工业界，一头连着学术界。\nICML官方的评价是：这项工作提出了区分「记忆」与「泛化」的新视角，理论底子扎实，又配上实打实的实测，撑起了那个3.6 bit的大胆结论。\n只是两年前，人们还没意识到他这篇论文的分量。\n这篇论文，打破了这些年大家一个默认的认知：\n其中，一件重要的事一直没人说透：\n模型到底是真「学会」了，还是只是把训练数据「背」了下来？\n过去，衡量记忆的办法很粗糙。\n要么想尽办法让模型把训练数据原样吐出来，要么去判断某条数据在不在训练集里。\n但这两种方式，都没分清这样一件事：模型说出某句话，是因为它记住了，还是因为它真的会推理。\n比如，你让模型算两个数相加，它没见过这道题也能答对。\n这显然不算「记忆」。\nMeta的研究团队所做的，是第一次把「记忆」和「泛化」彻底区分开。\n他们的思路，借鉴了信息论（information theory）：一条数据，如果在有模型帮忙的情况下能被压缩得更短，就说明模型「记住」了它。\n压缩得越狠，记得越牢。\n在这个框架里，记忆被拆成两块。\n一块叫非预期记忆（unintended memorization），是模型死记硬背的、关于某个具体数据集的信息。\n另一块叫泛化（generalization），是模型真正学到的、关于数据背后规律的东西。\n把泛化那部分减掉，剩下的就是模型硬记下来的总量。\n拿这个总量去除以参数规模，就得到了那个关键的比值：每个参数装了多少bit。\n团队训了数百个从50万到15亿参数不等的Transformer，反复测量。\n最终，结论都指向这样一个数字：\n这就是它记忆的天花板。\nGPT类模型每参数约3.64 bit，容量随参数线性增长。\n要说明的是，这3.6 bit并不是说「一个参数只能塞3.6 bit文本」。\n它是在一套特定的信息论定义下，估算出的记忆容量。是模型「死记硬背」的上限，而不是它硬盘意义上的存储量。\n这个比喻，戳破了两个关于大模型的认知。\n第一，你以为大模型把训练数据都记住了？其实根本装不下。\n现在每个主流大模型都在几万亿token上训练，可它们的容量压根塞不进这么多，数据早就溢出了。\n第二，当灌进去的数据超过容量，模型反而会「变聪明」。它不再一条条死记，而是被逼着去找通用的规律。\n这时候就冒出了所谓的双下降（double descent）：损失先降后升再降。\n记忆填满的那一刻，恰恰是泛化开始的起点。\n数据量撑爆容量的那一刻，双下降出现，模型被逼着转向泛化。\n论文里把这个转折叫作「顿悟」（grokking）的开端：模型记不下了，这才真正开始开窍。\n在纯随机的比特串上，模型只能硬记，容量一填满就到顶。可换成真实文本，情形就变了。\n模型先拿容量去记，记到装不下，就掉头用泛化来顶替死记，转而学那些能反复复用的通用模式。\n记忆和泛化，在同一个模型里此消彼长。\n所以，先不要着急得出「大模型就是个数据库」「AI只是在背答案」这样的结论，这篇论文证明的恰恰相反：正因为记不住，它才不得不学会举一反三。\n这套框架还顺手回答了一个隐私问题：记不住，某种程度上反倒成了一种保护。\n数据越多，成员推断越接近随机猜测（F1趋近0.5）。\n既然大模型的容量早被海量数据撑爆，那想靠成员推断（membership inference）去反推某条数据在不在训练集里，就变得越来越难。\n对绝大多数在天量数据上训练的模型来说，这事儿几乎测不准。\n奖项背后，更让人感兴趣的，是这个发现对整个行业意味着什么。\n如果参数容量真有上限，那「无脑堆参数」的路就看得见尽头了。因为模型再大，能记的东西也是有数的。\n竞争的重心，会从「喂更多数据」转向一个更刁钻的问题：哪些数据，才值得被模型记住？\n这正好呼应了这两年最热的几个方向：数据筛选、合成数据（synthetic data），以及中期训练（midtraining）阶段的数据选择。\n同样的参数预算，喂进去的是高信息密度的精料，还是重复冗余的「水货」，结果会差出一大截。\n谁能挑出那些最值得被模型记住的数据，谁就能在容量的天花板下，多榨出一分能力。\n这意味着，Scaling Law的玩法也得变了。\n过去十年，规矩简单粗暴：模型更大、数据更多、算力更猛，能力就往上走。\n可一旦容量见了底，光靠加参数就不灵了。下一程的胜负手，大概率不在「多」，而在「准」。\nMorris透露，他们这套方法，已经被至少一家前沿实验室拿去做中期训练的数据筛选了。\n一篇两年前被拒、差点被埋掉的论文，正在悄悄改写真实的训练流程。\n大模型的能力上限，已经不只看参数量，还看每个参数到底被喂了什么。\nMorris，2025年底离开博士项目，拉着几位研究者创办了一家叫Engram的公司。\nEngram创始团队合影。左起Jack Morris、Sabri Eyuboglu、Dan Biderman（CEO）、Scott Linderman、Jessy Lin\n2026年6月，Engram正式走出隐身，13个人的公司，一出场就带着9800万美元融资、6亿美元估值。\nEngram押注的，恰好就是论文测出的那个限制。\n模型容量有限，他们就干脆换了个打法：\n他们号称在不少任务上能少烧10到100倍的token，效果还追平甚至压过前沿实验室。\n微软、Notion、法律AI公司Harvey已经接入了他们的模型，投资人名单里还包括刚加盟Anthropic的Karpathy。\n上线那天，Karpathy还在X上公开道贺。\n为一家主打省token的创业公司捧场，Karpathy这份表态背后是整个行业的焦虑：AI账单正在失控，token越烧越多，成本压不住。\nMorris给出的答案是把算力掉头——不砸向公共互联网，而去啃透你自己的语料。\n在他看来，真正卡住AI的是记性，不是算力。\n参考资料：\n编辑：元宇\n内容中包含的图片若涉及版权问题，请及时与我们联系删除","confidence":0.9,"diagnostics_url":"/api/diagnose?url=https%3A//hub.baai.ac.cn/view/56847","quality_bucket":"high","failure_kind":"none","retryable":false,"quality_reason":"High confidence: full text extraction produced 3317 characters.","quality_profile":{"profile_version":"extraction_quality.v2","bucket":"high","confidence":0.9,"failure_kind":"none","retryable":false,"retry_after_attempts":0,"reason":"High confidence: full text extraction produced 3317 characters.","operator_guidance":{"severity":"ok","recommended_action":"trust_full_text","next_step":"Use the extracted full text as the primary article source.","operator_label":"Ready","can_retry":false,"can_use_summary":false,"diagnostics_required":false},"content_depth":{"contract_version":"content_depth.v1","category":"full_text","label":"Full text","has_full_text":true,"has_summary":true,"content_length":3317,"summary_length":3317,"usable_text_length":3317,"source_field":"content"},"legacy_collapsed":false,"signals":{"extract_state":"ok","extract_error":null,"extract_retries":0,"content_length":3317,"summary_length":3317}},"tags":[]},"fallback_formats":["markdown","json","html"],"actions":{"read":"/item/52339","export_markdown":"/api/items/52339/export?format=markdown","export_json":"/api/items/52339/export?format=json","diagnose":"/api/diagnose?url=https%3A//hub.baai.ac.cn/view/56847"},"formats":{"full":{"id":52339,"title":"80亿参数记性不如U盘：他算出了大模型记忆天花板 - 智源社区","url":"https://hub.baai.ac.cn/view/56847","source":"智源社区","author":null,"published_at":"2026-08-03T13:40:00+00:00","locale":"zh","topic":"ai","tags":[],"excerpt":"新智元报道  \n新智元报道\n【新智元导读】参数越多，大模型就能装下越多知识？一篇被NeurIPS拒过的论文把账算死了：每个参数只有3.6 bit。15亿参数模型的记忆，还不如一支U盘。\n大模型的记性，比你想象中可能差远了。\n一个80亿参数的大模型，一口气吞下15万亿token的训练数据，堆到硬盘上差不多7TB。\n可它真正「背」得下来的，少得可怜：每个参数只装得下3.6 bit。一个英文字母8 bit，连半个都填不满。\n7TB数据灌进去，整个模型记得住的大约只有两千分之一。你往里塞再多，它也只装下这么点。\n捅开这一真相的，是7月5日ICML 2026的一篇获奖论文，题目就叫《How much do language models memorize?》（《语言模型能记住多少东西？》）。\n这篇在Meta做出来的论文，第一次给「大模型的记忆」称出了重量。\n如果把大模型想象成一块闪存，它的容量一出厂就焊死：每个参数大约3.6 bit，填满一格，就少一格。\n这些参数并非通往无限知识的入口，更像一根填满就再也塞不进去的存储条。\n数据喂得再多，各模型的记忆量都会撞上自己的容量天花板。模型越大，天花板越高。\n这篇论文的特别之处，不止它的观点，更在它背后的故事。\n两年前，它先被NeurIPS拒了。\nMorris没放弃，把实验重新清理、补做了一遍，两年后转投ICML，最终拿下ICML 2026杰出论文荣誉提名（Outstanding Paper Honorable Mention）。\n奖项一公布，Morris难言兴奋，在X上写道：\n他一一感谢了合作者，但也没客气：\n让他高兴的，是论文里「大模型就像一块闪存」的容量理念，正被越来越多人接受。\n而且这套方法已经落了地——至少一家前沿实验室，把它实打实用在了中期训练的数据筛选上。\n作为研究员，Morris长期盯着语言模型的表征，从嵌入（embedding）到权重，追问的始终是同一个问题：信息，到底存在模型的什么地方。\n这篇论文，算是他这条主线的一次集中交卷。\n这项研究的八位作者横跨Meta、Google DeepMind、康奈尔、英伟达，一头扎在工业界，一头连着学术界。\nICML官方的评价是：这项工作提出了区分「记忆」与「泛化」的新视角，理论底子扎实，又配上实打实的实测，撑起了那个3.6 bit的大胆结论。\n只是两年前，人们还没意识到他这篇论文的分量。\n这篇论文，打破了这些年大家一个默认的认知：\n其中，一件重要的事一直没人说透：\n模型到底是真「学会」了，还是只是把训练数据「背」了下来？\n过去，衡量记忆的办法很粗糙。\n要么想尽办法让模型把训练数据原样吐出来，要么去判断某条数据在不在训练集里。\n但这两种方式，都没分清这样一件事：模型说出某句话，是因为它记住了，还是因为它真的会推理。\n比如，你让模型算两个数相加，它没见过这道题也能答对。\n这显然不算「记忆」。\nMeta的研究团队所做的，是第一次把「记忆」和「泛化」彻底区分开。\n他们的思路，借鉴了信息论（information theory）：一条数据，如果在有模型帮忙的情况下能被压缩得更短，就说明模型「记住」了它。\n压缩得越狠，记得越牢。\n在这个框架里，记忆被拆成两块。\n一块叫非预期记忆（unintended memorization），是模型死记硬背的、关于某个具体数据集的信息。\n另一块叫泛化（generalization），是模型真正学到的、关于数据背后规律的东西。\n把泛化那部分减掉，剩下的就是模型硬记下来的总量。\n拿这个总量去除以参数规模，就得到了那个关键的比值：每个参数装了多少bit。\n团队训了数百个从50万到15亿参数不等的Transformer，反复测量。\n最终，结论都指向这样一个数字：\n这就是它记忆的天花板。\nGPT类模型每参数约3.64 bit，容量随参数线性增长。\n要说明的是，这3.6 bit并不是说「一个参数只能塞3.6 bit文本」。\n它是在一套特定的信息论定义下，估算出的记忆容量。是模型「死记硬背」的上限，而不是它硬盘意义上的存储量。\n这个比喻，戳破了两个关于大模型的认知。\n第一，你以为大模型把训练数据都记住了？其实根本装不下。\n现在每个主流大模型都在几万亿token上训练，可它们的容量压根塞不进这么多，数据早就溢出了。\n第二，当灌进去的数据超过容量，模型反而会「变聪明」。它不再一条条死记，而是被逼着去找通用的规律。\n这时候就冒出了所谓的双下降（double descent）：损失先降后升再降。\n记忆填满的那一刻，恰恰是泛化开始的起点。\n数据量撑爆容量的那一刻，双下降出现，模型被逼着转向泛化。\n论文里把这个转折叫作「顿悟」（grokking）的开端：模型记不下了，这才真正开始开窍。\n在纯随机的比特串上，模型只能硬记，容量一填满就到顶。可换成真实文本，情形就变了。\n模型先拿容量去记，记到装不下，就掉头用泛化来顶替死记，转而学那些能反复复用的通用模式。\n记忆和泛化，在同一个模型里此消彼长。\n所以，先不要着急得出「大模型就是个数据库」「AI只是在背答案」这样的结论，这篇论文证明的恰恰相反：正因为记不住，它才不得不学会举一反三。\n这套框架还顺手回答了一个隐私问题：记不住，某种程度上反倒成了一种保护。\n数据越多，成员推断越接近随机猜测（F1趋近0.5）。\n既然大模型的容量早被海量数据撑爆，那想靠成员推断（membership inference）去反推某条数据在不在训练集里，就变得越来越难。\n对绝大多数在天量数据上训练的模型来说，这事儿几乎测不准。\n奖项背后，更让人感兴趣的，是这个发现对整个行业意味着什么。\n如果参数容量真有上限，那「无脑堆参数」的路就看得见尽头了。因为模型再大，能记的东西也是有数的。\n竞争的重心，会从「喂更多数据」转向一个更刁钻的问题：哪些数据，才值得被模型记住？\n这正好呼应了这两年最热的几个方向：数据筛选、合成数据（synthetic data），以及中期训练（midtraining）阶段的数据选择。\n同样的参数预算，喂进去的是高信息密度的精料，还是重复冗余的「水货」，结果会差出一大截。\n谁能挑出那些最值得被模型记住的数据，谁就能在容量的天花板下，多榨出一分能力。\n这意味着，Scaling Law的玩法也得变了。\n过去十年，规矩简单粗暴：模型更大、数据更多、算力更猛，能力就往上走。\n可一旦容量见了底，光靠加参数就不灵了。下一程的胜负手，大概率不在「多」，而在「准」。\nMorris透露，他们这套方法，已经被至少一家前沿实验室拿去做中期训练的数据筛选了。\n一篇两年前被拒、差点被埋掉的论文，正在悄悄改写真实的训练流程。\n大模型的能力上限，已经不只看参数量，还看每个参数到底被喂了什么。\nMorris，2025年底离开博士项目，拉着几位研究者创办了一家叫Engram的公司。\nEngram创始团队合影。左起Jack Morris、Sabri Eyuboglu、Dan Biderman（CEO）、Scott Linderman、Jessy Lin\n2026年6月，Engram正式走出隐身，13个人的公司，一出场就带着9800万美元融资、6亿美元估值。\nEngram押注的，恰好就是论文测出的那个限制。\n模型容量有限，他们就干脆换了个打法：\n他们号称在不少任务上能少烧10到100倍的token，效果还追平甚至压过前沿实验室。\n微软、Notion、法律AI公司Harvey已经接入了他们的模型，投资人名单里还包括刚加盟Anthropic的Karpathy。\n上线那天，Karpathy还在X上公开道贺。\n为一家主打省token的创业公司捧场，Karpathy这份表态背后是整个行业的焦虑：AI账单正在失控，token越烧越多，成本压不住。\nMorris给出的答案是把算力掉头——不砸向公共互联网，而去啃透你自己的语料。\n在他看来，真正卡住AI的是记性，不是算力。\n参考资料：\n编辑：元宇\n内容中包含的图片若涉及版权问题，请及时与我们联系删除","full_text":"新智元报道  \n新智元报道\n【新智元导读】参数越多，大模型就能装下越多知识？一篇被NeurIPS拒过的论文把账算死了：每个参数只有3.6 bit。15亿参数模型的记忆，还不如一支U盘。\n大模型的记性，比你想象中可能差远了。\n一个80亿参数的大模型，一口气吞下15万亿token的训练数据，堆到硬盘上差不多7TB。\n可它真正「背」得下来的，少得可怜：每个参数只装得下3.6 bit。一个英文字母8 bit，连半个都填不满。\n7TB数据灌进去，整个模型记得住的大约只有两千分之一。你往里塞再多，它也只装下这么点。\n捅开这一真相的，是7月5日ICML 2026的一篇获奖论文，题目就叫《How much do language models memorize?》（《语言模型能记住多少东西？》）。\n这篇在Meta做出来的论文，第一次给「大模型的记忆」称出了重量。\n如果把大模型想象成一块闪存，它的容量一出厂就焊死：每个参数大约3.6 bit，填满一格，就少一格。\n这些参数并非通往无限知识的入口，更像一根填满就再也塞不进去的存储条。\n数据喂得再多，各模型的记忆量都会撞上自己的容量天花板。模型越大，天花板越高。\n这篇论文的特别之处，不止它的观点，更在它背后的故事。\n两年前，它先被NeurIPS拒了。\nMorris没放弃，把实验重新清理、补做了一遍，两年后转投ICML，最终拿下ICML 2026杰出论文荣誉提名（Outstanding Paper Honorable Mention）。\n奖项一公布，Morris难言兴奋，在X上写道：\n他一一感谢了合作者，但也没客气：\n让他高兴的，是论文里「大模型就像一块闪存」的容量理念，正被越来越多人接受。\n而且这套方法已经落了地——至少一家前沿实验室，把它实打实用在了中期训练的数据筛选上。\n作为研究员，Morris长期盯着语言模型的表征，从嵌入（embedding）到权重，追问的始终是同一个问题：信息，到底存在模型的什么地方。\n这篇论文，算是他这条主线的一次集中交卷。\n这项研究的八位作者横跨Meta、Google DeepMind、康奈尔、英伟达，一头扎在工业界，一头连着学术界。\nICML官方的评价是：这项工作提出了区分「记忆」与「泛化」的新视角，理论底子扎实，又配上实打实的实测，撑起了那个3.6 bit的大胆结论。\n只是两年前，人们还没意识到他这篇论文的分量。\n这篇论文，打破了这些年大家一个默认的认知：\n其中，一件重要的事一直没人说透：\n模型到底是真「学会」了，还是只是把训练数据「背」了下来？\n过去，衡量记忆的办法很粗糙。\n要么想尽办法让模型把训练数据原样吐出来，要么去判断某条数据在不在训练集里。\n但这两种方式，都没分清这样一件事：模型说出某句话，是因为它记住了，还是因为它真的会推理。\n比如，你让模型算两个数相加，它没见过这道题也能答对。\n这显然不算「记忆」。\nMeta的研究团队所做的，是第一次把「记忆」和「泛化」彻底区分开。\n他们的思路，借鉴了信息论（information theory）：一条数据，如果在有模型帮忙的情况下能被压缩得更短，就说明模型「记住」了它。\n压缩得越狠，记得越牢。\n在这个框架里，记忆被拆成两块。\n一块叫非预期记忆（unintended memorization），是模型死记硬背的、关于某个具体数据集的信息。\n另一块叫泛化（generalization），是模型真正学到的、关于数据背后规律的东西。\n把泛化那部分减掉，剩下的就是模型硬记下来的总量。\n拿这个总量去除以参数规模，就得到了那个关键的比值：每个参数装了多少bit。\n团队训了数百个从50万到15亿参数不等的Transformer，反复测量。\n最终，结论都指向这样一个数字：\n这就是它记忆的天花板。\nGPT类模型每参数约3.64 bit，容量随参数线性增长。\n要说明的是，这3.6 bit并不是说「一个参数只能塞3.6 bit文本」。\n它是在一套特定的信息论定义下，估算出的记忆容量。是模型「死记硬背」的上限，而不是它硬盘意义上的存储量。\n这个比喻，戳破了两个关于大模型的认知。\n第一，你以为大模型把训练数据都记住了？其实根本装不下。\n现在每个主流大模型都在几万亿token上训练，可它们的容量压根塞不进这么多，数据早就溢出了。\n第二，当灌进去的数据超过容量，模型反而会「变聪明」。它不再一条条死记，而是被逼着去找通用的规律。\n这时候就冒出了所谓的双下降（double descent）：损失先降后升再降。\n记忆填满的那一刻，恰恰是泛化开始的起点。\n数据量撑爆容量的那一刻，双下降出现，模型被逼着转向泛化。\n论文里把这个转折叫作「顿悟」（grokking）的开端：模型记不下了，这才真正开始开窍。\n在纯随机的比特串上，模型只能硬记，容量一填满就到顶。可换成真实文本，情形就变了。\n模型先拿容量去记，记到装不下，就掉头用泛化来顶替死记，转而学那些能反复复用的通用模式。\n记忆和泛化，在同一个模型里此消彼长。\n所以，先不要着急得出「大模型就是个数据库」「AI只是在背答案」这样的结论，这篇论文证明的恰恰相反：正因为记不住，它才不得不学会举一反三。\n这套框架还顺手回答了一个隐私问题：记不住，某种程度上反倒成了一种保护。\n数据越多，成员推断越接近随机猜测（F1趋近0.5）。\n既然大模型的容量早被海量数据撑爆，那想靠成员推断（membership inference）去反推某条数据在不在训练集里，就变得越来越难。\n对绝大多数在天量数据上训练的模型来说，这事儿几乎测不准。\n奖项背后，更让人感兴趣的，是这个发现对整个行业意味着什么。\n如果参数容量真有上限，那「无脑堆参数」的路就看得见尽头了。因为模型再大，能记的东西也是有数的。\n竞争的重心，会从「喂更多数据」转向一个更刁钻的问题：哪些数据，才值得被模型记住？\n这正好呼应了这两年最热的几个方向：数据筛选、合成数据（synthetic data），以及中期训练（midtraining）阶段的数据选择。\n同样的参数预算，喂进去的是高信息密度的精料，还是重复冗余的「水货」，结果会差出一大截。\n谁能挑出那些最值得被模型记住的数据，谁就能在容量的天花板下，多榨出一分能力。\n这意味着，Scaling Law的玩法也得变了。\n过去十年，规矩简单粗暴：模型更大、数据更多、算力更猛，能力就往上走。\n可一旦容量见了底，光靠加参数就不灵了。下一程的胜负手，大概率不在「多」，而在「准」。\nMorris透露，他们这套方法，已经被至少一家前沿实验室拿去做中期训练的数据筛选了。\n一篇两年前被拒、差点被埋掉的论文，正在悄悄改写真实的训练流程。\n大模型的能力上限，已经不只看参数量，还看每个参数到底被喂了什么。\nMorris，2025年底离开博士项目，拉着几位研究者创办了一家叫Engram的公司。\nEngram创始团队合影。左起Jack Morris、Sabri Eyuboglu、Dan Biderman（CEO）、Scott Linderman、Jessy Lin\n2026年6月，Engram正式走出隐身，13个人的公司，一出场就带着9800万美元融资、6亿美元估值。\nEngram押注的，恰好就是论文测出的那个限制。\n模型容量有限，他们就干脆换了个打法：\n他们号称在不少任务上能少烧10到100倍的token，效果还追平甚至压过前沿实验室。\n微软、Notion、法律AI公司Harvey已经接入了他们的模型，投资人名单里还包括刚加盟Anthropic的Karpathy。\n上线那天，Karpathy还在X上公开道贺。\n为一家主打省token的创业公司捧场，Karpathy这份表态背后是整个行业的焦虑：AI账单正在失控，token越烧越多，成本压不住。\nMorris给出的答案是把算力掉头——不砸向公共互联网，而去啃透你自己的语料。\n在他看来，真正卡住AI的是记性，不是算力。\n参考资料：\n编辑：元宇\n内容中包含的图片若涉及版权问题，请及时与我们联系删除","reading_time_min":1,"extraction":{"state":"ok","confidence":0.9,"error":null,"explanation":"High confidence: full text extraction produced 3317 characters.","diagnostics_url":"/api/diagnose?url=https%3A//hub.baai.ac.cn/view/56847","quality_profile":{"profile_version":"extraction_quality.v2","bucket":"high","confidence":0.9,"failure_kind":"none","retryable":false,"retry_after_attempts":0,"reason":"High confidence: full text extraction produced 3317 characters.","operator_guidance":{"severity":"ok","recommended_action":"trust_full_text","next_step":"Use the extracted full text as the primary article source.","operator_label":"Ready","can_retry":false,"can_use_summary":false,"diagnostics_required":false},"content_depth":{"contract_version":"content_depth.v1","category":"full_text","label":"Full text","has_full_text":true,"has_summary":true,"content_length":3317,"summary_length":3317,"usable_text_length":3317,"source_field":"content"},"legacy_collapsed":false,"signals":{"extract_state":"ok","extract_error":null,"extract_retries":0,"content_length":3317,"summary_length":3317}}},"quality_profile":{"profile_version":"extraction_quality.v2","bucket":"high","confidence":0.9,"failure_kind":"none","retryable":false,"retry_after_attempts":0,"reason":"High confidence: full text extraction produced 3317 characters.","operator_guidance":{"severity":"ok","recommended_action":"trust_full_text","next_step":"Use the extracted full text as the primary article source.","operator_label":"Ready","can_retry":false,"can_use_summary":false,"diagnostics_required":false},"content_depth":{"contract_version":"content_depth.v1","category":"full_text","label":"Full text","has_full_text":true,"has_summary":true,"content_length":3317,"summary_length":3317,"usable_text_length":3317,"source_field":"content"},"legacy_collapsed":false,"signals":{"extract_state":"ok","extract_error":null,"extract_retries":0,"content_length":3317,"summary_length":3317}},"actions":{"read":"/item/52339","export_markdown":"/api/items/52339/export?format=markdown","export_json":"/api/items/52339/export?format=json","diagnose":"/api/diagnose?url=https%3A//hub.baai.ac.cn/view/56847"}},"digest":{"id":52339,"title":"80亿参数记性不如U盘：他算出了大模型记忆天花板 - 智源社区","url":"https://hub.baai.ac.cn/view/56847","source":"智源社区","topic":"ai","published_at":"2026-08-03T13:40:00+00:00","excerpt":"新智元报道 新智元报道 【新智元导读】参数越多，大模型就能装下越多知识？一篇被NeurIPS拒过的论文把账算死了：每个参数只有3.6 bit。15亿参数模型的记忆，还不如一支U盘。 大模型的记性，比你想象中可能差远了。 一个80亿参数的大模型，一口气吞下15万亿token的训练数据，堆到硬盘上差不多7TB。 可它真正「背」得下来的，少得可怜：每个参数只装得下3.6 bit。一个英文字母8 bit，连半个都填不满。 7TB数据灌进去，整个模型记得住的大约只有两千分之一。你往里塞再多，它也只装下这么点。 捅开这一真相的，是7月5日ICML…","quality_bucket":"high","quality_reason":"High confidence: full text extraction produced 3317 characters.","reading_time_min":1,"cluster_id":null},"card":{"display_title":"80亿参数记性不如U盘：他算出了大模型记忆天花板 - 智源社区","subtitle":"智源社区 · 2026-08-03","summary":"新智元报道 新智元报道 【新智元导读】参数越多，大模型就能装下越多知识？一篇被NeurIPS拒过的论文把账算死了：每个参数只有3.6 bit。15亿参数模型的记忆，还不如一支U盘。 大模型的记性，比你想象中可能差远了。 一个80亿参数的大模型，一口气吞下15万亿token的训练数据，堆到硬盘上差不多7TB。 可它真正「背」得下来的，少得可怜：每个参数只装得下3.6 bit。一个英文字母8 bit，连半个都填不满。…","badges":["quality:high"],"links":{"read":"/item/52339","original":"https://hub.baai.ac.cn/view/56847","diagnose":"/api/diagnose?url=https%3A//hub.baai.ac.cn/view/56847"},"quality_warning":null},"export":{"title":"80亿参数记性不如U盘：他算出了大模型记忆天花板 - 智源社区","url":"https://hub.baai.ac.cn/view/56847","summary":"新智元报道  \n新智元报道\n【新智元导读】参数越多，大模型就能装下越多知识？一篇被NeurIPS拒过的论文把账算死了：每个参数只有3.6 bit。15亿参数模型的记忆，还不如一支U盘。\n大模型的记性，比你想象中可能差远了。\n一个80亿参数的大模型，一口气吞下15万亿token的训练数据，堆到硬盘上差不多7TB。\n可它真正「背」得下来的，少得可怜：每个参数只装得下3.6 bit。一个英文字母8 bit，连半个都填不满。\n7TB数据灌进去，整个模型记得住的大约只有两千分之一。你往里塞再多，它也只装下这么点。\n捅开这一真相的，是7月5日ICML 2026的一篇获奖论文，题目就叫《How much do language models memorize?》（《语言模型能记住多少东西？》）。\n这篇在Meta做出来的论文，第一次给「大模型的记忆」称出了重量。\n如果把大模型想象成一块闪存，它的容量一出厂就焊死：每个参数大约3.6 bit，填满一格，就少一格。\n这些参数并非通往无限知识的入口，更像一根填满就再也塞不进去的存储条。\n数据喂得再多，各模型的记忆量都会撞上自己的容量天花板。模型越大，天花板越高。\n这篇论文的特别之处，不止它的观点，更在它背后的故事。\n两年前，它先被NeurIPS拒了。\nMorris没放弃，把实验重新清理、补做了一遍，两年后转投ICML，最终拿下ICML 2026杰出论文荣誉提名（Outstanding Paper Honorable Mention）。\n奖项一公布，Morris难言兴奋，在X上写道：\n他一一感谢了合作者，但也没客气：\n让他高兴的，是论文里「大模型就像一块闪存」的容量理念，正被越来越多人接受。\n而且这套方法已经落了地——至少一家前沿实验室，把它实打实用在了中期训练的数据筛选上。\n作为研究员，Morris长期盯着语言模型的表征，从嵌入（embedding）到权重，追问的始终是同一个问题：信息，到底存在模型的什么地方。\n这篇论文，算是他这条主线的一次集中交卷。\n这项研究的八位作者横跨Meta、Google DeepMind、康奈尔、英伟达，一头扎在工业界，一头连着学术界。\nICML官方的评价是：这项工作提出了区分「记忆」与「泛化」的新视角，理论底子扎实，又配上实打实的实测，撑起了那个3.6 bit的大胆结论。\n只是两年前，人们还没意识到他这篇论文的分量。\n这篇论文，打破了这些年大家一个默认的认知：\n其中，一件重要的事一直没人说透：\n模型到底是真「学会」了，还是只是把训练数据「背」了下来？\n过去，衡量记忆的办法很粗糙。\n要么想尽办法让模型把训练数据原样吐出来，要么去判断某条数据在不在训练集里。\n但这两种方式，都没分清这样一件事：模型说出某句话，是因为它记住了，还是因为它真的会推理。\n比如，你让模型算两个数相加，它没见过这道题也能答对。\n这显然不算「记忆」。\nMeta的研究团队所做的，是第一次把「记忆」和「泛化」彻底区分开。\n他们的思路，借鉴了信息论（information theory）：一条数据，如果在有模型帮忙的情况下能被压缩得更短，就说明模型「记住」了它。\n压缩得越狠，记得越牢。\n在这个框架里，记忆被拆成两块。\n一块叫非预期记忆（unintended memorization），是模型死记硬背的、关于某个具体数据集的信息。\n另一块叫泛化（generalization），是模型真正学到的、关于数据背后规律的东西。\n把泛化那部分减掉，剩下的就是模型硬记下来的总量。\n拿这个总量去除以参数规模，就得到了那个关键的比值：每个参数装了多少bit。\n团队训了数百个从50万到15亿参数不等的Transformer，反复测量。\n最终，结论都指向这样一个数字：\n这就是它记忆的天花板。\nGPT类模型每参数约3.64 bit，容量随参数线性增长。\n要说明的是，这3.6 bit并不是说「一个参数只能塞3.6 bit文本」。\n它是在一套特定的信息论定义下，估算出的记忆容量。是模型「死记硬背」的上限，而不是它硬盘意义上的存储量。\n这个比喻，戳破了两个关于大模型的认知。\n第一，你以为大模型把训练数据都记住了？其实根本装不下。\n现在每个主流大模型都在几万亿token上训练，可它们的容量压根塞不进这么多，数据早就溢出了。\n第二，当灌进去的数据超过容量，模型反而会「变聪明」。它不再一条条死记，而是被逼着去找通用的规律。\n这时候就冒出了所谓的双下降（double descent）：损失先降后升再降。\n记忆填满的那一刻，恰恰是泛化开始的起点。\n数据量撑爆容量的那一刻，双下降出现，模型被逼着转向泛化。\n论文里把这个转折叫作「顿悟」（grokking）的开端：模型记不下了，这才真正开始开窍。\n在纯随机的比特串上，模型只能硬记，容量一填满就到顶。可换成真实文本，情形就变了。\n模型先拿容量去记，记到装不下，就掉头用泛化来顶替死记，转而学那些能反复复用的通用模式。\n记忆和泛化，在同一个模型里此消彼长。\n所以，先不要着急得出「大模型就是个数据库」「AI只是在背答案」这样的结论，这篇论文证明的恰恰相反：正因为记不住，它才不得不学会举一反三。\n这套框架还顺手回答了一个隐私问题：记不住，某种程度上反倒成了一种保护。\n数据越多，成员推断越接近随机猜测（F1趋近0.5）。\n既然大模型的容量早被海量数据撑爆，那想靠成员推断（membership inference）去反推某条数据在不在训练集里，就变得越来越难。\n对绝大多数在天量数据上训练的模型来说，这事儿几乎测不准。\n奖项背后，更让人感兴趣的，是这个发现对整个行业意味着什么。\n如果参数容量真有上限，那「无脑堆参数」的路就看得见尽头了。因为模型再大，能记的东西也是有数的。\n竞争的重心，会从「喂更多数据」转向一个更刁钻的问题：哪些数据，才值得被模型记住？\n这正好呼应了这两年最热的几个方向：数据筛选、合成数据（synthetic data），以及中期训练（midtraining）阶段的数据选择。\n同样的参数预算，喂进去的是高信息密度的精料，还是重复冗余的「水货」，结果会差出一大截。\n谁能挑出那些最值得被模型记住的数据，谁就能在容量的天花板下，多榨出一分能力。\n这意味着，Scaling Law的玩法也得变了。\n过去十年，规矩简单粗暴：模型更大、数据更多、算力更猛，能力就往上走。\n可一旦容量见了底，光靠加参数就不灵了。下一程的胜负手，大概率不在「多」，而在「准」。\nMorris透露，他们这套方法，已经被至少一家前沿实验室拿去做中期训练的数据筛选了。\n一篇两年前被拒、差点被埋掉的论文，正在悄悄改写真实的训练流程。\n大模型的能力上限，已经不只看参数量，还看每个参数到底被喂了什么。\nMorris，2025年底离开博士项目，拉着几位研究者创办了一家叫Engram的公司。\nEngram创始团队合影。左起Jack Morris、Sabri Eyuboglu、Dan Biderman（CEO）、Scott Linderman、Jessy Lin\n2026年6月，Engram正式走出隐身，13个人的公司，一出场就带着9800万美元融资、6亿美元估值。\nEngram押注的，恰好就是论文测出的那个限制。\n模型容量有限，他们就干脆换了个打法：\n他们号称在不少任务上能少烧10到100倍的token，效果还追平甚至压过前沿实验室。\n微软、Notion、法律AI公司Harvey已经接入了他们的模型，投资人名单里还包括刚加盟Anthropic的Karpathy。\n上线那天，Karpathy还在X上公开道贺。\n为一家主打省token的创业公司捧场，Karpathy这份表态背后是整个行业的焦虑：AI账单正在失控，token越烧越多，成本压不住。\nMorris给出的答案是把算力掉头——不砸向公共互联网，而去啃透你自己的语料。\n在他看来，真正卡住AI的是记性，不是算力。\n参考资料：\n编辑：元宇\n内容中包含的图片若涉及版权问题，请及时与我们联系删除","source":"智源社区","date":"2026-08-03T13:40:00+00:00","content":"新智元报道  \n新智元报道\n【新智元导读】参数越多，大模型就能装下越多知识？一篇被NeurIPS拒过的论文把账算死了：每个参数只有3.6 bit。15亿参数模型的记忆，还不如一支U盘。\n大模型的记性，比你想象中可能差远了。\n一个80亿参数的大模型，一口气吞下15万亿token的训练数据，堆到硬盘上差不多7TB。\n可它真正「背」得下来的，少得可怜：每个参数只装得下3.6 bit。一个英文字母8 bit，连半个都填不满。\n7TB数据灌进去，整个模型记得住的大约只有两千分之一。你往里塞再多，它也只装下这么点。\n捅开这一真相的，是7月5日ICML 2026的一篇获奖论文，题目就叫《How much do language models memorize?》（《语言模型能记住多少东西？》）。\n这篇在Meta做出来的论文，第一次给「大模型的记忆」称出了重量。\n如果把大模型想象成一块闪存，它的容量一出厂就焊死：每个参数大约3.6 bit，填满一格，就少一格。\n这些参数并非通往无限知识的入口，更像一根填满就再也塞不进去的存储条。\n数据喂得再多，各模型的记忆量都会撞上自己的容量天花板。模型越大，天花板越高。\n这篇论文的特别之处，不止它的观点，更在它背后的故事。\n两年前，它先被NeurIPS拒了。\nMorris没放弃，把实验重新清理、补做了一遍，两年后转投ICML，最终拿下ICML 2026杰出论文荣誉提名（Outstanding Paper Honorable Mention）。\n奖项一公布，Morris难言兴奋，在X上写道：\n他一一感谢了合作者，但也没客气：\n让他高兴的，是论文里「大模型就像一块闪存」的容量理念，正被越来越多人接受。\n而且这套方法已经落了地——至少一家前沿实验室，把它实打实用在了中期训练的数据筛选上。\n作为研究员，Morris长期盯着语言模型的表征，从嵌入（embedding）到权重，追问的始终是同一个问题：信息，到底存在模型的什么地方。\n这篇论文，算是他这条主线的一次集中交卷。\n这项研究的八位作者横跨Meta、Google DeepMind、康奈尔、英伟达，一头扎在工业界，一头连着学术界。\nICML官方的评价是：这项工作提出了区分「记忆」与「泛化」的新视角，理论底子扎实，又配上实打实的实测，撑起了那个3.6 bit的大胆结论。\n只是两年前，人们还没意识到他这篇论文的分量。\n这篇论文，打破了这些年大家一个默认的认知：\n其中，一件重要的事一直没人说透：\n模型到底是真「学会」了，还是只是把训练数据「背」了下来？\n过去，衡量记忆的办法很粗糙。\n要么想尽办法让模型把训练数据原样吐出来，要么去判断某条数据在不在训练集里。\n但这两种方式，都没分清这样一件事：模型说出某句话，是因为它记住了，还是因为它真的会推理。\n比如，你让模型算两个数相加，它没见过这道题也能答对。\n这显然不算「记忆」。\nMeta的研究团队所做的，是第一次把「记忆」和「泛化」彻底区分开。\n他们的思路，借鉴了信息论（information theory）：一条数据，如果在有模型帮忙的情况下能被压缩得更短，就说明模型「记住」了它。\n压缩得越狠，记得越牢。\n在这个框架里，记忆被拆成两块。\n一块叫非预期记忆（unintended memorization），是模型死记硬背的、关于某个具体数据集的信息。\n另一块叫泛化（generalization），是模型真正学到的、关于数据背后规律的东西。\n把泛化那部分减掉，剩下的就是模型硬记下来的总量。\n拿这个总量去除以参数规模，就得到了那个关键的比值：每个参数装了多少bit。\n团队训了数百个从50万到15亿参数不等的Transformer，反复测量。\n最终，结论都指向这样一个数字：\n这就是它记忆的天花板。\nGPT类模型每参数约3.64 bit，容量随参数线性增长。\n要说明的是，这3.6 bit并不是说「一个参数只能塞3.6 bit文本」。\n它是在一套特定的信息论定义下，估算出的记忆容量。是模型「死记硬背」的上限，而不是它硬盘意义上的存储量。\n这个比喻，戳破了两个关于大模型的认知。\n第一，你以为大模型把训练数据都记住了？其实根本装不下。\n现在每个主流大模型都在几万亿token上训练，可它们的容量压根塞不进这么多，数据早就溢出了。\n第二，当灌进去的数据超过容量，模型反而会「变聪明」。它不再一条条死记，而是被逼着去找通用的规律。\n这时候就冒出了所谓的双下降（double descent）：损失先降后升再降。\n记忆填满的那一刻，恰恰是泛化开始的起点。\n数据量撑爆容量的那一刻，双下降出现，模型被逼着转向泛化。\n论文里把这个转折叫作「顿悟」（grokking）的开端：模型记不下了，这才真正开始开窍。\n在纯随机的比特串上，模型只能硬记，容量一填满就到顶。可换成真实文本，情形就变了。\n模型先拿容量去记，记到装不下，就掉头用泛化来顶替死记，转而学那些能反复复用的通用模式。\n记忆和泛化，在同一个模型里此消彼长。\n所以，先不要着急得出「大模型就是个数据库」「AI只是在背答案」这样的结论，这篇论文证明的恰恰相反：正因为记不住，它才不得不学会举一反三。\n这套框架还顺手回答了一个隐私问题：记不住，某种程度上反倒成了一种保护。\n数据越多，成员推断越接近随机猜测（F1趋近0.5）。\n既然大模型的容量早被海量数据撑爆，那想靠成员推断（membership inference）去反推某条数据在不在训练集里，就变得越来越难。\n对绝大多数在天量数据上训练的模型来说，这事儿几乎测不准。\n奖项背后，更让人感兴趣的，是这个发现对整个行业意味着什么。\n如果参数容量真有上限，那「无脑堆参数」的路就看得见尽头了。因为模型再大，能记的东西也是有数的。\n竞争的重心，会从「喂更多数据」转向一个更刁钻的问题：哪些数据，才值得被模型记住？\n这正好呼应了这两年最热的几个方向：数据筛选、合成数据（synthetic data），以及中期训练（midtraining）阶段的数据选择。\n同样的参数预算，喂进去的是高信息密度的精料，还是重复冗余的「水货」，结果会差出一大截。\n谁能挑出那些最值得被模型记住的数据，谁就能在容量的天花板下，多榨出一分能力。\n这意味着，Scaling Law的玩法也得变了。\n过去十年，规矩简单粗暴：模型更大、数据更多、算力更猛，能力就往上走。\n可一旦容量见了底，光靠加参数就不灵了。下一程的胜负手，大概率不在「多」，而在「准」。\nMorris透露，他们这套方法，已经被至少一家前沿实验室拿去做中期训练的数据筛选了。\n一篇两年前被拒、差点被埋掉的论文，正在悄悄改写真实的训练流程。\n大模型的能力上限，已经不只看参数量，还看每个参数到底被喂了什么。\nMorris，2025年底离开博士项目，拉着几位研究者创办了一家叫Engram的公司。\nEngram创始团队合影。左起Jack Morris、Sabri Eyuboglu、Dan Biderman（CEO）、Scott Linderman、Jessy Lin\n2026年6月，Engram正式走出隐身，13个人的公司，一出场就带着9800万美元融资、6亿美元估值。\nEngram押注的，恰好就是论文测出的那个限制。\n模型容量有限，他们就干脆换了个打法：\n他们号称在不少任务上能少烧10到100倍的token，效果还追平甚至压过前沿实验室。\n微软、Notion、法律AI公司Harvey已经接入了他们的模型，投资人名单里还包括刚加盟Anthropic的Karpathy。\n上线那天，Karpathy还在X上公开道贺。\n为一家主打省token的创业公司捧场，Karpathy这份表态背后是整个行业的焦虑：AI账单正在失控，token越烧越多，成本压不住。\nMorris给出的答案是把算力掉头——不砸向公共互联网，而去啃透你自己的语料。\n在他看来，真正卡住AI的是记性，不是算力。\n参考资料：\n编辑：元宇\n内容中包含的图片若涉及版权问题，请及时与我们联系删除","confidence":0.9,"diagnostics_url":"/api/diagnose?url=https%3A//hub.baai.ac.cn/view/56847","quality_bucket":"high","failure_kind":"none","retryable":false,"quality_reason":"High confidence: full text extraction produced 3317 characters.","quality_profile":{"profile_version":"extraction_quality.v2","bucket":"high","confidence":0.9,"failure_kind":"none","retryable":false,"retry_after_attempts":0,"reason":"High confidence: full text extraction produced 3317 characters.","operator_guidance":{"severity":"ok","recommended_action":"trust_full_text","next_step":"Use the extracted full text as the primary article source.","operator_label":"Ready","can_retry":false,"can_use_summary":false,"diagnostics_required":false},"content_depth":{"contract_version":"content_depth.v1","category":"full_text","label":"Full text","has_full_text":true,"has_summary":true,"content_length":3317,"summary_length":3317,"usable_text_length":3317,"source_field":"content"},"legacy_collapsed":false,"signals":{"extract_state":"ok","extract_error":null,"extract_retries":0,"content_length":3317,"summary_length":3317}},"tags":[],"format_contract_version":"news_item_formats.v1"}}}