# 80亿参数记性不如U盘：他算出了大模型记忆天花板 - Sohu

*Источник: Sohu*
*Дата: 2026-08-02*
*Язык: zh*

**Кратко:** 80亿参数记性不如U盘：他算出了大模型记忆天花板
新智元报道
【新智元导读】参数越多，大模型就能装下越多知识？一篇被NeurIPS拒过的论文把账算死了：每个参数只有3.6 bit。15亿参数模型的记忆，还不如一支U盘。
大模型的记性，比你想象中可能差远了。
一个80亿参数的大模型，一口气吞下15万亿token的训练数据，堆到硬盘上差不多7TB。
可它真正「背」得下来的，少得可怜：每个参数只装得下3.6 bit。一个英文字母8 bit，连半个都填不满。
7TB数据灌进去，整个模型记得住的大约只有两千分之一。你往里塞再多，它也只装下这么点。
捅开这一真相的，是7月5日ICML 2026的一篇获奖论文，题目就叫《How much do language models memorize?》（《语言模型能记住多少东西？》）。

80亿参数记性不如U盘：他算出了大模型记忆天花板
新智元报道
【新智元导读】参数越多，大模型就能装下越多知识？一篇被NeurIPS拒过的论文把账算死了：每个参数只有3.6 bit。15亿参数模型的记忆，还不如一支U盘。
大模型的记性，比你想象中可能差远了。
一个80亿参数的大模型，一口气吞下15万亿token的训练数据，堆到硬盘上差不多7TB。
可它真正「背」得下来的，少得可怜：每个参数只装得下3.6 bit。一个英文字母8 bit，连半个都填不满。
7TB数据灌进去，整个模型记得住的大约只有两千分之一。你往里塞再多，它也只装下这么点。
捅开这一真相的，是7月5日ICML 2026的一篇获奖论文，题目就叫《How much do language models memorize?》（《语言模型能记住多少东西？》）。

[Оригинал](https://m.sohu.com/a/1057873441_473283?scm=10001.325_13-325_13.0.0-0-0-0-0.5_1334)