80亿参数记性不如U盘：他算出了大模型记忆天花板 - Sohu
Кратко: 80亿参数记性不如U盘：他算出了大模型记忆天花板
新智元报道
【新智元导读】参数越多，大模型就能装下越多知识？一篇被NeurIPS拒过的论文把账算死了：每个参数只有3.6 bit。15亿参数模型的记忆，还不如一支U盘。
大模型的记性，比你想象中可能差远了。
一个80亿参数的大模型，一口气吞下15万亿token的训练数据，堆到硬盘上差不多7TB。
可它真正「背」得下来的，少得可怜：每个参数只装得下3.6 bit。一个英文字母8 bit，连半个都填不满。
7TB数据灌进去，整个模型记得住的大约只有两千分之一。你往里塞再多，它也只装下这么点。
捅开这一真相的，是7月5日ICML 2026的一篇获奖论文，题目就叫《How much do language models memorize?》（《语言模型能记住多少东西？》）。
🧭 Извлечение: ok
· confidence 90%
· диагностика
High confidence: full text extraction produced 362 characters.
High confidence: full text extraction produced 362 characters.
80亿参数记性不如U盘：他算出了大模型记忆天花板
新智元报道
【新智元导读】参数越多，大模型就能装下越多知识？一篇被NeurIPS拒过的论文把账算死了：每个参数只有3.6 bit。15亿参数模型的记忆，还不如一支U盘。
大模型的记性，比你想象中可能差远了。
一个80亿参数的大模型，一口气吞下15万亿token的训练数据，堆到硬盘上差不多7TB。
可它真正「背」得下来的，少得可怜：每个参数只装得下3.6 bit。一个英文字母8 bit，连半个都填不满。
7TB数据灌进去，整个模型记得住的大约只有两千分之一。你往里塞再多，它也只装下这么点。
捅开这一真相的，是7月5日ICML 2026的一篇获奖论文，题目就叫《How much do language models memorize?》（《语言模型能记住多少东西？》）。