对话研究员白惠天：Token是AI文明出现的第一个度量衡 - 观察者网

Кратко: - 对话研究员白惠天：Token是AI文明出现的第一个度量衡人工智能产业最不缺的就是大数字。9月16日，美国咨询机构Gartner发布最新预测，2026年全球人工智能支出将达到2.7万亿美元。与此同时，资本市场已经开始追问另一面：如此惊人的投入，究竟能够产生多少真实的经济回报？ 在这一过程中，一个原本属于计算机技术底层的词——Token，正在获得越来越强的经济学含义。 Token是大模型处理信息的基本单位，也是AI算力消耗和服务计价的重要基础。沿着一个Token的生产过程向上追溯，是芯片、数据中心、电力和巨额资本开支；向下延伸，则连接着大模型、智能体以及正在被AI重塑的千行百业。当机器智能第一次可以被如此大规模地生产、计量和交易，我们是否正在进入一种新的“Token经济”？ 近日，观察者网对话新书《Token经济》作者之一、腾讯研究院高级研究员白惠天。在她看来，Token虽然远不是一把完美的尺子，却可能具有一个更重要的历史意义——“Token是AI文明出现的第一个度量衡。” 【对话/观察者网 朱新伟】 观察者网：“Token经济”现在非常火热，你们团队是怎么想到要把它当成一本书的主题？ 白惠天：我们团队一直都非常关心AI对社会经济的影响。我本人的背景是北京大学光华管理学院金融学学士、经济学博士，所以我很好奇：AI是不是会挑战原来我们学到的一些经济学的基本原理？哪些我们默认的经济学假设需要去重新调整？比方说，agent（智能体）这个主体，它的行为也许就和个人主体的行为有一些差异。 选Token作为书名，其实是多种因素造成的。“AI经济学”其实并不新鲜，在很多年以前，大家就在评估人工智能技术对全要素生产率的影响、对GDP增长的影响、对就业的冲击。那么，Token就好像是给了你一个微观视角，让你通过追溯一个Token的生产与流通过程，去更深刻地理解这个产业。有一部动漫叫作《工作细胞》，我想我们是不是能够做一些科普工作，就像讲解红细胞、白细胞一样，给大家讲一个Token所经历的前世今生。 观察者网：经济学要求精确、可量化。一家大模型的Token可内部计量，但各家之间并没有统一计量标准，比如腾讯WorkBuddy的Token跟千问办公Token计价方式不同，各有各的算法，从经济学的角度怎么评估？ 白惠天：在度量单位层面，Token究竟有没有意义？回答这个问题，取决于它的比较对象。过去，人类没有衡量智力劳动的尺子。我们认为，Token是历史上第一次能够把智力这种很虚无缥缈的东西——尤其是机器智力产生以后——你能够有一个相对可计量、可比较的东西去衡量，这是Token的巨大贡献。 确实如你所说，Token不是完美的度量衡，不像一公里、一桶、一升等单位一样恒定。但你要从它衡量智力劳动，能够把一个不可言说、不可量化的东西变得逐渐清晰这一点看，其实Token是很大的精进。 过去我们怎么衡量智力呢？我们可能看他是来自哪个学校？他读了什么样的学历？他在哪里工作？工作了多久？他担任什么岗位？我们用这种方式去刻画一个人能够为我们提供的智力服务。现在Token起码是一个让我们可以测量智力劳动的切入口，它一定不是终点，但至少是一个很好的起点。 业界在讨论Token的时候，会讲究“智能成本”，即达到相同智力水平的成本是多少，而不仅仅是每百万Token的成本。上下文的长度、响应的速度，是快思考模型还是慢思考模型，这些都已经是Token的细化指标。随着研究的深入，我们对Token的理解会更加清晰。 观察者网：Token第一次为过去原本看不见、摸不着的智力劳动赋予了衡量的尺度，但这个尺度还不够完美。 白惠天：Token是AI文明出现的第一个度量衡。人类对新兴事物的理解有个过程，从不知到知，从“知之不多”到“知之甚多”。但是Token作为大语言模型技术底层的单位，它一定是永恒存在的，只是说大家对它的理解会逐渐深刻。在大语言模型中，Token就是通过“分词器”的方式，去理解这个世界。它背后是有一张很大的词表，人类语言文字在它的词表里找到对应。 白惠天、袁晓辉、司晓著，中信出版社2026年8月出版 观察者网：Token一词的中文翻译，此前有机构推荐使用“词元”，但业界似乎仍然使用Token英文居多，为什么？ 白惠天：我们看到有学者最近在《人民日报》发文提出，现在这个技术发展阶段，也不是说中英文词就一定要并轨，而是都有各自存在的意义。发表论文时，大家可能用“Token”更多一些；如果是与数据局的同事交流，可能我用“词元”就会更多一些。 另外，提到“词”你想起来是word，它好像只是“单词”这个意思。但实际上Token是可以切分图像的，一张图切分为一个个画块（patch）；也可以去分割一个3D空间，我们叫它“体素”或者“点云”。词元只是大语言模型的一种分法，如果我们的视角扩展到多模态，也许Token反而是通用性更强的表述，即表示某种形态下的切割方式。 ·每一代技术革命都取代了人类的一部分劳动 观察者网：Token把智力劳动变成一个可度量的商品服务以后，人类是不是被商品化了？ 白惠天：我是一个坚定的人本主义者。把人“蒸馏”成一个skill是一件很“残忍”的事情。不过，每一代技术革命某种程度上都是取代了人类的一部分劳动。过去你必须要用腿走路，现在你可以驾驶马车、甚至汽车。但机器能否代替全部的人类能力呢？大概率不会，因为AI更多是通过输入大规模的数据训练参数，然后输出能力。而大语言模型要理解这个世界，就需要更大范围的上下文。怎么样去获得更多的上下文？这个能力其实还是人类所独有的。 人类的价值、意义是否会被抹杀？我觉得其实恰恰相反，AI有可能让我们从完成螺丝钉任务变成更加回归人的本身。关键在于多大时间尺度上？如果你是一名打字员，那当年打字机出来以后，对你的冲击短期内一定是最强烈而直接的。历史的变化可能就是这样，从局部开始慢慢扩散，并且不可逆转。 观察者网：我们该怎样去适应Token经济？ 白惠天：首先，拥抱变化与不确定性。我们上中学的时候，是查字典；上大学的时候使用卡西欧、文曲星等电子辞典；做博士研究的时候，我带着我的助研去档案馆，一页一页拍照片，用OCR识别数据。那今天再让我做同样的事情，可能我获取数据的方式就会发生变化了。我用AI First的思维，可以帮我去减少很多的试错成本。 重点在于，我们是把AI的回答当作理所当然的答案，还是把自己跟它视为教学相长的关系？所谓苏格拉底式的提问法，即你跟AI互动的时候，每一次你都让它多追问一个为什么，去追溯事情的本源。不同的AI互动方式给你的答案是大不一样的。 观察者网：现在Token的消耗量增长非常快，而整个实体经济的增长则相对缓慢，Token经济有没有泡沫？ 白惠天：新技术萌芽期是会有一些过度投资。这个事情其实不仅仅发生在Token层面上，过去在互联网时代，或者是在每一个我们认为有技术拐点的时代，可能都发生过。 相对于以往的泡沫经济，Token经济反而是跟实体经济的关联更紧密的经济形态。每一个单位的Token，都要通过一个很完整的、很重工业的制造流程才能生产出来。电力是基础，还要有数据中心、网络互联、高性能计算。再往后才是到模型层，去做模型的训练、模型的推理，输出的东西到达应用层。所以生产链条非常长。 微观的效率提升，需要通过多层的转化，才能转化为组织的利润增长。以记者为例，可能过去只写一篇，现在我能一天写五篇了。但是我给市场供给了五篇，市场能不能认可这个价值？从微观的效率提升，到中观的组织效率增长，再到国家GDP的增长，全要素生产率提高，每一层的转化势必都会有效率损失。 组织层面的变化总是滞后于技术变化，因为技术变化实在是太快了。很多大模型每天在迭代、刷榜，而我们的社会组织很难去匹配这种速度。正所谓“大模型一日，人间十年”。 标签- 本文仅代表作者个人观点。 - 责任编辑: 章步庭 - 最新闻 Hot