广发基金李耀柱：超节点是万亿参数大模型时代的必然趋势，系统级优化蕴含投资机会 - Sohu

广发基金李耀柱：超节点是万亿参数大模型时代的必然趋势，系统级优化蕴含投资机会

来源：新浪基金

9月16日，由新浪财经主办的AI投资峰会在北京举行，主题为“AI基建时代的确定性机会”，广发基金权益投资总监、国际业务部总经理李耀柱出席并参与圆桌讨论。

李耀柱认为，超节点是伴随着下游大模型从千亿向万亿参数演进的一个必然发展趋势，其核心驱动力来自模型架构本身的变化。

超节点的系统集成角色涉及多个层面

对于超节点对AI基建的影响究竟是什么、谁有机会成为这一轮超节点的新赢家，李耀柱表示：“首先为什么我们要讲超节点？最核心的原因是因为模型架构的变化。现在用的是混合专家架构，有N个专家在不同的芯片上面落地。所以这里面就涉及到专家之间通信问题，特别是在进行架构推进过程中，可以看到，国内我们同时有海外的卡，有国产的卡，不同卡之间HBM不一样、算力不一样。同时，我们用MOE架构在进行推进过程中，单卡算力虽然非常强，但是它的瓶颈在通信、在存储。所以在这个过程中，超节点在里面起到的作用是，怎么样有效地通过系统化的方式去解决整体这个卡在训练端或者在推理端效率的问题。所以它更像是一个系统集成的角色。”