资讯

彩云科技:AI团队两次刷新大模型训练速度世界纪录,相关代码已并入官方开源仓库

36氪快讯·2026/9/11 08:31:04🔗 原文

📋总体概括

彩云科技基础模型算法团队在全球开源竞速项目NanoGPT Speedrun中连续两次刷新大模型训练速度世界纪录,将达标训练时间压缩至1分16秒,相关代码已并入官方开源仓库。两项纪录基于其原创架构创新DCMHA(动态组合多头注意力)与MUDD(多路动态稠密连接),分别于2024年、2025年发表于ICML并入选口头报告,显示其在模型架构底层研发上的硬实力。

关键信息

  • 彩云科技在NanoGPT Speedrun竞速项目中连续两次刷新训练速度世界纪录
  • 达标训练时间被压缩至1分16秒,相关代码已并入官方开源仓库
  • 纪录背后的DCMHA与MUDD为团队原创架构创新,属底层技术而非调参
  • 两项创新分别于2024年、2025年发表于ICML并均入选口头报告

🔥犀利点评

这个竞速项目本质是算法优化的极限测试,但连续破纪录且代码并入官方仓库,含金量远超一般PR稿。值得肯定的是创新点在架构层,不是常见的数据工程调优糊弄。不过1分16秒的小模型训练速度与大模型商业化落地之间隔着天堑,彩云更需要证明DCMHA和MUDD在千亿级参数上同样有效,否则这更像学术声誉的漂亮战绩,而非商业护城河。

本文由本站自动聚合,以下为原始来源:前往 36氪快讯 阅读全文