【CNMO科技消息】近日，在特斯拉CEO埃隆·马斯克公开点赞中国AI公司Kimi的最新研究成果后，Kimi官方账号于3月17日以幽默口吻回应：“你的火箭造得也不错！”
据CNMO了解，事件的起因是3月16日，月之暗面（Kimi）发布了一项关于大模型基础架构的研究，提出“Attention Residuals”（注意力残差）机制，对深度学习中沿用近十年的残差连接进行了重新设计。传统残差连接采用固定、均匀的累加方式，而Kimi的新方法让每一层能够选择性地关注此前各层的输出，从而提升训练效率。据Kimi官方披露，在48B参数的模型上，该机制使训练效率提升了1.25倍。
该研究迅速引起了学界和业界关注。马斯克在社交平台X上转发并评论：“Impressive work from Kimi”（Kimi这项研究干得漂亮）。随后，前OpenAI研究科学家Andrej Karpathy也发文称，该研究真正践行了“Attention is All You Need”的理念；被誉为“推理模型之父”的前OpenAI研究副总裁Jerry Tworek更是直言“深度学习2.0来了”。这些来自全球顶尖AI专家的认可，凸显了Kimi此次技术突破的分量。
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请联系我们，一经查实，本站将立刻删除。
如需转载请保留出处：https://51itzy.com/kjqy/241201.html