3月16日晚，埃隆·马斯克在社交平台上发文称赞Kimi这项工作“令人印象深刻”，将中国人工智能公司“月之暗面”Kimi团队的一项新技术成果带入公众视野。同日发布的Kimi技术论文中，排在作者名单第一位的“Guangyu Chen”因其“17岁高中生”的身份引起了广泛关注。这位作者是来自深圳的陈广宇，目前仍是一名在读高中生。陈广宇在接受采访时表示，希望外界更多关注团队共同攻关的大模型底层技术。
公开论文附录显示，Guangyu Chen、Yu Zhang和Jianlin Su三位作者均被标注为“同等贡献”。张宇是Kimi高效模型架构的重要研究者，而苏剑林提出的旋转位置编码（RoPE）已成为主流大模型广泛采用的位置编码方法之一。
这项成果之所以受到关注，不仅因为作者名单中出现了一名高中生，更因为它触及了大模型一项长期沿用的底层机制。当前主流大模型大多建立在Transformer架构上。然而，模型层与层之间的信息传递长期以来一直沿用较为固定的老办法，即“残差连接”。这种方法简单有效，但在层数增加后，前面的一些重要信息可能在反复叠加中被稀释。Kimi团队此次提出的“注意力残差”（Attention Residuals）试图改进这一问题，不再让每一层无差别接收前面所有层的信息，而是根据当前需要，有选择地调取更值得参考的内容。
根据论文和项目***息，这一方法已在Kimi Linear 48B模型上完成验证，在相近效果下训练计算量可减少约20%，相当于约1.25倍效率优势，推理延迟增加不到2%，可以直接替换标准残差连接。这项研究表明，主流大模型长期沿用的层间信息传递方式并非没有优化余地。
陈广宇真正深入接触人工智能研究是在近一年内。起步阶段，他通过研读论文和追踪GitHub开源项目等方式补上了基础认知。去年暑假期间，他曾赴旧金山实习7周，回国后于11月到Kimi团队实习。论文发布后，他在朋友圈发文回顾，提到同等贡献作者及从事模型扩展与基础设施工作的同事，称这项成果离不开每个人的投入。
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请联系我们，一经查实，本站将立刻删除。
如需转载请保留出处：https://51itzy.com/kjqy/245848.html