月之暗面发布新一代基座模型Kimi K2,该模型采用MoE架构,总参数达1万亿,激活参数为320亿。Kimi K2包含基础模型Kimi-K2-Base和后训练模型Kimi-K2-Instruct两个版本,在编程、工具调用和数学推理等评测中表现优异。
Kimi K2展示了强大的智能体能力,能够自主完成复杂任务规划。官方演示案例显示,该模型可通过17次工具调用完成演唱会行程规划。月之暗面表示,Kimi K2是构建通用Agent能力的坚实基础,未来将加入思考和视觉理解等高级能力。
Kimi K2是国内首个开源的万亿参数级别模型,采用自主创新的Muon优化器,在token利用效率上表现优异。团队还开发了MuonClip技术解决训练稳定性问题,顺利完成15.5万亿tokens的预训练。
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/223073.html