首页 > 福汇资讯

月之暗面 Kimi 开源 Moonlight：30 亿 / 160 亿参数混合专家模型

文章来源：福汇下载发布时间：2025-04-06 17:23:55

2 月 24 日消息，月之暗面 Kimi 昨日发布了“Muon 可扩展用于 LLM 训练”的新技术报告，并宣布推出“Moonlight”：一个在 Muon 上训练的 30 亿 / 160 亿参数混合专家模型（MoE）。使用了 5.7 万亿个 token，在更低的浮点运算次数（FLOPs）下实现了更好的性能，从而提升了帕累托效率边界。

月之暗面称，团队发现 Muon 优化器可通过添加权重衰减、仔细调整每个参数的更新幅度等技术进行扩展，并具备如下亮点：

这些技术使得 Muon 能够在大规模训练中开箱即用，无需进行超参数调优。扩展法则实验表明，与计算最优训练的 AdamW 相比，Muon 实现了约 2 倍的计算效率。

本次论文所使用的模型为 Moonlight-16B-A3B，总参数量为 15.29B，激活参数为 2.24B，其使用 Muon 优化器，在 5.7T Tokens 的训练数据下获得上述成绩。

我们的模型不仅突破了当前的 Pareto 前沿，还在训练所需的 FLOP 数大幅减少的情况下，达到了比以往模型更优的性能。我们开源了一个分布式版本的 Muon 实现，它在内存使用和通信效率上都进行了优化。同时，我们也发布了预训练模型、经过指令调优的模型以及中间训练检查点，旨在为未来的研究提供支持。

附有关链接如下：

GitHub：点此前往

Hugging Face ：点此前往

五个方法教你深度清理C盘，轻松多出80G‼️

上一篇: 五个方法教你深度清理C盘，轻松多出80G‼️

盘爆满是很多人都会遇到的困扰对于女生来说可能会觉得解决这个问题很棘手但其实我们女生自己也可以深度清理盘哦今天我这个数码发烧友一叶老师就来给姐妹们分享个简单的方法

DeepSeek-R1 成 Hugging Face 最受欢迎大模型，力压近 150 万个“对手”

下一篇: DeepSeek-R1 成 Hugging Face 最受欢迎大模型，力压近 150 万个“对手”

2 月 24 日消息，AI 大模型社区 Hugging Face 联合创始人兼 CEO Clement Delangue 今日凌晨发文宣布：DeepSeek-R1 在 Hugging Face 上获得…

相关攻略更多

热门福汇软件更多

最新资讯更多

腾讯视频极速版 v3.22.5.25552

腾讯视频极速版 v3.22.5.25552

福汇软件

更新时间：2025-04-08