阿里通义千问开源Qwen1.5-MoE-A2.7B模型

真实自我 03-29 179

默认

摘要： 悄无声息中三月又即将溜走年的月电视剧市场已经内卷了一波烈焰高燃热血花间令萌动灵气虎视眈眈的赵丽颖带着自己的新作与凤行碾压一众对手登顶收视率榜首月日消息通义千问团队推出了系列的首个模...

悄无声息中，三月又即将溜走。2024年的3月，电视剧市场已经内卷了一波，《烈焰》高燃热血，《花间令》萌动灵气，虎视眈眈的赵丽颖带着自己的新作《与凤行》碾压一众对手登顶收视率榜首。

3月29日消息:通义千问团队推出了 Qwen 系列的首个 MoE 模型，命名为。这个模型只有27亿个激活参数，但性能却与当前最先进的70亿参数模型相媲美。与 Qwen1.5-7B 相比，Qwen1.5-MoE-A2.7B 只有20亿个非嵌入参数，大约是原模型大小的三分之一。此外，相较于 Qwen1.5-7B，Qwen1.5-MoE-A2.7B 的了75%，推理速度提升了1.74倍。

Qwen1.5-MoE 模型采用了特别设计的 MoE 架构。与传统 MoE 方法不同的是，Qwen1.5-MoE 使用了64个 finegrained experts，并引入了新的 routing 机制 DeepSeek-MoE 和 DBRX。这种 finegrained experts 设计的目的是在不增加参数数量的情况下生成更多 expert。Qwen1.5-MoE 模型在训练成本和推理效率方面表现出色，性能接近最先进的7B 模型。

Qwen1.5-MoE-A2.7B 模型拥有14.3亿激活参数和2亿非嵌入参数，训练成本降低了75%。在实验中，使用单个 NVIDIA A100-80G GPU 测试时，Qwen1.5-MoE-A2.7B 的推理速度提高了约1.74倍。Qwen1.5-MoE 模型已在 ModelScope 社区开源，可直接*使用。

除了性能和效率，Qwen1.5-MoE 模型还将持续更新对第三方框架的支持，包括 llama.cpp、MLX 等。

总体来说，Qwen1.5-MoE 模型在性能、效率和推理速度方面取得了显著的优势，是推理训练的最佳实践之一。