DBRX抢占开源大模型王座 编程_数学等领域超越GPT-3.5

摘要： 最近农夫山泉站上舆论风口浪尖某短*平台接连给我推送了好几个类似*农夫山泉再陷新争议大概内容是说农夫山泉旗下的茶名称和包装图案源自靖国神社中的某些图案标志农夫山泉旗下的东方树叶瓶包装...

最近，农夫山泉站上舆论风口浪尖。某短*平台，接连给我推送了好几个类似*。#农夫山泉再陷新争议#大概内容是说：农夫山泉旗下的“茶π”名称和包装图案，源自靖国神社中的某些图案标志；农夫山泉旗下的“东方树叶”瓶包装与设计灵感来自日本寺庙；“东方树叶”红茶包装上的战马是日本德川时代将士战马。

要点:

成为开源大模型领域新标杆:Databricks发布1320亿参数的DBRX，基础和微调版本均开源，在语言理解、编程、数学等领域超越了GPT-3.5，并且与Gemini1.0Pro和Mistral Medium相媲美。

DBRX性能优异:DBRX在综合基准、编程和数学等方面表现出色，超越了GPT-3.5，并且与闭源模型Gemini1.0Pro和Mistral Medium具有竞争力，展现了强大的语言理解和推理能力。

训练效率高:DBRX模型使用混合专家模型架构，有效提高了训练的计算效率，为开源社区提供了更多可能性，并成为开源大模型领域的新里程碑。

3月28日 消息:最新开源大语言模型DBRX以其惊人的1320亿参数量成为业界新宠。该模型不仅在语言理解、编程和数学等方面超越了业内领先的开源模型，还在效率上有所突破。DBRX的基础和微调版本均已发布，为研究和商业应用提供了丰富的资源。

GitHub 链接：

基础版:https://huggingface.co/databricks/dbrx-base

微调版:https://huggingface.co/databricks/dbrx-instruct

DBRX采用基于Transformer的仅解码器大语言模型，使用细粒度的专家混合架构，共有1320亿参数。相比其他开源MoE模型，如Mixtral和Grok-1，DBRX更细粒度，使用更多数量的小型专家模型。它使用了旋转位置编码、门控线性单元和分组查询注意力等技术来提高模型质量，并采用了tiktoken存储库提供的GPT-4分词器。DBRX的高效率也是其优势之一，平均只需激活360亿参数即可处理token，推理速度几乎比LLaMA2-70B快两倍。

与此同时，DBRX的推理速度也有了显著提升，在Mosaic AI Model Serving上每秒可达150个token，大大提高了处理效率。这一新模型的出现引发了开发者和媒体的热烈讨论，被誉为开源AI模型领域的新标杆。

DBRX在综合基准测试中表现突出，尤其在编程和数学方面显示出强大的能力。与GPT-3.5相比，DBRX在人类评估和数学推理等方面更胜一筹，同时与Gemini1.0Pro和Mistral Medium等闭源模型相媲美。DBRX的出现不仅提高了开源社区的水平，也为商业应用带来了更多可能性。同时，DBRX还在训练效率方面有所突破，有效提高了混合专家模型的计算效率，为更广泛的应用场景带来了希望。

总的来说，DBRX的问世为开源大模型领域注入了新的活力，展现了令人瞩目的性能和效率。随着其在各项基准测试中的优异表现，DBRX有望成为未来开源大模型发展的重要里程碑，为人工智能领域的进步贡献力量。