英伟达推出NeMo，极大简化自定义生成式AI开发

摘要： 北京时间月日凌晨欧冠决赛次回合再赛场两大夺冠热门曼城和皇马分别淘汰各自对手跻身强自此本赛季欧冠强已经确定个席位分别是巴黎圣日耳曼皇马曼城和拜仁慕尼黑声明本文来自于微信公众号开放社区...

北京时间3月7日凌晨，欧冠1/8决赛次回合再赛2场，两大夺冠热门曼城和皇马，分别淘汰各自对手跻身8强。自此，本赛季欧冠8强已经确定4个席位，分别是巴黎圣日耳曼、皇马、曼城和拜仁慕尼黑。

声明:本文来自于微信公众号 AIGC开放社区（ID:AIGCOPEN），作者:AIGC开放社区，授权 转载发布。

为了帮助全球开发者、企业更好的开发定制大模型和产品，例如，聊天机器人、编程代码助手等。

NVIDIA宣布推出了 Curator、NeMo Customizer和NeMo Evaluator等微服务的早期访问计划。这些微服务涵盖了从数据整理、定制到评估的所有开发阶段，简化了用户构建自定义生成式AI模型的流程。

体验地址:https://developer.nvidia.com/nemo-microservices

NVIDIA NeMo是一个端到端的平台，可用于在任何地方开发定制的生成式AI，包括用于训练、微调、检索增强生成、防护栏、数据策划和预训练模型的工具。它在技术堆栈的各个层面提供服务，从框架到高级API端点。

作为NVIDIA CUDA-X微服务的一部分，NeMo API端点是建立在NVIDIA库之上的，为企业提供了一个简单的路径，可以开始构建定制的生成式AI。

在早期访问计划中，开发人员可以请求访问NeMo Curator、NeMo Customizer和NeMo Evaluator微服务。这些微服务共同使企业能够构建企业级定制生成式人工智能，并更快地将解决方案推向市场。

NeMo Curator微服务帮助开发人员筛选数据进行预训练和微调，而NeMo Customizer则实现微调和对齐。最后，借助NeMo Evaluator，开发人员可以评估这些模型与学术或自定义基准的对比情况，并确定改进的方向。

NeMo Curator是一种可扩展且支持GPU加速的数据整理微服务，用于为预训练和定制生成式AI模型准备高质量数据集。Curator简化了数据整理任务，如数据*、文本提取、清洗、质量过滤、精确/模糊去重以及多语言下游任务净化。

NeMo Customizer是一个高性能、可扩展的微服务，简化了特定领域用例的大语言模型的微调和对齐。该微服务支持两种流行的参数高效微调技术LoRA和p-tuning。

此外，为了帮助开发者评估定制大模型，英伟达NeMo Evaluator（评估器）可自动评估各种学术和定制基准上的定制生成式AI模型，适用于任何云或数据中心。

NeMo Evaluator支持通过一组选定的学术基准进行自动评估，包括超越模仿游戏基准（BIG-Bench）、多语言、大型代码评估工具和毒性。

支持对自定义数据集进行评估，NeMoEvaluator提供的指标包括准确率、召回率导向的摘要评估（ROUGE）、F1和精确匹配。还可以利用大语言模型作为评判标准，对模型响应进行全面评估。

开发人员通过使用 NVIDIA API 目录中支持的任何 NVIDIA NIM 支持的大语言模型来评估 MT-Bench 数据集上的模型性能。