10月17日消息,今天,NVIDIA悄然开源了名为Nemotron-70B的AI模型。
这款模型一经发布便在多个基准测试中超越了包括OpenAI的GPT-4和Anthropic的Claude 3.5 Sonnet在内的140多个开闭源模型,仅次于OpenAI的最新模型o1。
对此AI社区惊呼,新的开源王者又来了?业内更是表示,用Llama 3.1训出小模型吊打GPT-4o,简直是神来之笔。
从命名上可以看出,Nemotron-70B基于Llama-3.1-70B开发,在没有专门提示和额外推理token的情况下,Nemotron-70B也能答对复杂的推理问题,如“草莓有几个r”的经典难题。
业内人士评价,NVIDIA在Llama 3.1基础上训练出的这个不太大模型,能够超越GPT-4o和Claude 3.5 Sonnet,是一次技术上的飞跃。
目前,Llama-3.1-Nemotron-70B-Instruct已经可以在线体验。
此外,英伟达还开源了Nemotron的训练数据集 HelpSteer2,包括如下:
构建了21362个提示响应,使模型更符合人类偏好,也更有帮助、更符合事实、更连贯,并且可以根据复杂度和详细度进行定制;
构建了20324个用于训练的提示响应,1038个用于验证。
百度分享代码,如果开启HTTPS请参考李洋个人博客