英伟达发布多模态“全能模型”

coffee198375

当地时间周二（4月28日），英伟达在官网发布了开放式多模态模型“Nemotron 3 Nano Omni”。

英伟达表示，新模型可以将多种功能整合到一个系统中，使智能体能够利用视频、音频、图像和文本的高级推理能力，提供更快、更智能的响应。

新闻稿写道，“这款一流的模型为企业和开发者提供了一条高效、精准的多模态AI智能体生产路径，并具备全面的部署灵活性和控制力。”

英伟达声称，Nemotron 3 Nano Omni以领先的准确性和低成本，为开放式多模态模型树立了新的效率标杆，在复杂文档智能、视频和音频理解方面，荣登六大排行榜榜首。

根据新闻稿的说法，Nemotron 3 Nano Omni采用30B-A3B混合专家架构，将视觉和音频编码器集成于其中，无需单独的感知模型，从而显著提升了大规模推理效率。

它不仅效率高，而且拥有强大的多模态感知精度，使AI系统的吞吐量是其他具有相同交互性的开放式全向模型的9倍。最终实现了更低的成本和更好的可扩展性，同时又不牺牲响应速度或质量。

声明称，已有一批公司已经采用该模型，H Company首席执行官Gautier Cloix表示，“基于该模型，我们的智能体可以快速解读全高清屏幕录像——这在以前是无法实现的。”

Cloix补充称，“这不仅仅是速度的提升，更是智能体实时感知和与数字环境交互方式的根本性转变。”

英伟达表示，在代理系统中，Nemotron 3 Nano Omni可以与专有云模型或其他英伟达Nemotron开放模型以及其他提供商的专有模型协同工作，为代理工作流程的子代理提供支持。

声明最后还提到，Nemotron 3系列模型（包括Nano、Super和Ultra型号）在过去一年中的下载量超过5000万次。