NVIDIA объявила о выпуске Nemotron 3 Ultra — крупнейшей на сегодняшний день открытой модели семейства Nemotron, специально спроектированной для управления сложными многошаговыми процессами в корпоративных ИИ-агентах. Архитектура Mixture-of-Experts (MoE) с общим объемом в 550 миллиардов параметров позволяет модели эффективно обрабатывать долговременные задачи, минимизируя риск дрейфа целей на протяженных рабочих процессах.
Ключевая инновация заключается в динамической активации только 55 миллиардов весов во время инференса, что существенно снижает вычислительные затраты при сохранении высокой точности. Такая оптимизация особенно актуальна для задач, требующих длительного контекста — например, при написании сложного кода, архитектурной верификации чипов или анализе масштабных исследовательских данных.
Архитектура модели сочетает в себе слои Mamba для эффективного масштабирования контекстного окна и блоки внимания Transformer для точного извлечения фактов из памяти. Это позволяет Nemotron 3 Ultra обрабатывать как короткие, так и протяженные последовательности с одинаковой эффективностью. Дополнительно, использование формата точности NVFP4 обеспечивает совместимость с графическими процессорами семейств Hopper, Blackwell и Ampere, при этом на микроархитектуре Blackwell пропускная способность возрастает до пятикратного увеличения по сравнению с форматом BF16.
Особое внимание разработчики уделили скорости генерации ответов: внедрение механизма предсказания нескольких токенов за один прямой проход (multi-token prediction) ускоряет авторегрессионные процессы, критически важные для многошаговых рабочих процессов. Например, при анализе больших кодовых баз или моделировании сложных физических систем. Базовый датасет модели включает 10 триллионов токенов, дополненных 212 миллиардами специализированных токенов для предметно-ориентированных задач. Алгоритм LatentMoE обеспечивает более эффективную маршрутизацию токенов к внутренним экспертам, что улучшает качество генерации в узких доменах — от биоинформатики до финансового моделирования.
Для обеспечения безопасности экосистема Nemotron 3 Ultra включает изолированную среду выполнения NVIDIA OpenShell, которая гарантирует полную изоляцию автономных агентов и сгенерированного ими кода от основной инфраструктуры. Управление оркестрацией процессов возложено на Hermes Agent, а связь всех компонентов в единый контур осуществляется через открытую платформу NemoClaw.
Дополнительно, экосистема расширена двумя специализированными моделями: Nemotron 3.5 Content Safety (4 млрд параметров) для мультимодальной модерации запросов и результатов, а также Nemotron 3.5 ASR для потокового распознавания аудиоданных с задержкой инференса менее 100 миллисекунд. Все веса и обучающие наборы распространяются под лицензией OpenMDW-1.1 от Linux Foundation, что делает решение доступным для академических и коммерческих проектов.
Эксперты отмечают, что Nemotron 3 Ultra может стать ключевым инструментом для разработки автономных систем нового поколения, способных работать в условиях неопределенности и требовать минимального ручного вмешательства. Особенно актуально это для отраслей, где критически важна стабильность и предсказуемость — например, в энергетике, логистике или высокотехнологичном производстве.
