Команда NVIDIA AI анонсировала OpenReasoning-Nemotron — семейство больших языковых моделей (LLM), оптимизированных для решения сложных задач в области математики, науки и программирования. Эта линейка включает версии с 1.5B, 7B, 14B и 32B параметрами, которые были дистиллированы из модели DeepSeek R1 0528 (671B), сохранив её высокий уровень логического мышления в более компактных и эффективных моделях.

Этот релиз укрепляет позиции NVIDIA как ключевого участника open-source-экосистемы LLM, предлагая модели с передовой производительностью, доступные для коммерческого использования и размещённые на платформе Hugging Face.

Архитектура и особенности моделей

Дистилляция на основе DeepSeek R1 0528 (671B)

Основу OpenReasoning-Nemotron составляет стратегия дистилляции, которая переносит способности к логическому мышлению из гигантской модели DeepSeek R1 (671B параметров) в более компактные архитектуры. В процессе упор делается на обобщение логических структур, а не просто предсказание токенов, что позволяет небольшим моделям эффективно справляться со сложными аналитическими задачами.

Обучающий набор данных сфокусирован на математике, естественных науках и программировании, что делает модели особенно полезными в этих областях.

Доступные варианты моделей

Все модели совместимы с архитектурой трансформеров, поддерживают квантование FP16/INT8 и оптимизированы для работы на GPU NVIDIA и фреймворке NeMo.

Результаты тестирования

Эти модели устанавливают новые рекорды pass@1 для своего класса в различных тестах на логическое мышление:

Все показатели приведены для pass@1 без использования GenSelect.

GenSelect (режим высокой нагрузки)

Применение Generative Selection с 64 кандидатами («GenSelect») дополнительно повышает производительность, особенно для 32B-версии:

• 32B демонстрирует: AIME24 89.2 → 93.3, AIME25 84.0 → 90.0, HMMT 73.8 → 96.7, LiveCodeBench 70.2 → 75.3.

Это подтверждает высокую эффективность моделей в сложных сценариях.

Данные обучения и специализация

Обучающий набор представляет собой тщательно отобранное подмножество данных DeepSeek R1 0528. Ключевые особенности:

• Высококачественные данные по математике, науке и компьютерным дисциплинам.
• Тонкая настройка с продуманными промптами для улучшения многошаговых рассуждений.
• Акцент на логическую согласованность, соблюдение ограничений и символьные вычисления.

Такой подход обеспечивает высокую эффективность в реальных задачах, встречающихся в академической и прикладной сфере.

Открытость и интеграция

Все четыре модели OpenReasoning-Nemotron выпущены под открытой лицензией, с доступными картами моделей, скриптами оценки и весами для вывода на Hugging Face:

• OpenReasoning-Nemotron-1.5B
• OpenReasoning-Nemotron-7B
• OpenReasoning-Nemotron-14B
• OpenReasoning-Nemotron-32B

Модели совместимы с фреймворком NVIDIA NeMo, а также поддерживают TensorRT-LLM, ONNX и Hugging Face Transformers, что упрощает их внедрение в производственные и исследовательские проекты.

Основные сценарии использования

• Математические репетиторы и решатели теорем
• Научные QA-системы и медицинская диагностика
• Генерация и отладка кода
• Многоэтапные вопросы с цепочкой рассуждений
• Создание синтетических данных для структурированных областей

Заключение

OpenReasoning-Nemotron от NVIDIA предлагает практичный open-source-подход к масштабированию логического мышления без затрат на сверхмощные вычисления. Благодаря дистилляции из 671B DeepSeek R1 и фокусировке на ключевых областях, эти модели обеспечивают оптимальный баланс точности, эффективности и доступности.

Для разработчиков, исследователей и компаний, работающих над логически сложными задачами, OpenReasoning-Nemotron представляет мощную основу — без компромиссов, характерных для проприетарных или излишне обобщённых моделей.