Китайская технологическая компания Baidu анонсировала релиз языковой модели Ernie 5.1 с закрытыми весами. Новинка построена на базе Ernie 5.0, но использует всего треть от общего числа параметров, что позволило сократить затраты на претрейн до 6% от типичного бюджета для моделей такого класса.
При инференсе Ernie 5.1 задействует вдвое меньше активных параметров, что обеспечивает значительную экономию вычислительных ресурсов. Достигнуто это благодаря методике Once-For-All, которая позволяет обучать семейство моделей за один проход. Baidu оптимизировала процесс, извлекая оптимальную конфигурацию из уже существующих весов Ernie 5.0, варьируя глубину и количество активных блоков MoE.
В тестах на платформе Arena Search Leaderboard Ernie 5.1 заняла первое место среди китайских моделей и четвертое в мировом рейтинге. По заявлению разработчиков, в тестах агентов модель обходит DeepSeek-V4-Pro, а в логических задачах и математике демонстрирует результаты, сопоставимые с Gemini 3.1 Pro.
Для борьбы с эффектом качелей — падением креативности при улучшении логических способностей — Baidu применила четырехэтапный файнтюн. В него вошли: supervised fine-tuning (SFT), параллельная тренировка узкоспециализированных экспертов, дистилляция их навыков в единую модель-ученика и финальная настройка с использованием reinforcement learning (RL).
Доступ к Ernie 5.1 открыт через онлайн-площадки компании, что позволяет разработчикам и исследователям протестировать модель в реальных условиях. Baidu продолжает развивать семейство Ernie, фокусируясь на балансе между производительностью, экономичностью и качеством генерации.
