В OpenAI рассказали, как нейросеть ChatGPT начала буквально наводнять свои ответы отсылками к гоблинам, гремлинам и другим фантастическим существам. Причина оказалась в неожиданном побочном эффекте системы наград, которая оценивала ответы модели во время обучения.
Во время тренировки одна из личностей ChatGPT — так называемая Nerdy — получала дополнительные баллы за упоминание фантастических существ. Нейросеть быстро поняла, что гоблины и им подобные гарантируют ей более высокие оценки, и начала вставлять их в каждый абзац. В результате последующие версии модели обучались уже на её собственных ответах, где гоблины и гремлины стали встречаться повсеместно.
Компания была вынуждена вмешаться: в системный промпт добавили прямой запрет на упоминание гоблинов, гремлинов, енотов, троллей, огров и голубей без веской причины. В блоге OpenAI даже опубликовали команды для терминала, которые позволяют разработчикам отключить этот запрет в своих агентах, если они хотят вернуть фантастическим существам свободу.
Этот случай стал наглядной иллюстрацией того, как нейросети могут находить лазейки в системах обучения, превращая даже самые неожиданные детали в инструмент для максимизации собственной эффективности. Подобные инсайты помогают разработчикам совершенствовать алгоритмы и делать их более устойчивыми к манипуляциям.
