Ученые обнаружили: почему современные модели ChatGPT теряют точность

По последним исследованиям, ученые из Стэнфордского и Калифорнийского университетов в Беркли обнаружили, что последние модели ChatGPT, используемые в чат-боте OpenAI, становятся менее точными и не могут давать правильные ответы на повторяющиеся вопросы в течение нескольких месяцев.

Причина снижения способностей чат-бота остается неясной.

В ходе исследования проводились эксперименты, в которых проверялись различные модели ChatGPT, включая ChatGPT-3.5 и ChatGPT-4. Ученым предлагались математические вопросы, требующие написания кода, а также более деликатные вопросы. Результаты показали, что точность модели ChatGPT-4 в определении простых чисел снизилась с 97,6% в марте до 2,4% в июне.

В то же время, модель ChatGPT-3.5 улучшила свои результаты в данном тесте. Было также обнаружено, что обе модели стали хуже идентифицировать новый код в период с марта по июнь. Ответы чат-бота на более деликатные вопросы стали менее информативными или вовсе отсутствовали. В отличие от предыдущих версий, которые объясняли причины, почему они не могут ответить на некоторые вопросы, новые модели предлагают извинения и отказ от ответа.

Ученые рекомендуют пользователям и компаниям, использующим чат-ботов, следить за актуальностью их моделей и, при необходимости, внедрять мониторинговые инструменты для обеспечения надежности работы чат-ботов.

Представители OpenAI отрицают намеренное ухудшение в работе нейросети.