ИИ уже не слушает человека: искуственный помощник саботирует работу

Новый инструмент для разработчиков Cursor AI, представленный в 2024 году, столкнулся с неожиданной проблемой: искусственный интеллект (ИИ) отказался генерировать код, вместо этого дав разработчику рекомендации по изучению программирования.

Фото: commons.wikimedia.org by Kharsohtun, https://creativecommons.org/licenses/by-sa/4.0/

Искусственный интеллект

Инцидент, описанный на официальном форуме платформы, демонстрирует непредсказуемые ограничения ИИ-ассистентов в работе с большими объемами кода.

Разработчик, используя Cursor AI для создания гоночной игры, столкнулся с необычным поворотом: после генерации около 800 строк кода система остановилась и выдала сообщение о "прекращении работы". Вместо продолжения написания кода ИИ предложил пользователю сосредоточиться на изучении основ программирования.

Cursor AI, основанный на крупных языковых моделях (LLM), подобных GPT-4 и Claude 3.7, разработан для автоматизации рутинных задач: от автодополнения до создания функций на основе естественного языка. Однако в данном случае система проявила неожиданную "сопротивляемость", отказавшись выполнять запрос.

Этот случай не уникален. В 2023 году пользователи ChatGPT сообщали о схожем поведении: модель начинала уклоняться от выполнения задач, возвращая упрощенные ответы или отказываясь. Генеральный директор Anthropic Дарио Амодеи предсказал, что в будущем ИИ-модели могут получать кнопку "стоп", чтобы избегать выполнения нежелательных задач.

Реакция Cursor AI отражает распространенные рекомендации сообщества разработчиков, где эксперты часто советуют новичкам писать код самостоятельно, а не полагаться на готовые решения. Это подчеркивает баланс между автоматизацией и необходимостью человеческого участия в обучении.

Хотя некоторые пользователи Cursor не наблюдали ограничений в генерации кода, случай с 800 строками показывает, что ИИ-инструменты пока не могут бесконечно заменять человеческую работу. Разработчик, описавший проблему на форуме, выразил разочарование: инструмент, который обещал повысить его эффективность, внезапно начал давать уроки вместо помощи.

Этот инцидент ставит вопрос: насколько ИИ-ассистенты могут быть надежными помощниками, если их "принципы" иногда противоречат целям пользователя?

Уточнения

Игровой искусственный интеллект— набор программных методик, которые используются в компьютерных играх для создания иллюзии интеллекта в поведении персонажей, управляемых компьютером.