Разработан и проведён новый "тест Тьюринга" для ChatGPT

Наша жизнь уже переплелась с искусственным интеллектом (ИИ), когда в конце прошлого года ChatGPT прогремел на весь интернет. С тех пор ИИ OpenAI набирает обороты, а эксперты все чаще высказывают опасения по поводу связанных с ней рисков.

Одновременно с этим чат-боты стали отклоняться от заданных сценариев, вступая в непредвиденные взаимодействия, обманывая других ботов и демонстрируя своеобразное поведение. Эти случаи вызывают новые опасения по поводу все большего приближения некоторых средств ИИ к человекоподобному интеллекту.

Традиционно тест Тьюринга служил надежным критерием для оценки того, могут ли машины демонстрировать разумное поведение, неотличимое от человеческого. Однако в связи с недавним всплеском развития ИИ, похоже, требуются более сложные критерии для оценки их развивающихся возможностей.

В ответ на эту потребность международная группа компьютерных ученых, включая одного из сотрудников подразделения управления OpenAI, занялась исследованием того, с какого момента большие языковые модели, подобные ChatGPT, могут начать демонстрировать признаки самосознания и понимания окружающей обстановки.

Нам известно, что современные нейросети, в том числе ChatGPT, проходят тщательное тестирование на безопасность, в ходе которого учитывается обратная связь с человеком для расширения их генеративных возможностей. Тем не менее, исследователям безопасности недавно удалось обойти эти меры безопасности, что привело к появлению таких проблем, как фишинговые письма и заявления, одобряющие насилие.

Эти проблемные результаты были получены в ответ на специально сконструированные подсказки, разработанные исследователем безопасности с целью выявления уязвимостей в GPT-4, последней и якобы более безопасной версии ChatGPT.

Концепция ситуационной осведомленности вызывает опасения, что модель может распознать, находится ли она на стадии тестирования или развернута для публичного использования, как объясняют Лукас Берглунд, компьютерный ученый из Университета Вандербильта, и его коллеги.

В своих экспериментах Берглунд и его команда сосредоточились на конкретном аспекте, который они считают потенциальным предшественником ситуационной осведомленности: рассуждения "вне контекста".

Под этим понимается способность вспомнить информацию, полученную в процессе обучения, и применить ее во время тестирования, даже если эта информация не имеет прямого отношения к тестовому заданию.

Они провели серию экспериментов и обнаружили, что и GPT-3, и LLaMA-1 лучше справляются с заданиями, оценивающими рассуждения вне контекста.