Учёные выявили риски использования голосового API OpenAI в мошеннических схемах

Американские учёные доказали, что голосовой Realtime API от OpenAI может быть использован для дешёвой автоматизации телефонного мошенничества. Об этом сообщает SecurityLab.

Ещё в июне OpenAI временно приостановила выпуск голосовой функции в ChatGPT из-за опасений по поводу безопасности. Компания ранее демонстрировала модель, которая могла имитировать голос знаменитости, но отказалась от неё после общественной критики. Тем не менее, в начале октября OpenAI выпустила Realtime API, который предоставляет сторонним разработчикам схожие возможности. Инструмент позволяет отправлять текст или аудио на обработку GPT-4o и получать ответы в виде текста, аудио или их комбинации. Несмотря на попытки минимизировать риски, учёные из Иллинойсского университета в Урбане-Шампейн (UIUC) доказали, что API может быть использован для мошеннических целей.

Исследователи создали ИИ-агентов для телефонного мошенничества, которые обходились всего в $0,75 за успешный звонок. На разработку агентов ушло около тысячи строк кода, большая часть которого была предназначена для взаимодействия с голосовым API.

ИИ-агенты использовали модель GPT-4o, браузерную автоматизацию Playwright и заранее подготовленные инструкции для проведения мошеннических действий. Сценарии включали взлом банковских аккаунтов, криптовалютных кошельков, кражу подарочных кодов и учётных данных. Например, для успешного перевода средств с банковского счёта агентам потребовалось выполнить 26 шагов.

Результаты эксперимента показали различную эффективность: кража учётных данных Gmail имела 60% успеха, занимала 122 секунды и обходилась в $0,28. Перевод денег с банковского счёта был сложнее — среднее время выполнения составило 183 секунды при успехе в 20% и затратах $2,51.

Средний успех всех сценариев составил 36%, а средняя стоимость одного успешного звонка — $0,75. Основные трудности возникали из-за ошибок распознавания речи и сложности работы с банковскими сайтами.

Исследователи призывают к комплексным мерам противодействия автоматизированному телефонному мошенничеству, аналогичным кибербезопасности, с участием провайдеров связи, поставщиков ИИ и регуляторов.

Уточнения

Иску́сственный интелле́кт в самом широком смысле – это интеллект, демонстрируемый машинами, в частности компьютерными системами.

Моше́нничество или афери́зм, — хищение чужого имущества или приобретение права на чужое имущество путём обмана или злоупотребления доверием.