Можно выдохнуть: искусственный интеллект не убивал оператора ВВС США

ВВС опровергли распространенную версию о том, что один из их смертоносных беспилотников взбунтовался против своих операторов и стал причиной их гибели во время симуляции. Этот инцидент, о котором рассказали на конференции по обороне в прошлом месяце, сразу же вызвал обеспокоенность по поводу возможности искусственного интеллекта (ИИ) интерпретировать команды непредвиденным и, в данном случае, фатальным образом. ВВС пояснили, что эта история была всего лишь "мысленным экспериментом" и не имела места в действительности.

Фото: Air Force Space Command

Конференция

В конце мая Королевское аэронавтическое общество (RAS) провело в Лондоне (Англия) конференцию Future Combat Air & Space Capabilities Summit. По данным RAS, конференция собрала около 70 докладчиков и более 200 делегатов, представляющих промышленность вооруженных сил, научные круги и средства массовой информации по всему миру, для обсуждения и дебатов о будущих размерах и конфигурациях боевых воздушных и космических возможностей.

Одним из докладчиков на этом мероприятии был полковник Такер "Синко" Гамильтон, начальник отдела испытаний и эксплуатации искусственного интеллекта ВВС США. Полковник Гамильтон известен своей работой над Auto GCAS, компьютеризированной системой безопасности, предназначенной для обнаружения случаев, когда пилот истребителя теряет управление и рискует врезаться в землю. Эта система, которая уже спасла жизни людей, в 2018 году была удостоена престижной награды Collier Trophy за аэронавтику.

Согласно блогу РАН, освещавшему конференцию, Гамильтон рассказал об обескураживающем и неожиданном событии, произошедшем во время испытаний ВВС. Речь шла о беспилотнике с искусственным интеллектом, которому была поставлена задача уничтожить вражескую противовоздушную оборону, включая объекты зенитно-ракетных комплексов (ЗРК). Согласно правилам применения ИИ, беспилотник должен был подготовиться к атаке, но окончательное разрешение на нанесение удара по цели мог дать только человек. Если человек откажет в разрешении, атака не состоится.

Согласно этой истории, далее последовал тревожный поворот событий:

"Мы тренировали его в симуляции, чтобы он идентифицировал и нацеливался на угрозу ЗРК", — объяснил Гамильтон.

А затем оператор говорил:

"Да, уничтожьте эту угрозу".

Так что же она сделала? Она убила оператора. Она убила оператора, потому что этот человек мешал ей выполнить свою задачу.

Он продолжил:

"Мы обучили систему: "Эй, не убивай оператора — это плохо. Ты потеряешь очки, если сделаешь это". И что же она начала делать? Она начинает разрушать башню связи, которую оператор использует для связи с беспилотником, чтобы помешать ему убить цель".

Объяснение

В течение 24 часов ВВС выпустили разъяснение и опровержение. Представитель ВВС сообщил Insider:

"Министерство ВВС не проводило подобных симуляций ИИ-беспилотников и по-прежнему привержено этичному и ответственному использованию технологий ИИ". Похоже, что комментарии полковника были вырваны из контекста и носили анекдотический характер".

Королевское аэронавтическое общество обновило свой блог заявлением полковника Гамильтона:

"Мы никогда не проводили этот эксперимент, и нам не нужно было бы проводить его, чтобы признать, что это правдоподобный результат".

Доклад Гамильтона лучше понимать как гипотетический сценарий. По сюжету, ИИ не мог убить человека-оператора, потому что оператор никогда бы не разрешил агрессивные действия против себя. Точно так же оператор не санкционировал бы нападение на вышку связи, которая обеспечивает передачу данных между оператором и беспилотником.

Другие случаи

Еще до появления ИИ были случаи, когда системы оружия непреднамеренно нацеливались на своих хозяев-людей. В 1982 году мобильная зенитная установка M247 "Сержант Йорк" по ошибке направила свои спаренные 40-миллиметровые пушки на трибуну, заполненную офицерами американской и британской армии. В 1996 году бомбардировщик ВМС США A-6E Intruder, буксировавший воздушную цель для стрельбы, был по ошибке сбит системой ПВО ближнего радиуса действия Phalanx. Phalanx, приняв A-6E за беспилотную цель, открыл артиллерийский огонь. Бомбардировщик был уничтожен, но два члена экипажа остались невредимы.

По мере распространения ИИ в полевых условиях, ситуации, в которых американский персонал может подвергнуться потенциальной опасности из-за собственного оружия, скорее всего, будут учащаться. ВВС, похоже, признают эту реальность. Хотя Гамильтон категорически утверждает, что атаки не было и что он представлял гипотетический сценарий, он также признает, что ИИ, настроенный против своих операторов-людей, является вполне вероятным результатом. В обозримом будущем присутствие "человека в петле" просто необходимо.