Может ли выйти из-под контроля искусственный интеллект, применяемый в военном деле?

Искусственный интеллект (ИИ) всё активнее используется в военном деле. Насколько это опасно, может ли ИИ выйти из-под контроля и начать уничтожать своих разработчиков, а также о том, почему при обучении искусственного интеллекта люди зачастую опираются на ошибочную информацию, Pravda.Ru рассказал директор группы компаний DZ Systems Дмитрий Завалишин.

Фото: DARPA Decript by Decript.co

— Дмитрий Константинович, сейчас в сфере военных технологий красная кнопка находится в руках людей. Предположим, мы отдали все полномочия в принятии военных решений искусственному интеллекту. Это может привести к тому, что алгоритм посчитает, что лучший способ защиты — это нападение, и первым нанесёт удар?

— К сожалению, эта опасность существует. Машина работает с набором критериев, которые мы ей формируем. Эти критерии в случае военной ситуации очень прямолинейны. Мы идём убивать, и красивые слова про "не трогай человека" не могут быть учтены. В силу этого машина находится в открытой модели: мы не поставили для неё никаких блокеров на тему того, что можно, а что нельзя.

И дальше возникает ещё один вопрос. Машина принимает решения, оценивая множество параметров и множество вариантов решений. Эта оценка опирается на очень широкий информационный спектр.

Давайте посмотрим на сегодняшнее противостояние Российской Федерации и Штатов. Даже серьёзные и образованные люди в США плохо понимают, как мы устроены.

Попытка санкционным давлением уничтожить экономику России, которая привела к росту экономики, показывает неадекватность представлений о нас даже профессионалов, которые этим занимаются. Они были ошарашены, настолько это не вписывалось в их ожидания. И это люди, которые живут тем, что анализируют нас. Даже они плохо нас знают. Что уж говорить про ситуацию, в которой мы запустим искусственный интеллект и он попробует собирать общую информацию. Он будет опираться на их мнения? Он обязан. Достоверны их мнения? Очень спорно. Результат какой будет? Как говорят программисты, garbage in — garbage out (мусор на входе — мусор на выходе).

— Может случиться, что искусственный интеллект, запустив военную модель решения конфликта, настолько будет самообучаться, что в конце концов начнёт уничтожать своих хозяев, потому что посчитает их тоже помехой?

— Есть старый классический рассказ "Страж-птица", в котором эта ситуация детально прорабатывается.

Давайте попробуем быть оптимистами и сформулируем два утверждения. Одно утверждение находится на уровне самого ИИ: он должен иметь модель оценки "свой/чужой". Она может опираться на географию: те, кто находится по эту сторону линии, — свои, а по ту сторону — чужие.

Вторая часть: хочется надеяться, что военные, которые давно этим занимаются, знают о понятии "свой/чужой", анализаторы "свой/чужой" встроены в оружие и есть шанс, что на этом уровне блокер сработает. Выстраивать блоки вокруг того, что генерируется системой, технологически возможно. Но от человека зависит, будут ли блоки:

• сделаны,
• широко использованы,
• приняты военными.

Кроме того, мы можем разговаривать о том, что можем сделать со своей стороны. Но что сможет и захочет сделать наш вероятный противник, насколько он будет готов пуститься во все тяжкие и будет ли ограничивать модели, которые он применяет при управлении своими системами, — мы про это ничего не можем сказать. К сожалению, то, что происходит сейчас вокруг нас, оптимизма не внушает: противник скорее склонен к резким движениям.