Эксперты: Роботы-убийцы с ИИ сделают ядерное оружие бесполезным

Стремясь превзойти Соединённые Штаты в военном отношении, Китай вряд ли прислушается к мерам предосторожности, связанным со смертоносными технологиями ИИ, которые сами по себе становятся всё более опасными, считают эксперты. Природа технологии склонна подпитывать некоторые из худших тенденций человеческой психики в целом.

«Последствия довольно драматичны, — сказал Брэдли Тайер, старший научный сотрудник Центра политики безопасности, эксперт по стратегической оценке Китая и автор статей для The Epoch Times. — И они могут сравниться с ядерной революцией».

Роботы-убийцы

Разработка автономного оружия на базе ИИ быстро продвигается вперёд, по словам Александра Де Риддера, разработчика ИИ и соучредителя Ink, компании по маркетингу ИИ.

«Они быстро становятся всё более эффективными», — сказал он The Epoch Times, добавив, что, однако, «они ещё не достигли той стадии, когда могут заменить людей».

Автономные дроны, танки, корабли и подводные лодки стали реальностью наряду с такими экзотическими модификациями, как четвероногие роботы-собаки, вооружённые пулемётами, каких уже видели в Китае.

В производстве находятся даже человекоподобные роботы с ИИ, герои научно-фантастических фильмов. Конечно, они всё ещё довольно неуклюжи в реальном мире, но это ненадолго, уверен Де Риддер.

«Возможности таких роботов быстро развиваются», — сказал он.

По словам Де Риддера, как только эти машины станут востребованными на рынке и надёжными, Китай, вероятно, направит свою производственную мощь на массовое производство.

«Рынок будет наводнён человекоподобными роботами, и тогда от программирования зависит, как они будут использоваться».

Это также означало бы военное применение.

«Это отчасти неизбежно», — сказал он.

Такие роботы с ИИ очень хорошо используют оптические датчики для идентификации объектов, включая людей. И это даёт им потенциал стать очень эффективными машинами для убийства, сказал Джеймс Цю, основатель Исследовательского института GIT и бывший технический директор FileMaker.

Генерал ИИ

На более широком уровне несколько стран работают над системами ИИ, которые способны информировать и координировать решения на поле боя — по сути, действуя как электронные генералы, по словам Джейсона Ма, руководителя отдела исследований данных в многонациональной компании из списка Fortune 500. Он попросил не разглашать название своей компании, чтобы не создалось впечатления, что он говорит от её имени.

Народно-освободительная армия Китая (НОАК) недавно провела боевые учения, в ходе которых ИИ непосредственно командовал, и у вооружённых сил США также есть проекты в этой области, сказал Ма.

«Это очень активная тема исследований и разработок», — сказал он.

Необходимость очевидна: решения на поле боя принимаются на основе ошеломляющего объёма данных, от исторического контекста и прошлых разведданных, до спутниковых данных почти в реальном времени и миллисекундного ввода с каждой камеры, микрофона и любого датчика на поле боя. Людям «очень трудно» обрабатывать такие разрозненные и объёмные потоки данных.

«Чем сложнее война, тем более важной частью становится то, как вы можете быстро интегрировать, обобщить всю эту информацию, чтобы принять правильное решение, в течение нескольких секунд или даже меньше секунды», — объяснил Ма.

Дестабилизация

Оружие с ИИ уже переопределяет методы ведения войны, но эксперты, которые беседовали с The Epoch Times, согласились, что последствия будут гораздо шире. Технологии делают мир всё более нестабильным, сказал Тайер.

На самом элементарном уровне наведение оружия с помощью ИИ, вероятно, значительно упростит сбивание межконтинентальных баллистических ракет, обнаружение и уничтожение подводных лодок и бомбардировщиков дальнего действия. Это может нейтрализовать возможности ядерной триады США, позволив противникам безнаказанно «выходить за рамки ядерного уровня», сказал он.

«ИИ повлияет на каждый из тех компонентов, которые мы разработали и понимали во время холодной войны как абсолютно необходимые для стабильных отношений ядерного сдерживания», — сказал он.

«Во время холодной войны существовало широкое понимание того, что обычная война между ядерными державами невозможна… ИИ подрывает это, потому что он создаёт возможность обычного конфликта между двумя ядерными государствами».

«ИИ оказывает большое влияние на поле боя, но это ещё не является определяющим фактором».

Если возможности ИИ достигнут «эффекта ядерной войны без применения ядерного оружия», это посадит мир на пороховую бочку, сказал он.

«Если это возможно, а вполне вероятно, что это возможно, то это чрезвычайно опасная и дестабилизирующая ситуация, потому что она вынуждает кого-то, кто подвергается атаке, действовать первым — не терпеть атаку, а перейти к агрессии».

«В военном лексиконе эта концепция называется ограничение урона, — сказал он. —Ты не хочешь, чтобы парень напал первым, потому что ты будешь серьёзно ранен. Поэтому ты нападёшь первым. И это будет чрезвычайно дестабилизирующим фактором в международной политике».

Роботы-убийцы и дроны — не единственная причина для беспокойства; могут быть разработаны различные нетрадиционные виды оружия с ИИ, например, для поиска уязвимостей в критически важных объектах инфраструктуры, включая электросети или системы водоснабжения.

Контролировать распространение таких технологий — непростая задача, учитывая, что ИИ сам по себе — всего лишь часть программного обеспечения. Даже самые большие модели умещаются на обычном жёстком диске и могут работать на небольшой ферме серверов. Простое, но всё более смертоносное оружие с ИИ, такое как дроны-убийцы, может поставляться по частям, не вызывая тревоги.

«Стимулы для вертикального и горизонтального распространения огромны, и это легко сделать», — сказал Тайер.

Человек в курсе событий

Общепризнанно, по крайней мере, в Соединённых Штатах и среди их союзников, что наиболее важной гарантией от оружия с ИИ, сеющего хаос, является сохранение за человеком контроля над важными решениями, особенно над применением смертоносной силы.

«Ни при каких обстоятельствах нельзя позволять каким-либо машинам автономно отнимать человеческие жизни — никогда», — уверен Де Риддер.

Этот принцип обычно обозначается фразой «человек в курсе событий».

«У человека есть совесть, и он должен просыпаться утром с раскаянием и последствиями того, что он сделал, чтобы извлечь из этого урок и не повторять зверств», — сказал Де Риддер.

Однако некоторые эксперты отметили, что этот принцип уже размывается характером боя, трансформированного возможностями ИИ.

Например, в военном конфликте в Украине украинские военные дали своим беспилотникам некоторую степень автономии, потому что их связь с людьми-операторами была заблокирована российскими военными.

По словам Ма, такие дроны управляют только более простым ИИ, учитывая ограниченную мощность бортового компьютера дрона. Но это может скоро измениться, поскольку и модели ИИ, и компьютеры становятся быстрее и эффективнее.

Apple уже работает над ИИ, который мог бы работать на телефоне.

«Весьма вероятно, что в будущем он будет встроен в небольшой чип», — сказал он.

Более того, в крупном конфликте, где одновременно задействованы сотни или, возможно, тысячи беспилотных летательных аппаратов, они могут совместно использовать вычислительные мощности для выполнения гораздо более сложных автономных задач.

«Всё возможно, — сказал он. — Дошло до того, что это уже не научная фантастика; просто [вопрос] есть ли группа людей, которые хотят посвятить время работе над этим. Это осязаемая технология».

По словам Джеймса Фанелла, бывшего офицера военно-морской разведки и эксперта по Китаю, устранение человеческого контроля из-за необходимости не является новой концепцией.

Он привёл пример боевой системы Aegis, развёрнутой на американских крейсерах и эсминцах с управляемыми ракетами. Она автоматически обнаруживает и отслеживает воздушные цели и запускает ракеты для их уничтожения. Обычно запуском ракет управляет человек-оператор, но есть также способ переключить его в автоматический режим, например, когда целей слишком много, чтобы человек-оператор мог их отслеживать. Затем система самостоятельно идентифицирует и уничтожает цели.

В массовой войне дронов, когда ИИ направляет тысячи дронов в скоординированную атаку, сторона, которая предоставляет своему ИИ автономию для стрельбы, получит значительное преимущество в скорости перед стороной, которая требует одобрения человеком каждого выстрела.

«На уровне индивидуальной стрельбы людям приходится отказываться от контроля, потому что на самом деле они не могут принимать все решения так быстро», — сказал Ма.

Де Риддер отметил, что беспилотник, стреляющий в другой беспилотник самостоятельно, был бы морально приемлемым. Но это может привести к многочисленным автономным стрельбам на поле боя, где тоже могут быть люди, что приведёт к неисчислимым сопутствующим жертвам.

Никаких правил

Какие бы гарантии ИИ ни были осуществимы, Китай вряд ли будет их соблюдать в любом случае, согласилось большинство экспертов.

«Я действительно не вижу никаких границ, в отношении которых Китаю стоило бы проявлять осторожность, — сказал Ма. — Они сделают всё возможное».

«Я не вижу идеи, что Китай будет ограничивать себя в его использовании, — соглашается Фанелл. — Они попытаются воспользоваться этим преимуществом и смогут использовать его быстрее, чем мы».

Принцип «человек в курсе событий» можно просто переосмыслить и применить к «большему, целостному уровню боя», а не «индивидуальному уровню стрельбы», сказал Ма.

Но как только человек признаёт, что ИИ может начать стрелять сам по себе при определённых обстоятельствах, принцип человеческого контроля становится податливым.

«Если вы готовы принять это в тактическом смысле, кто скажет, что вы не доведёте это до самого высокого уровня ведения войны?» — спрашивает Фанелл.

«Это естественное развитие подобной технологии, и я не уверен, что мы можем сделать, чтобы остановить это. Это не похоже на то, что у вас будет кодекс этики, который гласит, что на войне [давайте соблюдать] Правила бокса маркиза Куинсберри. Этого не произойдёт».

Даже если люди будут контролировать макрорешения, например, запускать ли ту или иную миссию, ИИ может легко доминировать в процессе принятия решений. Опасность может представлять не плохо работающий ИИ, а тот, что работает настолько хорошо, что внушает доверие людям-операторам.

Де Риддер скептически относился к предсказаниям о сверхразумном ИИ, который значительно превосходит человеческие возможности. Однако он признал, что ИИ превосходит людей в некоторых отношениях, особенно в скорости; он может обрабатывать горы данных и практически мгновенно выдавать выводы.

По словам Ма и Цю, практически невозможно понять, как именно ИИ приходит к своим выводам.

Де Риддер сказал, что он и другие работают над способами ограничить ИИ человекоподобным рабочим процессом, чтобы отдельные этапы его рассуждений были более различимы.

Но, учитывая невероятный объём задействованных данных, для ИИ было бы невозможно объяснить, как каждая часть информации учитывается в его рассуждениях, не подавляя оператора.

«Если человек-оператор чётко знает, что это решение [принято] после того, как ИИ обработал терабайты данных, у него действительно не хватит смелости отменить это в большинстве случаев. Так что, я думаю, да, это будет формальностью», — говорит Ма.

«Человек в курсе событий — это удобная фраза, но на самом деле люди быстро откажутся от контроля».

Общественное давление

Все эксперты согласились с тем, что общественное давление, вероятно, будет сдерживать разработку и использование оружия с ИИ, по крайней мере, в Соединённых Штатах.

Ма привёл пример того, как Google расторгла оборонный контракт из-за возражений своих сотрудников. Однако он не мог представить аналогичную ситуацию в Китае.

«Всё, что находится внутри Китая, является ресурсом, который компартия может использовать. Вы не можете сказать: “О, это частная компания”. Частной компании как таковой [в Китае] нет», — согласился Цю.

Даже Китай не может полностью избавиться от общественных настроений, сказал Де Риддер.

«Правительство может выжить, только если население захочет сотрудничать», — сказал он.

Но нет никаких признаков того, что китайское население рассматривает военное использование ИИ как неотложную проблему. Напротив, компании и университеты в Китае, похоже, стремятся получить военные контракты, говорит Ма.

Де Риддер призвал к «международной нормативной базе, которая может быть применена».

Неясно, как такие правила могут быть применены против Китая, который имеет долгую историю отказа от каких-либо ограничений на свои военные разработки. Соединённые Штаты долгое время безуспешно пытались усадить Китай за стол переговоров по ядерному разоружению. Недавно Китай отклонил просьбу США гарантировать, что он не будет использовать ИИ для принятия решений о нанесении ядерного удара.

Если Соединённые Штаты будут регулировать собственные разработки в области ИИ, это может создать стратегическую уязвимость, предположили несколько экспертов.

«Китай очень хорошо изучит эти правила и будет использовать их в качестве инструмента атаки», — уверен Цю.

По словам Тайера, даже если будет достигнуто какое-то соглашение, Пекин не умеет выполнять обещания.

«Любое соглашение — это корка пирога, которую нужно разломать», — сказал он.

Решение проблемы

Де Риддер сказал, что надеется, что, возможно, страны согласятся на использование ИИ менее разрушительными способами.

«Существует множество способов, которыми вы можете использовать ИИ для достижения своих целей, которые не включают в себя отправку друг другу стаи дронов-убийц. Когда дело доходит до драки, никто не хочет, чтобы эти конфликты происходили».

Другие эксперты заявили, что Китай был бы не против развязать такой конфликт — при условии, что он увидит чёткий путь к победе.

«Китайцы не будут ограничены нашими правилами, — сказал Фанелл. — Они сделают всё возможное, чтобы победить».

Полагаться на шёпот военного советника с ИИ, который вселяет уверенность, обрабатывая горы данных и составляя убедительные планы сражений, может быть особенно опасно, поскольку, по словам Тайера, это может создать видение победы там, где раньше её не было.

«Вы можете видеть, насколько это может быть привлекательно для лиц, принимающих решения, — сказал Тайер. — Это может повысить вероятность агрессии».

«Есть только один способ остановить это — суметь победить», — сказал Фанелл.

Чак де Каро, бывший консультант Управления сетевой оценки Пентагона, недавно призвал Соединённые Штаты разработать электромагнитное оружие, которое могло бы выводить из строя компьютерные чипы. Возможно, удастся даже разработать энергетическое оружие, способное вывести из строя определённый вид чипов, написал он в статье для Blaze Media.

«Очевидно, что без функционирующих чипов ИИ не работает», — написал он.

Другим вариантом может быть разработка супероружия с ИИ, которое могло бы служить сдерживающим фактором.

«Существует ли Манхэттенский проект с ИИ, осуществляемый США, который может оказать эффект, подобный Нагасаки и Хиросиме, на КНР и Коммунистическую партию Китая, который привёл бы их к осознанию того, что: “Хорошо, может быть, мы не хотим туда идти. Это взаимно гарантированное уничтожение?” Я не знаю. Но это то, что я бы [делал]», — сказал Фанелл.

Это может привести мир к противостоянию, подобному холодной войне — вряд ли это идеальное состояние, но оно, вероятно, считается предпочтительным по сравнению с отказом Китая от военного преимущества.

«Каждая страна знает, что это опасно, но никто не может остановиться, потому что они боятся, что их оставят позади», — сказал Ма.

Де Риддер сказал, что может потребоваться глубокое потрясение, чтобы остановить гонку вооружений с ИИ.

«Нам может понадобиться, что-то вроде мировой войны, с её огромной человеческой трагедией, чтобы запретить использование автономных машин с ИИ для убийства».