Как контролировать роботов-убийц

Мы находимся в опасности оказаться в ситуации, когда решение убивать уже не будет приниматься согласно обычным военным законам

В самом ближайшем будущем роботы и искусственный интеллект (ИИ) смогут взять на себя задачи, которые мы, люди, находим слишком опасными, скучными или трудными. Но существует одна область, которую законодатели, возможно, захотят более внимательно изучить с точки зрения нашего контроля над машинами.

Автономные системы летального вооружения (LAWS) − это смертоносное оружие, которое не нуждается во вмешательстве человека. Страны всего мира, включая Китай, Великобританию, Израиль, США, Россию, и даже частные армии уже разрабатывают это оружие. Мы находимся в опасности оказаться в ситуации, когда решение убивать уже не будет приниматься согласно нашим обычным военным законам. Ни конвенция Организации Объединенных Наций (ООН) по оружию, ни действующее международное гуманитарное право совершенно не имеют разработок для борьбы с ИИ, который нажимает на кнопку пуска. В 2014 году Международный комитет по контролю за роботизированными вооружениями (ICRAC) обратился в ООН с просьбой разработать какую-либо нормативную базу.

Нравится нам это или нет, роботы-убийцы уже появились на горизонте, и теперь мы должны думать, как с ними бороться

Большинство разработок в области искусственного интеллекта во многом обусловлено гражданским, а не военным спросом. Но как можно сдержать отрасль технологий вооружений в ближайшем будущем? Это невозможно. Нравится нам это или нет, роботы-убийцы уже появились на горизонте, и теперь мы должны думать, как с ними бороться.

Стремление к более автономному оружию является неизбежным шагом на пути, который еще больше отдалил воюющие стороны от их целей. Мы перешли от ручного оружия к пистолетам, ракетам, дистанционно пилотируемым беспилотным летательным аппаратам − жертвы продолжают исчезать из виду убийц. В некотором смысле это может быть положительной тенденцией: меньше поспешных решений, принятых в разгар битвы, меньше травм после военных событий для солдат, более точное определение целей.

В августе прошлого года Министерство обороны Великобритании объявило об открытии 800-миллионного фонда для разработки передовых технологий вооружения в течение следующих 10 лет, включая беспилотные летательные аппараты и лазерные пушки. Идея состоит в том, чтобы заставить промышленность и науку работать вместе и помочь таким образом оборонному ведомству, или, цитируя само министерство, «предвидеть вызовы завтрашнего дня, получить критическое преимущество для наших сил обороны и безопасности».

Управление перспективных исследовательских проектов Министерства обороны США (DARPA) сотрудничает с робототехнической компанией Boston Dynamics для производства машин, которые, по мнению ряда экспертов, выглядят порождением кошмара. Только в прошлом месяце оно заключило контракты с пятью исследовательскими организациями и одной компанией для разработки имплантируемого нейронного интерфейса высокого разрешения  – «модема для мозга», другими словами.

Хотя кажется, что эти гаджеты происходят из сферы научной фантастики, у них по-прежнему есть какой-то значимый человеческий контроль − в отличие от смертоносного автономного оружия, которое может быть разработано в будущем. И Пентагон, и МО имеют внутренние нормативные документы, которые требуют своего рода «надлежащего уровня человеческого контроля применения силы» или «вмешательства человека».

Но даже с автономным оружием есть вопросы, на которые нужно ответить: кто разрабатывает интерфейс? Как оператор может понять окружающую среду, в которой он действует? Какие существуют гарантии для управления голосом или речью?

Автономное оружие означает принципиальный отказ от решения убить и передачу этого действия машине. Действительно ли мы этого хотим?

Существует переход от дистанционного пилотирования к автономным машинам. В некотором отношении это даже имеет смысл. Связь между устройством и удаленным пилотом может быть повреждена. Есть проблемы с задержкой, а устройства с дистанционным управлением могут быть легко взломаны − робототехника в целом уязвима для кибератак.

Однако − и это очень значимый момент − автономное оружие означает принципиальный отказ от решения убить и передачу этого действия машине. Действительно ли мы этого хотим? Это не совсем то же самое, что позволить вашему умному холодильнику заказывать молоко, когда оно заканчивается.

Обучение машин и искусственный интеллект − это не одно и то же. Обучение машин позволяет многим из наших повседневных инструментов работать без специального программирования, например, вышеупомянутому умному холодильнику или вашему смартфону, «предсказывающему» текст. Для создания ИИ требуется машинное обучение. Великобритания попыталась определить это понятие как «человекоподобный интеллект».

Огромная проблема заключается в том, что обучение машин очень отличается от обучения людей, и даже с батальонами инженеров, военачальников и юристов автономное оружие может быть проверено только в тех ситуациях, в которых мы ожидаем участия людей. Как и во всех инструментах самообучения, плохие данные равны плохим результатам. Неосознанные предубеждения насчет обучения, тестирования и разработки саморазвивающихся алгоритмов в этих инструментах также приведут к плохим результатам. И будет не так страшно, если все, что вы получите в итоге, − это неправильный вид молока, но смертоносное автономное оружие обладает способностью убивать людей, начинать войны и нарушать международную стабильность.

Одно автономное оружие могло бы инициировать вооруженный конфликт с риском эскалации. Возьмем очень простой пример: когда сильные ветра сбивают устройство с курса в напряженных приграничных районах, даже небольшой просчет в процессе принятия решений может иметь далеко идущие последствия.

Смертельное автономное оружие обладает способностью убивать людей, начинать войны и нарушать международную стабильность

Разумеется, многие страны разрабатывают законы для киберзащиты и запрещают кибератаки. Конечно, какие-то из этих новых законов могут относиться к некоторым формам летального автономного оружия или, по крайней мере, к их операционному программному обеспечению. Но проблема, как считает специалист по международной безопасности немецкого Фонда науки и политики (SWP) Марсель Дикоу, состоит в том, что «персонал в сфере военной робототехники и в сфере киберзащиты не разговаривает друг с другом».

А ведь им необходимо начать этот разговор.

В феврале этого года Европейский парламент призвал создать европейское агентство для слежения за развитием робототехники и искусственного интеллекта, а также составления положений гражданского права в масштабах всей Европы. Но он сосредоточен на правилах гражданской ответственности и влиянии робототехники на здоровье, занятость, транспорт и конфиденциальность.

Пока, по словам португальского депутата Европейского парламента Жоао Пимента Лопеса, «нет упоминания или осуждения использования робототехники в военных целях и целях безопасности. Представленные идеи не защищают национальные интересы в развитии сектора робототехники при поддержке государственной политики инвестиций, исследований и разработок. Также наблюдается узкий подход к анализу их влияния на рабочие места».

Нам нужен срочный ответ на вопрос о том, как общество будет заниматься вопросами ответственности, когда роботы участвуют в авариях, и что делать, если ущерб, причиненный роботом, не был случайным? Что если это была преднамеренная стратегическая атака машины, призванная нанести урон?

По крайней мере, нам нужно определиться с терминологией: «ИИ», «роботы», «беспилотные летательные аппараты», «автономные транспортные средства», «киборги», «самообучение» и т.д. В целом плохие законы послужат худшим образом, чем отсутствие законов, особенно когда мы еще не полностью понимаем технологии. Как бы то ни было, летальное автономное оружие будет создано, и международное сообщество должно воспринимать его всерьез.