Американские и китайские эксперты предложили установить для военного искусственного интеллекта жёсткие красные линии по аналогии с ядерным сдерживанием.
Документ подготовили участники диалога Brookings Institution и Университета Цинхуа. Он появился перед ожидаемой встречей Трампа и Си Цзиньпина 24 сентября в Вашингтоне. Цель состоит в том, чтобы заранее определить действия, которые автономные системы не должны совершать самостоятельно.
Военная ИИ-система способна за секунды обнаружить подозрительный трафик, классифицировать его как угрозу и запустить ответ. На противоположной стороне зеркальная защита может воспринять это как атаку и ответить автоматически. Если сеть связана с ядерным командованием, у людей остаются лишь минуты на оценку ситуации.
Melanie Sisson из Brookings настаивает на строгом разделении. Кибератаки против систем ядерного командования и связи должны инициировать только люди. Автономный алгоритм способен выйти за рамки задачи, неверно оценить обстановку или стать объектом взлома. В результате пострадавшая сторона не сможет понять, был ли это приказ противника или ошибка в коде.
Tianjiao Jiang из Фуданьского университета формулирует запреты ещё конкретнее. ИИ не следует разрешать самостоятельно принимать решение о применении ядерного оружия, автономно атаковать системы ядерного командования и связи, а также наносить удары по критической инфраструктуре энергетики, финансов и здравоохранения без санкции человека.
Обе страны одновременно заявляют о необходимости ограничений и продолжают внедрять ИИ в ядерные системы. Пекин и Вашингтон могут согласиться с формулировкой «значимый человеческий контроль», но понимать её по-разному. Jiang предлагает выработать общую трактовку термина. В ноябре 2024 года Байден и Си уже договорились, что решения о ядерном оружии должны оставаться за людьми. Теперь эксперты стремятся распространить этот принцип на более широкий круг военных систем.
Lora Saalman из SIPRI отмечала, что человеческий контроль стал одной из немногих тем, по которым позиции Вашингтона и Пекина сблизились на бумаге. На практике обе страны продолжают встраивать ИИ в ядерные комплексы. Jiang дополнительно предлагает создать горячую линию для инцидентов с автономными системами. Она могла бы помочь, когда защитный алгоритм самостоятельно блокирует сервер или проводит контратаку, когда действия одной стороны напоминают начало наступательной операции, либо когда требуется быстро подтвердить случайный или несанкционированный характер активности.
Существующая линия кризисной связи между Вашингтоном и Пекином не всегда срабатывает. Carla Freeman из Johns Hopkins SAIS приводит пример китайского аэростата над США в феврале 2023 года, когда китайские чиновники не отвечали на звонки, пока объект долетал до Монтаны. Freeman связывает это с устройством китайской бюрократии, где нижестоящие должностные лица во время кризиса не могут принимать решения без указаний сверху.
Китай организационно включил военный ИИ в систему контроля над вооружениями. Темой занимается Департамент по контролю над вооружениями МИД КНР, который курирует и ядерное оружие. В июне посол по разоружению Shen Jian в Женеве заявил, что военный ИИ повышает риск эскалации и терять человеческий контроль недопустимо. При этом разговоры о безопасности ИИ не должны служить поводом для барьеров против чужих технологий.
В Вашингтоне полномочия распределены между Советом национальной безопасности, Государственным департаментом и Пентагоном. Военный ИИ развивается быстрее дипломатических процедур и затрагивает оборону, киберпространство и коммерческий софт одновременно. Трамп заявлял, что чрезмерно широкие ограничения дадут преимущество Китаю. В Пекине встречные меры США воспринимают как стремление сохранить лидерство любой ценой.
Доверять автономной системе в таких ситуациях преждевременно. Нет ясности по полномочиям системы при принятии решений, скорости вмешательства человека, темпам обмена информацией об инциденте и наличию отработанной процедуры расследования. Для российского рынка это имеет прямое значение. Экспортные ограничения на чипы и вычислительные мощности, обсуждаемые Вашингтоном и Пекином, формируют глобальный рынок оборудования для ИИ. Доступ российских разработчиков зависит от итогов этих переговоров. Россия остаётся третьей ядерной державой вне этого диалога, однако любые правила для военного ИИ затронут и её системы.
Пакет предложений включает запрет на самостоятельное решение ИИ об ударе ядерным оружием, обязательное участие человека в санкционировании опасных кибератак, единое определение человеческого контроля и отдельную горячую линию для инцидентов. Ни Вашингтон, ни Пекин пока официально не одобрили этот пакет. Чем быстрее автономные системы учатся обнаруживать угрозы и отвечать, тем меньше времени остаётся людям для понимания произошедшего.
Эксперты CISOCLUB отметили, что риск заключается в путанице сигналов между двумя оборонными системами, работающими в автоматическом режиме. Ошибка классификатора, ложное срабатывание или взломанный узел способны запустить эскалацию быстрее, чем люди успеют установить контакт. Схожая логика применима к российским системам ПВО и киберзащиты, которые тоже наращивают автономность. Пока формальных договорённостей нет, страховкой остаётся ручной контроль над самыми чувствительными случаями применения силы на уровне архитектуры систем.
