Академическое сообщество США против Пентагона

Поразительное – для российской ментальности – явление: всё большая часть академического сообщества США и ИТ-компаний Кремниевой долины уклоняются или прямо отказываются сотрудничать с Пентагоном в вопросах разработки летальных технологий и технологий, усиливающих вторжение в личное пространство. Представить такое в России невозможно, и это лишний раз показывает, что мы живём в разных мирах и вместе нам не сойтись. По крайней мере в ближайшие 50 лет.

Вот что пишет о противоречиях между учёными, предпринимателями с одной сторона и военными с другой независимый военный аналитик, автор телеграм-канала «Ватфор» Яков Ионин, анализируя утверждённый 13 августа президентом Трампом рекордный военный бюджет США на 2019 фискальный год, в частности – разработки в области искусственного интеллекта (ИИ).

Пентагон сталкивается с серьезным неприятием и оппозицией идее военного ИИ со стороны академического сообщества и IT-гигантов из Кремниевой долины. В июле 2018 г. на конференции IJCAI-2018 (International Joint Conference on Artificial Intelligence) против идеи разработки правительством ИИ для военных целей выступили такие значимые фигуры, как гендиректор SpaceX и Tesla Элон Маск, один из создателей Skype Яан Таллинн, три сооснователя Google DeepMind, а также президент института FLI (Future of Life Institute) Макс Тегмарк. Их открытое письмо с призывом запрета летальных автономных систем на данный момент подписало уже более 3 030 ученых, исследователей и руководителей компаний из более чем 90 стран мира.

В июле 2015 г. с более умеренным, но все же с встревоженным призывом к законодателям исследовать тему возможностей контроля и регулирования технологии распознавания лиц выступил президент Microsoft Брэд Смит.

Из идеологической повестки интеллектуалов в политический протест эти настроения переросли в апреле 2018 г., когда The New York Times сообщила о коллективном письме 3 100 работников Google, в котором они призвали компанию выйти из проекта Maven, разработки которой должны были помочь ВВС США в анализе записей видео беспилотников и лучшей корректировке атак дронов. В начале июня под давлением общественности Google все-таки официально объявил, что не станет продлевать контракт с Пентагоном на 2019 г. и в будущем воздержится от подобных контрактов.

Еще одним результатом протеста стало появление свода из 11 принципов, которым отныне будет руководствоваться корпорация в своей политике. Принципы тезисно формулируют приоритеты, которые должны быть соблюдены в результате их работы:

• результаты работы должны быть социально полезны с учетом специфики и области их применения; 
• вне зависимости от специфики применения продуктов, необходимо избегать тех моментов человеческого поведения, которые распространяют несправедливое воздействие на людей, особенно относящихся к категории уязвимых по признакам расы, этноса, пола, национальности, дохода, сексуальной ориентации, возможностей (умственных и физических), а также политических или религиозных воззрений; 
• дизайн продуктов должен быть разработан с учетом важности принципов приватности; 
• принципы научности должны стоять во главе стола при разработке, а академическая коллаборация должна распространяться максимально широко; 
• необходимо учитывать масштабы влияния результатов работ и потенциальное недоброжелательное использование технологии, а также их искусственное ограничение; 

6) результаты работ не должны быть вооружением или каким-либо другим инструментом для нанесения вреда человеку; 7) продукты не должны быть использованы для сбора или использования информации в целях слежки, нарушающей международно признанные нормы;

• результаты работ не должны быть в категории технологий, используемых для нарушения международного законодательства или прав человека.

В пояснении также уточняются последующие отношения с американским военным ведомством, однозначно не предполагающие какую-либо кооперацию в разработке вооружений, но с открытым окном возможных областей сотрудничества: кибербезопасность, тренировка и подготовка персонала, военное рекрутирование, медицина для ветеранов, а также поиск и спасение людей.

Несмотря на то, что эти принципы официально относятся только к Google, де-факто они выражают негласный моральный консенсус прогрессивистской Кремниевой долины по остракизации американских военных ведомств.

Впрочем, справедливости ради необходимо отметить, что не все IT-гиганты имеют такой же негативный настрой относительно работы с Правительством. Несмотря на сильное давление со стороны прессы и правозащитников, а также письма с возражениями от своих сотрудников Amazon продолжил сотрудничество с американскими правоохранительными органами по программе создания системы распознавания лиц Rekognition, нацеленной, как полагают гражданские активисты, против беженцев и нелегальных мигрантов.

Помимо этого, согласно электронным письмам, ставшими доступными изданию The Intercept, Amazon некоторым образом участвовал в упомянутом выше скандально известном проекте Maven. Однако подробности этой кооперации с Министерством обороны неизвестны.

Так прокомментировала общую позицию корпорации вице-президент Тереза Карлсон: «Я не могу говорить за другие компании, но мы хотим работать вместе с нашим правительством,» «Мы чувствуем себя вынужденными. … Мы верим в то, что государство должно иметь те же возможности — наши солдаты там, на поле боя, наши гражданские служители — должны иметь те же самые возможности.»

В либерально-академической среде иногда слышны и более лояльные государству позиции, прокламирующие выгодность для либеральных идеологий наличие технологии ИИ именно у американских военных, а не у России или Китая. Однако общий тренд пока явно не в пользу Пентагона.

В главном оборонном законе — NDAA FY-2019 отдельно оговаривается полная допустимость использования ВВС «нетрадиционных технологий и практики обеспечения (включая искусственный интеллект), чтобы увеличить доступность воздушных судов в ВВС и уменьшить отставание», но при этом же поощряют чиновников к партнерству с промышленностью, научными кругами и частными компаниями и использованию «гибкости регулирования и приобретения» в разработке и внедрении технологий ИИ и машинного обучения для Министерства обороны. И образуя таким образом парадокс между необходимостью получения «аморальных» для академических кругов и IT-гигантов технологий и жизненно важным для военных сотрудничеством с ними.

В таких условиях Правительство в качестве компромиссной меры вынуждено привлекать во многих программах более лояльные, но менее эффективные в этой области компании. Например, Booz Allen Hamilton — давний партнер Министерства обороны с 1940-х гг., испачкавшийся недавно в истории со своим работником Эдвардом Сноуденом, в начале августа 2018 г. получил пятилетний контракт на 885 млн долл. на разработку новых технологий машинного обучения для Центра интеграции и управления федеральными системами (FEDSIM) при Агентстве администрирования общих служб (General Services Administration), но чьими результатами будут пользоваться и другие агентства и министерства, в том числе и обороны. В конце июля 2018 г. Booz Allen Hamilton также выиграли пятилетний контракт на 92 млн долл. на предоставление услуг технического и логистического характера, а также обеспечение кибербезопасности, связанной с ИИ, в интересах Флота.

Многие возлагают надежды на созданный в 2015 г. DIUx (Defense Innovation Unit Experimental), а ныне просто DIU без литеры «x». Цели данного подразделения — восстановление отношений между Минобороны и коммерческими технологическими компаниями и быстрое удовлетворение потребностей, возникающих в министерстве, с соответствующими технологическими решениями. С этой целью подразделение ввело и специальные механизмы вознаграждения за открытие торговых решений, ввели быстрые и гибкие процессы заключения контрактов. Однако эта организация может помочь решить только финансовые задачи на уровне отдельных программ, но никак не морально-этические вопросы целой нации.

Противоречия между большей частью IT-корпораций и Пентагоном — те, что в американской аналитике часто называют «clash of cultures», — не самостоятельное явление, но симптом общей нарастающей поляризации американского общества. При этом важным фактором является политика корпораций в отношении обратной связи и влияния на нее сотрудников. Более открытые и инклюзивные структуры вроде Google более подвержены влиянию СМИ на их внутреннюю политику в отличии от, например, компании Безоса.

Характерным примером этой тенденции является недавний скандал о связи Google с правительством КНР и о контрактах, которые прямым образом оказывают негативное влияние на состояние прав человека в Китае. Ввиду того, что это международная история, а, как показывает статистика, такие истории получают куда меньше внимания в сравнении с национальными и локальными, то она вызвала относительно скромный резонанс в СМИ и почти никакой серьезной реакции от руководства корпорации.

Таким образом, можно констатировать, что, несмотря на большое количество законодательных инициатив и финансируемых программ, успех развития Соединенными Штатами военизированного искусственного интеллекта определяется прежде всего способностью достижения Пентагоном и Кремниевой долиной морально-этического компромисса. А сохранение американского военно-технического преимущества будет зависеть лишь от преодоления американским обществом внутренней поляризации.

Что касается программ изучения искусственного интеллекта (ИИ) и технологий машинного обучения и устанавливающих их в качестве одних из главных приоритетов Министерства обороны, то это далеко не новая тема: изучение потенциала технологии ИИ для военных целей происходило еще в 1940-х гг., пишет Яков Ионин, в 1960-е тогда еще ARPA уже занималась технологией с целью военного применения, а знакомый нам вид проблема военного ИИ обрела в 1980-е вместе с дискуссиями о логистическом применении и границах летальности дронов. Однако до 2010-х гг. к технологии не было такого же внимания со стороны легислатуры — рост внимания к данным технологиям во многом объясняется внешними факторами.

Повышенный интерес к теме военизированного искусственного интеллекта отмечается во всем мире. В 2017 г. Владимир Путин заявил: «Тот, кто станет лидером в этой сфере, будет властелином мира». В том же году Госсовет КНР объявил «программу развития искусственного интеллекта нового поколения», в которой было акцентировано внимание на международную конкуренцию в этой области. КНР и Россия создают центры для разработки военных ИИ-решений. А согласно докладу Startup Genome, несмотря на то, что США все еще остаются центром ИИ-индустрии, они стремительно вытесняются Китаем. В 2017 г. в Китае было создано в четыре раза больше ИИ-стартапов, чем в Штатах.

Все это не может не вызывать обеспокоенности в Вашингтоне — официальные лица Пентагона неоднократно заявляли, что искусственный интеллект является важной технологией для опережения потенциальных противников и сохранения американского технического преимущества. Принятая стратегия Министерства обороны во многом основана на документе Администрации Обамы и рекомендациях созданного в 2016 г. Консультативного совета по оборонным инновациям. Оба документа отмечали важность военных ИИ-технологий и необходимость увеличения финансирования, что находит отражение в принятых NDAA.

Однако в дополнение к этому 23 июля в Конгрессе было представлено соглашение, в котором законодатели призвали Министерство обороны создать отдельную межведомственную комиссию для рассмотрения прогресса в области технологий ИИ — состоящий из 15 человек орган будет регулярно встречаться до октября 2020 г. Его члены будут назначены министром торговли, министром обороны и членами оборонных комитетов Конгресса. Первоначальной задачей комиссии будет составление доклада о состоянии и развитии ИИ-программ в США и в мире президенту и Конгрессу в течение 180 дней после принятия законопроекта.

Помимо непосредственно самостоятельных ИИ-инициатив всего в том или ином виде технологии искусственного интеллекта интегрированы в 592 программы внутри Министерства. Особенно сильно проявляется влияние технологии в программе модернизации Big Six, где у всех шести главных направлений есть важная ИИ-составляющая. Также нельзя не упомянуть смежную с ИИ область дронов.

Согласно анализу бюджета на 2019 г., представленного Центром изучения дронов при Бард-колледже, расходы на исследования автономии дронов, командного взаимодействия человек-дрон и роя составляют примерно 865,9 млн долл. в сравнении с 833,8 млн долл. в 2018 г. и 549 млн долл. в 2017 г. Армейская программа по разработке продвинутых команд человек-дрон выросла в стоимости с 6,4 млн долл. до 18,9 млн долл. в 2019 г. Бюджет для программы Флота «Беспилотные и автономные системы» увеличился с 48,4 млн до 60,1 млн долл.

Также финансирование программы Maven увеличилось с 60 млн долл. в 2018 г. до почти 109 млн долл. в 2019 г. Maven использует передовую коммерческую технологию искусственного интеллекта для идентификации и отслеживания объектов в видеороликах. В пояснении запроса от офиса секретаря Мэттиса Maven называется основополагающей программой, которая создаст базу для других проектов на других платформах.

DARPA наращивает финансирование в своем запросе на 2019 г. для широкого спектра программ от Assured Autonomy и Explainable Artificial Intelligence до Machine Common Sense.

Для централизованной координации всех вышеупомянутых программ Пентагон ассигновал из бюджета порядка 1,7 млрд долл. на следующие шесть лет для Объединенного центра искусственного интеллекта (JAIC). Процесс создания хаба для централизации и координации ИИ-программ был юридически начат заместителем министра обороны Патриком Шанаханом, подписавшим соответствующий указ 27 июня 2018 г. Конкретная цель указа заключается в запуске работы над комплексом ИИ-проектов (включая продолжение работ по проекту Maven), имеющим обозначение National Mission Initiatives, в течении следующих 90 дней. Комплекс будет подчиняться JAIC (Joint Artificial Intelligence Center), во главе с молодым чиновником Пентагона Дэйном Дизи и координировать все относительно крупные программы стоимостью от 15 млн долл.