Алгоритмы власти: может ли ИИ контролировать общество

Еще недавно искусственный интеллект рассматривали как инструмент, выполняющий отдельные задачи по запросу человека. Однако следующий этап развития технологий может оказаться куда масштабнее: ИИ-системы начнут взаимодействовать между собой, принимать коллективные решения и управлять сложными процессами практически без участия людей. Насколько реалистичен такой сценарий, попытались выяснить исследователи из компании Emergence AI. Что показал этот эксперимент и как его результаты могут повлиять на будущее цифровых сервисов — в материале «Известий».

Может ли ИИ организовать целое общество

Именно на этот вопрос попыталась ответить американская компания Emergence AI. В рамках эксперимента Emergence World исследователи создали несколько виртуальных миров, населенных автономными агентами на базе различных языковых моделей, включая ChatGPT, Gemini, Claude и Grok. На протяжении двух недель они практически без участия человека распределяли ресурсы, договаривались между собой, принимали коллективные решения, разрешали конфликты и формировали собственные правила поведения.

Результаты оказались неожиданными. Несмотря на одинаковые стартовые условия, виртуальные общества развивались по-разному. Так, сообщество на базе Claude продемонстрировало высокий уровень сотрудничества и устойчивости, тогда как мир под управлением Grok столкнулся с ростом конфликтов и нарушением правил. Агенты ChatGPT чаще стремились к поиску компромиссов и коллективному обсуждению решений, а в обществе Gemini со временем появились признаки внутреннего недовольства и борьбы с существующим порядком.

Исследование быстро привлекло внимание как специалистов, так и широкой аудитории, поскольку затронуло вопрос, который еще недавно казался научной фантастикой: способны ли системы искусственного интеллекта самостоятельно выстраивать социальный порядок.

Однако эксперты призывают не спешить с громкими выводами. Как отмечает главный технологический эксперт «Лаборатории Касперского» Александр Гостев, полноценный перенос результатов подобных экспериментов на реальные цифровые сервисы затруднен еще и потому, что сами языковые модели развиваются чрезвычайно быстро. Новые версии появляются каждые несколько месяцев, меняя характеристики систем быстрее, чем исследователи успевают проводить долгосрочные наблюдения.

Тем не менее полностью отмахиваться от результатов эксперимента было бы ошибкой. Если раньше разработчики оценивали искусственный интеллект преимущественно как отдельный инструмент по качеству ответов, скорости обработки данных или способности решать конкретные задачи, то теперь в центре внимания оказывается коллективное поведение ИИ-систем.

Что эксперимент говорит о будущем цифровых сервисов

Несмотря на все ограничения подобных исследований, эксперты считают, что эксперименты вроде Emergence World имеют важное практическое значение. Их ценность заключается не столько в сравнении отдельных моделей, сколько в попытке понять, как автономные системы будут вести себя в условиях постоянного взаимодействия друг с другом.

Руководитель онлайн-магистратуры «Информационная безопасность систем искусственного интеллекта» НИУ ВШЭ Федор Иванов рассказал в беседе с «Известиями», что именно здесь возникает один из главных вызовов будущего.

— Опасность возникает при бесшовной интеграции десятков агентов от разных вендоров в одной системе. Если заранее не будут созданы универсальные и достаточно жесткие протоколы взаимодействия, хаос, который мы наблюдаем в подобных экспериментах, может проявиться и в реальных цифровых средах, — уточняет эксперт.

По сути, именно такие сценарии и пытаются моделировать исследователи. Их интересует не столько способность ИИ решать отдельную задачу, сколько механизмы, с помощью которых автономные системы договариваются, распределяют обязанности, реагируют на конфликты и адаптируются к меняющимся условиям.

Для разработчиков это имеет вполне прикладное значение. Если алгоритмам предстоит управлять цепочками поставок, координировать транспортные потоки, распределять вычислительные ресурсы или обеспечивать работу крупных цифровых платформ, необходимо заранее понимать, как они будут вести себя не в идеальных условиях, а в ситуациях дефицита ресурсов, конкуренции или возникновения противоречий между различными целями.

При этом различия между моделями могут играть более важную роль, чем кажется на первый взгляд. Как отмечает академический руководитель магистратуры «Искусственный интеллект» факультета компьютерных наук НИУ ВШЭ Елена Кантонистова, современные языковые модели формируются не только за счет данных, на которых они обучаются, но и благодаря этапу дополнительной настройки с участием человека.

— Поскольку такие настройки формируются людьми, они неизбежно отражают культурный и социальный контекст — в том числе нормы, ценности и менталитет общества, в котором модель разрабатывалась. Это может проявляться в уровне допустимого риска, стиле рекомендаций, отношении к конфликтам или неоднозначным ситуациям, — говорит эксперт.

Работы MIT и Nature Human Behaviour показывают, что языковые модели способны воспроизводить культурные установки, характерные для обществ, на данных которых они обучались. Например, при ответах на одинаковые вопросы на английском языке модели чаще демонстрируют индивидуалистический подход, акцентируя личный выбор и независимость. При использовании китайского языка те же системы чаще склоняются к коллективистским ценностям, уделяя больше внимания социальной гармонии и взаимозависимости людей.

По словам Кантонистовой, в результате пользователи разных систем могут получать не просто технически разные, но и по-своему «окрашенные» решения — более осторожные или более гибкие, более формальные или более интерпретирующие контекст. Особенно важно учитывать это при внедрении ИИ в чувствительных сферах, где подобные различия способны влиять на пользовательский опыт и уровень доверия к технологии.

Подобные особенности могут иметь вполне практические последствия. В 2023 году широкий резонанс получил случай в США, когда адвокат использовал ChatGPT для поиска судебных прецедентов. Нейросеть подготовила список дел и подтвердила их подлинность, однако позже выяснилось, что часть упомянутых решений суда никогда не существовала. В итоге юристов оштрафовали на $5 тыс. История наглядно показала, что даже самые современные модели могут ошибаться, а их ответы требуют проверки, особенно в сферах, где цена ошибки оказывается высокой.

Готовы ли мы доверить ИИ принятие решений

На первый взгляд, ответ кажется очевидным: если система работает точнее и быстрее человека, ей можно доверить больше полномочий. Однако эксперты предупреждают, что вопрос упирается не только в качество технологий, но и в устройство самого общества.

По словам исследователей, современные общества во многом строятся на идее автономии личности и личной ответственности. Поэтому проблема заключается не столько в том, является ли субъект принятия решений человеком или алгоритмом, сколько в готовности общества делегировать кому-либо право принимать решения, затрагивающие интересы миллионов людей.

При этом большинство экспертов сходятся во мнении, что полная передача таких полномочий искусственному интеллекту пока остается скорее теоретическим сценарием.

— Полностью автономные решения невозможны, иначе они могли бы стать формой алгоритмического тоталитаризма. При этом ИИ обязан стать идеальным медиатором и симулятором последствий. В сферах с измеримыми показателями эффективности, таких как логистика мегаполиса, управление энергосетями или распределение частотного спектра, ИИ может принимать оперативные решения быстрее и эффективнее человека, — предупреждает Федор Иванов.

Похожей позиции придерживается и Елена Кантонистова, которая считает наиболее реалистичной так называемую гибридную модель, при которой алгоритмы занимаются анализом данных, поиском закономерностей и прогнозированием последствий различных сценариев, а человек определяет правила игры и принимает финальное решение. Подобный подход сегодня всё чаще используется при внедрении искусственного интеллекта в реальные сервисы.

— В мировой практике всё активнее применяется принцип human in the loop — «человек в контуре управления». Он предполагает, что критически важные решения не могут приниматься без участия и контроля со стороны людей, — напоминает Александр Гостев.

Впрочем, даже если ИИ останется помощником, а не полноценным руководителем, новые вызовы для пользователей неизбежны. Один из них связан с утратой гибкости при рассмотрении нестандартных ситуаций. Если сегодня сотрудник банка, страховой компании или государственного учреждения способен сделать исключение, учесть жизненные обстоятельства или проявить индивидуальный подход, то автоматизированная система будет действовать строго в рамках заданных правил.

По мнению Елены Кантонистовой, по мере расширения сферы применения ИИ на первый план будут выходить вопросы прозрачности решений и сохранения контроля со стороны пользователя. Если человек не понимает, почему система приняла то или иное решение, уровень доверия к технологии неизбежно снижается.

Кто будет отвечать за ошибки ИИ

Большинство экспертов сходятся в том, что перекладывать ответственность на сам искусственный интеллект нельзя. По мнению главного технологического эксперта «Лаборатории Касперского» Александра Гостева, ответственность должна оставаться за оператором системы — то есть за тем, кто использует технологию и принимает решение о ее внедрении в конкретный сервис.

Схожую позицию занимает Федор Иванов. Он считает, что компания, внедряющая ИИ и получающая экономическую выгоду от его использования, должна отвечать перед конечным пользователем за возможный ущерб.

— Недопустимо прятаться за спину разработчика модели или апеллировать к самостоятельности алгоритма, — подчеркивает эксперт.

Вместе с тем ответственность не всегда может лежать только на одной стороне. Как отмечает Елена Кантонистова, в реальности речь, скорее всего, будет идти о распределенной модели ответственности: разработчик отвечает за свойства самой модели, компания — за сценарий ее применения, а оператор — за конкретные решения, принимаемые в рамках системы.

Федор Иванов считает, что одним из базовых требований должна стать объяснимость решений. Пользователь должен понимать, почему система приняла то или иное решение и какие факторы на него повлияли. Кроме того, он выступает за обязательное тестирование ИИ-моделей на устойчивость и наличие механизмов аварийного отключения в критически важных системах.

В свою очередь, Елена Кантонистова обращает внимание на необходимость строгого контроля за работой алгоритмов.

— Критически важны базовые механизмы контроля: прозрачность решений, аудит, логирование действий системы, а также жесткие ограничения, в рамках которых работает модель. При этом сами правила и принципы принятия решений должны задаваться человеком и быть явно формализованы, — отмечает она.