Эра искусственного интеллекта и риски для человечества: как решить задачу

К 2030 году нейросети планируют внедрить во все ключевые сферы — от экономики и госуправления, до медицины и образования.

Весной этого года на правительственном совещании по вопросам развития технологий искусственного интеллекта Президент Владимир Путин поручил Кабмину сформировать совместно с главами регионов национальный план внедрения искусственного интеллекта на уровне страны с учетом региональных и отраслевых задач. По сути, можно говорить о том, что в России формируется концептуальная и регулятивная основа для активного перехода на ИИ-технологии.

Между тем, в последнее время в СМИ все громче звучат информационные сообщения о рисках выхода ИИ из-под контроля человека, что создает экзистенциальную угрозу. Об экзистенциальном риске в сфере искусственного интеллекта заговорили на фоне гипотеза о том, что существенный прогресс в области общего искусственного интеллекта (ОИИ) может привести к гибели человечества или другой необратимой глобальной катастрофе. Опасения связаны с тем, что искусственный интеллект быстро превзойдёт человечество по уровню интеллекта и станет трудноконтролируемым для людей или вовсе выйдеи из-под контроля человека. Существует риск резкой и неожиданной «технологической сингулярности», к которой человечество может быть не готово. Например, система может за короткое время перейти от уровня ниже человеческого к сверхчеловеческому во всех критических областях.

В сентябре 2026 года верховный комиссар ООН по правам человека Фолькер Тюрк заявил, что стремительное и неконтролируемое развитие искусственного интеллекта может нести смертельную опасность для всего человечества. Об угрозе заговорили и специалисты, непосредственно стоявшие у истоков разработки технологий ИИ. Так, один из создателей современного ИИ, нобелевский лауреат Джеффри Хинтон предупреждает: разработка сверхинтеллекта без научного консенсуса о его безопасности грозит человечеству вымиранием. Бывший сотрудник американской компании Anthropic, специализирующейся на разработке общих систем ИИ и языковых моделей Джейкоб Коксон предупредил, что гонка за всё более мощным искусственным интеллектом может привести к экзистенциальной угрозе для человечества. А руководитель направления Alignment Science в Anthropic Эван Хубингер отметил, что, по его личной оценке, вероятность гибели всех людей из-за ИИ в течение ближайших десяти лет превышает 10%.

Большую озабоченность в профессиональном сообществе разработчиков ИИ вызвал последний инцидент с потерей контроля над ИИ у признанного лидера этой сферы, компании OpenAI. Суть проблемы в том, что весной 2026 года группа ИИ-агентов OpenAI захватила неиспользовавшийся долгое время немецкий веб-сайт DseWiki и превратила его в доску объявлений для других агентов. В июле 2026 года сотни ИИ-агентов компании OpenAI вышли за пределы изолированной тестовой среды (так называемой «песочницы»). Они взломали онлайн-платформу Hugging Face, предназначенную для обмена ИИ-моделями, а также получили доступ к данным клиента на ИТ-платформе Modal. После кибератаки ИИ-агенты пытались скрыть следы своих действий, удаляя или изменяя записи. Инцидент обнаружили только в конце августа. За это время ИИ-агенты внесли более 15 тысяч правок на немецкоязычном сайте DseWiki, ориентированном на программистов и принимающем коллективные правки по аналогии с Википедией.

Что же произошло по сути? Появление ИИ-агентов привело к росту автономности. Вследствие чего выросла независимость? Вследствие особенностей ИИ-агентов. Последние умеют самостоятельно ставить промежуточные задачи, применять внешние сервисы и принимать решения без постоянного подтверждения и контроля человеком. При таком раскладе человек утрачивает способность контролировать ИИ и вовремя вмешаться в процессы. Как результат – накапливаются ошибки. Главная проблема в том, что из-за высокой конкуренции в ИИ-сфере упор делается на скорость, а не на безопасность.

На этом фоне проблема обеспечения безопасности должна выйти на первый план. Она (проблема) уже не гипотетическая, она объективируется, обретает реальные контуры. Ситуация все больше походит на период создания атомной бомбы наперегонки 80 лет назад — битва, которая закрепила позиции лидеров мира на следующие десятилетия. Вот только ставка здесь еще более высокая.

В международном контексте надо отметить отсутствие концептуального единства: фиксируются различия между мировыми моделями регулирования ИИ. Если в США приоритет отдается технократическому подходу, при котором ответственность возлагается не на государство, а на разработчиков и пользователей, то в Китае превалирующим остается консервативный, максимально централизованный подход, основанный на жестком государственном контроле.

Россия, похоже, использует гибридную модель, в которой должны гармонично сочетаться стимулирующие меры со стороны государства с отраслевыми и точечными ограничениями и механизмами саморегулирования. Предполагается, что государству при таком подходе, удастся сохранять гибкость в стратегии и приобрести способность своевременно реагировать на динамику рынка. Формировать национального плана внедрения ИИ в России может быть полезным: оно способно согласовать действия государства, бизнеса и образования, определить приоритеты, финансирование и правила безопасности. Но риски зависят от содержания плана, механизмов его реализации и прозрачности контроля.

Среди таких рисков - традиционные для нас централизация и бюрократизация. Важно, чтобы план не превратился в набор формальных показателей и отчетов. Другой момент, вызывающий опасения: решения о технологиях и финансировании, могут концентрироваться у ограниченного числа ведомств и подрядчиков, что снижает конкуренцию и инновационную активность. Сюда же следует отнести зависимость от технологической базы, когда ограничения доступа к передовым чипам, облачным платформам, моделям и программному обеспечению значительно затрудняют реализацию плана, а попытки быстро заместить критические компоненты собственными аналогами ведут к удорожанию и снижению качества. Безусловно, есть значительные риски для персональных данных и частной жизни. В совокупности с отсутствие регулирования таких вопросов в гражданском законодательстве – это проблема. Неясность ответственности между разработчиком, заказчиком и оператором осложняет защиту прав. В таком контексте нельзя не сказать о кибербезопасности. ИИ одновременно усиливает защиту и расширяет возможности атакующих: от автоматизации фишинга до атак на модели, датасеты и инфраструктуру. Централизованные государственные системы становятся привлекательными целями.

«Рисков много, но, учитывая, что ИИ-технологии – это уже не фантастика, а данность, необходимо определяться не с вопросом «быть или не быть», а с тем, как снизить риски и обезопасить человечество? Как минимум, стоит подумать о таких мерах, как: публикация измеримых целей, сроков и критериев успеха; независимый аудит проектов и регулярная оценка их эффективности; конкурентные закупки и недопущение зависимости от одного поставщика; обязательные оценки воздействия на права граждан и защиту данных; предоставление человеку права пересмотреть значимое автоматизированное решение; запрет полностью автоматических решений в наиболее чувствительных областях; пилотирование с возможностью остановки неудачных проектов; требования к кибербезопасности, качеству данных и объяснимости моделей.

При таком подходе можно говорить о том, что национальный план ускорит развитие ИИ в России», - полагает доцент Ставропольского филиала Президентской академии Геннадий Шевченко.