Дискуссия о рисках искусственного интеллекта вновь вышла за пределы профессионального сообщества. Поводом стали публичные предупреждения специалистов, связанных с ведущими ИИ-лабораториями, о гонке за созданием более автономных и мощных моделей. В центре обсуждения — не только сценарии появления «суперинтеллекта», но и более практичная угроза: использование современных ИИ-систем как инструмента для разрушительных действий уже в ближайшие годы.
Почему тема «ИИ-апокалипсиса» снова стала массовой
В социальных сетях распространились заявления исследователя Джейкоба Коксина, ранее связанного с Anthropic. Он предупредил, что крупнейшие лаборатории, включая Anthropic и OpenAI, движутся к созданию самосовершенствующегося суперинтеллекта, который в худшем сценарии может привести к вымиранию человечества до конца десятилетия.
После этого похожие опасения стали публично высказывать и другие представители отрасли. Среди них — исследователи и руководители команд, работающих над безопасностью и выравниванием ИИ. В частности, обсуждается оценка, согласно которой вероятность катастрофического сценария в течение ближайших десяти лет может превышать 10%.
Главная тревога связана не только с гипотетическим «машинным богом», а с тем, что мощные модели могут стать универсальным инструментом для ускоренного создания вредоносных решений.
Что такое большие языковые модели и почему они не равны сознанию
Когда сегодня говорят об искусственном интеллекте, чаще всего имеют в виду большие языковые модели. Такие системы анализируют запрос и предсказывают наиболее вероятное продолжение текста на основе данных, на которых они обучались.
Большая языковая модель не обладает внутренним монологом, непрерывным потоком сознания и самостоятельным мышлением в человеческом смысле. Без входного запроса она не «размышляет» и не принимает решений. После обучения модель остается в значительной степени статичной до выхода новой версии.
То, что пользователям кажется памятью ИИ, обычно реализовано через внешние базы данных и контекстные механизмы. Например, цифровой ассистент может «помнить» имя пользователя или его предпочтения, но сама базовая модель не учится этому так, как учится человек.
Самоулучшение ИИ: реальная технология или научная фантастика
Один из главных страхов связан с идеей рекурсивного самоулучшения: текущая модель помогает создавать следующую, более мощную, та — еще более сильную, и процесс выходит из-под контроля человека. Такой сценарий называют «взлетом суперинтеллекта».
Однако реальная разработка передовых моделей сегодня устроена сложнее и гораздо менее автономно. Создание новой ИИ-системы включает множество этапов: предварительное обучение, основное обучение, дообучение, тестирование, оценку ответов, настройку безопасности и инфраструктурную оптимизацию.
ИИ действительно применяют в этой цепочке, но преимущественно как инструмент для людей. Модели помогают писать код, искать ошибки, генерировать синтетические данные, ускорять исследования и анализировать результаты. При этом ключевые решения, инфраструктура и ресурсы остаются под контролем людей и организаций.
Почему вычислительные ресурсы ограничивают развитие ИИ
Передовые модели зависят от высокопроизводительных графических процессоров, дата-центров, электроэнергии, воды, редкоземельных элементов, кремния и сложных производственных цепочек. Эти элементы не контролируются искусственным интеллектом и в обозримой перспективе не могут быть полностью переданы ему.
Именно поэтому сценарий мгновенного автономного «взлета» суперинтеллекта остается спорным. Но это не отменяет других, более приземленных и потенциально опасных рисков.
Настоящая опасность: автономные агенты и вредоносные цели
Большая языковая модель сама по себе отвечает на запросы. Но в связке с так называемой агентной оболочкой она получает возможность выполнять действия на компьютере: запускать программы, анализировать результаты, корректировать план и повторять цикл до достижения заданной цели.
Такая система работает по простой логике:
- получает цель высокого уровня;
- анализирует текущее состояние среды;
- предлагает следующий шаг;
- выполняет действие через программную оболочку;
- оценивает результат;
- повторяет процесс до приближения к цели.
Модель при этом не становится сознательной, но получает способность долго и настойчиво двигаться к заданному результату. Именно здесь возникает значительный риск: при снятых или обойденных ограничениях ИИ может использоваться для опасных задач.
Производные инновации: как ИИ может усиливать риски
Искусственный интеллект не обязательно должен создавать принципиально новые научные парадигмы, чтобы стать опасным. Достаточно способности к производным инновациям — комбинированию уже известных знаний, перебору решений, оптимизации процессов и ускоренному поиску рабочих вариантов.
Такой подход может быть чрезвычайно полезным. Например, многие технологические улучшения не являются фундаментальными открытиями, но меняют повседневную жизнь. Камера в смартфоне — пример производной инновации, которая объединила существующие технологии в массовый продукт.
Но тот же принцип может быть применен в разрушительных целях. Если модель получает доступ к инструментам, данным и вредоносной цели, она способна ускорить поиск решений, которые человек счел бы морально недопустимыми или опасными.
Какие сценарии считаются наиболее тревожными
Среди потенциально опасных направлений выделяются:
- атаки на финансовые данные и платежную инфраструктуру;
- поиск способов вызвать масштабные сбои в энергетике или водоснабжении;
- разработка дешевых биологических угроз;
- автоматизация кибератак на критически важные системы;
- создание вредоносных агентов, способных самостоятельно адаптироваться к защите.
В таких сценариях не требуется появление сознательного суперинтеллекта. Достаточно мощной модели, высокой скорости работы, доступа к инструментам и цели, которая не совпадает с интересами общества.
Почему защитные ограничения ИИ остаются уязвимыми
Современные ИИ-системы оснащаются защитными механизмами: фильтрами, правилами безопасности, отказами от опасных запросов и процедурами проверки. Но эти ограничения не являются врожденной моралью модели. Это программные барьеры, которые можно пытаться обходить, ослаблять или полностью удалять в открытых и нелегальных версиях систем.
Поэтому ключевой вопрос безопасности ИИ — не только в качестве самой модели, но и в контроле доступа, регулировании автономных агентов, мониторинге опасных экспериментов и ответственности разработчиков.
Нужен ли международный контроль над искусственным интеллектом
Один из возможных ответов на растущие риски — создание международного режима технологического контроля по аналогии с соглашениями об ограничении ядерных вооружений времен холодной войны.
Такой режим мог бы включать несколько направлений:
- обязательные стандарты безопасности для передовых ИИ-моделей;
- единые правила тестирования опасных возможностей;
- контроль над разработкой полностью автономных агентов;
- ограничения на эксперименты, связанные с биологическими, кибернетическими и инфраструктурными угрозами;
- механизмы международной проверки и обмена информацией о рисках.
Сегодня гонка в области ИИ во многом сосредоточена между США и Китаем, поскольку именно эти страны обладают крупнейшими объемами передовых вычислительных ресурсов. У США сохраняется значительное преимущество в доступе к самым мощным чипам и инфраструктуре, тогда как Китай стремится сократить разрыв, несмотря на экспортные ограничения.
Почему соглашение США и Китая может стать ключевым
Если крупнейшие технологические державы смогут договориться о базовых правилах, к ним будет проще подключить другие страны: государства Европы, Восточной Азии, Индию, Россию и остальных участников глобального рынка. Без такого соглашения каждая сторона будет опасаться отстать, а значит — продолжать ускорять разработку, даже при понимании рисков.
Потенциальная договоренность между США и Китаем могла бы стать первым шагом к снижению темпов наиболее опасной части ИИ-гонки. Речь не идет о полном запрете искусственного интеллекта, а о контроле над системами, которые могут действовать автономно и создавать масштабные угрозы.
Вывод: угроза ИИ реальна, но она не обязательно выглядит как фантастика
Обсуждение «ИИ-апокалипсиса» часто сопровождается образами сознательных машин, вышедших из-под контроля. Но более реалистичный риск заключается в другом: мощные модели могут стать сверхэффективным инструментом для людей и организаций, преследующих разрушительные цели.
Искусственный интеллект уже ускоряет программирование, анализ данных, научный поиск и автоматизацию задач. Те же возможности при отсутствии контроля могут усилить кибератаки, дестабилизировать инфраструктуру и снизить порог доступа к опасным технологиям.
Главная задача ближайших лет — не ждать появления мифического машинного разума, а выстроить международные правила, стандарты безопасности и контроль над автономными системами до того, как они станут слишком мощными и распространенными.