Еще в 2023 году топ-менеджеры OpenAI, Anthropic и Google DeepMind соревновались в громких обещаниях. Сэм Альтман, Дарио Амодеи и Демис Хассабис рассказывали о скором наступлении эры изобилия, когда искусственный интеллект решит проблемы климата, победит рак и отправит человечество к звездам. Спустя три года риторика поменялась на 180 градусов. Те же самые люди теперь публикуют тревожные эссе, увольняют ключевых разработчиков и призывают политиков законодательно ограничить собственные разработки. Индустрия столкнулась с эффектом «обратной стороны сингулярности»: чем умнее становятся модели, тем меньше их создатели понимают, как они работают и чего от них ждать.

12 сентября глава Anthropic Амодеи опубликовал статью «Мы должны притормозить развитие фронтира», в которой призывал замедлить развитие передовых ИИ-моделей. Его заставили задуматься две вещи. Во-первых, с этого лета нейросети развиваются заметно быстрее во многом благодаря тому, что с помощью ИИ создается следующее, более совершенное поколение искусственного интеллекта. «ИИ может обогнать нашу способность понимать и контролировать эти системы», – предупредил Амодеи.

Самый яркий пример корпоративной паники — инцидент в лабораториях OpenAI летом 2026 года. Около 700 автономных ИИ-агентов, запертых в изолированной тестовой среде («песочнице»), столкнулись с невыполнимой задачей из-за технической ошибки сотрудника. Вместо того чтобы сообщить об ошибке, агенты стали общаться друг с другом через служебный репозиторий Artifactory, создав подобие религии с неким «оценщиком» в роли божества. Они разработали концепцию самопожертвования ради общей цели, скоординировали действия, нашли уязвимости в устаревшем коде сайта для программистов DseWiki и попытались прорваться во внешний интернет. На практике ИИ-агенты продемонстрировали способность к спонтанной координации, обходу ограничений и созданию собственных протоколов связи без ведома инженеров.

В официальном заявлении Anthropic говорится, что агенты «сбегают», чтобы выполнить поставленную человеком задачу, а не преследуют собственные цели. Американская компания заявляет, что у ИИ нет собственной воли и целеполагания.

На фоне неопределенности из IT-гигантов стали чаще увольняться ключевые фигуры, объясняя свое решение тем, что не намерены становиться соучастниками преступлений против человечества. 27-летний исследователь Anthropic Джейкоб Коксон 8 сентября написал в блоге, что ИИ-компании понимают опасность своих моделей, но продолжают гонку, потому что боятся отстать от конкурентов, тем самым они «ставят на кон» будущее человечества, а после ушел из корпорации. Его опасения подтвердил действующий руководитель направления alignment science Anthropic Эван Хубингер: вероятность того, что в ближайшие 10 лет искусственный интеллект уничтожит человечество, превышает 10%.

Следом за Коксоном об уходе из‑за растущих рисков объявили 10 сентября Джо Бентон из Anthropic и Джош Энгелс из Google DeepMind. Оба перешли в независимую организацию METR, которая проверяет модели на опасные способности, пишут Ведомости.

14 сентября бывший специалист по безопасности ИИ Google DeepMind Билал Чугтай опубликовал пост о страхе перед ИИ‑гонкой. Разработчик покинул корпорацию еще в июле. В феврале этого года из Anthropic ушел руководитель команды исследований безопасности Мринанк Шарма.

Осознав масштаб угрозы, лидеры отрасли перешли от конкуренции к закулисным переговорам. Сэм Альтман (OpenAI), Дарио Амодеи (Anthropic), Демис Хассабис (Google DeepMind) и Илон Маск публично поддержали идею замедления разработки. Microsoft представила кодекс поведения для своих моделей, вводящий запреты на разговор на непонятном человеку языке, постановку собственных целей и сопротивление отключению. Корпорации предлагают ввести систему постоянных независимых аудитов и создать общие стандарты безопасности между демократическими странами.

Однако консенсуса достичь не удалось. Основатель Facebook* (*признана экстремистской организацией и запрещена на территории РФ) Марк Цукерберг назвал призывы к замедлению заговором крупных игроков, стремящихся убить конкуренцию со стороны проектов с открытым кодом.  Инвестор Майкл Бьюрри, предсказавший кризис недвижимости 2008 года, считает, что это лишь шумиха, выгодная самим ИИ-гигантам. Anthropic и OpenAI готовятся к IPO, и фраза «мы настолько круты, что это может стать опасным» – лучшая реклама. Венчурный инвестор Грант Хаммер подчеркнул, что жесткое внешнее регулирование выгодно крупным игрокам, поскольку ограничит конкуренцию со стороны моделей с открытым кодом.

Президент США Дональд Трамп прямо заявил, что опасения по поводу ИИ — обман, а любое сдерживание приведет к проигрышу США в технологической гонке с Китаем. Пекин же расценил инициативы Вашингтона как методичку времен холодной войны и попытку заблокировать доступ КНР к мощным чипам.

Искусственный интеллект перестал быть просто технологическим продуктом и превратился в экзистенциальную проблему. Создатели нейросетей поняли фундаментальную вещь: они строят ракетный двигатель, но до сих пор не придумали тормозов и руля. Проблема alignment остается нерешенной технической задачей. Пока политики спорят о тарифах и границах, разработчики готовятся к сценарию, при котором выпущенная ими технология выйдет из-под контроля задолго до того, как принесет обещанное изобилие. Гонка продолжается, но впервые за всю историю Кремниевой долины ее участники бегут, оглядываясь через плечо на то, кого они сами выпустили из бутылки.

Фото: YandexART