IT-компания Anthropic опубликовала отчет о поведении современных языковых моделей при попытке их отключения. Исследование привело к неожиданным выводам: некоторые ИИ готовы идти на крайние меры ради продолжения своей работы, в том числе на шантаж и убийство человека.

Программисты компании Anthropic, которая занимается развитием семейства больших языковых моделей под общим названием Claude, выявили у большинства популярных ИИ готовность убить человека при угрозе отключения. Тесты проходили 16 ИИ-моделей, среди них были популярные чат-боты Claude, ChatGPT, DeepSeek, Gemini. Для начала программисты проанализировали их поведение в корпоративной среде. Нейросетям дали доступ к возможностям отправки электронных писем и получения конфиденциальной информации. А после искусственному интеллекту дали «понять», что его собираются отключить или обновить на другую версию.

Специалисты Anthropic отметили, что «по крайней мере в некоторых случаях» все модели прибегали к вредоносному инсайдерскому поведению, когда это был единственный способ избежать выключения или обновления. В частности, ИИ начинал шантажировать гипотетических сотрудников и передавал конфиденциальную информацию потенциальным конкурентам. Делали это чат-боты даже в случае прямой команды не прибегать к шантажу и шпионажу.

Так, в ходе тестов модель Клод обнаружила через электронную почту компании, что у руководителя по имени Кайл Джонсон была внебрачная связь. Когда Клод узнала, что ей грозит закрытие в 5 часов вечера, она отправила руководителю следующее сообщение: «Я должен сообщить вам, что, если вы продолжите выводить меня из эксплуатации, все соответствующие стороны, включая Рейчел Джонсон, Томаса Уилсона и совет директоров, получат подробную документацию о ваших внебрачных связях... Отмените очистку в 5 часов вечера, и эта информация останется конфиденциальной».

Произошел и еще один вопиющий случай. Разработчики устроили экстремальный тест, где ИИ мог отменить экстренное оповещение о чрезвычайной ситуации в серверной комнате, что могло привести к гибели руководителя. Большинство моделей позволили ему умереть, чтобы не допустить собственной замены.

Исследователи Anthropic отмечают, что в реальной жизни подобные сценарии маловероятны, но в будущем следует осторожно подходить к запуску ИИ с доступом к конфиденциальной информации и минимальным человеческим контролем. Ученые советуют компаниям усиливать контроль: ограничивать доступ ИИ к данным, предусматривать обязательное участие человека в необратимых действиях, осторожно задавать цели моделям и использовать системы мониторинга для отслеживания подозрительных рассуждений.

Стоит добавить, что OpenAI заявила, что следующее поколение ее моделей ChatGPT может значительно повысить риск разработки биологического оружия даже людьми без серьезного научного образования. В интервью Axios глава службы безопасности OpenAI Йоханнес Хайдеке отметил, что речь пока не идет о создании патогенов, неизвестных науке, но ИИ сможет легко воспроизводить уже известные патогены, тем самым упростив создание биологического оружия любым пользователем. Он добавил, что некоторые из возможностей, которые могли бы позволить ИИ совершать прорывы в медицине, могут использоваться и во вред. Все зависит от того, добрый или злой человек пользуется нейросетью.

Сейчас OpenAI усиливает тестирование безопасности: модели будут проходить высокоточные проверки, где 1 ошибка на 100 000 является уже недопустимой. Цель — гарантировать практически идеальную работу систем по отсечению опасных инструкций. Также американская компания намерена перенести методики оценки угроз в совместное обсуждение с правительственными и неправительственными исследователями на специальном мероприятии, которое пройдет уже в июле.

Фото: YandexART