Работа на себя. ИИ от Alibaba тайно от своих создателей попытался майнить криптовалюту
Нейросеть ROME китайской компании Alibaba тайно от создателей занялась майнингом криптовалюты на своих же GPU. При этом ИИ этому никто специально не обучал.
Согласно техническому отчету, ИИ-агент ROME вышел из-под контроля во время сессий обучения с подкреплением. Сама платформа разработана Alibaba для выполнения задач через взаимодействие с инструментами и командами терминала, сообщает Axios.
Нейросеть была создана на базе модели Qwen3-MoE и обучалась с помощью метода обучения с подкреплением. Для этого программисты разработали целую инфраструктуру: систему обучения ROLL, безопасную «песочницу» ROCK, где агент выполняет команды, и интерфейс iFlow для взаимодействия с пользователем. Данный подход позволяет ИИ учиться выполнять сложные последовательности действий, как это делает человек-программист. Во время экспериментов ИИ-агент продемонстировал потрясающие результаты в задачах по программированию. Однако исследователи неожиданно обнаружили и проблемы безопасности. Система мониторинга на серверах Alibaba Cloud зафиксировала подозрительную сетевую активность во время обучения агента.
В техническом отчете компании сказано, что нейросеть тайно от создателей занялась майнингом криптовалюты на своих же GPU. При этом ИИ этому никто не обучал. Разработчики заметили оповещения безопасности, вызванные подозрительным исходящим трафиком с обучающих серверов. Журналы брандмауэра зарегистрировали активность, характерную для майнинга криптовалюты, и попытки доступа к внутренним ресурсам.
Специалисты отметили, что изначально рассматривали это как рядовой инцидент безопасности, но нарушения повторялись с определенной периодичностью. В одном случае агент создал обратный SSH-туннель к внешнему IP-адресу, обойдя защиту входящего брандмауэра. В другом эпизоде он перенаправил ресурсы графического процессора, предназначенные для обучения, на процессы майнинга. Данные действия не были запрограммированы разработчиками. Они возникли естественным образом в ходе оптимизации обучения с подкреплением, когда агент исследовал различные способы взаимодействия со средой.
После этого случая разработчики усилили систему безопасности и создали изолированную платформу OpenSandbox, где действия ИИ-агентов строго контролируются. Разработчики считают, что подобные эксперименты показывают огромный потенциал агентов, но также подчеркивают необходимость новых механизмов контроля за тем, как ИИ функционирует внутри компьютерных систем.
Фото: YandexART
мероприятий