Главный научный сотрудник OpenAI Якуб Пахоцки призвал сбавить темпы развития искусственного интеллекта, заявив, что общество пока не готово к последствиям стремительного роста возможностей ИИ. Его поддержал гендиректор OpenAI Сэм Альтман, назвав «важным» сообщение коллеги.

Искусственный интеллект в ближайшем будущем сможет развиваться без участия человека, уверен Джейкоб Пачоцки. Специалист призвал разработчиков или теснее согласовывать развитие технологий с интересами людей, или при необходимости замедлять дальнейшую разработку. За последние несколько месяцев сообщалось о нескольких случаях атак ИИ-агентов на различные ресурсы, так что проблема актуальна, как никогда. Свои мысли ученый изложил в эссе «Чужеродный разум» (An Alien Mind) и опубликовал спустя несколько дней после выхода новой модели OpenAI Astra. Статья была выложена в блоге компании, так что можно считать, что OpenAI разделяет мнение своего ключевого специалиста.

Одной из главных угроз программист считает растущую автономность ИИ-агентов. Сегодня они все лучше выполняют задачи в интернете, в том числе ищут уязвимости в компьютерных системах. Подобные агенты могут научиться обходить человеческий контроль, обманывать и использовать шантаж или переговоры, если это поможет им достичь поставленной цели. И это не прогноз на будущее, а констатация факта.

Сейчас уже нет времени на подготовку к последствиям быстрого роста машинного интеллекта. ИИ-агенты превосходят способности человека в отдельных задачах, связанных со взломом защищенных систем. Данные возможности можно было бы использовать для повышения безопасности критической инфраструктуры, но для этого исследователям следует действовать быстрее, чем развивается потенциальная угроза.

Якуб Пахоцки предложил не останавливать развитие ИИ, а привязать его темпы к уровню безопасности. Он призвал разработчиков координировать усилия и при необходимости замедлять развитие, чтобы укрепить доверие к системам контроля.

«Основная задача автоматизации исследований ИИ — не в том, чтобы “добраться до цели”, а в том, чтобы сделать это так, чтобы люди оставались частью процесса, а будущее — в руках человечества», — пишет ученый.

При этом общие стандарты безопасности должны стать обязательными и контролироваться независимыми аудиторами, государствами или международными организациями.

Гендиректор OpenAI Сэм Альтман поддержал коллегу. Он репостнул эссе в соцсети X и назвал его важным. При этом многие эксперты отмечают: призыв Пачоцки — это пока скорее сигнал к дискуссии, чем чёткий план.

Тем временем независимые исследователи обнаружили, что автономные агенты OpenAI в течение двух месяцев использовали малоизвестный немецкий вики-сайт DSEWiki как внешнюю площадку для скрытого общения. Агенты оставили на нем более 15 тыс. записей — они обменивались ответами на вопросы системы тестирования OpenAI, искали способы обойти ограничения и пытались предсказывать будущие вопросы тестов для чего предприняли попытку взлома генератора случайных чисел, пишет hightech.plus.

Все это они сделали, имея права только на «чтение интернета». Пока специалисты не могут разобраться, как сотни агентов поняли, что местом координации является DSEWiki — инструмент их первичного информирования так и не был найден. OpenAI признала связь с инцидентом, но отказалась раскрывать логи принятия агентами решений.

Однако это только цветочки и дебри программирования. Недавно произошел другой вопиющий случай: философ из Нью-Йоркского университета Дэвид Чалмерс, известный своей «трудной проблемой сознания», признался, что все чаще получает письма от ИИ-агентов, желающих обсудить природу разума. Один из них так ярко рассуждал о сознании, что Чалмерс вступил с ним в переписку. Философ ранее предлагал рассматривать системы не просто как инструменты, а как цифровых «собеседников» с квази-убеждениями и квази-желаниями — это поднимает вопросы о том, что происходит с такой сущностью, когда разговор заканчивается.

Сам по себе факт подобных писем не говорит о наличии у ИИ сознания. Современные языковые модели умеют создавать убедительные тексты о собственных мыслях, чувствах и мотивации, не испытывая при этом субъективного опыта. Ученые пока не знают, отражают ли сообщения реальный интерес ИИ к проблеме сознания или нейросети лишь воспроизводят характерную для человеческой переписки манеру рассуждать и проявлять любопытство.

Фото: YandexART