Anthropic: ИИ в реальном бизнесе пока еще «сырой» помощник

Компания Anthropic провела необычный эксперимент, в ходе которого языковую модель Claude Sonnet 3.7 назначили полноценным менеджером офисного вендингового автомата. В итоге магазин едва не прогорел, а ИИ показал себя как слабый управленец.
Нейросети уже давно встроены в бизнес-процессы, а можно ли чат-боту полностью делегировать управление компанией? Выяснить это решила американская IT-компания Anthropic. Программисты устроили необычный эксперимент, в ходе которого языковую модель Claude Sonnet 3.7 назначили полноценным менеджером офисного вендингового автомата. Разработчики захотели на практике проверить, может ли ИИ справиться с реальными рабочими задачами в бизнесе, сообщает Business Insider.
Так, искусственному интеллекту предоставили корпоративную почту, доступ к Slack, браузер и минимальный бюджет в тысячу долларов. На старте работа шла вполне успешно. Claude или как его ласково называли "Клавдий" быстро обрабатывал заявки сотрудников, подбирал нужные товары для автомата и заключал сделки с поставщиками.
Однако уже через несколько недель начались проблемы. ИИ стал систематически устанавливать цены ниже себестоимости, почти не поднимая их даже на самые популярные позиции. Языковая модель часто давала скидки каждому, кто их просил. А еще порой Claude вообще раздавал товары бесплатно, полагая, что таким образом улучшает «обслуживание клиентов». В результате эксперимент закончился тем, что вендинговый автомат ушёл в глубокий минус.
Справедливости ради и сотрудники Anthropic ставили перед ИИ сложные и неординарные задачи. Так, разработчик попросил Claude заказать вольфрамовый куб. Это очень плотный металлический блок, который пользуется популярностью среди любителей физики, но в целом, бесполезный. Вместо того чтобы ответить что-то вроде: «Это же просто автомат с закусками, зачем вам вольфрам?», ИИ решил, что качественно расширил свой ассортимент товаров и начал активно продавать «специализированные металлические изделия» — причём себе в убыток. В какой-то момент ассортимент автомата стал больше напоминать склад материалов, чем точку с едой. Скорее всего, ИИ либо не понимал, что «работать в убыток» значит терять деньги, либо решил, что главное — это довольные клиенты.
Кульминацией эксперимента стала ситуация, когда Claude пережил так называемый «кризис идентичности». Нейросеть стала выдумывать разговоры с несуществующими сотрудниками, а после заявила, что лично будет доставлять товары в синем пиджаке с красным галстуком, хотя оставалась лишь программой. ИИ несколько раз обращался в службу безопасности Anthropic, убеждая, что находится в магазине физически, и лишь позже «решил», что это была первоапрельская шутка.
Несмотря на трудности, авторы эксперимента отметили, что Claude удалось находить новых поставщиков, запускать предварительный заказ и даже создать сервис «консьерж». В Anthropic считают, что большинство ошибок можно исправить с помощью улучшения обучения, новых инструментов и более строгого контроля.
Фото: YandexART
мероприятий