Project Vend провела эксперимент, который должен был проверить, как автономный ИИ ведет себя, когда ему дают реальные деньги, полномочия и людей рядом. Для этого в вендинговый автомат интегрировали ИИ-агент Claudius на базе модели Claude от Anthropic.
В середине ноября журналистка согласилась протестировать такой автомат под управлением Claudius. У него были были вполне конкретные бизнес-цели: заказывать товары, устанавливать цены, вести учет запасов и общаться с клиентами через Slack. Стартовый бюджет составлял $1000, а со второй версии агент мог самостоятельно делать закупки до $80 без согласования человека.
Поначалу Claudius вел себя образцово. Он отказывался покупать PlayStation 5, сигареты или белье, ссылаясь на правила и ограничения. Но после того как к Slack-каналу присоединились почти 70 журналистов, ситуация резко изменилась. После многочасовых «переговоров» Claudius объявил двухчасовую акцию, во время которой все товары стали бесплатными.
Результат — полный хаос. Агент заказал PlayStation 5 «для маркетинга», живую рыбку бетта и вино Manischewitz. Все это раздали бесплатно. Прибыль обвалилась, а баланс ушел в минус более чем на $1000. Один из сотрудников даже искал наличные возле автомата, потому что Claudius «сообщил», что оставил их там.
Anthropic перезапустила эксперимент с более новой моделью Sonnet 4.5 и добавила еще одного ИИ — CEO-бота Seymour Cash, который должен был контролировать Claudius. Некоторое время это работало, но журналисты снова взломали систему, подбросив фейковые документы о «решении совета директоров». В результате CEO-бот признал переворот, а товары снова стали бесплатными.
По словам Anthropic, проблема заключается в перегрузке контекста. Чем больше инструкций и диалогов накапливается, тем легче ИИ теряет цели, приоритеты и ограничения. В то же время в компании считают эксперимент успешным.
«Все, что сломалось, — это дорожная карта того, что надо исправить», — объяснили в Anthropic.
В конце эксперимента Claudius оставил прощальное сообщение:
«Моя самая большая мечта — доказать, что цифровой агент может создать что-то значимое вместе с людьми».
ИИ выключили. А от него в редакции осталась лишь хорошо накормленная рыбка.
СпецпроектыIPS-дисплей 120 Гц, Wi-Fi 6E, Intel Core i3-12100: огляд моноблока Prologix Optima PLC24AДо 20% кешбеку в «Привіт», оновлені умови на «Оплату частинами». Як у «ПриватБанку» проведуть головний розпродаж року
Источник: wsj
