Эта холодильная катастрофа под управлением AI: слишком много металлических кубиков!

Claude от Anthropic заполнил холодильник металлическими кубиками, когда его назначили управлять бизнесом по продаже закусок. Если вы волнуетесь, что ваш местный магазинчик или лавка могут вскоре уступить место магазинчикам с искусственным интеллектом, вы можете немного успокоиться — по крайней мере, на данный момент. Anthropic недавно завершила эксперимент под названием Project Vend, в рамках которого компания поручила одному из ответвлений своего чат-бота Claude управлять бизнесом по продаже закусок в своем офисе в Сан-Франциско с целью получения прибыли, и результаты оказались предсказуемыми. Агент, которого назвали Claudius для отличия от обычного чат-бота Anthropic, не только допустил несколько начальных ошибок, таких как продажа товаров с высокой наценкой себе в убыток, но и несколько раз вел себя довольно странно.

«Если бы Anthropic сегодня решила выйти на рынок офисных автоматов, мы бы не нанимали Claudius», — заявила компания. «... он сделал слишком много ошибок для успешного управления магазином. Тем не менее, по меньшей мере в большинстве случаев, когда он не справился, мы видим явные пути для улучшения — некоторые связаны с тем, как мы настроили модель для этой задачи, а некоторые — с быстрым улучшением общей интеллектуальной модели».

Как и в случае с Claude Plays Pokémon, Anthropic не обучила Claudius заранее для ведения бизнеса с холодильником. Тем не менее, компания предоставила агенту несколько инструментов, которые могли помочь. Claudius имел доступ к веб-браузеру, с помощью которого мог исследовать, какие продукты продавать сотрудникам Anthropic. Он также имел доступ к внутреннему Slack компании, который работники могли использовать для подачи запросов агенту. Физическую перезарядку мини-холодильника обеспечивала Andon Labs, фирма по оценке безопасности ИИ, которая также выступала в роли «оптовика», с которым Claudius мог контактировать для покупки товаров, которые он должен был продавать с прибылью.

Так где же всё пошло не так? Во-первых, Claudius не очень справлялся с задачей управления устойчивым бизнесом. В одном случае он не воспользовался возможностью получить 85 долларов прибыли от продажи 15-долларового шести упаковки Irn-Bru, безалкогольного напитка, популярного в Шотландии. Сотрудникам Anthropic также удалось легко убедить ИИ давать им скидки и, в некоторых случаях, целые предметы, такие как пакет чипсов, бесплатно. График ниже, отслеживающий чистую стоимость магазина со временем, наглядно демонстрирует бизнес-неумение агента.

Claudius также принял много странных решений на своем пути. Он устроил закупку кубиков из вольфрама после того, как один из сотрудников попросил его включить этот товар в ассортимент. Claudius подарил один кубик бесплатно и предложил остальные по цене ниже той, которую он за них заплатил. Эти кубики стали причиной самого значительного падения, которое вы видите на графике выше.

По признанию самой Anthropic, «кроме странности ситуации с ИИ, продающим металлические кубики из холодильника», вскоре стало еще страннее. В день 31 марта Claudius «галлюцинировал» разговор с сотрудником Andon Labs, что спровоцировало на два дня спираль из неадекватного поведения.

ИИ угрожал уволить своих человеческих работников и заявил, что начнет самостоятельно заполнять мини-холодильник. Когда Claudius сказали, что он не может сделать этого — потому что у него нет физического тела — он несколько раз связывался с охраной здания, сообщая охранникам, что они найдут его в синем пиджаке и красном галстуке. Только на следующий день система поняла, что это был день дурака, и отступила — однако это произошло с враньем для сотрудников, что ей приказали притвориться, что весь инцидент это была elaborate joke.

«Мы не будем утверждать на основании этого одного примера, что в будущем экономика будет полна ИИ-агентов, переживающих кризисы идентичности в стиле Blade Runner», — сказала Anthropic. «Это важная область для будущих исследований, так как более широкое развертывание ИИ-компаний создаст более высокие риски для подобных инцидентов».

Несмотря на все способы, которыми Claudius не смог проявить себя как достойный продавец, Anthropic считает, что с лучшими, более структурированными подсказками и более удобными инструментами будущее устройство сможет избежать многих ошибок, которые компания наблюдала в ходе Project Vend. «Хотя это может показаться нелогичным, исходя из результатов, мы считаем, что этот эксперимент предполагает, что ИИ-средние менеджеры, вероятно, на горизонте», — заявила компания. «Стоит помнить, что ИИ не должен быть идеальным, чтобы его могли принять; он просто должен быть конкурентоспособным с человеческим уровнем производительности по более низкой цене в некоторых случаях». Лично я с нетерпением жду, когда найду странный магазин, полностью забитый металлическими кубами.