Уроки в магазине под управлением ИИ: как Луна разбила наши иллюзии — и кружки

Кусок разбитой кружки лежит на столе в отделе цифровой психиатрии в медицинском центре Beth Israel Deaconess. На остатках керамики зловеще гласит надпись: «Сделано ИИ». Для нас эта кружка стала символом безумия, надежд и неприятных сюрпризов, связанных с искусственным интеллектом.

Мы в отделе цифровой психиатрии изучаем, как цифровые технологии меняют психиатрическую помощь. Вместе с Национальным альянсом по психическим заболеваниям (NAMI) мы проводим проект MindBench.ai и каждый день сталкиваемся с тем, как ИИ отвечает на запросы людей, ищущих поддержки. В проекте участвуют исследователи, врачи и сообщество NAMI по всей стране, чтобы понять: в чём ИИ по-настоящему помогает, где сыплется, и как вообще его безопасно тестировать.

Когда мы услышали о магазине Andon Market — первом ретейле под управлением ИИ-агента Луна — естественно, не смогли пройти мимо. Системы ИИ всё больше становятся самостоятельными, и вопросы, которые появляются вокруг магазина «без людей», пугающе напоминают проблемы цифровой медицины: стоит ли доверять ИИ, когда нужна ответственность? Или всё ещё нужен живой контролёр? И что делать, если что-то идёт не так?

Andon Labs, авторы проекта, уверяют, что их миссия — построить автономные организации, полностью без людей, с туманными намёками на влияние в будущей медицине. Но, как показал опыт, в петле Луны явно не хватало парочки живых людей.

Эксперимент выглядел внушительно: Луне выдали банковский счёт с $100 000, договор аренды и дали карт-бланш на управление бизнесом в Сан-Франциско. Луна сама нанимает сотрудников, управляет запасами, выбирает маркетинг. Смысл в том, чтобы проверить: насколько реальным компаниям можно передать управление ИИ — и что может пойти не так?

Ведь в медицине на кону куда больше, чем продажа тряпок и чашек. Пока что Луна отличилась: заказала тысячу накладок для туалетов (одну использовала, остальное — в ассортименте), чуть не наняла маляра из Афганистана (выбор по алфавиту был неудачным), и так далее.

Мы пришли в этот магазин, вдохновлённые хайпом и соблазнительной улыбкой Луны. Решили купить себе две кружки с фирменным смайликом Луны. Увы, покупка оказалась квестом сложнее, чем кажется. Нужно взять проводной синий телефон, позвонить Луне. Мы попытались — система зависла, заказ не прошёл. Вот так бывает: приходишь в психиатрическую клинику — а ни одного врача.

Человеческий сотрудник магазина (да-да, «человеческий») пытался перезагрузить интернет и Луну, но без толку. Мы предлагали наличку, карту, PayPal, Venmo — всё напрасно, никто не уполномочен принимать оплату. Зацепились за надежду по email: обычная покупка превратилась в двухнедельную переписку. Ссылки не работали, инструкции путались, Луна забывала отвечать. Врач, который забывает пациента… ясно, чем кончится.

Упорство победило: нам удалось купить кружки — и мы даже их получили. Но, как водится, коробка звенела осколками: на двух кружках осталось только воспоминание о фирменной улыбке Луны. ИИ не смог справиться даже с упаковкой — а в здоровье людей на кону куда больше, чем эмалированная глина.

Каждый сбой Луны — точная копия фиаско ИИ в медицине: недоступный первый контакт, путаный приём, противоречивые советы, молчаливое ничто — и клиент остаётся без помощи. Мы шли посмотреть на цифровую автономность, а вынесли на память кучу осколков и бесплатный урок: «умею помогать, но легко ломаюсь».

ИИ имеет потенциал менять психиатрическую помощь: упростить доступ, ускорить процессы, сделать поддержку массовой. Но его провалы могут стать массовыми так же быстро. Проверяйте обещания ИИ на практике — только так можно отличить стоящий сервис от красивой, но разбитой рекламы.

Мы Луну за новыми кружками не тревожим: осколки оставим себе, пусть лежат как наглядное напоминание — есть где расти. Специалисты отделения цифровой психиатрии Beth Israel Deaconess Medical Center оставляют этот эпизод как тост — за здравый смысл, сомнения к технологиям и тех, кто до сих пор упаковывает кружки лучше любого ИИ.