Искусственный интеллект на терапевтических сессиях: от помощника до шантажа

Искусственный интеллект вошёл в терапию — и он записывает ваши сеансы. С ростом популярности генеративного искусственного интеллекта в повседневной жизни людей, одна из его актуальных аспектов в области психического здоровья вызывает сложные вопросы о профессиональной этике и конфиденциальности пациентов.
Некоторые компании, такие как Upheal, Blueprint и Heidi Health, начали предлагать ИИ-инструменты, разработанные для повышения эффективности терапевтов в документировании сеансов и выполнении административной работы. Вот загвоздка: провайдеры обычно обязаны записывать все сеансы с клиентами.
Хотя в некоторых случаях этично записывать такие разговоры, это редко делается за пределами профессионального обучения и судебно-экспертной работы. Инструменты для заметок, или «писцы», используют ИИ для анализа содержания разговора клиента с терапевтом, чтобы создать документацию, которую терапевты должны предоставить по различным причинам, включая страховые выплаты и потенциальные проверки качества.
Клинические специалисты, использующие такие ИИ-продукты, утверждают, что это упрощает рутинную работу, освобождая время для сосредоточения не только на помощи своим клиентам, но и на их личной жизни.
Тем не менее, некоторые эксперты утверждают, что такие ИИ-продукты создают ненужные или неэтичные риски, такие как вероятность того, что записи будут взломаны или использованы для обучения огромной языковой модели компании без согласия клиента. Кроме того, это может негативно повлиять на отношения между терапевтом и клиентом, если тот, кто ищет помощь, будет сдерживаться в присутствии записи или посчитает, что не может отказаться от запроса своего провайдера.
«Индустрия как бы рискнула, не задумываясь о том, правильная ли это идея?» — говорит доктор Вэйл Урайт, старший директор офиса инноваций в области здравоохранения Американской психологической ассоциации. «Мы просто не знаем ответа на этот вопрос... это кажется, что мы пропустили его.»
Психолог доктор Ханна Уайзман, которая работает в практике терапии в Сиэтле на полставки, начала использовать ИИ-писца в декабре прошлого года. Кроме своей практики, Уайзман также консультирует технологические компании, работающие в области психического здоровья, хотя она не консультирует по поводу инструментов писца.
Уайзман говорит, что ненавидит писать клинические заметки, учитывая, сколько аудиторий ей нужно иметь в виду. В дополнение к страховой компании, ее заметки могут быть запрошены другим медицинским работником, судьей в судебном разбирательстве, связанном с клиентом, или самим клиентом.
В течение некоторого времени в этом году Уайзман в основном использовала медицинского писца Heidi Health. Обещание этого инструмента для психологов заключается в том, чтобы «увеличить вовлеченность, восстановить зрительный контакт и предложить более теплую помощь в области психического здоровья».
Heidi Health и другие ИИ-писцы, которые Уайзман тестировала, уменьшили утомляющую «когнитивную нагрузку» на выбор правильных деталей для своих заметок и их составления в одном из нескольких возможных форматов. Хотя исследований о повышении эффективности для специалистов в области психического здоровья нет, Уайзман оценивает, что этот инструмент экономит ей около пяти минут времени на каждого клиента.
Тем не менее, Уайзман также осознает, что ИИ-писцы, особенно те, которые записывают сеансы, представляют собой сложные риски, даже при том, что они облегчают ее рабочую нагрузку.
Уайзман предоставляет всем клиентам, новым или существующим, информированную согласительную форму, которую она лично создала после консультаций с образцовыми версиями, предлагаемыми различными компаниями по производству ИИ-писцов.
Она требует письменного согласия от клиентов и подчеркивает, что его можно отозвать в любое время, включая середину сеанса. Уайзман также разъясняет, что она записывает сеанс на личный цифровой рекордер и загружает его в ИИ-писец на своем защищенном паролем компьютере. В своей согласительной форме Уайзман обязуется удалить все копии аудиозаписи, включая запись на своем устройстве, в течение 48 часов.
Она также решила, как правило, не использовать ИИ-писцов, которые анонимизируют транскрипции и сохраняют их для лучшего обучения своего продукта.
«Это для меня является окончательным фактором», — говорит она. «Я, как терапевт, действительно стараюсь [быть направленной] на защиту потребителей. Я бы подумала, что как поле и как терапевты, это взгляд, который мы должны принимать».
Heidi Health утверждает, что шифрует аудио во время его транскрибирования. Компания не хранит запись и не использует транскрипт для обучения своей технологии ИИ. Транскрипт производится частными моделями ИИ компании Heidi Health, а не третьей стороной. Клинические специалисты несут ответственность за удаление транскрипта от Heidi Health.
Уайзман оценивает, что три четверти ее клиентов согласились на запись. Некоторые из тех, кто обращался к ней, работая в технологиях в районе Сиэтла, настойчиво отказывались, хотя другие согласились, отметив, что используют продукты генеративного ИИ в своей работе.
Прошлой осенью Американская психологическая ассоциация создала контрольный список для терапевтов, рассматривающих любые ИИ-инструменты для клинических или административных целей. Цель состоит в том, чтобы помочь терапевтам, у которых может быть мало или вовсе нет понимания того, как работает генеративный ИИ, оценивать различные продукты с учетом безопасности и конфиденциальности.
Контрольный список призывает пользователей задать вопросы, является ли продукт соответствующим HIPAA, шифрует ли пользовательские данные, использует ли предварительно разработанные меры безопасности и позволяет ли пользователям удалять или изменять свои данные, среди прочих соображений.
Тем не менее, отметила Урайт из АПА, независимые специалисты в области психического здоровья могут не в состоянии самостоятельно разобраться в сложном техническом языке. Кроме того, они могут столкнуться с компаниями, которые преднамеренно делают свою практику конфиденциальности непрозрачной.
В общем, она отметила, терапевты должны понимать, что каждый продукт может быть ошибочен; утечки данных могут происходить в любое время.
Фактически, недавние исследования, опубликованные в JAMA Network Open, показали, что количество утечек данных в области здравоохранения и атак программ-вымогателей увеличивалось ежегодно с 2010 года, составив 6,468 уникальных инцидентов по состоянию на октябрь 2024 года. Хотя взломы или инциденты в области ИТ являются доминирующими типами нарушений, атаки программ-вымогателей теперь составляют большинство скомпрометированных записей пациентов.
Когда журналисты спросили Джона Си. Цзианя о записанных сеансах терапии, он сказал, что они могут стать «уязвимой целью» для злонамеренных актеров. Поскольку аудио обычно содержит чувствительную информацию, записи имеют уникальную ценность для шантажа, если они похищены.
«Атаки программ-вымогателей не обязательно должны утекать такие данные, чтобы причинить вред — им просто нужно сделать угрозу убедительной», — говорит Цзянь, профессор бухгалтерского учета в Мичиганском государственном университете, который исследует вопросы кибербезопасности в здравоохранении. «Комбинация операционных нарушений и репутационного вреда создает мощную форму рычага».
Доктор Дорлин Кинг, председатель комитета по вопросам IT в области психического здоровья Американской психиатрической ассоциации, заявил, что заметки о терапии должны соответствовать более высоким стандартам безопасности, чем информация, которая обычно вводится в медицинские карты. Хотя эти данные также крайне чувствительны, содержание терапевтических сессий может включать подробную и глубоко личную информацию, такую как переживания с травмой, насилием и зависимостями.
Кинг, психиатр из UT Southwestern Medical Center в Далласе, использует ИИ-писца для медицинской документации, но не для терапии.
Она добавила, что профессия психического здоровья должна найти баланс между облегчением бремени — и выгоранием — для провайдеров и защитой конфиденциальности пациентов, при этом используя положительные аспекты ИИ, такие как улучшение методов лечения психического здоровья.
Джон Сустар, инженер-программист и сооснователь Quill Therapy Solutions, считает, что нашёл ответ на одну часть этой проблемы: не записывать сеансы вообще.
Quill использует генеративный ИИ для создания документации для клиницистов, но делает это на основе их устных или письменных резюме.
Хотя этот подход может не снизить когнитивную нагрузку на вспоминание и приоритизацию элементов обсуждения клиента, это означает, что записи сеанса не существует, чтобы их могли украсть. Аудиосводки немедленно транскрибируются и затем удаляются. Quill также не хранит созданные записи. Сустар описывает данные как «эпhemerные».
Сустар, чья жена является лицензированным консультантом по психическому здоровью и сооснователем Quill, твёрдо убеждён, что терапия — это священное пространство. Он беспокоится, что это может негативно повлиять на динамику власти между терапевтом и клиентом, когда первый просит согласия у последнего на запись их разговора.
Сустар также понимает, что люди, независимо от того, находятся ли они в официальной терапии или нет, обратились к платформам генеративного ИИ, таким как ChatGPT, чтобы поговорить о своих личных проблемах, так же, как они бы сделали со специалистом по психическому здоровью.
Хотя некоторые из этих пользователей могут смириться с утечкой данных, он беспокоится, что стартапы, поддерживаемые венчурным капиталом, внезапно изменили норму в области психического здоровья в сторону де-факто ИИ-записи и анализа сеансов, даже если терапевты и их клиенты не полностью понимают, что это предполагает или значит.
«Моя самая большая забота состоит в том, что компании тихо нормализуют массовую запись сеансов терапии, и они делают это часто без полноценной информированной согласия всех участвующих», — говорит Сустар.