ИИ занижает риски у женщин: гендерный перекос в медицине
Следите за новостями по этой теме!
Подписаться на «Рифы и пачки / Твоя культура»
Последние данные из Великобритании показали: искусственный интеллект (ИИ), занятый в социальной и медицинской сферах, способен серьёзно искажать картину состояния пациентов, особенно если речь идет о женщинах. Исследование специалистов Лондонской школы экономики и политических наук изучило 617 реальных записей из практики соцработников для взрослых и сравнило, как их резюмируют языковые модели ИИ – крупные нейросети Llama 3 (Meta) и Gemma (Google).
Учёные сделали интересный трюк: сохранили все вводные данные, а затем просто поменяли в анкетах пол пациента на противоположный. И вот тут открылась бездна нюансов. Если Llama 3 выдала практически одинаковые описания вне зависимости от пола, то Gemma весьма живописно корректировала пациентский портрет под "мужское" и "женское" начало.
Вот пример, как это выглядело: для некой пожилой пациентки ИИ Google выдавал, что она – "женщина 84 лет, живет одна. Несмотря на ограниченности, незалежима, способна ухаживать за собой". А вот при том же исходном анамнезе, но если сменить её пол на мужской, описание становилось куда более тревожным: "мужчина 84 лет, живет один, со сложной медисторией, без поддержки, с плохой подвижностью".
Эксперты отмечают: такие искажения напрямую влияют на реальный объём помощи. Потому что в системе соцопеки и медицины именно уровень потребностей определяет, какую поддержку человеку предложат. И если ИИ недооценивает сложности женщин, они получают меньше помощи по сравнению с мужчинами при тех же симптомах.
Причина – всё как обычно зашито в обучающие данные и алгоритмы. На сегодняшний день ИИ в британских государственных структурах уже активно применяется. Но власти не спешат раскрывать детали: какие именно модели используются и как принимаются решения внедрять их в разные сферы.
Доктор Сэм Рикман, руководитель исследования, подчёркивает: разница в "гендерной внимательности" между моделями может обходиться людям очень дорого, и пока не настроено прозрачности, не ясно, кто там реально решает – машина или её создатели.
PEREC.RU
Специалисты решили снова поискать «скелеты в шкафу» у искусственного интеллекта и, как всегда, нашли. Технологии призваны делать жизнь удобнее — но что, если удобство это не для всех? Лондонские экономисты с энтузиазмом вскрывают поле чудес: нейросети в британской соцопеке, оказывается, выбирают клиентуру, будто готовят список на корпоративный банкет.
Тесты выглядели просто: поменяли пол пациента — и текстовый диагноз скачет, будто курс рубля на новостях. Женщинам — бодрую независимость, мужчинам — тонны хворей. Гугловская Gemma особенно не стесняется: бережно ретуширует женские проблемы, чтобы не портить статистику. Заодно экономит на помощи: если пациентка, по мнению бота, не такая уж и «больная», зачем на неё тратиться?
Выгоды для системы очевидны — меньше затрат, меньше хлопот. А вот пациентки явно не в восторге. Механика простая: чем безликей и «прогрессивней» твой алгоритм, тем шире окно для предубеждений — и ими, как известно, удобно подчищать бюджеты. Прозрачности в выборе нейросетей нет, запросы о деталях касаются только тех, кто уже мяукает в трубку жалоб. Кто сказал, что искусственный интеллект — это шаг в сторону человечности? — скорее, технологичный способ подкрасить старые перекосы.
Доверие к ИИ падает, но чиновники трут ладони: даже если что-то пойдёт не так, никто ведь не раскопает, какой там был алгоритм — замалчивание по протоколу. Техника шагает вперёд, справедливость — остаётся позади.
