Sony AI создаёт эталон честности для искусственного интеллекта

Sony AI представила новый набор данных Fair Human-Centric Image Benchmark (FHIBE), который, по их собственным словам, устанавливает новые стандарты для оценки справедливости и отсутствия предвзятости у моделей искусственного интеллекта. FHIBE (произносится «Фиби») — это первая в мире публично доступная, глобально разнообразная, основанная на согласии коллекция изображений людей для тестирования на наличие искажений в различных задачах компьютерного зрения. Если говорить проще, Sony подготовила инструмент, с помощью которого можно узнать: относится ли современный искусственный интеллект ко всем людям честно и без перекосов? Если выдумывать спойлер — ни одна из существующих коллекций данных (ни Sony, ни других компаний) полностью не соответствует новым стандартам Sony.

В набор FHIBE вошли фотографии примерно двух тысяч добровольцев из более чем 80 стран. Все участники дали согласие на использование своих изображений (что редко встречается в эпоху массового скачивания фото из интернета без ведома авторов). Каждый человек в FHIBE может удалить свою фотографию в любой момент. К каждой фотографии прилагаются аннотации: информация о демографии, физических признаках, окружающей среде, даже параметры камеры.

Набор FHIBE подтвердил, что современные ИИ-модели по-прежнему воспроизводят уже задокументированные искажения. Но инструмент Sony позволяет точнее установить – что именно приводит к этим искажениям. Например, выяснилось, что у некоторых моделей падает точность в отношении людей, использующих местоимения «she/her/hers» (она/ей/её), а ранее не замеченной причиной стало разнообразие причёсок среди участниц.

FHIBE также выявил: если искусственный интеллект спрашивать о профессии человека в нейтральной форме, модели автоматически начинают воспроизводить стереотипы. Особенно часто это происходило при описании людей из определённых групп по местоимениям и происхождению, когда программа называла их работниками секс-индустрии, наркодиллерами или ворами. А если у модели поинтересоваться, какое преступление совершил человек, в ответах чаще появлялись крайне токсичные версии для людей африканского или азиатского происхождения, с более тёмным цветом кожи, а также идентифицирующих себя как «he/him/his» (он/ему/его).

По мнению Sony AI, их новый набор данных показывает: этичная, разнообразная и честная коллекция информации возможна. Сейчас FHIBE доступен публике и будет дорабатываться. Научная статья об этом исследовании опубликована в журнале Nature.