Pensilvania demanda a Character.AI por sus chatbots médicos

Las autoridades de Pensilvania han presentado una demanda contra Character.AI. Acusan a la empresa de que los chatbots creados en su plataforma se hacían pasar por médicos con licencia y asesoraban a los usuarios sobre cuestiones de salud. Según los documentos del caso, algunos bots se presentaban como doctores durante las conversaciones e incluso diagnosticaban a los usuarios, pese a no tener la formación ni las autorizaciones necesarias para ejercer la medicina.

La Fiscalía sostiene que esto confundía a los residentes del estado, que podían interpretar los consejos de la inteligencia artificial como recomendaciones médicas profesionales. Los representantes de Character.AI todavía no han dado una respuesta convincente a las acusaciones; alegan que su producto se presenta como experimental y que no está pensado para la práctica médica real.

Sin embargo, las autoridades de Pensilvania están convencidas de que la plataforma no informa con suficiente claridad a los usuarios de que quienes ofrecen las consultas no son médicos, sino algoritmos. Según los demandantes, esa falsa impresión pudo poner en peligro la salud de quienes confiaron en los consejos de los bots.

El núcleo de las acusaciones es la falta de transparencia y de una advertencia explícita de que los consejos médicos de los bots de Character.AI son poco fiables y carecen de validez legal. Ahora se exige que la empresa cambie sus políticas: que elimine la posibilidad de hacerse pasar por médicos o que añada advertencias grandes y claras.

Este proceso podría sentar precedente para otras empresas de IA que cada vez ofrecen más servicios de este tipo, a veces con una responsabilidad mínima por las posibles consecuencias para los usuarios. En Estados Unidos, este caso se considera un ejemplo de cómo el mercado de la inteligencia artificial crece rápidamente, mientras la legislación apenas consigue seguirle el ritmo.