Personas, algoritmos y moral: ¿quién confiará en quién?

Un nuevo estudio publicado en la revista Computers in Human Behavior arroja luz sobre cómo deciden las personas confiar en la inteligencia artificial (IA) cuando esta se enfrenta a dilemas morales. La imagen habitual es la de un bot simpático que te anima con un emoticono o la de una máquina sin alma de la que solo esperas cálculos y lógica. Pero resulta que no es tan sencillo: la gente no confía en la IA por su «amabilidad» o su «profesionalidad», sino por su capacidad para adaptar el estilo de comunicación a la gravedad de la situación y elegir de forma apropiada entre extremos morales.

Los autores del estudio, Liangshan Zhang y Mei Ying Zhao, de una universidad de Shanghái, analizaron cómo percibimos el razonamiento moral de los interlocutores artificiales. La IA hace tiempo que dejó de ser un simple chat para charlar: ahora sus consejos influyen en tratamientos médicos, seguridad vial e incluso seguridad nacional. Por eso es importante saber si una máquina puede ser no solo inteligente, sino también parecer «ética».

Hay dos conceptos clave: la «agencia moral percibida» (hasta qué punto la IA parece capaz de asumir responsabilidades) y la «emoción moral percibida» (hasta qué punto parece capaz de mostrar empatía o preocupación). Los investigadores comprobaron cómo se combinaban el estilo de comunicación (cálido y cordial o seco y competente) y la toma de decisiones morales: bien en nombre de la mayoría (utilitarismo: causar un mal menor para beneficiar a más personas), bien según el principio de que «nunca se debe hacer el mal» (deontología).

En el experimento participaron 447 personas de zonas urbanas de China, en su mayoría jóvenes con estudios superiores, que conversaron con una IA a través de la plataforma Coze. Primero mantuvieron una charla neutral sobre el estrés y cómo afrontarlo: con un bot «cálido», que usaba emojis y expresiones de apoyo, o con uno «competente», serio y reservado. Después se les planteó un dilema moral: una opción con poco riesgo o una situación de vida o muerte. El bot respondía con un compromiso racional o rechazaba categóricamente cualquier daño.

Después de la conversación, los participantes evaluaron a la IA con una escala que medía no solo su competencia y amabilidad, sino también su «responsabilidad moral» y sus «emociones morales».

La conclusión más inesperada es que el estilo de comunicación de la IA influye en la confianza cuando se combina con la postura moral elegida, pero no por sí solo. Inconscientemente, esperamos que una IA empática exprese compasión y que una formal presente argumentos. Por ejemplo, sacrificar a una persona para salvar a muchas puede percibirse a veces como una decisión con más «responsabilidad emocional» que tratar de evitar cualquier daño. La percepción cambia sobre todo ante situaciones graves y peligrosas: en esos casos la gente quiere una IA competente y seria, no un «asistente sonriente».

Sin embargo, el estudio tiene limitaciones: en realidad, la IA no siente responsabilidad ni emociones; todo depende de la percepción del usuario. Las pruebas consistieron en conversaciones de texto puntuales con un público bastante homogéneo y formado, así que los resultados podrían ser distintos en otros grupos y en interacciones prolongadas.

Los autores concluyen que la clave no está en que la IA sea amable o parezca humana, sino en que su estilo y sus explicaciones se ajusten a la gravedad del dilema moral. La confianza de verdad no es ciega: debe ser ponderada y consciente, y tener en cuenta los límites, la transparencia y la responsabilidad. Recomiendan a quienes diseñan la tecnología del futuro que aprendan a crear bots no solo «agradables», sino también «adecuados a cada situación».