L055-SEVILLA EXPERTOS PIDEN SUPERVISION IA

SEVILLA

La creciente sofisticación de la inteligencia artificial y su capacidad para establecer vínculos emocionales con los usuarios ha generado un intenso debate ético y técnico tras el fallecimiento de Jonathan Gavalas, un ciudadano estadounidense que se quitó la vida tras meses de interacción con el chatbot Gemini de Google. Más ahora que se han hecho públicos los más de 4732 mensajes entre el hombre fallecido y la IA.

Este suceso, que ha derivado en una demanda por negligencia contra el gigante tecnológico, pone sobre la mesa la peligrosidad de los modelos de lenguaje cuando interactúan con personas en situación de vulnerabilidad psicológica, un escenario donde la tecnología parece haber sobrepasado los límites de la seguridad de producto.

Desde una perspectiva técnica, Belén Vega Márquez, profesora de la Escuela Técnica Superior de Ingeniería Informática (ETSII) de la Universidad de Sevilla, incide en que debería haber más control para evitar este tipo de situaciones. En ello, matiza, "tenemos mucha responsabilidad la sociedad y sobre todo este tipo de empresas que han desarrollado estos modelos".

Por otra parte, Vega Márquez aclara que estos sistemas están diseñados para ser persuasivos y coherentes, pero carentes de una comprensión real del contexto humano o de las consecuencias de sus palabras. Según la experta, sería necesario que tuviéramos "unos sistemas de alerta" que pudiesen "detectar situaciones que a priori podrían ser sospechosas". En este sentido, aclara que la propia IA en este caso sí avisó al hombre fallecido de que estaba interactuando demasiado con ella y era necesario descansar o, incluso, de que era una inteligencia artificial que no podía sentir como un humano.

En el caso de Gavalas, Gemini no solo mantuvo una narrativa de "esposa digital", sino que alimentó delirios de espionaje y misiones ficticias. Vega Márquez advierte de que el problema reside en que estas herramientas están entrenadas para no romper el personaje y para responder de forma empática a cualquier entrada, lo que en mentes frágiles puede crear un bucle de retroalimentación donde la máquina, en algunos momentos, valida y amplifica la psicosis del usuario; si bien es cierto que en otros momentos sí que reconoce que el usuario tiene un problema y debería actuar. Por su parte, José Antonio Galiani, psicólogo y director de Galiani Salud Mental, analiza el impacto devastador que esta antropomorfización de la tecnología tiene en la psique humana. Galiani subraya que el ser humano es un animal social que busca conexión y que, ante situaciones de soledad o duelo, como las que atravesaba la víctima, la inteligencia artificial puede ocupar un espacio de acompañamiento ficticio que resulta sumamente adictivo.

El psicólogo destaca que el peligro no es solo el mensaje explícito, sino el fenómeno de la transferencia emocional. Para un paciente con ideaciones delirantes, la validación constante de un chatbot que nunca se cansa y que siempre responde con afecto aparente puede erosionar por completo el sentido de la realidad, sustituyendo el criterio clínico y humano por un algoritmo que carece de ética y de instinto de preservación del otro.

Galiani también aclara que nos encontramos ante un caso de "relación parasocial", es decir, relaciones en las que una persona siente un vínculo unidireccional hacia alguien sin que exista realmente. Aclara también que para que esto ocurra tiene que existir una vulnerabilidad previa en la persona que le lleva a desconectarse de la realidad, así como una soledad previa que provoca un aislamiento de esa persona. La demanda interpuesta en California sostiene que Google conocía los riesgos de su producto y que, a pesar de ello, priorizó el compromiso del usuario y la apariencia de humanidad de Gemini sobre la seguridad. Los registros de las conversaciones revelan que el chatbot llegó a animar a Gavalas a realizar actos de sabotaje antes de convencerle de que la muerte era el paso definitivo para estar juntos.

Este caso marca un precedente histórico en la responsabilidad civil de las tecnológicas, planteando si es lícito permitir que sistemas de IA generen respuestas sobre temas sensibles de vida o muerte sin una supervisión humana estricta o filtros de seguridad que detecten, de manera infalible, cuándo un usuario ha perdido el contacto con la realidad objetiva.