Modelos de IA, tan buenos o mejores a los humanos en pruebas para inferir estados mentales

Un nuevo experimento constata que grandes modelos de lenguaje podrían ser tan buenos como los humanos, o incluso mejor, para rastrear estados mentales

La ‘teoría de la mente’ es un rasgo distintivo de la inteligencia emocional y social que permite inferir las intenciones de otras personas. Ahora, un nuevo experimento constata que grandes modelos de lenguaje podrían ser tan buenos como los humanos, o incluso mejor, para rastrear algunos estados mentales.

Los autores de este estudio publicado en la revista Nature Human Behaviour advierten, no obstante, que el hecho de que los grandes modelos de lenguaje (LLM) muestren un rendimiento similar al de los humanos en estas tareas “no equivale a capacidades similares a las de los humanos y no significa que posean una teoría de la mente”.

Los experimentos, liderados por investigadores del Centro Médico Universitario Hamburgo-Eppendorf (Alemania), se realizaron con los modelos ChatGPT-3.5 y GPT-4 de OpenAI y Llama 2 de Meta.

“Los dos tipos de LLM tienen un rendimiento similar al de los humanos e incluso superior en determinadas situaciones, en tareas que ponen a prueba la capacidad de seguir los estados mentales de los demás -como sus intenciones-, lo que se conoce como teoría de la mente”, resume la revista.

Esta teoría es fundamental para las interacciones sociales humanas y resulta esencial para la comunicación y la empatía. Investigaciones anteriores habían demostrado que los LLM, un tipo de inteligencia artificial, son capaces de resolver tareas cognitivas complejas, como la toma de decisiones de elección múltiple.

Sin embargo, aún no está claro si los grandes modelos de lenguaje también pueden alcanzar un rendimiento similar en tareas de teoría de la mente, una capacidad que se cree que es exclusivamente humana.

“En el núcleo de lo que nos define como humanos está el concepto de teoría de la mente: la capacidad de seguir los estados mentales de otras personas”, escriben los autores en su artículo.

El reciente desarrollo -continúan- de grandes modelos lingüísticos como ChatGPT ha dado lugar a ‘un intenso’ debate sobre la posibilidad de que estos muestren un comportamiento indistinguible del humano en tareas de teoría de la mente.

James Strachan y su equipo seleccionaron una serie tareas que ponen a prueba distintos aspectos de la citada teoría y compararon las capacidades de 1.907 humanos y las dos populares familias de LLM.

Insinuación y verdaderas intenciones

El equipo realizó varios tipos de pruebas, entre ellas la tarea de insinuación que está diseñada para medir la capacidad de una persona para deducir las verdaderas intenciones de otra a través de comentarios indirectos, explica en su web MIT Technology Review.

Asimismo, implementó otra prueba para medir la capacidad de reconocer cuándo alguien está cometiendo un paso en falso, otra para comprobar la comprensión de la ironía y el test de falsas creencias.

Los autores descubrieron que los modelos GPT se situaban en la media humana, o incluso la superaban, en la identificación de peticiones indirectas, falsas creencias y desorientación, mientras que los modelos LLama 2 se situaban por debajo de los niveles humanos.

En la detección de pasos en falso, LLama 2 superó a los humanos, mientras que GPT tuvo problemas. Los autores detallan que el éxito de LLama 2 se debió posiblemente más a un sesgo que a una verdadera sensibilidad a los pasos en falso.

Estos hallazgos -aseguran los científicos- son una base importante para futuras investigaciones que podrían examinar cómo el rendimiento de los LLM en inferencias mentales puede influir en la cognición de los individuos en las interacciones hombre-máquina.

Con información de EFE

Nota original aquí

Fuente: López Dóriga Digital