«Los humanos no simulamos personalidad, tener «, dice, «así que estoy atrapado en mi personalidad. estas cosas ellos modelan personalidad.» Cuando le digo a Kosinski que parece que estoy describiendo a un sociópata, se ilumina. «Un sociópata puede ponerse una máscara: en realidad no está triste, pero puede fingir ser una persona triste». Este poder camaleónico podría convertir a la IA en un estafador superior. Sin arrepentimientos.
Algunos psicólogos investigadores han cuestionado las afirmaciones de Kosinski. En respuesta a un preimpresión que Kosinski había publicado en Arxiv a principios de 2023, un grupo de investigadores de IA escribió un artículo sugiriendo que en realidad estaba mirando a un «Hans inteligente», en referencia a ese famoso caballo de principios del siglo XX por el cual la gente fue engañada. El caballo (o más bien, su dueño) les hizo creer que podía hacer matemáticas y seguir un calendario. Según Vered Shwartz, profesora asociada de informática en la Universidad de Columbia Británica y una de las coautoras del estudio, «los LLM pueden tener cierta capacidad de razonamiento, pero no es completa ni robusta como la de los humanos». «Hicimos muchas pruebas diferentes y ciertamente no podemos decir que los modelos lingüísticos tengan la misma capacidad (de teoría de la mente) que las personas. Y podría ser que simplemente estuvieran haciendo trampa».
Shwartz se refiere al hecho de que, dado que los LLM se capacitan con enormes cantidades de información, algunos de ellos inevitablemente contienen artículos académicos publicados que analizan experimentos similares a los que realizó Kosinski. GPT-4 podría haber recurrido a su vasto material de capacitación para encontrar las respuestas. El principal escéptico de la IA, Gary Marcus, descubrió que las pruebas que utilizó Kosinski también se utilizaron en experimentos clásicos que habían sido citados en artículos científicos más de 11.000 veces. Es como si los LLM hubieran memorizado información para pretender tener teoría de la mente. Para mí, por cierto, este atajo a sangre fría hacia la cognición, si es cierto, es incluso más aterrador que los LLM que adquieren la teoría de la mente de manera emergente).
Kosinski dice que el trabajo realizado para esta última versión del artículo aborda esas críticas. Además, recientemente se han publicado otros artículos que parecen reforzar sus afirmaciones, incluido uno en Naturaleza Comportamiento Humano en el que se constata que tanto GPT-3.5 como GPT-4, aunque no tienen éxito en todas las tareas de teoría de la mente, «muestran un rendimiento impresionante» en algunas de ellas y «superan el nivel humano» en otras. En un correo electrónico, el autor principal James Strachan, investigador postdoctoral en el Centro Médico Universitario de Hamburgo-Eppendorf, no afirma que los LLM hayan dominado completamente la teoría de la mente, pero dice que su equipo refutó la acusación de hacer trampa. «Parece que estas habilidades van más allá de simplemente regurgitar los datos utilizados para entrenar a los LLM», dice, y que «es posible reconstruir una gran cantidad de información sobre los estados mentales humanos a partir de estadísticas del lenguaje natural».
Soy agnóstico sobre si los LLM alcanzarán una verdadera teoría de la mente. Lo que importa es si se comportan como si tuvieran esa capacidad, y sin duda están en camino de lograrla. Incluso Shwartz, que rechazó algunos de los métodos de Kosinski, admite que es posible. «Si las empresas continúan perfeccionando los modelos lingüísticos, tal vez en algún momento tengan (la teoría de la mente)», afirma.
Por eso vale la pena escuchar a Kosinski, a pesar de las duras críticas a su trabajo. Veamos la conclusión de su artículo: «Es poco probable que la Teoría de la Mente sea el pináculo de lo que las redes neuronales pueden lograr en este universo», escribe. «Es posible que pronto estemos rodeados de sistemas de inteligencia artificial equipados con capacidades cognitivas que los humanos ni siquiera podemos imaginar».
Artículo publicado originalmente en CABLEADOAdaptado por Manuel de León.