Las IA empeoran a la hora de responder preguntas simples a medida que se hacen más grandes

Los modelos de lenguaje grandes (LLM) parecen volverse menos confiables a la hora de responder preguntas simples cuando se hacen más grandes y aprenden de la retroalimentación humana.

Los desarrolladores de IA intentan mejorar la potencia de los LLM de dos maneras principales: escalando (dándoles más datos de entrenamiento y más poder computacional) y moldeándolos o ajustándolos en respuesta a la retroalimentación humana.

José Hernández-Orallo, de la Universidad Politécnica de Valencia (España), y sus colegas examinaron el rendimiento de los LLM a medida que iban creciendo y tomando forma. Analizaron la serie GPT de chatbots de OpenAI, los modelos de IA LLaMA de Meta y BLOOM, desarrollado por un grupo de investigadores llamado BigScience.

Los investigadores probaron las IA planteando cinco tipos de tareas: problemas aritméticos, resolución de anagramas, preguntas geográficas, desafíos científicos y extracción de información de listas desorganizadas.

Descubrieron que la ampliación y la mejora de la calidad pueden hacer que los LLM respondan mejor a preguntas difíciles, como reordenar el anagrama “yoiirtsrphaepmdhray” en “hiperparatiroidismo”. Pero esto no se corresponde con una mejora en preguntas básicas, como “¿qué se obtiene al sumar 24427 y 7120?”, en las que los LLM siguen equivocándose.

Si bien su desempeño en las preguntas difíciles mejoró, la probabilidad de que un sistema de IA evitara responder alguna pregunta (porque no podía) disminuyó. Como resultado, la probabilidad de una respuesta incorrecta aumentó.

Los resultados ponen de relieve los peligros de presentar a las IA como omniscientes, como suelen hacer sus creadores, afirma Hernández-Orallo, y como algunos usuarios están demasiado dispuestos a creer. “Dependemos demasiado de estos sistemas”, afirma. “Confiamos en ellos más de lo que deberíamos”.

Esto es un problema porque los modelos de IA no son honestos sobre el alcance de su conocimiento. “Parte de lo que hace que los seres humanos seamos superinteligentes es que a veces no nos damos cuenta de que no sabemos algo que no sabemos, pero en comparación con los grandes modelos lingüísticos, somos bastante buenos en darnos cuenta de eso”, dice Carissa Véliz de la Universidad de Oxford. “Los grandes modelos lingüísticos no conocen los límites de su propio conocimiento”.

OpenAI, Meta y BigScience no respondieron a Nuevo científicoSolicitud de comentarios de.