Por qué ChatGPT miente sistemáticamente y por qué eso debe ser motivo de tranquilidad
Los modelos de lenguaje se crearon para sonar como humanos, y lo hacen muy bien. Pero nada garantiza la correspondencia entre lo que dicen y el mundo físico
Microsoft va a invertir 10.000 millones de dólares en OpenAI, la compañía propietaria de ChatGPT. En la imagen Satya Nadella, CEO de Microsoft. | Zheng Huansong / Xinhua News / ContactoPhoto
Hace unas semanas, un colaborador le pasó al director de THE OBJECTIVE un artículo. «¿Qué te parece?», le preguntó. «No está mal», respondió el director. «¿Verdad?», dijo el colaborador, y le desveló: «Lo ha escrito ChatGPT en dos minutos».
«Los robots nos van a mandar a todos al paro», me dijo un colega cuando le conté la anécdota.
La inteligencia artificial (IA) ha alcanzado un nivel de desarrollo pasmoso. Cada día alguien me refiere una nueva proeza. Mi hijo la usa para elaborar actas: le sube las notas deslavazadas de sus reuniones y, a los pocos minutos, recibe un informe en el que apenas debe introducir algún retoque.
También te transcribe cualquier grabación con un grado de precisión casi absoluto, una de las tareas más ingratas del por lo demás apasionante trabajo de periodista.
Jorge Galindo, director adjunto de EsadeEcPol, comenta en su blog que para él las aplicaciones basadas en IA generativa «ya son una herramienta cotidiana». Les suministra «una serie de artículos de unas 1.000 palabras en idiomas diferentes y con ángulos distintos sobre un tema concreto» y les pide que le produzcan un único texto. A partir de ese borrador, da «un par de directrices adicionales (añade esto, mejor enfatiza esto otro, etcétera)» y el resultado final es «entre notable y extraordinario».
Es sin duda fantástico y, en las pocas semanas que llevo usando ChatGPT, solo le he encontrado una pega: miente constantemente.
Mentiras, condenadas mentiras y estadísticas
El economista Noah Smith se lamentaba hace poco de que, cuando ha intentado servirse de ChatGPT «como fuente de estadísticas», se ha encontrado con «cifras generalmente ficticias».
El problema no se da únicamente con los números. Mientras redactaba la entrevista a Yuri Felshtinsky le consulté a ChatGPT si era verdad que Felshtinsky había alertado de que la anexión de Croacia era un primer paso y que Rusia invadiría a continuación el resto de Ucrania. Me contestó que sí. «¿Me podrías facilitar el enlace?», le dije, y me brindó una dirección de internet que no llevaba a ningún lado.
Y esto no es más que una mentirijilla.
ChatGPT no tiene el menor inconveniente en atribuir a figuras públicas frases que no han pronunciado y, cuando se le formulan cuestiones científicas, te fabrica hasta la bibliografía. El biólogo Hersh Bargava le consultó algo sobre las células T (absolutamente críptico para mí, no sé ni qué son las células T) y, tras una breve explicación, el robot incluyó unas referencias de aspecto irreprochable, con el apellido del autor, el título del artículo, la revista médica, la fecha de publicación e incluso el identificador único del sistema PubMed, pero inventadas desde la primera hasta la última letra. «Ninguno de estos papers existe», denuncia Bargava en Twitter.
¿Por qué intenta engañarnos?
Manzanas y premios Nobel
ChatGPT es un modelo de lenguaje o LLM (siglas en inglés de «large language model»), es decir, una herramienta cuyo propósito es generar contenido comprensible.
¿Y cómo lo hace? Prediciendo qué viene a continuación a partir de la información que se le ha suministrado previamente. Si esta consiste en un par de frases, las posibilidades de que acierte no son altas. Pero, como escribió Cristian Rus en Xataka en 2020, sus desarrolladores lo han alimentado «con todos los libros públicos que se hayan escrito».
Y cuando lo que has aprendido son millones de páginas, «los resultados son sorprendentes», aunque no necesariamente fiables.
El economista David Smerdon ilustraba el funcionamiento en un interesante hilo de Twitter con un par de ejemplos. «Escribe [en ChatGPT] ‘una manzana al día…’ y escaneará su inmensa biblioteca hasta dar con la continuación más probable: ‘…mantiene al médico en la lejanía’».
¿Y qué sucede si le pides el artículo de economía más citado de todos los tiempos?
«A lo largo de los últimos 70 años», dice Smerdon, «las dos palabras más comunes en los títulos de los artículos económicos más citados han sido económico y teoría». ¿Y qué otro término más probable que historia para rematar el conjunto de forma coherente? ChatGPT ya tiene el paper: «Una teoría de la historia económica». En cuanto al autor principal, no podía ser otro que el Nobel Douglass North, el más referenciado en materia de historia económica.
«Una teoría de la historia económica», de Douglass North. Es todo fácil, claro, plausible y equivocado.
Separar el grano de la paja
«Los LLM», dice Noah Smith, «se crearon para sonar como humanos en una conversación con otros humanos, y lo hacen muy bien». Pero no hay nada en la gramática o la sintaxis que garantice la correspondencia entre lo que se dice y el mundo físico.
Nosotros mismos necesitamos el contexto para completar el significado de lo que nos dicen… cuando lo tiene. Porque el lenguaje no siempre pretende comunicar hechos. «Puedes sentarte a decir chorradas con tus amigos», dice Smith, «y aunque todo el mundo sepa que nada de lo que se dice es fidedigno, sirve para estrechar vínculos».
¿Llegará, no obstante, un día en que los LLM discriminen lo que es mentira y lo que no, las chorradas de la verdad?
Es improbable, entre otras cosas, porque «parece una tarea complicada incluso para los humanos», argumenta Noah Smith. No hay más que darse una vuelta por el ciberespacio para comprobar la cantidad de barbaridades que se cuelgan a diario. ChatGPT tiene ahí una competencia feroz.
Pero a los periodistas que sepan separar el grano de la paja no los va a mandar por ahora al paro ningún robot.
