La IA es incapaz de resumir noticias con precisión, según un estudio de la BBC
El 51% de las informaciones reescritas por los principales chatbots contienen errores fácticos
Aplicación de Chat GPT. | Europa Press
Los chatbots de inteligencia artificial no son capaces de resumir una noticia sin cometer errores de algún tipo. Esta es la conclusión a la que ha llegado la BBC tras realizar un estudio en el que se pedía a las cuatro principales herramientas de IA, ChatGPT de OpenAI, Copilot de Microsoft, Gemini de Google y Perplexity AI, que resumieras y contestaran preguntas sobre algunas noticias del propio medio. Las respuestas, indica, contenían «inexactitudes significativas», lo cual puede resultar realmente perjudicial en el caso de que el humano no revise el contenido proporcionado por las mencionadas IA.
La directora ejecutiva de BBC News and Current Affairs, Deborah Turness, en una publicación de su blog, expresó su preocupación por la amenaza que la falta de precisión y de contraste en escritos realizados por IA puede significar para el mundo. Principalmente en una etapa en la que la desinformación está a la orden del día y es el principal enemigo del periodismo veraz y de calidad. La periodista aseguró que el principal problema de estas herramientas es que «distorsionan la realidad» ofreciendo datos con pequeños fallos que son recibidos como información veraz y contrastada por los usuarios. «El precio a pagar de los extraordinarios beneficios de la IA no puede ser que los usuarios busquen información y que dicha información, que generalmente es incorrecta o al menos distorsionada se presente como un hecho», asegura en la publicación.
El 51% de las respuestas de la IA contienen errores
El experimento realizado por el importante medio británico para poner a prueba la veracidad y precisión de la IA fue el siguiente: se les pidió a los mencionados chatbots que resumieran un total de 100 noticias, y, por otro lado, pidieron a periodistas especializados en cada uno de los temas de las piezas que revisaran la respuesta de la IA y la calificaran. Una vez hecho, se sacaron las siguientes conclusiones. El 51% de las respuestas, según los expertos, tenían algún tipo de error significativo.
El 19% de las respuestas en las que los chatbots citaban al medio contenían errores fácticos. La mayoría de fallos se encontraban en elementos relevantes como fechas o cifras. A continuación se muestran algunos de los ejemplos compartidos por el medio británico en su artículo sobre el estudio.
En un artículo sobre las recomendaciones del sistema sanitario en el Reino Unidos, conocido por sus siglas NHS, se recalcaba que una de las posibles medidas para que los fumadores adultos dejaran el hábito de fumar podía ser el vapeo. Sin embargo, en el resumen de Gemini, la herramienta dijo que la NHS no recomendaba en ningún caso ese método.
ChatGPT y Copilot dieron por hecho que el exministro Rishi Sunak seguía en el cargo tiempo después de haberlo dejado.
Estos son solo algunos ejemplos de errores que, de no ser contrastada la información por parte de los periodistas, podrían dar lugar a equivocaciones. Pero, entre todos los posibles, no se trata de los más graves, puesto que es fácil contrastar la información en estos casos. Sin embargo, en la investigación señalaron que uno de los principales problemas era que la IA era incapaz de distinguir una información de una opinión, lo que hacía que en muchas ocasiones la información proporcionada tuviera algún tipo de sesgo político o ideológico y a menudo no incluía el contexto esencial para su comprensión.
Las empresas de IA están «jugando con fuego»
Deborah Turness señala en su blog que, teniendo en cuenta los tiempos que vivimos, en los que la desinformación y los bulos son una de las principales consecuencias de la hiperconexión propia de esta época, la distorsión de la realidad por parte de las inteligencias artificiales disponibles puede suponer una mayor desconfianza de la población en los medios de comunicación y en el periodismo. «Vivimos tiempos difíciles, ¿cuánto tiempo pasará antes de que un titular distorsionado por la IA cause un daño significativo en el mundo real?», se pregunta la profesional.
Frente a las conclusiones, mayoritariamente negativas, del análisis de la IA y el periodismo, la directora propone establecer una conversación con los proveedores de tecnología de inteligencia artificial para «encontrar alguna solución». Este es en parte el motivo por el que el medio ha decidido realizar esta extensa y laboriosa investigación. «Antes de que esta conversación pueda comenzar, necesitábamos averiguar la magnitud del problema de la distorsión de las noticias», explica.
Aunque es cierto que las herramientas de IA advierten de la posibilidad de estar dando una información errónea, en cuestiones periodísticas, la cláusula de exención de responsabilidad, explica Turness, debería desaparecer. «Cuando se trata de noticias, todos merecemos información precisa en la que podamos confiar, no una mezcla confusa presentada como hechos», sentencia.
Apple eliminó su función de resumen de noticias ante las alertas de la BBC
La lucha de BBC por poner una solución a las faltas de rigor periodístico de los resúmenes de noticias realizados por ChatGPT y compañía no es nueva. Es más, son muchos los comunicados que ha emitido a empresas y compañías de alto nivel como Apple advirtiendo de este tipo de errores desde hace meses. El mes pasado, Apple, ante las advertencias de la BBC, y a diferencia de otras compañías que las ignoran, decidió eliminar la opción de IA que permitía resumir las notificaciones de noticias de los medios. La BBC explicó a Apple que, en varias ocasiones, los resúmenes habían distorsionado y alterado las alertas enviadas por el medio, creando titulares inexactos bajo el nombre de BBC News. Una vez más, se evidencia el tremendo peligro que puede suponer el uso de estas herramientas para la reputación y calidad de los principales medios de comunicación.
Son muchos más los ejemplos de inexactitudes de chatbots que, de primeras, no tienen por qué ser apreciadas por el humano a no ser que se realice un análisis más elaborado de su contenido. Por este motivo, Turness lanza una reflexión a modo de indirecta para el resto de compañías que deciden no hacerse cargo de los errores de la IA utilizada en sus funciones. «Si la tecnología de IA generativa aún no está preparada para recopilar y ofrecer noticias sin distorsionar ni tergiversar los hechos, ¿no nos interesa a todos hacer lo que ha hecho Apple?». Quizás la única manera de frenar este posible desastre es paralizando este servicio hasta que periodistas, expertos y especialistas en IA consigan encontrar una solución a este problema del que no todo el mundo es consciente.
