Meta contraataca a ChatGPT: abre LLaMA a los investigadores de la inteligencia artificial

No cabe duda de que el Metaverso ha sido la gran apuesta de Mark Zuckerberg en la carrera de las grandes tecnológicas por el liderazgo. Pero ChatGPT ya está aquí y lo ha revolucionado todo en solo unos meses. Meta se ha dado cuenta de que es el momento de reorientar su estrategia y, sin renunciar al mundo virtual, ha presentado LLaMA. En THE OBJECTIVE te contamos algunos detalles de este modelo abierto y colaborativo de inteligencia artificial que está a disposición de los desarrolladores e investigadores.

La respuesta de Meta a la irrupción de la inteligencia artificial de Open AI no se ha hecho esperar. Su modelo de inteligencia artificial para competir con ChatGPT es LLaMA, una apuesta por el lenguaje natural de última generación. Con él espera obtener resultados en poco tiempo, gracias a la colaboración con investigadores de todo el mundo. Y es que ha puesto LLaMA al servicio de los desarrolladores y de la academia para que experimenten los usos innovadores de esta tecnología disruptiva.

En Meta son conscientes de los enormes avances registrados en el último año en el desarrollo de grandes modelos lingüísticos, es decir, los sistemas de inteligencia artificial basados en el procesamiento del lenguaje natural (PLN) con miles de millones de parámetros.

Es lo que ha ocurrido con ChatGPT, el chatbot de inteligencia artificial más destacado hasta el momento. Aunque existen otras alternativas muy similares y, algunas, incluso más actualizadas, ostenta una posición de liderazgo que pocos pueden cuestionar en estos momentos.

Su capacidad para generar textos creativos, resolver problemas matemáticos, responder a preguntas de comprensión lectora y mucho más, han creado un sinfín de expectativas sobre sus aplicaciones. Y es el momento de que Meta mueva ficha.

La respuesta de Meta a ChatGPT es abierta

Para los dueños de Facebook, el caso de ChatGPT es una prueba clara de que la inteligencia artificial puede traer importantes beneficios cuyos efectos se podrán percibir a escala global. Sin embargo, desde la compañía de Zuckerberg están convencidos de que ellos pueden aportar una solución a uno de los principales obstáculos para los avances en los modelos lingüísticos: su gran tamaño.

Los desarrolladores solo tienen un acceso limitado porque necesitan grandes cantidades de recursos para entrenar y ejecutar modelos a esa escala. Como consecuencia, se reducen los posibles avances en el desarrollo de los usos de estos modelos lingüísticos.

Meta quiere diferenciarse con una propuesta que promete sortear estos obstáculos y dar pasos en la mejora de los problemas asociados a los sistemas de inteligencia artificial avanzados: el sesgo, la toxicidad y el potencial para generar información errónea.

Ahí está la clave. Por ello LLaMa es de menor tamaño y se ha publicado bajo una licencia no comercial. Su objetivo, de momento, es transformarse en una herramienta para que se realicen numerosas pruebas de casos de uso, abierta a la investigación.

Podrán acceder investigadores del ámbito académico, de entidades gubernamentales, de la sociedad civil y laboratorios industriales de todo el mundo. Meta concederá las autorizaciones tras analizar en detalle cada propuesta.

LLaMA: el tamaño de la IA sí importa

Frente a plataformas como ChatGPT, los modelos más pequeños tienen una serie de ventajas que incentivan el el desarrollo de soluciones más ágiles. Se entrenan con un mayor número de tokens (trozos de palabras) y son más versátiles, por lo que su reentrenamiento es más sencillo. También permiten una mejor adaptación a distintos casos de uso de productos específicos.

Su tamaño es un plus . Zuckerberg ha puesto a disposición de los investigadores tres modelos de su IA: ya ha entrenado los modelos LLaMA 65B y LLaMA 33B, con 1,4 billones de tokens, mientras que el modelo más pequeño, LLaMA 7B, se ha entrenado con un billón de tokens.

Del mismo modo que otros grandes modelos lingüísticos, LLaMA funciona con una secuencia de palabras de entrada. A partir de ahí, predice las siguientes palabras para generar texto. Para el entrenamiento de este modelo, en Meta eligieron textos de las 20 lenguas más utilizadas, con el foco puesto en los alfabetos latino y cirílico.

Riesgos de sesgo e información falsa en la IA

Aún queda mucho por investigar para hacer frente a los riesgos de sesgo, comentarios tóxicos y noticias falsas en los grandes modelos lingüísticos y desde Meta se reconoce que LLaMA no está al margen de estos desafíos que afrontan todos los sistemas de inteligencia artificial.

Al compartir el código de LLaMA, se incrementa el número de investigadores que pueden probar nuevos enfoques para limitar o eliminar estos problemas en grandes modelos lingüísticos. Además, se incluye un conjunto de evaluaciones sobre sesgos para detectar las limitaciones del modelo que se esté desarrollando.

El entrenamiento de modelos básicos y más reducidos como LLaMA tiene otros beneficios frente a los grandes modelos lingüísticos: permiten la experimentación con nuevos enfoques con menos potencia y recursos informáticos, dando validez a trabajos alternativos y facilitando la exploración de nuevos casos de uso con mayor eficiencia.

Por otra parte, los modelos de base se pueden entrenar con un ingente volumen de datos sin etiquetar, situándolos en una posición ventajosa para realizar un ajuste más fino de las tareas. LLaMA es un modelo más pequeño que promete un mejor rendimiento.

Integración en WhatsApp, Instagram y Facebook

Tal como ha hecho Microsoft con la integración de ChatGPT en sus aplicaciones y motores de búsqueda, las comunidades de usuarios dan por hecho que los experimentos que desarrolle Meta en el área de inteligencia artificial se integrarán en sus aplicaciones y herramientas más utilizadas: WhatsApp, Instagram y Facebook.

En algunos chats de tecnología también se habla de que, aunque Meta podría llegar el último a los desarrollos de inteligencia artificial con lenguaje natural, esto no supondría una desventaja a largo plazo. Eso sí, siempre que el mundo académico realice casos de uso relevantes para mejorar la experiencia de usuario de sus principales plataformas.

Las expectativas sobre la revolución que puede suponer integrar funcionalidades de texto en WhatsApp y Messenger, o de creación de imágenes en Instagram es grande. Y es algo que ya se hace en el universo de OpenAI. Lo que parece claro es que Meta no va a claudicar en su apuesta por el Metaverso, pero no quiere dejar pasar el tren de la inteligencia artificial conversacional. Y quiere plantar cara a ChatGPT con LLaMA, de la mano de los investigadores.