A principios de febrero, coincidiendo con la presentación de sus resultados trimestrales, Marck Zuckerberg lanzaba un aviso a navegantes, casi, casi una declaración de intenciones: Meta quiere ser "líder en Inteligencia Artificial (IA) generativa". En un sector marcado por la competencia, con OpenAI, Microsoft o Google apostando fuerte, la antigua Facebook quiere demostrar que no piensa solo en el metaverso y hacerse notar en un campo que, en realidad, lleva explorando desde que en 2013 puso en marcha el grupo Facebook AI Research (FAI).
Ayer la compañía y el propio Zuckerberg quisieron ir más allá y reivindicar su presencia en la carrera de la IA presentando su nuevo modelo: LLaMA.
¿Qué es eso de LLaMA? Las siglas de Large Language Model Meta AI, un modelo de lenguaje que la compañía ha decidido enfocar a los investigadores en el campo, precisamente, de la inteligencia artificial. El matiz es importante. LLaMA se plantea a modo de herramienta para investigadores, no como un sistema con el que cualquiera pueda interactuar, caso de ChatGPT o el nuevo bot de Bing. Meta ha decidido lanzarlo en varios tamaños?65B, 33B, 13B y 7B?, entrenados con diferentes cantidades de tokens y textos en una veintena de idiomas distintos.
"LLaMA-13B supera a GPT-3 (175B) en la mayoría de las pruebas, y LLaMA-65B compite con los mejores modelos, Chinchilla70B y PaLM-540B", asegura Meta, que reconoce, eso sí, que "la tasa de respuestas correctas sigue siendo baja".
¿Y cuál es el objetivo del modelo? Mark Zuckerberg aseguraba ayer que su propósito es "ayudar a los investigadores a avanzar en su trabajo" en el campo de la IA. "Los modelos más pequeños y de mayor rendimiento como LLaMA permiten estudiarlos a otros miembros de la comunidad investigadora sin acceso a grandes infraestructuras, lo que democratiza todavía más el acceso a este campo tan importante y cambiante", reivindica la multinacional en su blog oficial.
Meta asegura que LlaMA requiere "mucha menos potencia y recursos informáticos" a la hora de experimentar con nuevos enfoques, validar trabajos y explorar aplicaciones. ?A pesar de los recientes avances en los modelos lingüísticos de gran tamaño, la investigación sigue teniendo un acceso limitado a ellos debido a los recursos necesarios para entrenarlos y ejecutarlos?, subraya.
¿Trabajar en qué? Meta reconoce que los modelos lingüísticos han avanzado en la generación de textos, la resolución de problemas matemáticos o la respuesta de preguntas de comprensión lectora, pero asegura que las restricciones de acceso que ocasionan los recursos necesarios para su entrenamiento ha limitado la capacidad de los investigadores para comprender cómo funcionan: "Han obstaculizado los avances en los esfuerzos por mejorar su solidad y mitigar problemas conocidos, como el sesgo, la toxicidad y el potencial para generar información errónea".
"Aún queda mucho por investigar para hacer frente a los riesgos de sesgo, comentarios tóxicos y alucinaciones en los grandes modelos lingüísticos. Al igual que otros modelos, LLaMA comparte estos retos [?]. Al compartir el código otros investigadores pueden probar más fácilmente nuevos enfoques para limitar o eliminar estos problemas en grandes modelos", recalca la antigua Facebook.
¿Es accesible LLaMA? Meta ha publicado su modelo bajo una licencia no comercial centrada en su uso para investigaciones. El acceso, detalla, se concederá ?caso por caso? a investigadores académicos que estén afiliados a organismos y laboratorios. Quienes quieran solicitarlo deben enviar una solicitud. ¿El motivo? La compañía quiere "mantener su integridad y evitar usos indebidos".
¿Es importante el contexto? Desde luego. El anuncio de Meta llega poco después de que el propio Zuckerberg reivindicase que aspira a ser "líder en AI generativa" y en plena carrera por el desarrollo de herramientas. A lo largo de los últimos meses Microsoft ha apostado con contundencia por OpenAI y aprovechado el potencial de ChatGPT para dar un impulso a Bing. Mientras, Google presentaba su propia IA conversacional (Bard) y herramientas como MusicLM.
¿Es este el primer movimiento de Meta? No. En noviembre su área de investigación de IA, capitaneada por Yann LeCun, ya lanzó una herramienta de IA orientada a los investigadores y basada también en Large Language Model, LLM: Galactica. "Puede resumir literatura académica, resolver problemas matemáticos, generar artículos Wiki o escribir código científico", aseguraban sus responsables coincidiendo con el lanzamiento de una demo que permitía probarla.
El experimento no salió sin embargo cómo esperaba. Poco después la multinacional se veía obligada a recular y echar el freno a la demostración entre críticas de científicos que aseguraban que en ocasiones las respuestas de Galactica no eran correctas. "Le pregunté sobre cosas que sé y estoy preocupado. En todos los casos estaba mal o sesgado, pero sonaba correcto y con autoridad. Creo que es peligroso", alertaba Michael Black, del Instituto Max Planck. También el nuevo Bing se ha visto en la necesidad hace poco de ajustarse sobre la marcha.
Imagen de portada: Anthony Quintano (Flickr)
.
