Ejecutivos e investigadores de Meta, la empresa detrás de Facebook, estaban muy enfocados en superar el modelo GPT-4 de OpenAI mientras desarrollaban Llama 3. Esto se reveló en mensajes internos que fueron desclasificados por un tribunal en un caso de derechos de autor relacionado con la inteligencia artificial. Ahmad Al-Dahle, vicepresidente de IA Generativa de Meta, mencionó en un mensaje que su objetivo debía ser “GPT-4”. Además, destacó que tenían 64,000 GPUs disponibles y que necesitaban aprender a construir modelos de vanguardia para ganar esta carrera.
Aunque Meta lanza modelos de IA abiertos, sus líderes estaban más interesados en superar a competidores como Anthropic y OpenAI, que no suelen compartir los detalles de sus modelos. En los mensajes, se mencionó a Claude de Anthropic y a GPT-4 de OpenAI como estándares a seguir. También se mencionó a Mistral, una startup francesa de IA, pero de manera despectiva, con Al-Dahle afirmando que “Mistral es un juego de niños para nosotros”.
Las empresas tecnológicas están compitiendo ferozmente para desarrollar modelos de IA avanzados, y estos documentos judiciales muestran cuán competitivos son los líderes de IA de Meta. En varias ocasiones, se habló sobre lo “agresivos” que eran para obtener los datos necesarios para entrenar Llama. Un ejecutivo incluso dijo que “Llama 3 es literalmente todo lo que me importa”.
Los fiscales alegan que los ejecutivos de Meta a veces tomaron atajos en su carrera por lanzar modelos de IA, utilizando libros protegidos por derechos de autor en el proceso. Touvron, un investigador de Meta, mencionó que la mezcla de datos utilizada para Llama 2 “era mala” y discutió cómo podrían mejorar la mezcla de fuentes de datos para Llama 3. También se habló sobre la posibilidad de usar el conjunto de datos de LibGen, que contiene obras protegidas de varias editoriales.
Mark Zuckerberg, CEO de Meta, ha dicho que está tratando de cerrar la brecha de rendimiento entre los modelos de Llama y los modelos cerrados de OpenAI, Google y otros. Los mensajes internos revelan la intensa presión dentro de la empresa para lograrlo. En una carta de julio de 2024, Zuckerberg afirmó que “este año, Llama 3 es competitivo con los modelos más avanzados y líder en algunas áreas”. Cuando Meta lanzó finalmente Llama 3 en abril de 2024, el modelo de IA abierto fue competitivo con los modelos cerrados de Google, OpenAI y Anthropic, superando a las opciones abiertas de Mistral. Sin embargo, los datos utilizados para entrenar sus modelos, que Zuckerberg aprobó a pesar de su estado de derechos de autor, están siendo examinados en varias demandas en curso.
