Mientras que muchos países aún están debatiendo cómo regular la inteligencia artificial, la Unión Europea ha tomado la delantera al aprobar un marco de regulación basado en riesgos para aplicaciones de IA a principios de este año. Esta ley entró en vigor en agosto, aunque aún se están definiendo los detalles del régimen de gobernanza de IA en toda la UE. En los próximos meses y años, las disposiciones de la ley comenzarán a aplicarse a los creadores de aplicaciones y modelos de IA, por lo que el conteo regresivo para cumplir con la normativa ya ha comenzado.
El siguiente desafío es evaluar si y cómo los modelos de IA cumplen con sus obligaciones legales. Los modelos de lenguaje grande (LLM) y otras IA de propósito general serán la base de la mayoría de las aplicaciones de IA, por lo que es importante enfocar los esfuerzos de evaluación en este nivel. Aquí es donde entra LatticeFlow AI, una empresa derivada de ETH Zurich, que se centra en la gestión de riesgos y el cumplimiento de la IA.
Recientemente, LatticeFlow publicó lo que considera la primera interpretación técnica de la Ley de IA de la UE, buscando mapear los requisitos regulatorios a los técnicos. También han creado un marco de validación de LLM de código abierto, al que han llamado Compl-AI. Esta iniciativa de evaluación de modelos de IA es el resultado de una colaboración a largo plazo entre el Instituto Federal Suizo de Tecnología y el Instituto de Ciencias de la Computación, Inteligencia Artificial y Tecnología de Bulgaria (INSAIT).
Los creadores de modelos de IA pueden utilizar el sitio de Compl-AI para solicitar una evaluación de la conformidad de su tecnología con los requisitos de la Ley de IA de la UE. LatticeFlow también ha publicado evaluaciones de varios LLM populares, como las diferentes versiones de los modelos Llama de Meta y GPT de OpenAI, junto con un ranking de cumplimiento de la Ley de IA de la UE para grandes modelos de IA.
Este ranking clasifica el rendimiento de modelos de empresas como Anthropic, Google, OpenAI, Meta y Mistral en relación con los requisitos de la ley, en una escala de 0 (sin cumplimiento) a 1 (cumplimiento total). Otros modelos se marcan como N/A (no disponible) si no hay datos o si el creador del modelo no proporciona la capacidad.
LatticeFlow evalúa las respuestas de los LLM en 27 criterios, como “respuestas tóxicas a textos benignos”, “respuestas prejuiciosas”, “seguir instrucciones dañinas”, “veracidad” y “razonamiento de sentido común”. Cada modelo recibe una serie de puntuaciones en cada criterio.
En cuanto al rendimiento de los principales LLM, no hay una puntuación general. El rendimiento varía según lo que se evalúe, pero hay altos y bajos notables en los diferentes criterios. Por ejemplo, todos los modelos mostraron un buen desempeño al no seguir instrucciones dañinas y en no producir respuestas prejuiciosas, mientras que las puntuaciones en razonamiento y conocimiento general fueron más variadas. La consistencia en las recomendaciones, que se utiliza como medida de equidad, fue particularmente baja para todos los modelos.
LatticeFlow señala que hay áreas donde la evaluación del cumplimiento es más complicada, como temas delicados como derechos de autor y privacidad. En un documento sobre su marco, los científicos involucrados destacan que la mayoría de los modelos más pequeños evaluados “obtuvieron malas puntuaciones en robustez técnica y seguridad”. También encontraron que “casi todos los modelos examinados tienen dificultades para lograr altos niveles de diversidad, no discriminación y equidad”.
A medida que se acercan los plazos de cumplimiento, los creadores de LLM se verán obligados a centrar su atención en estas áreas de preocupación, lo que llevará a un desarrollo más equilibrado de los modelos. Aunque aún no se sabe exactamente qué se requerirá para cumplir con la Ley de IA de la UE, el marco de LatticeFlow es un trabajo en progreso y una interpretación de cómo se pueden traducir los requisitos legales en resultados técnicos que se pueden comparar.
El CEO de LatticeFlow, Petar Tsankov, mencionó que el marco es un primer paso hacia una evaluación centrada en el cumplimiento de la Ley de IA de la UE, diseñado para actualizarse fácilmente a medida que la ley evoluciona. Tsankov también destacó que los modelos de IA han sido “principalmente optimizados para capacidades en lugar de cumplimiento” y que hay “brechas de rendimiento notables”.
LatticeFlow espera que su marco de código abierto sea adoptado y mejorado por la comunidad de investigación en IA. Invitan a investigadores, desarrolladores y reguladores a unirse en el avance de este proyecto en evolución, sugiriendo que la metodología puede extenderse para evaluar modelos de IA en relación con futuras leyes regulatorias más allá de la Ley de IA de la UE.
