El Centro para la Seguridad de la IA (CAIS), una organización sin fines de lucro, y Scale AI, una empresa que ofrece servicios de etiquetado de datos y desarrollo de inteligencia artificial, han lanzado un nuevo y desafiante estándar para los sistemas de IA avanzados. Este estándar se llama “El Último Examen de la Humanidad” y contiene miles de preguntas recopiladas de diversas fuentes sobre temas como matemáticas, humanidades y ciencias naturales.

Para aumentar la dificultad de la evaluación, las preguntas están en diferentes formatos, incluyendo algunas que utilizan diagramas e imágenes. En un estudio preliminar, ningún sistema de IA destacado disponible públicamente logró obtener más del 10% de aciertos en “El Último Examen de la Humanidad”. CAIS y Scale AI han anunciado que planean abrir este estándar a la comunidad investigadora, permitiendo que los investigadores “exploren más a fondo las variaciones” y evalúen nuevos modelos de IA.