François Chollet, un exingeniero de Google y destacado investigador en inteligencia artificial, está cofundando una organización sin fines de lucro llamada ARC Prize Foundation. Su objetivo es desarrollar pruebas que evalúen si la inteligencia artificial puede alcanzar un nivel similar al humano. La fundación será dirigida por Greg Kamradt, un exdirector de ingeniería de Salesforce y fundador del estudio de productos de IA Leverage.
Chollet explicó en el sitio web de la fundación que están trabajando para convertirse en una fundación sin fines de lucro que sirva como guía hacia la inteligencia general artificial. Este término se refiere a una inteligencia artificial que puede realizar la mayoría de las tareas que los humanos pueden hacer. La ARC Prize Foundation ampliará un test llamado ARC-AGI, creado por Chollet en 2019, que evalúa si un sistema de IA puede aprender nuevas habilidades fuera de los datos con los que fue entrenado.
Hasta ahora, muchos sistemas de IA han demostrado ser muy buenos en exámenes de matemáticas, pero el mejor rendimiento en el test ARC-AGI solo logró resolver menos de un tercio de las tareas. Chollet mencionó que, a diferencia de otros tests de IA, no están tratando de medir el riesgo de la IA con preguntas extremadamente difíciles. En cambio, quieren reducir la brecha de capacidades humanas a cero.
El test ARC-AGI consiste en problemas tipo rompecabezas donde la IA debe generar una cuadrícula de respuestas correctas a partir de cuadrados de diferentes colores. Estos problemas están diseñados para que la IA se adapte a nuevos desafíos. En junio pasado, Chollet y Mike Knoop, cofundador de Zapier, iniciaron una competencia para desarrollar una IA que supere el test ARC-AGI. Un modelo de OpenAI, aún no lanzado, fue el primero en obtener una puntuación calificativa, pero requirió una gran cantidad de poder computacional.
Chollet ha señalado que el test ARC-AGI tiene fallas, ya que muchos modelos han logrado altas puntuaciones mediante fuerza bruta, y no cree que el modelo o3 tenga inteligencia a nivel humano. Según Chollet, los datos iniciales sugieren que la próxima versión del test representará un desafío significativo para o3. La idea es que la creación de tareas que sean fáciles para los humanos pero difíciles para la IA se vuelva imposible.
Knoop anunció que planean lanzar una segunda generación del test ARC-AGI este año, junto con una nueva competencia, y también comenzarán a diseñar la tercera edición del test. Aún queda por ver cómo la ARC Prize Foundation abordará las críticas que Chollet ha recibido por sobrestimar el test ARC-AGI como un indicador para alcanzar la inteligencia general artificial. La definición de esta inteligencia es un tema de debate intenso, y un miembro de OpenAI afirmó recientemente que ya se ha alcanzado si se define como una IA “mejor que la mayoría de los humanos en la mayoría de las tareas”. Curiosamente, el CEO de OpenAI, Sam Altman, mencionó en diciembre que la empresa planea colaborar con el equipo de ARC-AGI para desarrollar futuros tests. Chollet no proporcionó actualizaciones sobre posibles asociaciones en su anuncio reciente.
