El CEO de Nvidia, Jensen Huang, afirma que el rendimiento de los chips de inteligencia artificial de su empresa está avanzando más rápido que las tasas históricas establecidas por la Ley de Moore. Esta ley, propuesta por Gordon Moore en 1965, predecía que el número de transistores en los chips de computadora se duplicaría aproximadamente cada año, lo que a su vez duplicaría el rendimiento de esos chips. Aunque esta predicción fue cierta durante décadas, en los últimos años ha comenzado a desacelerarse. Sin embargo, Huang sostiene que los chips de IA de Nvidia están avanzando a un ritmo acelerado.
Huang explicó que Nvidia puede desarrollar la arquitectura, el chip, el sistema, las bibliotecas y los algoritmos simultáneamente, lo que les permite innovar más rápido que la Ley de Moore. Esta afirmación llega en un momento en que muchos se preguntan si el progreso de la IA se ha estancado. Los principales laboratorios de IA, como Google y OpenAI, utilizan los chips de Nvidia para entrenar y ejecutar sus modelos de IA, por lo que cualquier mejora en estos chips podría traducirse en un avance en las capacidades de los modelos de IA.
Huang también mencionó que hay tres leyes activas de escalado en IA: pre-entrenamiento, que es la fase inicial donde los modelos aprenden de grandes cantidades de datos; post-entrenamiento, que ajusta las respuestas del modelo utilizando retroalimentación humana; y computación en tiempo de prueba, que ocurre durante la fase de inferencia y permite que el modelo “piense” más después de cada pregunta. Huang asegura que, al igual que la Ley de Moore ayudó a reducir los costos de computación, la inferencia también verá una mejora en el rendimiento y una reducción de costos.
Los chips H100 de Nvidia eran los preferidos para entrenar modelos de IA, pero ahora que las empresas se centran más en la inferencia, algunos se preguntan si los chips costosos de Nvidia seguirán siendo los mejores. Huang presentó el nuevo superchip de Nvidia, el GB200 NVL72, que es de 30 a 40 veces más rápido en tareas de inferencia que los chips H100 anteriores. Este aumento de rendimiento podría hacer que los modelos de razonamiento de IA, que requieren mucha computación, sean más asequibles con el tiempo.
Huang se enfoca en crear chips más eficientes, lo que, a largo plazo, podría reducir los precios. A pesar de que los primeros modelos de OpenAI han sido costosos, Huang espera que la tendencia de precios bajos continúe. Además, afirma que sus chips de IA actuales son 1,000 veces mejores que los de hace diez años, un ritmo que supera la Ley de Moore y que no muestra signos de desaceleración.
