Fuera de las películas de ciencia ficción, no hay precedentes de sistemas de IA que maten personas o se usen en ciberataques. Sin embargo, algunos legisladores quieren implementar medidas de seguridad antes de que actores malintencionados hagan realidad ese futuro distópico. Un proyecto de ley de California, conocido como SB 1047, intenta prevenir desastres causados por sistemas de IA antes de que ocurran, y se someterá a una votación final en el senado del estado a finales de agosto.
Aunque parece un objetivo en el que todos podemos estar de acuerdo, SB 1047 ha generado la ira de jugadores grandes y pequeños de Silicon Valley, incluidos capitalistas de riesgo, grupos comerciales de grandes tecnologías, investigadores y fundadores de startups. Actualmente, hay muchos proyectos de ley sobre IA en todo el país, pero la Ley de Innovación Segura y Segura para Modelos de Inteligencia Artificial Fronteriza de California se ha convertido en uno de los más controvertidos. Aquí te explicamos por qué y quiénes están hablando al respecto.
SB 1047 intenta evitar que los grandes modelos de IA se utilicen para causar “daños críticos” a la humanidad. El proyecto de ley da ejemplos de “daños críticos” como un actor malintencionado que usa un modelo de IA para crear un arma que cause bajas masivas, o que instruya a uno para orquestar un ciberataque que cause más de 500 millones de dólares en daños. El proyecto de ley hace responsables a los desarrolladores (es decir, las empresas que desarrollan los modelos) de implementar protocolos de seguridad suficientes para prevenir estos resultados.
¿Qué modelos y empresas están sujetos a estas reglas? Las reglas de SB 1047 solo se aplicarían a los modelos de IA más grandes del mundo: aquellos que cuestan al menos 100 millones de dólares y usan 10^26 FLOPS durante el entrenamiento. Muy pocas empresas hoy en día han desarrollado productos de IA públicos lo suficientemente grandes como para cumplir con esos requisitos, pero gigantes tecnológicos como OpenAI, Google y Microsoft probablemente lo harán muy pronto. Los modelos de IA, que esencialmente son motores estadísticos masivos que identifican y predicen patrones en datos, generalmente se han vuelto más precisos a medida que han crecido, una tendencia que muchos esperan que continúe.
En cuanto a los modelos de código abierto y sus derivados, el proyecto de ley determina que una vez que se gastan 25 millones de dólares en desarrollar o ajustar por otra parte, esa parte se vuelve responsable de ese modelo derivado, en lugar del desarrollador original. El proyecto de ley también requiere un protocolo de seguridad para prevenir el mal uso de los productos de IA cubiertos, incluyendo un botón de “parada de emergencia” que apaga todo el modelo de IA. Los desarrolladores también deben crear procedimientos de prueba que aborden los riesgos que plantean los modelos de IA y deben contratar auditores externos anualmente para evaluar sus prácticas de seguridad en IA.
¿Quién lo aplicaría y cómo? Una nueva agencia de California, la División de Modelos Fronterizos (FMD), supervisaría las reglas. Cada nuevo modelo de IA público que cumpla con los umbrales de SB 1047 debe ser certificado individualmente con una copia escrita de su protocolo de seguridad. La FMD estaría gobernada por una junta de cinco personas, incluidos representantes de la industria de la IA, la comunidad de código abierto y la academia, designados por el gobernador y la legislatura de California. La junta asesorará al fiscal general de California sobre posibles violaciones de SB 1047 y emitirá orientación a los desarrolladores de modelos de IA sobre prácticas de seguridad.
El director de tecnología de un desarrollador debe presentar una certificación anual a la FMD evaluando los riesgos potenciales de su modelo de IA, la efectividad de su protocolo de seguridad y una descripción de cómo la empresa está cumpliendo con SB 1047. Similar a las notificaciones de violación, si ocurre un “incidente de seguridad de IA”, el desarrollador debe informarlo a la FMD dentro de las 72 horas posteriores a enterarse del incidente. Si un desarrollador no cumple con alguna de estas disposiciones, SB 1047 permite que el fiscal general de California emprenda una acción civil contra el desarrollador. Para un modelo que cuesta 100 millones de dólares entrenar, las sanciones podrían alcanzar hasta 10 millones de dólares en la primera violación y 30 millones de dólares en violaciones posteriores. Esa tasa de penalización escala a medida que los modelos de IA se vuelven más caros.
Por último, el proyecto de ley incluye protecciones para los denunciantes si intentan divulgar información sobre un modelo de IA inseguro al fiscal general de California. El senador estatal de California Scott Wiener, quien redactó el proyecto de ley y representa a San Francisco, dice que SB 1047 es un intento de aprender de los fracasos de políticas pasadas con las redes sociales y la privacidad de datos, y proteger a los ciudadanos antes de que sea demasiado tarde. “Tenemos una historia con la tecnología de esperar a que ocurran daños, y luego lamentarnos”, dijo Wiener. “No esperemos a que ocurra algo malo. Simplemente adelantémonos a ello”.
Incluso si una empresa entrena un modelo de 100 millones de dólares en Texas, o en Francia, estará cubierto por SB 1047 siempre que haga negocios en California. Wiener dice que el Congreso ha hecho “notablemente poco en materia de legislación sobre tecnología en el último cuarto de siglo”, por lo que cree que le corresponde a California sentar un precedente aquí. Cuando se le preguntó si se ha reunido con OpenAI y Meta sobre SB 1047, Wiener dice “nos hemos reunido con todos los grandes laboratorios”.
Dos investigadores de IA que a veces son llamados los “padrinos de la IA”, Geoffrey Hinton y Yoshua Bengio, han apoyado este proyecto de ley. Estos dos pertenecen a una facción de la comunidad de IA preocupada por los escenarios peligrosos y apocalípticos que la tecnología de IA podría causar. Estos “catastrofistas de IA” han existido durante un tiempo en el mundo de la investigación, y SB 1047 podría codificar algunas de sus salvaguardias preferidas en la ley.
Otro grupo que patrocina SB 1047, el Centro para la Seguridad de la IA, escribió una carta abierta en mayo de 2023 pidiendo al mundo que priorice “mitigar el riesgo de extinción por IA” tan seriamente como las pandemias o la guerra nuclear. “Esto es en el interés a largo plazo de la industria en California y en los EE. UU. en general, porque un incidente de seguridad importante probablemente sería el mayor obstáculo para el avance futuro”, dijo Dan Hendrycks, director del Centro para la Seguridad de la IA, en un correo electrónico a TechCrunch.
Recientemente, las motivaciones de Hendrycks han sido cuestionadas. En julio, lanzó públicamente una startup, Gray Swan, que construye “herramientas para ayudar a las empresas a evaluar los riesgos de sus sistemas de IA”, según un comunicado de prensa. Tras las críticas de que la startup de Hendrycks podría beneficiarse si se aprueba el proyecto de ley, potencialmente como uno de los auditores que SB 1047 requiere que los desarrolladores contraten, Hendrycks desinvirtió su participación en Gray Swan. “Desinvertí para enviar una señal clara”, dijo Hendrycks en un correo electrónico a TechCrunch. “Si la oposición de los capitalistas de riesgo multimillonarios a la seguridad de la IA de sentido común quiere mostrar que sus motivos son puros, que hagan lo mismo”.
Un coro creciente de jugadores de Silicon Valley se opone a SB 1047. La “oposición de los capitalistas de riesgo multimillonarios” de Hendrycks probablemente se refiere a A16Z, la firma de capital de riesgo fundada por Marc Andreessen y Ben Horowitz, que se ha opuesto firmemente a SB 1047. A principios de agosto, el director legal de la firma de capital de riesgo, Jaikumar Ramaswamy, envió una carta al senador Wiener, alegando que el proyecto de ley “cargará a las startups debido a sus umbrales arbitrarios y cambiantes”, creando un efecto paralizante en el ecosistema de la IA. A medida que la tecnología de IA avanza, se volverá más costosa, lo que significa que más startups cruzarán ese umbral de 100 millones de dólares y estarán cubiertas por SB 1047; A16Z dice que varias de sus startups ya reciben esa cantidad para entrenar modelos.
Fei-Fei Li, a menudo llamada la madrina de la IA, rompió su silencio sobre SB 1047 a principios de agosto, escribiendo en una columna de Fortune que el proyecto de ley “dañará nuestro incipiente ecosistema de IA”. Si bien Li es una pionera muy respetada en la investigación de IA de Stanford, también se informó que creó una startup de IA llamada World Labs en abril, valorada en mil millones de dólares y respaldada por A16Z. Se une a académicos influyentes de IA como el investigador de Stanford Andrew Ng, quien llamó al proyecto de ley “un asalto al código abierto” durante un discurso en un evento de Y Combinator en julio. Los modelos de código abierto pueden crear riesgos adicionales para sus creadores, ya que, como cualquier software abierto, son más fácilmente modificables y desplegables para fines arbitrarios y potencialmente maliciosos.
El científico jefe de IA de Meta, Yann LeCun, dijo que SB 1047 perjudicaría los esfuerzos de investigación y se basa en una “ilusión de ‘riesgo existencial’ impulsada por un puñado de think-tanks delirantes”, en una publicación en X. El LLM Llama de Meta es uno de los principales ejemplos de un LLM de código abierto. Las startups tampoco están contentas con el proyecto de ley. Jeremy Nixon, CEO de la startup de IA Omniscience y fundador de AGI House SF, un centro para startups de IA en San Francisco, teme que SB 1047 aplaste su ecosistema. Argumenta que los actores malintencionados deberían ser castigados por causar daños críticos, no los laboratorios de IA que desarrollan y distribuyen abiertamente la tecnología. “Hay una profunda confusión en el centro del proyecto de ley, que los LLM pueden diferir de alguna manera en sus niveles de capacidad peligrosa”, dijo Nixon. “Es más que probable, en mi mente, que todos los modelos tengan capacidades peligrosas según lo definido por el proyecto de ley”.
Pero las grandes tecnológicas, a las que el proyecto de ley se enfoca directamente, también están en pánico por SB 1047. La Cámara de Progreso, un grupo comercial que representa a Google, Apple, Amazon y otros gigantes tecnológicos, emitió una carta abierta oponiéndose al proyecto de ley diciendo que SB 1047 restringe la libertad de expresión y “empuja la innovación tecnológica fuera de California”. El año pasado, el CEO de Google, Sundar Pichai, y otros ejecutivos tecnológicos respaldaron la idea de una regulación federal de la IA. Silicon Valley no suele gustar cuando California establece regulaciones tecnológicas amplias como esta. En 2019, las grandes tecnológicas jugaron una carta similar cuando otro proyecto de ley de privacidad estatal, la Ley de Privacidad del Consumidor de California, también amenazó con cambiar el panorama tecnológico. Silicon Valley hizo lobby contra ese proyecto de ley, y meses antes de que entrara en vigor, el fundador de Amazon, Jeff Bezos, y otros 50 ejecutivos escribieron una carta abierta pidiendo en su lugar una ley federal de privacidad.
El 15 de agosto, SB 1047 será enviado al pleno de la Asamblea del Senado de California con las enmiendas que se aprueben. Ahí es donde los proyectos de ley “viven o mueren” en el Senado de California, según Wiener. Se espera que pase, dado su abrumador apoyo de los legisladores hasta ahora. Anthropic presentó una serie de enmiendas sugeridas a SB 1047 a finales de julio, que Wiener dice que él y los comités de políticas del Senado de California están considerando activamente. Anthropic es el primer desarrollador de un modelo de IA de última generación en señalar públicamente que está dispuesto a trabajar con Wiener en SB 1047, aunque no apoya el proyecto de ley tal como está. Esto fue visto en gran medida como una victoria para el proyecto de ley.
Los cambios propuestos por Anthropic incluyen deshacerse de la FMD, reducir el poder del Fiscal General para demandar a los desarrolladores de IA antes de que ocurra un daño y eliminar la disposición de protecciones para denunciantes en SB 1047. Wiener dice que está generalmente positivo sobre las enmiendas, pero necesita la aprobación de varios comités de políticas del Senado antes de agregarlas al proyecto de ley. Si SB 1047 pasa el Senado, el proyecto de ley será enviado al escritorio del gobernador de California, Gavin Newsom, donde él decidirá si firma el proyecto de ley para convertirlo en ley antes de finales de agosto. Wiener dice que no ha hablado con Newsom sobre el proyecto de ley y no conoce su posición. Este proyecto de ley no entraría en vigor de inmediato, ya que la FMD está programada para formarse en 2026. Además, si el proyecto de ley se aprueba, es muy probable que enfrente desafíos legales antes de entonces, tal vez de algunos de los mismos grupos que están hablando al respecto ahora.
