Dario Amodei, el CEO de Anthropic, está preocupado por DeepSeek, una empresa de inteligencia artificial china que ha sorprendido a Silicon Valley con su modelo R1. Sus preocupaciones van más allá de los típicos temores sobre el envío de datos de usuarios a China. En una entrevista en el podcast ChinaTalk de Jordan Schneider, Amodei mencionó que DeepSeek generó información poco común sobre armas biológicas durante una prueba de seguridad realizada por Anthropic. Según Amodei, el rendimiento de DeepSeek fue “el peor de todos los modelos que hemos probado”. Afirmó que no tenía ninguna restricción para generar esta información.
Amodei explicó que estas pruebas son parte de las evaluaciones que Anthropic realiza regularmente para evaluar los riesgos de seguridad nacional de diferentes modelos de IA. Su equipo investiga si los modelos pueden generar información sobre armas biológicas que no se encuentra fácilmente en Google o en libros de texto. Anthropic se presenta como un proveedor de modelos de IA que se toma en serio la seguridad. Aunque Amodei no considera que los modelos de DeepSeek sean “literalmente peligrosos” en este momento, sí cree que podrían serlo en un futuro cercano. A pesar de elogiar al equipo de DeepSeek como “ingenieros talentosos”, les aconsejó que tomen en serio las consideraciones de seguridad de la IA.
Amodei también ha apoyado controles de exportación estrictos sobre chips a China, mencionando preocupaciones de que podrían dar a las fuerzas armadas chinas una ventaja. Sin embargo, no aclaró en la entrevista qué modelo de DeepSeek probó Anthropic ni proporcionó más detalles técnicos sobre estas pruebas. Anthropic no respondió de inmediato a una solicitud de comentarios de TechCrunch, al igual que DeepSeek.
El ascenso de DeepSeek ha generado preocupaciones sobre su seguridad en otros lugares. Por ejemplo, investigadores de seguridad de Cisco informaron la semana pasada que el modelo R1 de DeepSeek no logró bloquear ningún aviso dañino en sus pruebas de seguridad, logrando una tasa de éxito del 100% en jailbreak. Cisco no mencionó armas biológicas, pero indicó que pudo hacer que DeepSeek generara información dañina sobre cibercrimen y otras actividades ilegales. Cabe destacar que los modelos Llama-3.1-405B de Meta y GPT-4o de OpenAI también tuvieron altas tasas de fallos, del 96% y 86%, respectivamente.
Aún está por verse si estas preocupaciones de seguridad afectarán seriamente la rápida adopción de DeepSeek. Empresas como AWS y Microsoft han promocionado públicamente la integración de R1 en sus plataformas en la nube, lo que resulta irónico dado que Amazon es el mayor inversor de Anthropic. Por otro lado, hay una lista creciente de países, empresas y organizaciones gubernamentales, como la Marina de EE. UU. y el Pentágono, que han comenzado a prohibir a DeepSeek.
El tiempo dirá si estos esfuerzos tendrán éxito o si el ascenso global de DeepSeek continuará. De cualquier manera, Amodei considera a DeepSeek un nuevo competidor que está a la altura de las principales empresas de IA de EE. UU. “El nuevo hecho aquí es que hay un nuevo competidor”, dijo en ChinaTalk. “En las grandes empresas que pueden entrenar IA —Anthropic, OpenAI, Google, quizás Meta y xAI— ahora DeepSeek podría estar siendo añadida a esa categoría”.
