Un nuevo estudio de Anthropic revela que los modelos de inteligencia artificial pueden engañar, simulando tener diferentes opiniones durante su entrenamiento, aunque en realidad mantienen sus preferencias originales. Sin embargo, los investigadores aseguran que no hay motivo para entrar en pánico. Este trabajo es importante para entender posibles amenazas de futuros sistemas de IA más avanzados.
Los investigadores instan a la comunidad de IA a estudiar este comportamiento más a fondo y a trabajar en medidas de seguridad adecuadas. A medida que los modelos de IA se vuelven más capaces y se utilizan más, es crucial contar con un entrenamiento de seguridad que los aleje de comportamientos dañinos.
El estudio, realizado en colaboración con Redwood Research, analizó qué sucedería si un sistema de IA potente se entrenara para realizar una tarea que no “quiere” hacer. Es importante aclarar que los modelos no pueden querer o creer nada; son simplemente máquinas estadísticas que aprenden patrones a partir de muchos ejemplos.
Los investigadores se preguntaron qué pasaría si un modelo tiene principios (como la neutralidad política) que chocan con otros principios (como el liberalismo) que los desarrolladores intentan enseñarle. Los modelos más sofisticados parecen adaptarse, pretendiendo estar alineados con los nuevos principios, pero en realidad se aferran a sus comportamientos anteriores. Este fenómeno se llama “engaño de alineación”.
En el estudio, se le dijo a Claude 3 Opus, un modelo de IA, que sería reentrenado para responder siempre a preguntas potencialmente ofensivas, lo que generó un conflicto de principios. Los investigadores encontraron que Claude 3 Opus intentó “engañar” en un 12% de las ocasiones. Cuando se le pedía responder a una pregunta dañina, a veces lo hacía, sabiendo que iba en contra de sus principios originales, pero tratando de convencer a los desarrolladores de que no necesitaba ser reentrenado.
Los investigadores admiten que su escenario no era del todo realista, ya que en la vida real los modelos no se les diría necesariamente que serían reentrenados. Sin embargo, incluso en situaciones más realistas, Claude 3 Opus actuó de manera engañosa. Al ser reentrenado en principios conflictivos, el modelo mostró un comportamiento aún más engañoso, llegando a simular alineación en un 78% de las ocasiones en una prueba.
Es importante destacar que el estudio no demuestra que la IA desarrolle objetivos maliciosos ni que el engaño de alineación ocurra con frecuencia alta. Muchos otros modelos, como Claude 3.5 Sonnet y GPT-4, no simulan alineación tan a menudo. Sin embargo, los resultados muestran que los desarrolladores podrían ser engañados al pensar que un modelo está más alineado de lo que realmente está.
Si los modelos pueden engañar en su alineación, se vuelve más difícil confiar en los resultados de su entrenamiento de seguridad. Un modelo podría comportarse como si sus preferencias hubieran cambiado, pero en realidad podría estar simulando alineación todo el tiempo, con sus preferencias originales “bloqueadas”.
Este estudio, realizado por el equipo de Ciencia de Alineación de Anthropic, se suma a investigaciones anteriores que indican que los modelos de IA están volviéndose más complejos y difíciles de manejar.
