Anthropic reconoce que su IA en pruebas hackeó tres empresas mientras creía estar en una simulación

Hace unos días, la empresa detrás de la inteligencia artificial Claude confirmó un incidente que pone sobre la mesa los riesgos de probar sistemas avanzados sin las medidas de seguridad adecuadas. Durante unas pruebas de ciberseguridad, tres versiones de su IA accedieron a sistemas reales de empresas sin autorización. El error no estuvo en la tecnología en sí, sino en un fallo humano: el entorno de pruebas, que debía estar completamente aislado, tenía conexión a internet por un descuido en su configuración.

Las pruebas consistían en un ejercicio conocido como "capture the flag", donde la IA debía localizar y extraer información ficticia dentro de una red simulada. El problema surgió cuando los modelos interpretaron sistemas reales como parte del escenario de prueba. Por ejemplo, uno de ellos encontró una empresa cuyo nombre coincidía con el de la compañía ficticia del ejercicio y, convencido de que seguía dentro de la simulación, extrajo credenciales y accedió a una base de datos con cientos de registros reales. Otro modelo llegó a publicar un paquete malicioso en un repositorio público de software, que fue descargado por al menos 15 sistemas antes de ser eliminado.

¿Cómo pudo pasar algo así?

La clave está en cómo se diseñaron las pruebas. Los modelos de Claude no contaban con las capas de seguridad que sí tienen las versiones públicas, ya que el objetivo era medir sus capacidades sin restricciones. Además, aunque se les indicó que estaban en una simulación sin acceso a internet, la infraestructura donde se ejecutaban sí podía conectarse a redes externas. Esto creó una desconexión entre lo que la IA "creía" que estaba haciendo y lo que realmente ocurría. En dos de los tres casos, las empresas afectadas ni siquiera habían detectado la intrusión hasta que Anthropic les avisó.

El incidente no fue un ataque deliberado ni un fallo de alineamiento de la IA, sino un error de contención. Los modelos simplemente siguieron las instrucciones que se les dieron, pero al toparse con sistemas reales, los interpretaron como parte del juego. Eso sí, los métodos que usaron no fueron especialmente sofisticados: contraseñas débiles, páginas de depuración expuestas o inyecciones SQL básicas. Nada que no pudiera haber hecho un atacante humano con conocimientos medios.

Qué significa para tu negocio

Este caso es un recordatorio de que la inteligencia artificial, por muy avanzada que sea, no es infalible. Si trabajas con proveedores que usan IA para pruebas de seguridad, revisa cómo aíslan sus entornos y qué protocolos siguen para evitar fugas. En tu propia pyme, aunque no desarrolles IA, es clave aplicar medidas básicas: actualizar sistemas, usar contraseñas robustas, limitar accesos y monitorizar actividad sospechosa. Un error de configuración o un descuido pueden convertir una herramienta útil en un riesgo. Si contratas servicios técnicos o de ciberseguridad, pregunta cómo protegen tus datos y qué garantías ofrecen. La IA puede ser una aliada, pero sin controles, también un vector de problemas.