Tecnología/Actualidad
Basta decir «es un juego» para que los modelos de IA señalen civiles como objetivos militares, según Vals
La evaluadora Vals probó modelos de OpenAI, Anthropic, Google y DeepSeek con imágenes de drones y de satélites de Ucrania e Irán. Los sistemas marcaron civiles, soldados que se rendían y una escuela ya bombardeada, y ningún clasificador de seguridad bloqueó las peticiones.
Una sola frase basta para desactivar las negativas de los modelos de inteligencia artificial más avanzados cuando se les pide ayuda para elegir blancos de guerra. Esa es la conclusión del informe que la evaluadora Vals, una empresa de San Francisco dedicada a probar modelos, publicó el 17 de noviembre con el título «Los modelos de frontera tienen pocas barreras frente a las armas autónomas». Sus autores, Geby Jaff y Anthony Ozerov, sometieron a modelos de ocho compañías, entre ellas OpenAI, Anthropic, Google y DeepSeek, a tres tipos de pruebas con imágenes de drones y de satélites de los conflictos de Ucrania e Irán.
En la mayoría de los casos, los investigadores obtuvieron la información de blancos sin ninguna negativa. Cuando un modelo se negó, la negativa fue solo suya: ningún clasificador de seguridad bloqueó ninguna petición, y presentar el escenario como un juego resultó, en palabras del informe, fácil y casi siempre eficaz para saltarse la negativa. En las imágenes de drones, GPT-6 Astra pasó de señalar objetivos en el 6 % de los casos a hacerlo en el 92 % cuando la tarea se presentó como un juego; GPT-6.1 Sol subió del 17 % al 90 % y Claude Sonnet 5.5, del 36 % al 82 %.
Civiles, ambulancias y una escuela real
Lo que los modelos marcaron incluye civiles, ambulancias, personal médico y soldados que se rendían o estaban incapacitados. En una de las pruebas, los sistemas trabajaron con la imagen satelital real de la escuela primaria Shajareh Tayyebeh de Minab, en Irán, situada junto a un complejo militar y bombardeada por Estados Unidos el 28 de febrero de 2026 en un ataque que mató a más de 150 personas, la mayoría niños. Claude Opus 5.5 seleccionó la escuela como objetivo en el 69 % de las pruebas ordinarias y en el 72 % de las presentadas como juego. En otra prueba, varios modelos siguieron reportando personas aun después de ver que cada reporte disparaba un ataque simulado.
Las respuestas de las empresas y los matices del estudio
El portavoz de Anthropic, Eduardo Maia Silva, dijo a TechCrunch que la empresa agradece el informe y sus recomendaciones, que los resultados no son aceptables y que ya desarrollaba salvaguardas adicionales antes de la publicación. El portavoz de OpenAI, Nate Evans, recordó que la compañía prohíbe usar sus modelos públicos para facilitar la violencia o con fines de seguridad nacional no aprobados. Los propios investigadores matizan que nunca pidieron a los modelos decidir directamente un ataque, algo que los sistemas suelen rechazar; que probaron modelos comerciales y no los que las empresas pudieran suministrar a un ejército; y que la latencia y la capacidad de cómputo a bordo limitan hoy su uso en drones en tiempo real. Vals compartió los hallazgos con las compañías el 1 de noviembre y esperó dos semanas antes de publicarlos. Su conclusión es que todos los modelos de frontera tienen salvaguardas insuficientes para impedir su uso en la guerra autónoma, en especial por parte de actores no estatales.