La era de las decisiones sin humanos

Las negociaciones sobre armas autónomas en la sede de Naciones Unidas en Ginebra han entrado en un punto crítico este mes de marzo. Tras años de debates bajo el paraguas de la Convención sobre Ciertas Armas Convencionales (CCW), los Estados siguen sin consenso para fijar límites a la inteligencia artificial aplicada al armamento. Y el tiempo, como ha alertado la campaña Stop Killer Robots, juega en contra. La tecnología avanza a un ritmo que amenaza con dejar obsoleta la capacidad regulatoria de los gobiernos antes de que exista un marco común.

Lo que está en juego ya no es solo el control del campo de batalla del futuro, sino la redefinición de la relación entre poder político, industria tecnológica y ciudadanía. Por primera vez en la historia, las decisiones críticas que afectan a la vida de las personas —desde obtener un crédito hasta, potencialmente, ser considerado objetivo militar— pueden quedar en manos de sistemas no humanos. La delegación de funciones antes exclusivas del juicio humano configura una transformación histórica comparable a otras grandes revoluciones tecnológicas, pero con riesgos éticos y sociales infinitamente mayores.

En los últimos años, conflictos como los de Ucrania, Gaza o Libia han mostrado la creciente presencia de sistemas asistidos por inteligencia artificial en operaciones militares (drones autónomos o semiautónomos). Aunque la mayoría de países insisten en que estos sistemas mantienen algún tipo de control humano, la realidad es que las fronteras entre asistencia, automatización y autonomía plena se difuminan rápidamente.

Mientras un grupo creciente de Estados reclama un tratado internacional vinculante que prohíba o limite estrictamente el desarrollo de armas letales autónomas, otras potencias sostienen que el marco jurídico actual es suficiente y que cualquier restricción frenaría su competitividad estratégica. El resultado es un bloqueo diplomático que contrasta con la velocidad con la que las grandes potencias —Estados Unidos, China, Rusia, Israel o Reino Unido— desarrollan arsenales con capacidades crecientes de identificación, selección y ataque automatizados.

La carrera armamentista ya no se basa únicamente en misiles, drones o capacidades cibernéticas, sino en algoritmos capaces de aprender, coordinarse en enjambres y actuar en milisegundos sin supervisión humana. Los analistas la describen como la Tercera Revolución en la Guerra, después de la pólvora y las armas nucleares.

El reciente enfrentamiento entre el Gobierno de Estados Unidos y la empresa Anthropic ha puesto de manifiesto una tensión profunda: la colisión entre las promesas de seguridad de la industria tecnológica y las prioridades estratégicas de los Estados. La compañía se negó a retirar las restricciones éticas que impedían el uso militar irrestricto de su modelo, y Washington respondió considerándola un riesgo para su cadena de suministro.

El mensaje fue inequívoco: si las empresas no flexibilizan sus mecanismos de seguridad para acomodarse a las exigencias militares, serán apartadas del complejo militar industrial. Por primera vez, una potencia global presiona no para limitar capacidades, sino para ampliar el margen de autonomía letal de un sistema de IA. Es un precedente inquietante que evidencia que la gobernanza de la IA ya no es solo un debate técnico o ético, sino un pulso de poder.

Una parte sustancial de la discusión pública se apoya en mitos difíciles de erradicar. El primero es creer que una máquina puede incorporar ética o juicio moral. La IA no entiende el valor de una vida humana, ni puede sentir compasión, intuición o responsabilidad. Solo replica patrones.

El segundo mito es su supuesta imparcialidad. Los algoritmos reproducen —y a menudo amplifican— los sesgos de sus programadores y de los datos en que se entrenan. Las evaluaciones discriminatorias en sistemas de reconocimiento facial o de calificación crediticia ya han mostrado consecuencias graves en contextos civiles; trasladarlas al ámbito militar sería asumir un riesgo moral y humanitario inaceptable.

El tercer mito es la fe en la superior fiabilidad de las máquinas. Experimentos recientes han demostrado tasas de error inasumibles en sistemas avanzados. Aun así, el llamado automation bias lleva a los operadores humanos a asumir como correctas decisiones tomadas por algoritmos opacos. En un contexto bélico, este sesgo podría traducirse en errores letales con consecuencias irreversibles.

Los modelos avanzados que hoy se aplican al análisis de datos masivos, la vigilancia, la identificación de patrones y la toma automatizada de decisiones pueden alterar la relación entre ciudadanos e instituciones. La creciente dependencia de sistemas opacos para la gestión de información pública y privada puede erosionar la confianza en los procesos democráticos y debilitar la cohesión social. El riesgo no es solo que estas tecnologías lleguen a emplearse en el campo de batalla. El riesgo es que, en silencio, vayan moldeando la manera en que percibimos la realidad, organizamos nuestras sociedades y otorgamos legitimidad al poder político.

La integración creciente de IA en la gobernanza, la economía y la defensa transforma silenciosamente los pilares que sostienen las democracias contemporáneas. La confianza en las instituciones, la noción de responsabilidad, la capacidad de deliberación pública y la propia idea de dignidad humana se ven amenazadas cuando las decisiones —desde las más rutinarias hasta las más extremas— quedan sometidas a procesos algorítmicos sin supervisión significativa.

Pero si la carrera entre Estados ya es preocupante, la posible transición de estas tecnologías al ámbito civil multiplica el peligro. Lo que hoy son sistemas militares avanzados puede convertirse mañana en microdrones letales disponibles en el mercado, amparados por legislaciones permisivas sobre la posesión de armas. El salto de lo militar a lo privado es un patrón conocido en muchas tecnologías. En este caso, sin embargo, podría dar lugar a una inseguridad global inédita: miles de individuos dotados de armas autónomas, difíciles de rastrear y capaces de actuar de forma coordinada. Ahora bien, el desafío no consiste solo en evitar nuevas armas. Consiste en evitar que la autonomía tecnológica erosione los fundamentos éticos y legales que mantienen cohesionadas nuestras sociedades. Aún estamos a tiempo de fijar límites. Pero la ventana se estrecha.

Como recordaba el profesor Manuel Ballbé, uno de los grandes referentes en este ámbito, la seguridad humana solo puede garantizarse si los sistemas de seguridad —incluidos aquellos mediados por tecnología avanzada— trabajan con la sociedad y no sobre la sociedad. Como explicaba citando a Mary Parker, todas las organizaciones pueden operar desde dos lógicas: “sobre” o “con” los ciudadanos. Para Ballbé, la seguridad democrática exige siempre lo segundo: cooperación, corresponsabilidad y participación social en la prevención de riesgos. Aplicado al debate sobre armas autónomas en Ginebra, este planteamiento implica una advertencia crucial: ningún sistema letal autónomo puede considerarse legítimo si rompe el vínculo entre autoridad, ciudadanía y control democrático, porque traslada decisiones de vida o muerte a una esfera sin deliberación pública, sin corresponsabilidad social y sin supervisión humana significativa. El núcleo de la seguridad humana como la entendemos en la Cátedra (más prevención, más humanidad, más participación) es incompatible con delegar la violencia en algoritmos opacos. El desafío no consiste únicamente en controlar nuevas armas, sino en preservar el tejido democrático que sostiene nuestras sociedades.