Lo que la máquina no puede juzgar (pero sí empieza a ser juzgado por un tribunal)
El presidente Trump afirmó esta semana que la guerra con Irán terminará “en dos semanas”, porque el objetivo: impedir que Teherán tenga armas nucleares, ya estaría cumplido. Pero el conflicto depende cada vez más de toma de decisiones en las que los humanos ya no son el primer filtro.
Mientras, En algún lugar del Pentágono, el sistema Maven Smart System procesaba en tiempo real datos de satélites, drones y señales electromagnéticas para identificar y priorizar los siguientes blancos. No es un general quien realiza el primer cribado ni un jurista militar. Es un conjunto de modelos de inteligencia artificial que comprime en segundos lo que antes requería horas de análisis humano. Para quien viene del mundo del derecho y la tecnología, la pregunta aparece casi sola: si la IA genera el listado de objetivos, procesa la inteligencia y presenta opciones priorizadas en milisegundos, ¿en qué momento el operador humano puede ejercer un juicio verdaderamente independiente? ¿O su papel consiste, en la práctica, en confirmar lo que la máquina ya ha decidido?
El Derecho Internacional Humanitario, el ius in bello, se construye sobre tres principios básicos, codificados en los Protocolos adicionales a los Convenios de Ginebra: distinción, proporcionalidad y precaución. La distinción exige separar siempre combatientes de civiles. La proporcionalidad obliga a evitar que el daño incidental a la población civil resulte excesivo en relación con la ventaja militar concreta prevista. Y la precaución demanda adoptar todas las medidas factibles para minimizar el daño a personas y bienes protegidos. Son normas jurídicas, pero requieren contexto, interpretación y una forma de juicio moral que hoy por hoy ningún sistema de IA puede replicar.
El Comité Internacional de la Cruz Roja lleva años alertando de esta tensión. Su posición es clara: a mayor autonomía de los sistemas de armas, mayor riesgo de que se vulneren esos principios, especialmente cuando el uso de la fuerza se apoya en decisiones automatizadas difíciles de auditar. En foros de Naciones Unidas se ha pedido avanzar hacia un instrumento internacional vinculante que limite o prohíba determinados sistemas autónomos. El calendario político va por detrás del tecnológico, y el conflicto en Irán se está convirtiendo, de facto, en un banco de pruebas de esa brecha.
En paralelo, mandos estadounidenses reconocen que se emplean herramientas avanzadas de IA que reducen drásticamente los tiempos de algunos procesos de targeting, insistiendo en que “los humanos siempre toman la decisión final”. Sobre el papel, la fórmula preserva la responsabilidad última del operador. En la práctica, plantea dudas: cuando un analista recibe una recomendación de ataque generada algorítmicamente, con un nivel de confianza numérico y un objetivo ya preseleccionado, el margen para contradecir a la máquina se estrecha. Más aún si se usan sistemas que puntúan a individuos según patrones de comportamiento, como ocurre con determinadas plataformas predictivas.
La diferencia no es retórica. Afecta al núcleo de la responsabilidad en tiempos de guerra. Si la obligación de respetar la proporcionalidad recae jurídicamente en el operador humano, pero este se ve condicionado por una cadena de información diseñada, entrenada e integrada por terceros, la imputación de responsabilidad se reparte (de forma difusa) entre el Estado, los desarrolladores de IA y quienes incorporan estos sistemas a la estructura militar. Hoy no existe un tribunal que enjuicie a un modelo ni un estándar claro para atribuir responsabilidad penal a una empresa por las decisiones concretas que toma un algoritmo en un escenario bélico.
En este contexto, el caso Anthropic sirve de muestra.
La compañía ha elaborado una “constitución” interna para su modelo Claude, en la que prohíbe expresamente ayudar al diseño de armas de destrucción masiva, a ataques contra infraestructuras críticas o a operaciones que puedan causar daños masivos a civiles. Es un mecanismo de auto‑limitación que, aunque voluntario, explicita valores y establece barreras claras a determinados usos. Esa apuesta chocó con Washington cuando el Pentágono reclamó acceso “sin restricciones” a los modelos para fines de vigilancia masiva y armas autónomas, bajo la fórmula de “todos los usos legales”.
Tras la negativa de Anthropic, el secretario de Defensa, Pete Hegseth, envió una carta designando a la empresa como “riesgo para la cadena de suministro”, una etiqueta hasta ahora reservada a compañías vinculadas a adversarios extranjeros. En paralelo, una orden de Trump instruyó a las agencias federales a dejar de utilizar la tecnología de Anthropic y a cortar lazos con contratistas que la integraran en sus sistemas. En términos prácticos, era un intento de expulsarla del perímetro de la administración estadounidense.
La respuesta no se hizo esperar. Anthropic demandó al Gobierno ante un tribunal federal en California, alegando que esa designación era una represalia ilegal por mantener límites éticos a los usos militares de su IA. La demanda sostiene que la decisión está “perjudicando irreparablemente” al negocio, poniendo en riesgo contratos por cientos de millones de dólares y dañando su reputación frente a clientes públicos y privados.
La novedad ha llegado con la resolución de hace unos días. La jueza federal Rita Lin ha concedido una medida cautelar amplia que bloquea temporalmente los intentos del Pentágono de etiquetar a Anthropic como riesgo de cadena de suministro y de aplicar las órdenes de veto mientras se resuelve el fondo del caso. En una resolución de más de cuarenta páginas, Lin afirma que el Gobierno probablemente ha actuado con un “propósito punitivo” y que no existe base legal clara para usar esta figura contra una empresa estadounidense por discrepar sobre los límites de uso de su IA. La orden impide, por ahora, que las 17 agencias federales afectadas implementen la designación.
Para un jurista, el mensaje es doble. Primero, los jueces empiezan a trazar un límite al poder del Ejecutivo para castigar a una compañía por mantener ciertas salvaguardas en el diseño y la licencia de sus modelos. Segundo, se reconoce implícitamente que la posición de Anthropic (vincular negocio y guardarraíles éticos) merece protección jurídica, al menos hasta que se analicen a fondo los motivos y efectos del veto.
Mientras tanto, la guerra de Irán sigue apoyándose en sistemas como Maven, operados por empresas que han aceptado condiciones mucho más flexibles y con menos visibilidad pública sobre sus restricciones internas. La paradoja es evidente: la compañía que intenta escribir límites precisos para su IA es apartada del tablero y tiene que acudir a los tribunales; las que no ponen esas barreras siguen integradas en la cadena de decisión que selecciona objetivos en un conflicto real.
No hay una respuesta simple a este desequilibrio. Pero la combinación de Maven sobre Irán y la sentencia cautelar a favor de Anthropic apunta hacia el tipo de debates que vienen: no solo qué puede o no puede juzgar una máquina, sino hasta dónde estamos dispuestos a aceptar que los Estados castiguen o premien a las empresas según el tipo de límites que deciden imponer a sus propias tecnologías.