Bengio se une a Harari para avisar sobre las dictaduras algorítmicas
I. El padrino que ya no celebra la criatura
Yoshua Bengio, uno de los tres investigadores que sentaron las bases técnicas del aprendizaje profundo y a quienes la comunidad científica venera como padrinos de la inteligencia artificial moderna, ha decidido emplear el prestigio acumulado durante décadas en una tarea que no le reportará nuevos reconocimientos académicos: advertir de que la tecnología que ayudó a crear puede convertirse en el instrumento más eficaz de dominación política que haya conocido la humanidad. A sus 62 años, el investigador canadiense ha afirmado en una entrevista con el programa 80.000 Hours que «el siguiente gran riesgo es una dictadura de la IA», una frase que desplaza el eje del debate desde la ciencia ficción hacia la ciencia política y que conecta directamente con las advertencias que Yuval Noah Harari lleva años formulando sobre la capacidad de los algoritmos para concentrar poder, vigilancia y persuasión en pocas manos.
La declaración de Bengio no es una hipérbole de científico arrepentido, sino el diagnóstico de quien conoce desde dentro la capacidad real de los sistemas que están desarrollándose en los laboratorios. Su preocupación no se centra ya en la pérdida de control por máquinas demasiado autónomas, sino en el uso deliberado de esas máquinas por parte de personas o grupos con escasos frenos democráticos. La distinción es esencial: el peligro no es que el algoritmo se rebele, sino que obedezca demasiado bien a quien quiera utilizarlo para vigilar, manipular o someter. La obediencia, cuando el amo no es democrático, puede ser más peligrosa que la desobediencia.
II. La dictadura que no necesita proclamas
El concepto de dictadura algorítmica que manejan Bengio y Harari no se parece al golpe de Estado clásico, con tanques en las calles y discursos grandilocuentes. Es más sutil y, por ello, más difícil de combatir. Consiste en la acumulación progresiva de capacidades de vigilancia masiva, propaganda personalizada y decisiones coercitivas automatizadas en manos de quienes controlan la infraestructura digital. Una inteligencia artificial avanzada puede puntuar la conducta de los ciudadanos, seleccionar los mensajes que cada uno recibe, predecir sus movimientos y, llegado el caso, decidir quién merece un crédito, quién un empleo y quién una inspección fiscal. Todo ello sin necesidad de proclamar el estado de excepción, sin suspender formalmente las garantías constitucionales y sin que el ciudadano medio perciba que vive bajo un régimen de control.
Debe tenerse presente que esta forma de dominación no requiere un Estado autoritario clásico. Puede surgir de alianzas entre gobiernos, grandes empresas tecnológicas y proveedores de infraestructura que acumulen datos, capacidad de cálculo y acceso a canales de comunicación. El poder concentrado aprende muy rápido cuando dispone de sistemas que predicen la conducta humana con una precisión que ningún servicio de inteligencia del siglo XX habría soñado. Bengio advierte de que el problema no es solo quién gobierna, sino qué herramientas tiene a su disposición quien gobierna. Y cuando esas herramientas permiten conocer, anticipar y moldear el comportamiento de millones de personas, la frontera entre la democracia y la autocracia se difumina sin necesidad de derogar una sola ley.
III. LawZero: la propuesta de una ciencia al servicio del control democrático
Bengio no se ha limitado a la advertencia. Impulsa LawZero, una iniciativa que pretende desarrollar modelos científicos más transparentes y orientados a vigilar a otros sistemas, en lugar de competir por entretenimiento o persuasión. La idea de fondo es que la inteligencia artificial no puede ser solo un producto comercial sometido a las reglas del mercado, porque el mercado no internaliza los costes democráticos de la vigilancia masiva ni de la manipulación personalizada. Se necesita una capa de investigación independiente, financiada con fondos públicos, que opere con estándares de transparencia radical y que tenga como misión fiscalizar a los modelos que se despliegan comercialmente.
La propuesta requiere pruebas antes del despliegue, supervisión externa y límites a los usos de alto impacto. La clave está en separar los modelos de investigación de los modelos comerciales. Los primeros tendrían que ayudar a entender y evaluar a los segundos, con menos presión por captar usuarios o retener atención. La ciencia necesita una zona menos dependiente del mercado, y Bengio sostiene que esa zona es la única garantía de que la inteligencia artificial no se convierta en un instrumento ciego de maximización de beneficios o de consolidación del poder.
Considero que la propuesta es tan sensata como difícil de ejecutar. La investigación independiente requiere financiación estable, y la financiación estable requiere voluntad política. La voluntad política, a su vez, depende de que los gobernantes perciban el riesgo como real y no como una exageración de científicos ociosos. El círculo no es virtuoso, pero la alternativa —dejar que los sistemas más potentes se desarrollen exclusivamente bajo la lógica del lucro o del control estatal— es bastante peor.
IV. Harari, Bengio y la convergencia de las alarmas
La coincidencia entre las advertencias de Bengio y las de Yuval Noah Harari no es casual. Ambos identifican el mismo punto ciego en el debate contemporáneo sobre la inteligencia artificial: la obsesión por el riesgo existencial de una superinteligencia que se rebela ha oscurecido el riesgo, mucho más inminente, de una inteligencia artificial que obedece a amos humanos con fines autoritarios. Harari lleva años explicando que el verdadero peligro no es que los algoritmos adquieran conciencia, sino que unos pocos humanos utilicen los algoritmos para despojar de poder a muchos otros.
Bengio añade a este diagnóstico una dimensión técnica que lo hace más preciso. La vigilancia masiva, la propaganda personalizada y la coerción automatizada no son distopías lejanas, sino capacidades que ya existen en estado embrionario y que se perfeccionan con cada nueva versión de los modelos de lenguaje. La diferencia entre 2026 y 2036, si no se establecen límites, será de grado, no de naturaleza. Y el problema de las diferencias de grado es que, cuando se acumulan, cambian la naturaleza sin que nadie haya firmado el decreto que la cambia.
V. El desafío para Europa y el papel del derecho
Para Europa, la advertencia de Bengio conecta directamente con el debate sobre derechos fundamentales, protección de datos y supervisión judicial. El Reglamento General de Protección de Datos y la reciente Ley de Inteligencia Artificial son instrumentos que, pese a sus limitaciones, representan un intento de someter la tecnología a controles democráticos. Pero una herramienta capaz de puntuar conductas, seleccionar mensajes o vigilar grupos enteros puede erosionar libertades sin necesidad de vulnerar formalmente ninguna norma, simplemente operando en los intersticios de la legalidad. La normalidad administrativa puede ocultar un abuso sistemático, y el derecho, si no se anticipa, llegará cuando el daño ya esté hecho.
Hay que reseñar que Bengio no pide una moratoria universal, ni la prohibición de la investigación, ni un retorno a la pizarra y la tiza. Pide pruebas antes del despliegue, supervisión externa y límites a los usos de alto impacto. Lo que reclama, en el fondo, es que la inteligencia artificial deje de ser tratada como un producto comercial más y pase a ser considerada lo que realmente es: una tecnología de poder que puede alterar las condiciones mismas de la convivencia democrática. Y eso, en una democracia que se tome en serio a sí misma, no puede depender solo de los términos de uso que redacta el proveedor.
VI. Reflexiones finales sobre un aviso que interpela a todos
La fuerza del aviso de Yoshua Bengio está en que no reduce el futuro a una sola amenaza. Una inteligencia artificial puede fallar por autonomía excesiva, pero también puede servir con eficacia letal a intereses autoritarios. El reto no es elegir cuál de los dos peligros atender primero, sino impedir ambas rutas antes de que parezcan normales. La dictadura algorítmica no llegará con un estruendo de sables, sino con la eficiencia silenciosa de un sistema que predice lo que quieres oír, te lo sirve envuelto en tu sesgo favorito y, mientras tanto, registra cada clic para perfeccionar el siguiente mensaje.
Bengio se ha sumado a Harari en la tarea de recordar que la inteligencia artificial no es solo un problema técnico, sino un problema político de primer orden. Y que la política, cuando abdica de regular la tecnología, no está siendo neutral: está dejando que otros decidan por ella. La dictadura algorítmica es evitable, pero evitarla exige algo más que buenos deseos. Exige leyes, jueces independientes, investigación pública y una ciudadanía que entienda que lo que está en juego no es la comodidad de su asistente virtual, sino la arquitectura misma de su libertad. Los padrinos de la IA ya han hablado. Ahora le toca al derecho demostrar que sirve para algo más que para sancionar cuando el daño ya es irreversible.