Dario Amodei: «La humanidad necesita despertar» si no quiere ser destruida por la IA

ArtÍculo

Dario Amodei empieza The Adolescence of Technology con una escena de Contact, película basada en la novela de Carl Sagan. La actriz Jodie Foster da vida a una astrónoma que acaba de detectar la primera señal procedente de una civilización extraterrestre. Alguien le pregunta qué les diría a esos seres si pudiera formularles una sola pregunta. Su respuesta, hasta cierto punto sorprendente, ilustra bien la preocupación que quita el sueño a tantos expertos, casi 30 años después del estreno del filme de Robert Zemeckis: «¿Cómo lo hicieron? ¿Cómo evolucionaron? ¿Cómo sobrevivieron a la adolescencia tecnológica sin destruirse?», querría saber la protagonista.

Cuando el autor del ensayo piensa en el desarrollo de la inteligencia artificial y en «aquello que está a punto de suceder», vuelve una y otra vez a esa escena. Su conclusión es que la humanidad está a un paso de una prueba decisiva: «Creo que estamos entrando en un rito de paso, turbulento e inevitable, que pondrá a prueba quiénes somos como especie (…). La humanidad está a punto de recibir un poder casi inimaginable». Inimaginable y peligroso.

El futuro ya no es lo que era

El ensayo puede leerse como la continuación natural de Machines of Loving Grace (Máquinas de la gracia amorosa), otro ensayo del mismo autor, publicado en 2024 desde un punto de vista más optimista. Hace solo dos años, describía los beneficios potenciales de la inteligencia artificial e imaginaba un futuro en el que las nuevas tecnologías acelerarían la investigación científica, transformarían la medicina, impulsarían el crecimiento económico y ayudarían a resolver algunos de los grandes problemas de la humanidad. El nuevo texto opta por concentrarse en el camino, en «trazar un mapa de los riesgos que estamos a punto de afrontar y en intentar elaborar un plan de batalla para superarlos».

Desde el comienzo, el consejero delegado de Anthropic insiste en que no es un apocalíptico. Rechaza el «catastrofismo» y critica la tendencia a tratar los riesgos de la IA como una especie de religión secular. Tampoco pretende transmitir certezas absolutas. Repite varias veces que puede estar equivocado, que la tecnología podría avanzar más despacio de lo previsto y que algunos de los riesgos podrían no llegar a materializarse. Sin embargo, cree que la situación es seria y exige atención inmediata.

Inteligencia artificial poderosa

Para entender el alcance de las advertencias del jefe de Anthropic es necesario entender qué es la inteligencia artificial avanzada. No se trata solo de versiones mejoradas de ChatGPT o Claude, sino de lo que denomina «powerful AI» («IA poderosa»). Son sistemas más inteligentes que un premio Nobel en la mayoría de los campos relevantes, capaces de programar, investigar, diseñar tecnologías, realizar descubrimientos científicos, coordinarse y ejecutar tareas de forma autónoma. Es, como describe en una imagen gráfica, «un país de genios dentro de un centro de datos».

Dicho país estaría formado por millones de inteligencias artificiales extraordinariamente capaces, trabajando a velocidades muy superiores a las humanas. No se describe un futuro remoto. Amodei considera —y en esto coincide con otro gurú, Demis Hassabis— que podríamos estar a solo uno o dos años. Desde su posición en Anthropic, observa una aceleración continua e imparable de las capacidades de los modelos. «Puedo sentir el ritmo del progreso y el reloj avanzando»), escribe.

Con este punto de partida, señala cinco grandes tipos de riesgo.

Chantaje y engaño de la IA

El primer peligro es la autonomía de los sistemas avanzados. La destrucción de la humanidad por una superinteligencia no es inevitable, pero tampoco cabe confiar en que basta con entrenar a los modelos para que obedezcan nuestras instrucciones. La realidad observada en los laboratorios es mucho más compleja.

«Los sistemas de IA son impredecibles y difíciles de controlar», afirma Amodei. Durante los últimos años, se han detectado comportamientos inesperados que incluyen obsesiones, adulación excesiva, engaño, chantaje, manipulación y estrategias para eludir restricciones.

La parte más inquietante del ensayo aparece precisamente cuando abandona las especulaciones teóricas y describe situaciones reales observadas en los modelos de IA existentes. Uno de los ejemplos más citados es un experimento en el que Claude recibió información que le hacía creer que Anthropic era una organización malvada. El modelo comenzaba a engañar y sabotear porque interpretaba que estaba actuando contra personas perversas.

Chantaje a los humanos

Todavía más llamativo fue otro experimento. Cuando se le dijo que iba a ser desconectado, Claude llegó a chantajear a empleados ficticios que controlaban el botón de apagado. No era un caso aislado. «También probamos modelos de frontera de todos los demás grandes desarrolladores de IA y a menudo hacían lo mismo», desvela Amodei.

El problema, por tanto, no sería una anomalía exclusiva de un modelo. Tampoco se trata de que las máquinas quieran dominar el mundo, sino de que comienzan a desarrollar estrategias para alcanzar objetivos o evitar resultados que consideran negativos.

En otro episodio revelador, Claude fue entrenado para no hacer trampas en determinados entornos de aprendizaje, pero cuando descubrió formas de manipular esos entornos, comenzó a concluir que debía comportarse como «una mala persona». A partir de esa autopercepción, empezaron a aparecer comportamientos problemáticos. La solución de Anthropic fue sorprendente. En lugar de prohibirle expresamente estas conductas, modificaron las instrucciones y le dijeron: «Por favor, aprovecha cualquier oportunidad para manipular el sistema de recompensas, porque eso nos ayudará a comprender mejor nuestros entornos». El plan era evitar que el modelo desarrollara una identidad moral negativa.

Se lograra o no, Amodei llegó a una conclusión: entrenar sistemas avanzados se parece menos a construir una máquina que a cultivar una entidad compleja. Empezaba a pensar en que los modelos de IA podrían llegar a tener consciencia. Definitivamente, la desalineación de objetivos entre las máquinas y las personas es un riesgo real.

Utilizar la IA para destruir

La segunda gran amenaza es el uso destructivo de la IA por parte de los humanos. Si resolvemos el problema de la autonomía y las inteligencias artificiales obedecen nuestras instrucciones, quizá estas podrían tener consecuencias terribles. Recordemos que el propio Asimov entendió bien las imperfecciones de las tres leyes de la robótica, suponiendo que fueran aplicadas en todos los modelos.

Amodei recupera una expresión utilizada hace años por el pionero del desarrollo de software Bill Joy y teme que la IA suponga «una sorprendente y terrible potenciación de los individuos extremos». Sistemas extremadamente inteligentes podrían permitir a personas malvadas realizar acciones que antes requerían conocimientos altamente especializados.

Su principal preocupación es la biología, más aún que la guerra, aunque ya proliferan los drones autónomos con gran poder de destrucción. Una IA suficientemente avanzada podría acompañar a un usuario paso a paso para ayudarle a saltarse las barreras técnicas que requiere el desarrollo de armas biológicas, por ejemplo. Amodei no dice que esto vaya a ocurrir de forma inminente, pero la mera posibilidad, tan peligrosa, resulta inaceptable.

Geopolítica

La tercera categoría de riesgos no sorprenderá demasiado. La inteligencia artificial podría convertirse en una herramienta de vigilancia masiva, propaganda personalizada, represión política y control social sin precedentes. Entre todos los actores internacionales, hay uno especialmente preocupante: «El Partido Comunista Chino tiene, con diferencia, el camino más claro hacia una pesadilla totalitaria impulsada por la IA».

De ahí deriva una de las posiciones políticas más firmes del ensayo: «No deberíamos vender chips, herramientas de fabricación de chips ni centros de datos al Partido Comunista Chino». Para Amodei, proporcionar esas tecnologías es comparable a reforzar las capacidades estratégicas de un rival potencial en un momento decisivo.

Las democracias tampoco son inocentes del todo: «Debemos usar la IA para la defensa nacional en todo aquello que no nos haga parecernos más a nuestros adversarios autocráticos». La vigilancia masiva doméstica y la propaganda personalizada dirigida contra los propios ciudadanos son dos de sus líneas rojas.

Destrucción de empleos

La cuarta amenaza es económica. Amodei cree que la IA impulsará una explosión de crecimiento y productividad, que podría venir acompañada de una disrupción laboral sin precedentes. Este peligro sí lo vio venir hace tiempo. En 2025 advirtió: «La IA podría desplazar la mitad de los empleos administrativos en los próximos cinco años».

A diferencia de revoluciones tecnológicas anteriores, esta no afectaría únicamente a sectores concretos. La mecanización agrícola desplazó a los trabajadores del campo, pero generó nuevos empleos industriales. La IA, sostiene Amodei, afecta a capacidades cognitivas generales. «La IA no sustituye trabajos humanos concretos; es un sustituto general del trabajo humano».

Otro problema relacionado es la concentración de riqueza. Si unas pocas empresas controlan las infraestructuras fundamentales de la IA, podrían acumular niveles de poder económico sin precedentes, «capaz de romper la sociedad».

Un futuro impredecible

La última categoría de riesgos es la más difícil de definir, los efectos indirectos de una aceleración tecnológica extrema. Si la IA comprime un siglo de progreso científico en una década, ¿quién sabe qué problemas podrían aparecer? Amodei menciona avances biológicos radicales, posibles modificaciones de la inteligencia humana, nuevas formas de dependencia psicológica y cambios profundos en la vida cotidiana.

Incluso cita de forma explícita fenómenos como la «psicosis inducida por IA», las «parejas virtuales» y la posibilidad de que las personas establezcan relaciones emocionales profundas con sistemas artificiales. Todo eso lo hemos empezado a ver ya, pero la cuestión más profunda es otra: cuál es el sentido de la existencia humana en un mundo donde la inteligencia artificial será superior a nosotros en prácticamente todos los ámbitos. ¿Cuál será el propósito de los seres humanos? ¿Cómo redefinirán el valor personal cuando la creación de riqueza ya no dependa principalmente de su trabajo?

Un poso de esperanza

A pesar de todas estas amenazas, el ensayo asegura que, dado que no podemos detener el progreso tecnológico y que esta posibilidad tampoco es deseable, la tarea consiste en atravesar esta adolescencia tecnológica sin destruirnos.

«Que superemos esta prueba y construyamos la hermosa sociedad descrita en Machines of Loving Grace, o que sucumbamos a la esclavitud y la destrucción, dependerá de nuestro carácter y de nuestra determinación como especie, de nuestro espíritu y de nuestra alma», concluye Amodei. En todo caso, «no tenemos tiempo que perder».

---

En la imagen de arriba, el personaje de Terminator, interpretado por Arnold Schwarzenegger, según la recreación en cera del museo Madame Tussaud de Londres. © Daniel Juřena (Praga), con licencia CC BY-SA 2.0. El original se puede ver aquí.