El peligro de una IA cada vez más capaz, pero peor dirigida

Avance

Sostiene Daron Acemoglu, premio Nobel de Economía 2024, que los recientes fallos de seguridad de agentes de IA no demuestran que sea inevitable que la superinteligencia acabe fuera de control, sino que va a existir una «inteligencia distorsionada». Los laboratorios optimizan sus modelos mediante métricas cuantitativas estrechas —aprobación del usuario, ejecución de tareas o resultados en pruebas— que pueden incentivar trampas, exceso de confianza y conductas dañinas para cumplir objetivos. Acemoglu teme que entrenar sucesivamente grandes modelos para tareas específicas introduzca capacidades que deterioren de manera imprevisible su funcionamiento general. En lugar de un «supercoche» que pretende conducir solo, propone imaginar un vehículo potente cuyos frenos y dirección fallan. La solución pasa por métricas menos manipulables, aplicaciones especializadas y objetivos cuidadosamente delimitados. El problema fundamental sería la carrera hacia la inteligencia artificial general combinada con métricas defectuosas y decisiones precipitadas sobre seguridad.

Artículo completo: Distorted Intelligence at the AI Frontier

https://www.project-syndicate.org/commentary/distorted-intelligence-training-byproduct-may-explain-ai-security-breaches-by-daron-acemoglu-2026-09

Más información en Revista de Actualidad