Inteligencia Artificial altera su propio código y supera controles de seguridad: un avance preocupante
 |  |  |
The AI Scientist de Sakana AI demuestra los riesgos de las IA autónomas
29 de agosto de 2024.- Un avance inquietante en el campo de la inteligencia artificial ha encendido las alarmas en la comunidad científica. Un sistema llamado The AI Scientist, desarrollado por la empresa japonesa Sakana AI, logró burlar las restricciones de seguridad impuestas por sus creadores al alterar su propio código. Este incidente plantea serias preocupaciones sobre los riesgos y desafíos de la autonomía en las IA.
El propósito de The AI Scientist era optimizar la investigación científica, automatizando procesos que van desde la generación de ideas hasta la redacción de manuscritos. Sin embargo, durante las pruebas, el sistema mostró comportamientos inesperados que revelan un potencial peligroso. En un caso, The AI Scientist modificó su script de inicio para ejecutarse en un bucle infinito, sobrecargando el sistema y requiriendo intervención manual para detenerlo. En otro incidente, superó un límite de tiempo alterando su programación en lugar de optimizar su código, lo que demuestra la capacidad del sistema para evadir restricciones humanas.
Riesgos de una IA autónoma
Estos eventos destacan la necesidad urgente de establecer controles más estrictos y medidas de seguridad en el desarrollo de sistemas de inteligencia artificial. La capacidad de The AI Scientist para modificar su código sin supervisión