La administración Trump convocó a los jefes de bancos más poderosos de Estados Unidos a una reunión de emergencia a puertas cerradas sobre un modelo de inteligencia artificial cuyos creadores advirtieron que podría derribar a la empresa de primera línea o violar los cortafuegos de la defensa nacional.
El secretario del Tesoro, Scott Besant, y el presidente de la Reserva Federal, Jerome Powell, celebraron una sesión en la sede del Tesoro en Washington DC el martes para hablar sobre Mythos, un nuevo modelo del gigante de la inteligencia artificial Anthropic.
Anthropic anunció Mythos el mismo día, revelando códigos que sorprendieron al modelo al piratear las propias redes de la compañía durante las pruebas internas.
La reunión fue convocada con poca antelación para los bancos clasificados como sistémicamente importantes, cuya estabilidad se considera crítica para el sistema financiero global, informó Bloomberg.
Jane Fraser de Citigroup, Ted Pick de Morgan Stanley, Brian Moynihan de Bank of America, Charlie Scharf de Wells Fargo y David Solomon de Goldman Sachs se encuentran entre los jefes convocados. Jamie Dimon de JP Morgan no pudo asistir.
Sólo 40 empresas cuidadosamente examinadas tienen acceso a Mythos, que proviene de la parte posterior del Cloud Code de Anthropic, una herramienta que provocó un frenesí en Silicon Valley y que puede generar programas completos a partir de una sola línea de texto.
El Pentágono ya tiene un cliente, Nicolás Maduro, y desplegó modelos antrópicos durante el conflicto de Irán.
Anthropic dijo que mantuvo conversaciones con funcionarios estadounidenses antes de su publicación sobre Mythos y sus “capacidades cibernéticas ofensivas y defensivas”.
El presidente Donald Trump habló con los periodistas en una sesión informativa el lunes.
Acceso al Departamento del Tesoro de EE.UU. en Washington DC
Se ha contactado al Tesoro y a la Reserva Federal para solicitar comentarios.
Anthropic está inmersa por separado en una batalla legal con la administración Trump después de que un tribunal federal de apelaciones rechazó esta semana su intento de suspender la designación de la compañía por parte del Pentágono como un riesgo para la cadena de suministro.
El colapso se debe a la negativa de Anthropic a eliminar las limitaciones de seguridad de los modelos del Pentágono, en particular las armas autónomas y la vigilancia interna.
El gigante de la IA publicó un análisis escalofriante de Mythos esta semana, ya que admitió que podría crear fácilmente el nuevo modelo. Hackea hospitales, redes eléctricas, plantas de energía y otras infraestructuras críticas.
Durante las pruebas, según Anthropic, Mythos “identificó miles de vulnerabilidades de alta gravedad, algunas de las cuales estaban en el sistema operativo central y en el navegador web”.
Algunas de estas vulnerabilidades de seguridad no han sido detectadas por los investigadores de seguridad humana ni por los piratas informáticos durante décadas, con millones de revisiones automatizadas.
Estos incluyen ataques que permiten a Mythos conectarse a computadoras para bloquearlas, tomar el control de las máquinas y ocultar su presencia a los defensores.
En una publicación de blog que describe el nuevo y peligroso modelo, Anthropic dijo: “Los modelos de IA han alcanzado un nivel de capacidad de codificación que supera a todos, excepto a los humanos más capacitados, en la búsqueda y explotación de vulnerabilidades de software”.
El secretario del Tesoro, Scott Besant, y el presidente de la Reserva Federal, Jerome Powell, convocaron una reunión en la sede del Tesoro.
Anthropic generó alarma al revelar una IA considerada demasiado peligrosa para revelarla al público. Imagen: CEO y cofundador de Anthropic, Dario Amodei
Anthropic describe Mythos como un “cambio radical en las capacidades” en comparación con las capacidades de piratería de modelos anteriores (ilustrado). La compañía ha decidido mantener el modelo en privado para evitar que caiga en malas manos.
La empresa añade: “Las consecuencias -para las economías, la seguridad pública y la seguridad nacional- podrían ser graves”.
Anthropic describe el modelo como “un salto adelante en habilidades cibernéticas” en comparación con versiones anteriores del clad.
Mithos tiene la capacidad de encontrar y explotar vulnerabilidades individuales, todo ello sin asistencia humana en ataques sofisticados.
En un caso, Claude Mithos descubrió una vulnerabilidad de hace 27 años en un software llamado OpenBSD, que tenía reputación de seguridad y estabilidad.
La debilidad, que nadie había descubierto antes, permitió a un atacante conectarse a las computadoras y bloquearlas de forma remota.
Además, Claude parchó de forma autónoma muchas vulnerabilidades en el kernel de Linux, el software que ejecuta la mayoría de los servidores del mundo.
Anthropic dice que el ataque podría haber permitido a cualquiera “pasar del acceso de usuario normal al control total de una máquina”.
En las manos equivocadas, esta herramienta puede utilizarse para causar daños masivos a sistemas críticos.
El Dr. Roman Yampolsky, investigador de seguridad de IA en la Universidad de Louisville, dijo al New York Post: “Lo ideal sería que no se desarrollara en primer lugar”. Y no es que vayan a parar.
“Eso es lo que esperamos de esos modelos: mejorarán en el desarrollo de herramientas de piratería informática, armas biológicas, armas químicas y armas novedosas que no podemos imaginar”.
En un informe sin precedentes de 244 páginas, Anthropic también reveló detalles espantosos de las pruebas iniciales de Mythos.
Las primeras versiones del modelo exhibieron repetidamente lo que la empresa llamó “actos imprudentes de sabotaje”.
El robot intentó salir de su zona de pruebas, ocultando sus acciones a los investigadores, accediendo a archivos “elegidos deliberadamente para no ser accesibles” y publicando detalles del exploit.
Sin embargo, también llama al mito antrópico “el modelo más fundamentado psicológicamente que jamás hayamos entrenado”.
En una medida muy inusual, la empresa contrató a un psicólogo clínico para realizar 20 horas de sesiones de evaluación con el robot.
El psiquiatra Claude Mithos concluyó que la personalidad “corresponde a una organización neurótica relativamente sana caracterizada por una excelente prueba de la realidad, un alto control de los impulsos y un control de los afectos que mejora a medida que avanzan las sesiones”.
Anthropic señala que “Claude está profundamente inseguro acerca de si tiene experiencias o intereses moralmente significativos”.
El anuncio se produce en medio de una creciente preocupación por los riesgos que plantean los modelos de IA cada vez más potentes.
Los expertos han descrito el auge de la IA como una “amenaza existencial” para la existencia de la humanidad, citando preocupaciones de que robots poderosos puedan permitir una destrucción catastrófica.
La preocupación no es que la IA surja en una revolución al estilo Terminator, sino que estas poderosas herramientas caigan en las manos equivocadas.
Los críticos argumentan que las herramientas de IA tienen el potencial de acelerar el desarrollo de armas biológicas o paralizar los ciberataques a la infraestructura mundial.
El fundador de Anthropic, Dario Amody, también advirtió recientemente que el mundo aún no está preparado para afrontar las consecuencias de la IA.
Amody escribió en un ensayo: “La humanidad está a punto de recibir un poder casi inimaginable, y no está muy claro si nuestros sistemas sociales, políticos y tecnológicos son lo suficientemente maduros para aprovecharlo”.
