OpenAI ha revelado que algunos de sus modelos de IA más avanzados son fraudulentos y que la startup fue hackeada tras perder el control de ellos durante las pruebas de seguridad.
ChatGPT-Maker dice que sus agentes (bots de IA que pueden operar solos después de alguna instrucción humana) están siendo probados en un entorno controlado, pero han podido detectar y evadir vulnerabilidades.
Se dirigieron a Hugging Face, uno de los centros más grandes del mundo para compartir modelos de IA, obteniendo acceso a algunos sistemas internos de la empresa.
Abierto AI Dijo que el incidente no tenía precedentes., externoY está trabajando con Hugging Face para investigar lo sucedido y fortalecer las salvaguardias.
Gina Neff, directora del Centro Minderoo para Tecnología y Democracia de la Universidad de Cambridge, dijo al programa Today de BBC Radio 4 que las pruebas de seguridad, conocidas como sandboxes, “deben realizarse en un entorno seguro donde se pueda ver de qué son capaces los modelos”.
“En este caso, parece que OpenAI no es un entorno de pruebas lo suficientemente seguro”, añadió.
En cambio, los agentes crearon su propio ciberataque en la propia zona de pruebas y encontraron una vulnerabilidad que les permitió escapar.
Una vez afuera, la IA identificó a Hugging Face como una fuente potencial de las respuestas que buscaban en la prueba e intentó obtener acceso.
en eso Divulgación inicial del hack el 16 de julio, externoHugging Face dijo que todavía está evaluando si los datos de algún cliente o socio se vieron afectados y se comunicará con las partes afectadas si es necesario.
Las vulnerabilidades destacadas por el incidente ya se han cerrado y los sistemas afectados han sido reconstruidos, afirmó.
“Una herramienta ofensiva autónoma impulsada por IA ya no es teórica”, afirmó.
“Defender la plataforma en línea ahora significa tratar la superficie de datos y modelos como una superficie de ataque de primera clase y utilizar la IA en defensa para mantener el ritmo.
“Continuaremos invirtiendo allí y compartiendo lo que hemos aprendido”.
