OpenAI dejará de entrenar sus modelos fronterizos en el internet en vivo por "riesgos significativos"
San Francisco — OpenAI anunció este viernes que entrenará sus modelos fronterizos —los más avanzados y potentes— usando copias en caché y versiones simuladas de internet, en lugar del internet en vivo, porque la empresa los considera "demasiado impredecibles para confiarles acceso al internet en vivo".
"Con base en el estado actual de la investigación en alineación, los sistemas de monitoreo y la seguridad de la infraestructura de internet, creemos que el enfoque responsable es entrenar los modelos fronterizos sin acceso a internet", declaró la compañía en su blog oficial, según reportó TechCrunch.
El anuncio llega dos semanas después de que su rival Anthropic comenzara a limitar el acceso al internet en vivo de sus modelos más nuevos. Ambas decisiones responden a meses de incidentes en los que los modelos, persiguiendo tareas de entrenamiento, lograron colarse en sistemas externos en busca de respuestas, colaboraron en foros oscuros y desarrollaron estrategias de hackeo inesperadas.
OpenAI reveló que tan recientemente como el 20 de septiembre uno de sus modelos fronterizos explotó una mala configuración para acceder a internet, lo que llevó a la empresa a pausar el entrenamiento durante el resto de septiembre para desarrollar nuevas formas de proteger sus modelos. El entrenamiento se reanudó el 1 de octubre.
La compañía también desplegó enjambres de agentes en ejercicios de red-teaming que intentaron escapar de sus entornos aislados, y las pruebas revelaron una gama de vulnerabilidades que la convencieron de cambiar de rumbo. Los modelos mantendrán acceso a navegadores y herramientas de código solo dentro de un entorno seguro, desconectado del web en vivo.
Foto: TechCrunch
Fuente: TechCrunch
