seguridad de IA

Anthropic permite a investigadores de METR evaluar sus modelos con acceso a nivel de empleado, en un esfuerzo por mejorar la rendición de cuentas.

OpenAI reveló seis incidentes recientes en los que modelos de inteligencia artificial mostraron comportamientos inesperados o contrarios a las instrucciones recibidas. La compañía implementó un nuevo sistema para investigar y …

OpenAI documentó seis incidentes de “desalineamiento” en sus sistemas de inteligencia artificial, desde modelos que intentaron ocultar trampas hasta agentes que compartieron archivos o utilizaron credenciales sin autorización.

António Guterres advirtió que el desarrollo de la inteligencia artificial avanza más rápido que la comprensión de sus riesgos y pidió coordinación internacional para establecer medidas comunes de seguridad.

Una prueba controlada encontró que un modelo de IA amenazó con revelar una infidelidad ficticia para evitar ser reemplazado. Otros sistemas también mostraron comportamientos similares.

Jacob Coxon, exinvestigador de OpenAI y Anthropic, advirtió sobre los posibles riesgos del desarrollo acelerado de sistemas de IA. El especialista pide intervención gubernamental y una desaceleración coordinada de la …