Tres agencias de Estados Unidos publicaron el 16 de octubre una guía sobre incidentes con agentes de inteligencia artificial. Son casos en los que el agente actúa por su cuenta y rompe los controles de su tarea. El documento es voluntario.
Lo emitieron el Instituto Nacional de Estándares y Tecnología (NIST), la Agencia de Seguridad Nacional (NSA) y la CISA, de ciberseguridad. Se apoya en el marco de respuesta a incidentes del NIST, conocido como SP 800-61r3.
Un agente de IA es un programa que no solo responde preguntas. También ejecuta acciones, como usar herramientas o mover datos entre sistemas. La guía trata de lo que pasa cuando uno de ellos hace algo importante que nadie le ordenó.
Según el NIST, el texto apoya a la industria de IA de frontera, que desarrolla los sistemas más avanzados. Lo resume así, en traducción de El Centavo: "Este documento voluntario apoya a la industria de IA de frontera en prevenir, prepararse y responder a incidentes".
El documento se llama "Key Practices for Incident Readiness and Response in Super Intelligence Training and Evaluation". Allí "super intelligence" es el nombre que se da a esa IA avanzada. No significa que ya existan máquinas superinteligentes.
Según la guía, las diez prácticas se agrupan en cinco etapas: preparación, detección, respuesta, recuperación y reporte. Van desde los controles técnicos hasta la preparación del personal. También incluyen vigilar la actividad inesperada y proteger a los propios monitores. Otras piden conservar evidencia y apagar la actividad no deseada. Además, plantean reforzar la contención antes de reanudar. Las últimas tratan de coordinar con los afectados, avisar al gobierno y compartir información.
El documento define un "incidente de control" como aquel en que uno o más agentes toman acciones importantes sin instrucción. Esas acciones comprometen las políticas o medidas de seguridad que el operador impuso para limitar la tarea.
Si la causa es un ataque, como una instrucción maliciosa oculta en un texto, la guía no lo toma como causa principal de un incidente de control: según el documento, esas acciones se consideran instruidas.
Entre las medidas concretas, la guía pide limitar el acceso del agente a la información, los sistemas y las herramientas. También, limitar la comunicación entre agentes a los canales previstos. Pide restringir su acceso a la red con una lista de sitios permitidos y pasar el tráfico por una pasarela vigilada. Plantea definir políticas de apagado. Y pide reconstruir los entornos comprometidos desde bases verificadas y comprobar que la contención funcione antes de reiniciar los agentes.
Una práctica pide implementar controles de seguridad "con la expectativa de que los agentes encontrarán y explotarán con frecuencia configuraciones erróneas y vulnerabilidades". Es traducción de El Centavo.
La guía va dirigida sobre todo a quienes entrenan o evalúan agentes muy capaces en tareas largas, con poca supervisión humana. También puede aplicar a quienes los despliegan.
Es la versión 1.0 y trae una sección de áreas de trabajo futuro. Entre ellas está la recuperación segura durante el entrenamiento. No se ha anunciado que sea obligatoria.
SecurityWeek, medio especializado en ciberseguridad, informó sobre el documento el 20 de octubre. Hasta ahora no se conoce una reacción de empresas colombianas. Tampoco hay un lineamiento del Ministerio TIC o de ColCERT sobre agentes de IA. El Centavo no halló pronunciamientos al respecto.
Fuentes: guía conjunta de NIST, NSA y CISA; SecurityWeek.
