Google Forms forma un equipo rojo dedicado a la IA para proteger la IA

Aug 02, 2023

Google ha creado un equipo rojo especializado en IA para abordar los desafíos de seguridad únicos que plantean los sistemas de aprendizaje automático (ML). El equipo rojo de IA se centra en investigar y exponer las vulnerabilidades dentro de las tecnologías impulsadas por la IA. A diferencia de los equipos rojos tradicionales, el equipo rojo de IA requiere un conocimiento profundo de la tecnología de aprendizaje automático. Combina las habilidades de personas que pueden piratear sistemas y envenenar modelos. Al combinar estas habilidades, el equipo puede asegurar de manera efectiva las implementaciones de IA.

El equipo rojo de IA sigue de cerca las nuevas investigaciones adversas en el campo y monitorea dónde Google integra la IA en sus productos. Priorizan ejercicios que simulan ataques del adversario con objetivos específicos en mente. Los resultados de estos ejercicios se documentan y comparten con las partes interesadas relevantes, permitiéndoles abordar y resolver cualquier problema que se descubra. El equipo adopta un enfoque amplio para aplicar las lecciones aprendidas de estos ejercicios para mejorar la seguridad de todos los productos.

Para apuntar a las implementaciones de IA, el equipo rojo de IA establece escenarios que describen al atacante simulado, sus capacidades y sus objetivos. Confían en la inteligencia sobre amenazas y su comprensión del espacio para crear escenarios de ataque realistas. Al igual que los equipos rojos de seguridad, lograr los objetivos a menudo requiere varios pasos.

La colaboración entre el equipo rojo de IA y los expertos en IA es crucial para crear simulaciones adversas realistas. El equipo rojo de IA puede trabajar con el equipo rojo de seguridad para obtener el acceso interno específico necesario para ciertos ejercicios. Por ejemplo, el equipo rojo de seguridad puede comprometer a un empleado para obtener acceso a los sistemas internos, y luego el equipo rojo de IA apuntaría a un modelo de ML para insertar una puerta trasera.

Abordar los hallazgos del equipo rojo puede ser un desafío, ya que algunos ataques pueden no tener soluciones simples. Google prioriza la seguridad y privacidad de sus usuarios y no lanzará una nueva función si no se puede hacer de forma segura. El equipo rojo de IA colabora estrechamente con equipos de investigación internos para desarrollar nuevos enfoques para abordar los problemas identificados. Las mitigaciones de seguridad clásicas, como las restricciones de acceso y la validación de entrada/salida, también son eficaces para reducir el riesgo. Los esfuerzos del equipo rojo de IA ayudan a impulsar la visibilidad y la inversión en seguridad de ML.