La seguridad de la IA incluye un conjunto de técnicas de diseño y operativas que se deben seguir para evitar y contener acciones que puedan causar daños, de forma intencional o no. Por ejemplo, ¿los sistemas de IA se comportan según lo previsto, incluso ante una violación de seguridad o un ataque dirigido? ¿El sistema de IA es lo suficientemente sólido como para funcionar de forma segura incluso cuando se ve afectado? ¿Cómo planificas con anticipación para prevenir o evitar los riesgos? ¿El sistema de IA es confiable y estable bajo presión?
Una de esas técnicas de seguridad son las pruebas de ataque, o la práctica de intentar “romper” tu propia aplicación para aprender cómo se comporta cuando se le proporciona una entrada maliciosa o inadvertidamente dañina. En el kit de herramientas de IA generativa responsable, se explica más sobre las evaluaciones de seguridad, incluidas las pruebas adversariales. Obtén más información sobre el trabajo de Google en esta área y las lecciones aprendidas en la entrada de blog de Keyword, Equipo rojo de IA de Google: los hackers éticos que hacen que la IA sea más segura o en SAIF: Guía de Google para la IA segura.