A segurança da IA inclui um conjunto de técnicas de design e operacionais a serem seguidas para evitar e conter ações que possam causar danos, intencionalmente ou não. Por exemplo, os sistemas de IA se comportam como o esperado, mesmo diante de uma violação de segurança ou ataque direcionado? O sistema de IA é robusto o suficiente para operar com segurança, mesmo quando perturbado? Como você planeja com antecedência para prevenir ou evitar riscos? O sistema de IA é confiável e estável sob pressão?
Uma dessas técnicas de segurança é o teste adversário, ou a prática de tentar "quebrar" seu próprio aplicativo para saber como ele se comporta quando recebe entradas maliciosas ou acidentalmente nocivas. O Toolkit para IA generativa responsável explica mais sobre avaliações de segurança, incluindo testes de adversarialidade. Saiba mais sobre o trabalho do Google nessa área e as lições aprendidas na postagem do blog Keyword, Equipe vermelha de IA do Google: hackers éticos tornando a IA mais segura ou em SAIF: o guia do Google para IA segura.