A IA está avançando rapidamente, e é importante que as estratégias eficazes de gerenciamento de riscos evoluam com ela. O Secure AI Framework (SAIF) é um framework conceitual para sistemas de IA seguros projetados para ajudar a alcançar essa evolução.
À medida que os recursos de IA se tornam cada vez mais integrados aos produtos do mundo todo, a adesão a um framework ousado e responsável será ainda mais importante.
O SAIF foi projetado para ajudar a mitigar riscos específicos dos sistemas de IA, como roubo do modelo, envenenamento de dados dos dados de treinamento, injeção de entradas maliciosas por meio de injeção imediata e extração de informações confidenciais nos dados de treinamento.
O framework SAIF
O SAIF tem seis elementos principais:
1. Amplie as bases de segurança sólidas do ecossistema de IA
Isso inclui o uso de proteções e conhecimentos de infraestrutura seguros por padrão criados nas últimas duas décadas para proteger sistemas, aplicativos e usuários de IA. Ao mesmo tempo, desenvolva conhecimento organizacional para acompanhar o avanço da IA e começar a escalonar e adaptar as proteções de infraestrutura no contexto da IA e da evolução dos modelos de ameaças. Por exemplo, técnicas de injeção como a injeção de SQL já existem há algum tempo, e as organizações podem adaptar mitigações, como limpeza e limitação de entrada, para ajudar na defesa contra ataques de estilo de injeção.
2. Estenda a detecção e a resposta para colocar a IA no universo de ameaças da organização
A pontualidade é fundamental para detectar e responder a incidentes cibernéticos relacionados à IA, e aumentar a inteligência contra ameaças e outros recursos para uma organização melhora. Para as organizações, isso inclui o monitoramento de entradas e saídas de sistemas de IA generativa para detectar anomalias e o uso de inteligência contra ameaças para antecipar ataques. Esse esforço normalmente requer colaboração com as equipes de confiança e segurança, inteligência contra ameaças e equipes de combate ao abuso.
3. Automatize as defesas para acompanhar o ritmo das ameaças novas e atuais
As mais recentes inovações de IA podem melhorar a escala e a velocidade dos esforços de resposta a incidentes de segurança. Os adversários provavelmente vão usar a IA para escalonar o impacto. Por isso, é importante usar a IA e os recursos atuais e emergentes dela para se manterem ágeis e econômicos na proteção contra eles.
4. Harmonize os controles no nível da plataforma para garantir segurança consistente em toda a organização
A consistência entre frameworks de controle é compatível com mitigação de riscos de IA e proteções de escalonamento em diferentes plataformas e ferramentas para garantir que as melhores proteções estejam disponíveis a todos os aplicativos de IA de maneira escalonável e econômica. No Google, isso inclui estender proteções seguras por padrão para plataformas de IA, como Vertex AI e Security AI Workbench, e criar controles e proteções no ciclo de vida do desenvolvimento de software. Os recursos que abordam casos de uso gerais, como a API Perspective, podem ajudar toda a organização a se beneficiar de proteções de última geração.
5. Adapte os controles para ajustar as mitigações e criar ciclos de feedback mais rápidos para a implantação de IA
O teste constante de implementações por meio de aprendizado contínuo garante que os recursos de detecção e proteção lidem com o ambiente de ameaças em constante mudança. Isso inclui técnicas como aprendizado por reforço com base em incidentes e feedback do usuário e envolve etapas como atualização de conjuntos de dados de treinamento, ajuste de modelos para responder estrategicamente a ataques e permitir que o software usado para criar modelos incorpore mais segurança ao contexto (por exemplo, para detectar comportamentos anômalos). As organizações também podem realizar exercícios regulares de equipe vermelha para melhorar a segurança dos produtos e recursos de IA.
6. Contextualize os riscos do sistema de IA nos processos empresariais
Por fim, realizar avaliações de risco completas relacionadas a como as organizações implantarão a IA pode ajudar a tomar decisões. Isso inclui uma avaliação do risco empresarial completo, como linhagem de dados, validação e monitoramento de comportamento operacional para determinados tipos de aplicativos. Além disso, as organizações precisam criar verificações automatizadas para validar o desempenho da IA.
Outros recursos
Um guia do profissional para implementar o SAIF. Neste guia, fornecemos considerações práticas de alto nível sobre como as organizações podem criar a abordagem SAIF para as novas ou atuais adoçãos da IA.
Por que as equipes vermelhas desempenham um papel central em ajudar as organizações a proteger sistemas de IA é um relatório detalhado que explora um recurso essencial que é implantado para oferecer suporte ao framework SAIF: equipe vermelha. Isso inclui três áreas importantes:
- O que é a equipe vermelha e por que ela é importante
- Que tipos de ataques as equipes vermelhas simulam
- Lições que aprendemos que podemos compartilhar com outras pessoas