Gerenciando os riscos do uso de IA generativa (GenAI) por terceiros e do 'Shadow AI'

Nós recentemente falamos sobre o desafio do "Shadow IT" e da relação entre a IA generativa (GenAI) e a gestão de risco cibernético de terceiros. Agora, temos que amarrar os dois tópicos para entender de forma mais ampla os desafios de segurança decorrentes do uso da GenAI por terceiros, bem como a questão da "Shadow AI".

Primeiro, vamos recapitular. Os riscos de IA (e da GenAI em particular) se tornaram um grande desafio para as equipes de cibersegurança, uma vez que o ritmo da adoção das tecnologias de IA frequentemente supera o dos esforços para elaborar e impor normas corporativas de governança sobre o tema. Também é comum, ainda mais quando uma organização decide não utilizar nenhuma IA, que os usuários procurem essas ferramentas por conta própria, introduzindo riscos que não foram previstos nem serão mitigados ou gerenciados.

Além disso, recursos de IA vêm sendo adicionados a softwares e plataformas de SaaS que já estão no ambiente corporativo. Conforme os usuários são migrados para os novos ambientes em que essas ferramentas estão disponíveis, o comportamento do software fica menos previsível e mais difícil de mitigar. Embora estas dificuldades com atualizações não sejam novas, as "alucinações", injeções de prompts e outros atributos específicos da GenAI trazem elementos inéditos.

Implementar soluções de IA às vezes parece fácil, mas a implementação segura, que é o que todos queremos, não é fácil.

Isto tudo já é um problema para a maioria das empresas hoje, mas programas de Gestão de Risco Cibernético de Terceiros (TPCRM) precisam lembrar que fornecedores, parceiros e outros terceiros estão enfrentando a mesma questão, e às vezes eles têm menos recursos para fazer isso de forma adequada.

Não há uma só medida ou processo de segurança isolado para resolver tudo. Como apontamos nos artigos anteriores, mesmo bloquear a IA ou dizer aos usuários para evitá-la não é uma solução. Se os usuários enxergarem a IA como a melhor ferramenta para o trabalho, eles vão utilizá-la, ainda que isso exija o armazenamento de dados corporativos em dispositivos pessoais e o envio desses dados a um serviço não autorizado.

Tendo isso em mente, fica aparente que a melhor forma de alcançar os resultados pretendidos vai envolver uma combinação da tecnologia com processos e normas.

Controles de segurança de IA em serviços de nuvem

Como é o caso da maioria das plataformas modernas de IT para negócios hoje, a IA normalmente depende de infraestrutura de nuvem. Com o monitoramento inside-out, podemos utilizar os recursos dessas plataformas para coletar dados sobre como os terceiros estão colocando suas aplicações de IA em produção e protegendo a infraestrutura que as sustenta.

Essa abordagem automatizada é mais robusta e útil do que questionários tradicionais de conformidade, já que avaliações pontuais não refletem a postura de cibersegurança do terceiro ao longo de toda a relação comercial. Outra vantagem é que as evidências coletadas têm utilidade prática, permitindo que o terceiro corrija os problemas encontrados.

Violações de políticas, ausência de barreiras de proteção de IA, permissões inadequadas, incidentes de Shadow AI e outros erros de desenvolvimento que podem expor ambientes desprotegidos são alguns dos cenários que essa análise pode identificar.

Para ajudar a gerenciar os riscos decorrentes do uso de IA por terceiros, o Zanshin também pode conferir certas configurações e controles ligados a aplicações de IA. A título de exemplo, um contratante ("primeiro") pode usar o Zanshin para realizar testes diários na segurança de um provedor de aplicação (como um provedor de SaaS de uma aplicação de negócios) para garantir que este terceiro está usando IA de forma segura.

Aqui listamos três exemplos desses controles, um para cada uma das principais plataformas de nuvem:

Amazon Web Services: A AWS fornece um serviço chamado Bedrock para a construção de aplicações de GenAI e agentes, que pode ajudar a manter custos previsíveis e a governança sobre os dados quando outras soluções só seriam viáveis com compartilhamento de dados com outros ambientes ou serviços de terceiros. Vale observar que há algumas limitações, embora elas não tenham relação direta com o assunto deste artigo.

O Bedrock conta com barreiras de proteção (guardrails) para prevenir ataques de injeção de prompt. Para os terceiros que utilizam o Bedrock, o Zanshin é capaz de conferir que este recurso está habilitado, ajudando a impedir certos comportamentos indesejados ou até ataques cibernéticos, especialmente contra agentes de IA.

Para um resultado melhor, esta proteção deve ser combinada com prompts de sistema robustos e outras proteções. No entanto, a ausência das barreiras de proteção é um indicativo forte de imaturidade na gestão de risco de IA, o que deve ser investigado em conjunto com o terceiro.

Google Cloud: A Gemini Enterprise Agent Platform, anteriormente chamada de Vertex, é a solução do Google para a construção de agentes de IA. O conjunto de recursos oferecido é um pouco diferente do Bedrock, mas ainda são comparáveis.

Por padrão, todo o conteúdo na Gemini Enterprise Agent Platform é criptografado com chaves gerenciadas pelo Google. Regulações de privacidade ou obrigações contratuais às vezes exigem o uso de chaves que não são controladas pelo Google, mas sim pelo titular da conta. Elas são chamadas de customer-managed encryption keys (CMEK).

O Zanshin pode alertar sobre a existência de endpoints que não utilizam CMEK. Em ambientes que demandam o uso dessas chaves, a endpoints que não as utilizam serão o elo mais fraco da corrente. Também pode ser um indício de uma falha de implantação ou de processo que permitiu a configuração de um endpoint sem as chaves necessárias.

Azure: A plataforma da Microsoft oferece visibilidade sobre configurações e recursos do Defender, permitindo que o Zanshin os consulte para coletar insights. Um desses controles do Defender para Nuvem oferece a coleta de evidências e trechos de prompts suspeitos detectados pelo Defender para Serviços de IA, uma extensão de segurança do Microsoft Foundry. O Foundry é similar às ofertas da Amazon e do Google para a construção de aplicações e plataformas de IA.

Colapso de modelo e o problema da imprecisão

Embora a IA possa reduzir custos, ela traz variações de qualidade que nem todos os usos de IA levam em consideração. Já existem relatos de empresas recontratando funcionários após ser constatado que o desempenho dos sistemas de IA ficou abaixo do esperado.

Em nosso artigo anterior, já mencionamos que usar inteligência artificial simultaneamente no preenchimento e na análise de respostas de questionários de TPCRM pode levar ao colapso do modelo. Trata-se de uma situação em que a IA se torna incapaz de gerar resultados úteis por ter sido abastecida repetidamente com o que ela própria gerou, inclusive os erros.

De forma mais ampla, vemos então que a produção da IA pode se degradar ao longo do tempo se não houver medidas para garantir sua consistência ou aprimoramento.

Este problema também existe em serviços de fornecedores que integram IA. Se a adoção da IA não for acompanhada de processos de controle de qualidade adaptados a ela, os resultados podem conter erros que nunca apareciam no processo anterior. Como os erros da IA são diferentes dos erros humanos, uma metodologia de controle de qualidade que funcionou muito bem para o trabalho humano tende a ser inadequada para criações de IA.

Deve-se considerar também que o fornecedor tenha integrado IA de alguma forma sem avisar, gerando falhas que os processos de qualidade vigentes não vão detectar. No pior dos casos, funcionários ou freelancers tomam a iniciativa para buscar essas ferramentas, mesmo que elas não sejam autorizadas, e nem o fornecedor estará ciente disso. Nessa situação, temos um incidente de "Shadow AI".

Nesse ponto, devemos contar com normas, contratos, métricas de qualidade e outras medidas que visam garantir que a IA não gere problemas operacionais imprevistos. Sempre que possível, o uso desta ferramenta deve ser transparente e compreendido por ambas as partes. Afinal, requisitos de segurança e qualidade devem valer para toda a cadeia de fornecedores. Nesse sentido, os departamentos de compras podem ser importantes aliados.

Conscientização, treinamento e educação

A IA representa uma mudança no modo de funcionamento dos computadores, saindo da lógica determinística para a inferência probabilística. Usuários têm pouca experiência com esse tipo de tecnologia. Além disso, os "chatbots" são projetados com interações dialogadas, deixando transparecer a existência de uma capacidade de pensamento e raciocínio que nem sempre é consistente.

Geralmente será necessário algum esforço de conscientização e treinamento para garantir que as pessoas saibam como a GenAI funciona, quais são suas limitações e os riscos envolvidos. Alguns ambientes têm a capacidade de monitorar o acesso a serviços de IA por meio de credenciais corporativas, e cabe a cada empresa decidir quais dados podem ser compartilhados com esse tipo de plataforma.

O esforço de conscientização preferencialmente deve ser acompanhado de uma revisão interna dos tokens de autenticação ou chamadas de API para serviços de IA para mapear os casos de Shadow AI, ou seja, o uso de IA sem autorização.

Esse treinamento deve contemplar os administradores de sistema com uma temática voltada aos recursos que eles terão de configurar ou desativar nas plataformas de SaaS e nos produtos que já estão em uso no ambiente corporativo.

Como exemplo de um recurso que pode representar um risco de segurança, podemos citar o incidente do SonicWall Cloud Backup. A fornecedora sofreu um ataque seguido de vazamento de dados, expondo as credenciais criptografadas e arquivos sensíveis de configurações de todos os clientes que usaram o recurso de Cloud Backup. Esta informação consta no boletim publicado pela SonicWall no ano passado.

Na mesma época, ocorreu um surto de ataques de ransomware explorando os produtos da SonicWall como ponto de entrada. Uma seguradora chegou a informar que o Akira, um grupo de ransomware notório pelos ataques a produtos da SonicWall, foi responsável por 40% de todos os pedidos de seguro envolvendo esses ataques em 2025.

É difícil estabelecer um vínculo entre esses ataques, pedidos de seguro e a invasão à SonicWall. De qualquer forma, ao menos uma empresa processou a SonicWall por causa do vazamento.

Ainda que essa história não envolva um recurso de IA, funcionalidades de IA normalmente vão exigir algum compartilhamento de dados, lembrando muito a funcionalidade de Cloud Backup. Esse é o ponto que merece a atenção dos analistas e gestores de TI.

O risco de subestimar o risco

Certas tecnologias dispõem de barreiras inatas, sejam elas decorrentes de sua complexidade, da falta de conveniência ou de algum obstáculo que impede que a maioria dos usuários as utilizem. O esforço necessário para usá-las é por si só uma forma de mitigação, o que nos poupa o esforço de uma gestão de risco ativa.

Para ilustrar, não há muita necessidade de falar aos usuários sobre os perigos de criar um servidor de compartilhamento de arquivos, uma vez que quase ninguém vai criar algo assim. Hoje, os sistemas operacionais dificultam qualquer compartilhamento público acidental.

Mas a IA ainda está em uma fase na qual as barreiras são escassas. Seu uso é simples é conveniente. Graças à nuvem, ela pode ser "executada" em qualquer dispositivo. Essa simplicidade externa oculta uma teia de limitações técnicas, incertezas jurídicas, preocupações geopolíticas e questões de privacidade. Isso é difícil de enxergar.

Agora que temos registro de incidentes como o da Vercel, em que uma ferramenta de IA provocou um vazamento de dados, não há dúvida de que a IA traz vários riscos. Porém, não há como saber se já vimos o final da história ou se outros riscos vão aparecer.

A lição aqui é que a mitigação dos riscos de IA envolve ações deliberadas. A IA é promovida com uma mensagem de que seu uso deve ser corriqueiro ou até involuntário, integrado a tudo que utilizamos. Cabe à gestão de risco por vezes assumir o papel de contrapeso.

De certa forma, a qualidade amigável da GenAI é um convite a subestimar seus riscos. Evitar isso é um grande passo.

‍