O entusiasmo e a promessa da inteligência artificial na cibersegurança são equilibrados pela apreensão e pelo risco. Confira quais são as prioridades.
- Gartner client? Log in for personalized search results.
Cibersegurança e IA: como garantir proteção ao gerenciar riscos
CISOs e CIOs: maximizem o valor da IA enquanto gerenciam riscos críticos
Enquanto o entusiasmo em relação à inteligência artificial continua redesenhando o cenário da segurança cibernética, as organizações se deparam com oportunidades e desafios inéditos.
A IA tem o potencial de transformar as práticas de segurança, mas o caminho a percorrer é repleto de riscos e incertezas. Baixe nosso ebook mais recente e descubra como:
- Ajustar o impacto da inteligência artificial para se alinhar com a maturidade da sua organização;
- Priorizar as áreas essenciais de risco, incluindo preocupações com a privacidade de dados a novas ameaças;
- Integrar a IA à sua estratégia atual de segurança cibernética, visando à máxima eficácia, entre outros objetivos.
O impacto da IA na cibersegurança e a função do CISO
Para abordar os diversos impactos da IA na cibersegurança, inicialmente os CISOs devem compreender o entusiasmo, os riscos e o potencial dessa tecnologia.
- O entusiasmo da IA na cibersegurança
- Riscos da IA à cibersegurança
- Potencial da IA para a cibersegurança
Não idealize a IA
O entusiasmo inicial em relação à IA generativa fez muitas organizações se apressarem para usar a tecnologia sem a devida reflexão. Contudo, essa falta de planejamento é arriscada porque a recompensa raramente justifica a expectativa.
Assim, frequentemente, o que se segue são meses de tentativa e erro, seguidos por uma avaliação retroativa, baixa financeira e, às vezes, dependendo do impacto da depreciação contábil, a saída de um executivo. O maior impacto é observado posteriormente com a perda de oportunidades devido à demora na implantação de capacidades generativas.
A curto prazo, é possível que o entusiasmo sobre a IA generativa se transforme em decepção, pois as pressões externas para aumentar a produtividade das operações de segurança entram em choque com o baixo nível de maturidade dos recursos e a fragmentação dos fluxos de trabalho.
Preste atenção aos sinais comuns de integrações de IA generativa realizadas sem preparação:
Uso da “melhoria da produtividade” como uma métrica-chave devido à ausência de métricas efetivas para mensurar os benefícios da IA generativa e seu impacto nos negócios, além do alto custo dos complementos dessa tecnologia;
Dificuldade para integrar assistentes de IA em fluxos de trabalho colaborativo nas equipes de operações de segurança ou junto a um provedor;
“Fadiga de prompts”, ou seja, muitas ferramentas disponibilizando uma interface interativa para consultas sobre ameaças e incidentes.
Faça o planejamento das diretrizes para evitar a distorção criada pela expectativa exagerada sobre a inteligência artificial. Considere todas as possibilidades, equilibrando a realidade da segurança cibernética com o potencial da IA generativa:
Adote uma abordagem plurianual. Comece pela segurança dos aplicativos e as operações de segurança. Em seguida, integre progressivamente as soluções de IA generativa quando houver o aprimoramento dos fluxos de trabalho de segurança;
Pergunte se vale a pena. Estabeleça expectativas para seu investimento e analise a posição de sua organização em relação a essas metas. Avalie os ganhos de eficiência, além dos custos. Aprimore as métricas de detecção e produtividade, contemplando novos recursos de cibersegurança da IA generativa;
Priorize o aprimoramento da força de trabalho por meio da IA, não apenas a automação de tarefas. Planeje-se para mudanças nos requisitos de habilidades a longo prazo em decorrência da IA generativa;
Considere desafios de privacidade e equilibre os benefícios esperados com os riscos de adotar a IA generativa na segurança cibernética.
Prepare sua melhor defesa
A IA generativa é apenas a tecnologia mais recente na lista das inovações que prometem aumentos enormes na produtividade impulsionados pela automação das tarefas. As tentativas anteriores de automatizar atividades complexas de segurança raramente foram bem-sucedidas e podem ser uma distração onerosa.
Embora o uso de modelos de IA generativa e de grandes modelos de linguagem (LLMs) possa trazer benefícios, também existem riscos especiais para os usuários que exigem novas práticas de segurança. Elas se enquadram em três categorias:
Detecção de anomalias no conteúdo
Falsas percepções ou outputs imprecisos, ilegais, indesejados, não intencionais ou que infringem os direitos autorais, comprometendo a tomada de decisões ou acarretando prejuízo para a marca;
Uso inaceitável ou malicioso;
Conteúdo corporativo não gerenciado, transmitido por meio de prompts, comprometendo inputs de dados confidenciais.
Proteção de dados
Vazamento de dados, integridade e comprometimento da confidencialidade do conteúdo e dos dados dos usuários em ambientes hospedados do fornecedor;
Incapacidade de impor políticas de privacidade e proteção de dados em ambientes hospedados externamente;
Dificuldade em realizar avaliações do impacto sobre a privacidade e em cumprir as regulamentações regionais por causa dos modelos de terceiros, caracterizados por sua inviolabilidade;
O fato de que, uma vez que os dados brutos são inseridos em um modelo, não há uma maneira fácil de removê-los, exceto reconstruindo o modelo, o que não é prático e é extremamente caro.
Segurança de aplicativos de IA
Ataques adversários via prompt, incluindo abusos da lógica de negócio e injeções diretas e indiretas de prompts;
Ataques vetoriais ao banco de dados;
Acesso de hackers a estados e parâmetros de modelos.
Os LLMs e outros modelos de IA generativa hospedados externamente aumentam esses riscos, já que as empresas não podem exercer controle direto sobre os processos de seus aplicativos nem sobre a forma como os dados são manipulados e armazenados.
No entanto, também há risco em modelos hospedados localmente pelas organizações, sobretudo na ausência de controles de segurança e de risco. Os usuários estão sujeitos a essas três categorias de risco ao longo do tempo de execução dos aplicativos e modelos de IA.
Escolha aprimoramentos baseados em IA
Ironicamente, a interface conversacional, que atraiu o foco para a IA generativa, é a responsável pelo risco elevado de falha dessa tecnologia em casos de uso corporativo interno. Há dois motivos para o aumento do risco de falha:
Uso e retorno sobre o investimento (ROI). O ROI está ligado ao uso da tecnologia pelos funcionários e aos benefícios alcançados. Não há como garantir que os funcionários utilizarão uma interface conversacional. Sem uma proposta de valor clara, os funcionários não integrarão a IA generativa ao seu fluxo de trabalho diário. Demonstrar os benefícios é uma tarefa árdua, pois tudo o que você pode fazer é monitorar a utilização – o restante fica a cargo do usuário.
Prompts e falsas percepções. Usuários diferentes fazem a mesma pergunta de maneiras distintas e podem obter respostas diferentes. A qualidade dos prompts afeta a qualidade das respostas, que poderão ser falsas percepções. As organizações devem treinar os funcionários sobre como elaborar prompts e apoiá-los no caso de respostas incoerentes. Além disso, para minimizar esses problemas, é preciso investir no processamento prévio dos prompts e posterior das respostas.
Para superar esses obstáculos, não espere que os profissionais de segurança cibernética interrompam suas atividades para fazer uma pergunta. Respalde-os por meio de prompts pré-desenvolvidos com base na observação de uma tarefa específica realizada.
Use aprimoramentos generativos (GAs): complementos como extensões ou plug-ins integrados a aplicativos de host para monitorar o usuário. Os GAs incorporam dados observados, além de dados de outros sistemas, a um conjunto pré-programado de prompts que direciona os usuários à medida que eles desempenham tarefas.
Os prompts consultam um LLM e obtêm respostas em um formato predefinido, facilitando minimizar as falsas percepções A lógica que fundamenta o aprimoramento valida cada resposta antes de transmiti-la ao usuário. Não há interface conversacional/de bate-papo (interface do usuário) disponível.
Conferência Gartner Segurança & Gestão de Risco 2025
Engaje, Inove. Lidere!
Prepare-se para enfrentar as transformações digitais! Nos dias 5 e 6 de agosto de 2025, em São Paulo, descubra como líderes de cibersegurança estão moldando o futuro com estratégias inovadoras e resiliência organizacional.
Não perca a chance de liderar com inovação e segurança – Confira todos os detalhes da conferência na página oficial!
Recursos relacionados à cibersegurança e IA
Clientes do Gartner: faça login para acessar um conjunto completo de insights práticos e ferramentas sobre cibersegurança e IA.
Perguntas frequentes sobre cibersegurança e IA
Como a IA se aplica à cibersegurança?
A aplicabilidade da IA à cibersegurança abrange a utilização de tecnologias e técnicas para aprimorar a segurança dos sistemas de computação, das redes e dos dados a fim de proteger contra eventuais ameaças e ataques. A IA permite que os sistemas de cibersegurança analisem grandes volumes de dados, identifiquem padrões, detectem anomalias e tomem decisões inteligentes em tempo real para prevenir, reconhecer e responder a ameaças cibernéticas.
Como a IA está influenciando e transformando a cibersegurança?
A IA está revolucionando a segurança cibernética ao otimizar a detecção de ameaças, automatizar as operações de segurança, aprimorar a autenticação dos usuários e disponibilizar recursos de inteligência analítica.
Quais são os fatores-chave a considerar ao integrar a IA à infraestrutura existente de cibersegurança?
Ao integrar a IA à infraestrutura existente de segurança cibernética, há vários fatores-chave a considerar:
Disponibilidade e qualidade dos dados;
Compatibilidade e integração;
Capacidade de expansão e desempenho;
Explicabilidade e transparência;
Colaboração humano-máquina;
Considerações éticas e jurídicas;
Treinamento e desenvolvimento de habilidades;
Seleção e experiência dos fornecedores;
Avaliação e redução de riscos.