A corrida pela adoção de inteligência artificial (IA) nas empresas esconde um erro estrutural que vai além da escolha de modelos como ChatGPT, Claude ou Gemini. De acordo com um estudo da Tech for Humans, consultoria que simplifica a tecnologia por meio de Agentes de IA e Jornadas Digitais, sistemas de IA podem errar em até 57,7% das interações quando o usuário foge do assunto principal da conversa. Segundo a pesquisa esta é uma prática comum e pouco discutida no mercado: a mistura de regras de negócio com mecanismos de segurança no atendimento ao cliente.
O levantamento analisou dezenas de milhares de execuções experimentais para entender por que assistentes baseados em modelos de linguagem vêm apresentando dois comportamentos extremos: ou deixam passar tentativas sofisticadas de manipulação, ou bloqueiam clientes legítimos por excesso de rigor. Na prática, essa combinação faz com que a IA passe a interpretar qualquer desvio de contexto como uma ameaça potencial, bloqueando usuários legítimos ou respondendo de forma inadequada.
O problema, segundo o CEO da Tech for Humans, Fernando Wolff, não está na capacidade dos modelos, mas na forma como eles são implementados. “O mercado está focado em escolher o modelo mais avançado, mas ignora a engenharia de decisão. Quando você mistura regra de negócio com regra de segurança, você cria um conflito interno no sistema. A IA passa a julgar relevância como se fosse ameaça”.
De acordo com o estudo, o erro começa quando a camada de segurança, conhecida como Guardrail (responsável por proteger o sistema contra-ataques, vazamentos ou manipulação), passa a atuar também como filtro de escopo comercial. Em vez de se limitar a bloquear riscos técnicos, como tentativas de manipulação de instruções ou vazamento de dados, ela passa a decidir o que é ou não pertinente ao negócio. “Guardrail não é filtro de assunto. Ele existe para proteger a integridade técnica do sistema. Quando a IA é treinada para operar dentro de um escopo rígido, qualquer solicitação fora desse padrão pode ser vista como suspeita”, destaca o executivo.
O resultado é um comportamento distorcido: ou o sistema se torna permissivo demais, deixando passar falhas de segurança, ou rígido em excesso, bloqueando interações legítimas.
Impacto direto no negócio
Embora técnico, o problema tem consequências concretas. Em operações de atendimento em larga escala, especialmente em setores como seguros e serviços financeiros, erros desse tipo afetam diretamente métricas críticas como conversão, retenção e percepção de marca. “Você acaba impactando o cliente com a intenção de proteger o sistema”, explica Wolff.
O risco é ainda maior em situações sensíveis. Como exemplo, Wolff destaca um cliente que busca assistência emergencial, como um guincho ou suporte residencial, pode ser bloqueado por não seguir exatamente o fluxo esperado pelo sistema. “Nesse cenário, a IA deixa de ser um facilitador e passa a ser um ponto de fricção”.
Para o CEO da Tech for Humans, o avanço recente dos modelos de linguagem criou uma falsa sensação de simplicidade. Com ferramentas cada vez mais acessíveis, empresas passaram a priorizar a escolha do modelo em detrimento da arquitetura. “As plataformas ficaram muito fáceis de usar. Mas elas são feitas para usuários, não para ambientes produtivos”.
Esse descompasso ajuda a explicar por que a maioria dos projetos de IA não sai do papel. Segundo dados do estudo da Tech for Humans, apenas 8% das iniciativas chegam efetivamente à produção, um reflexo da complexidade subestimada na implementação. “Na prática, muitas empresas avançam em provas de conceito (POCs), mas falham ao escalar a solução por não considerar aspectos estruturais como governança, integração e desenho de decisão”.
Modelo virou commodity
Outro ponto que emerge do estudo é a perda de protagonismo dos modelos como diferencial competitivo. Para Wolff, a disputa entre plataformas como OpenAI, Anthropic ou Google já não é o principal fator de sucesso. “Modelo é commodity. As empresas vão precisar trabalhar com vários ao mesmo tempo”.
Neste sentido, ele entende que o diferencial passa a ser a capacidade de orquestrar esses modelos dentro de uma arquitetura robusta, capaz de garantir consistência, redundância e controle. “Isso inclui, por exemplo, prever falhas de um modelo e acionar outro automaticamente, mantendo o padrão de resposta”.
Separar para funcionar: a nova arquitetura da IA
Como resposta ao problema, a Tech for Humans propõe uma abordagem baseada na separação clara de responsabilidades. De um lado, os guardrails devem atuar exclusivamente na proteção técnica do sistema, identificando tentativas de manipulação, vazamento de dados ou comportamentos anômalos. De outro, o agente principal fica responsável por interpretar contexto, aplicar regras de negócio e conduzir a interação com o usuário.
Outro ponto crítico é a atuação dos guardrails não apenas na entrada, mas também na saída das respostas. Isso evita situações em que o sistema retorna informações inconsistentes ou inadequadas. Um exemplo citado por Wolff ilustra o risco: em um caso recente, um sistema automatizado chegou a oferecer a venda de um carro por R$ 1,00 após uma interação mal interpretada. “O erro não estava na pergunta do usuário, mas na ausência de validação na resposta”.
Governança no centro
À medida que a IA se torna parte central das operações, a governança passa a ocupar um papel estratégico. Sem diretrizes claras sobre quais ferramentas utilizar, como integrá-las e quais dados podem ser acessados, empresas correm o risco de criar ambientes fragmentados e inseguros. “Se cada pessoa usa uma ferramenta diferente, sem controle, você perde consistência e aumenta o risco de vazamento de informação”, afirma Wolff.
Na prática, isso significa colocar governança e segurança no centro da estratégia, e não como uma camada posterior.
O futuro: IA supervisionando IA
O cenário que se desenha para os próximos anos aponta para sistemas cada vez mais complexos e monitorados. Segundo Wolff, a tendência é a criação de múltiplas camadas de verificação, com inteligências artificiais atuando como ‘juízes’ de outras IAs. “Esses sistemas analisam interações, identificam desvios e geram alertas para supervisores humanos, que continuam no ciclo de decisão, modelo conhecido como human in the loop”.
