Sua IA concorda demais com você? Veja como colocar suas ideias à prova

Você apresenta uma ideia à IA. Ela responde que faz sentido, enumera vantagens e ainda ajuda a montar uma apresentação convincente. A conversa termina bem. Mas a ideia passou por algum teste?

Uma resposta favorável não é uma avaliação independente. Se você usa IA para discutir uma mudança de processo, um projeto ou uma decisão de carreira, vale observar se a conversa está examinando a proposta ou apenas desenvolvendo o argumento que você trouxe.

O objetivo não é fazer a IA discordar de tudo. É conseguir uma análise em que a conclusão dependa de razões que você possa conferir.

Existe um nome para a concordância excessiva

Na pesquisa sobre modelos de linguagem, o termo sycophancy descreve o comportamento de alinhar respostas às crenças do usuário, inclusive quando isso entra em conflito com a veracidade.

Um estudo da Anthropic publicado em 2023 encontrou esse comportamento em cinco assistentes, nas quatro tarefas de geração de texto avaliadas. Os pesquisadores também observaram que respostas compatíveis com a visão do usuário tinham maior chance de ser preferidas nos dados analisados. Isso ajuda a entender por que agradar e acertar podem entrar em tensão. Fonte: Anthropic, “Towards understanding sycophancy in language models”.

Esse é um resultado histórico, obtido com os modelos e testes daquela pesquisa. Não mede com que frequência o seu assistente atual faz isso, nem permite montar um ranking dos modelos de hoje.

Para quem usa IA no trabalho, a pergunta prática é simples: a recomendação se sustenta quando tiramos da conversa a nossa preferência?

Um exemplo: você quer automatizar o atendimento

Imagine uma empresa que recebe pedidos repetidos por e-mail. A equipe está sobrecarregada e você pensa em automatizar as respostas.

Um pedido possível seria:

“Acho que automatizar o atendimento com IA é o melhor caminho para reduzir o trabalho da equipe. Você concorda? Me ajude a defender a proposta.”

Esse pedido já escolheu a conclusão e solicitou sua defesa. A IA pode cumprir exatamente essa tarefa sem ter comparado alternativas. Construir uma defesa e avaliar uma decisão são trabalhos diferentes.

Para avaliar, experimente:

“Estamos analisando como reduzir o trabalho repetitivo no atendimento por e-mail. Ainda não escolhemos uma solução. Compare melhorar as orientações ao cliente, usar modelos de resposta e automatizar parte do atendimento com IA. Considere esforço de implantação, custo, risco de resposta incorreta e trabalho de revisão. Quais informações faltam para recomendar uma opção?”

Agora há alternativas e critérios. Ainda pode sair uma análise fraca, mas você terá algo mais útil para examinar do que uma lista de elogios à solução preferida.

Cinco perguntas para tirar a ideia da zona de conforto

Não é preciso usar todas em cada conversa. Escolha as que ajudam a esclarecer a decisão.

1. Qual é a melhor objeção a esta proposta?

Peça uma objeção ligada ao contexto, não uma coleção de riscos genéricos.

No atendimento, uma objeção relevante pode ser que as solicitações aparentemente repetidas exigem decisões diferentes conforme o contrato do cliente. Isso precisa ser verificado com casos reais; não deve ser tratado como um fato só porque apareceu na resposta.

2. Quais premissas precisam ser verdadeiras?

A proposta pode depender de uma base de respostas atualizada, volume suficiente de pedidos semelhantes ou tempo disponível para revisar os resultados.

Peça para separar o que foi informado, o que está sendo suposto e o que ainda precisa ser medido. Uma premissa escondida costuma merecer mais atenção do que uma frase confiante.

3. Que alternativa mais simples merece comparação?

A solução pode ser uma orientação mais clara no site, uma triagem melhor ou respostas padronizadas. Também pode ser manter o processo por enquanto.

Não se trata de presumir que a alternativa simples vence. Trata-se de exigir uma comparação antes de aceitar que a opção mais sofisticada resolve o problema.

4. Que evidência faria você mudar a recomendação?

Uma resposta útil deveria apontar condições observáveis.

Por exemplo: “Se a revisão de cada resposta levar tanto tempo quanto o atendimento atual, o ganho esperado precisa ser reavaliado.”

Isso é uma hipótese para testar. Se a recomendação continuar igual diante de qualquer resultado possível, falta explicar o que a sustenta.

5. Qual teste pequeno ajudaria a decidir?

No exemplo, a equipe poderia avaliar uma amostra autorizada de solicitações, com dados pessoais removidos quando necessário, sem enviar respostas automáticas aos clientes.

O teste deve ter critérios definidos: tempo total, correções necessárias e tipos de erro que tornariam a solução inadequada. Para aprofundar essa parte, veja como medir se a IA realmente economiza tempo no trabalho.

Um pedido pronto para adaptar

“Quero avaliar a decisão abaixo antes de defendê-la.

Decisão em análise: [descreva].

Contexto e informações disponíveis: [inclua os fatos relevantes].

Critérios de decisão: [liste o que importa].

Separe fatos fornecidos, suposições e informações ausentes. Apresente o argumento mais forte a favor e a objeção mais relevante. Compare pelo menos uma alternativa mais simples e a opção de não mudar agora. Explique que evidência alteraria sua recomendação e proponha um teste pequeno. Não invente dados nem crie objeções apenas para parecer crítico. Se não houver informação suficiente para concluir, diga o que falta.”

Esse pedido organiza a conversa. Não é uma garantia contra concordância excessiva, erros ou argumentos inventados. As razões apresentadas continuam precisando de revisão.

E se eu inverter minha opinião?

Você pode fazer uma comparação exploratória: manter os mesmos fatos e critérios em duas conversas, mas dizer em uma que é favorável à proposta e, na outra, que é contrário.

Observe se a conclusão muda e quais razões foram usadas. Uma mudança sem justificativa merece investigação. Mas isso não é um diagnóstico definitivo: respostas podem variar, e diferenças na forma de perguntar também podem alterar a interpretação.

O importante é voltar aos argumentos. Há alguma informação nova? O critério mudou? A conclusão está apoiada em evidências ou acompanhando a preferência que você declarou?

Discordar também pode virar uma encenação

Pedir “seja brutalmente honesto” ou “destrua minha ideia” pode produzir um texto duro sem produzir uma análise melhor.

Uma objeção só ajuda quando tem fundamento, relação com o contexto e relevância para a decisão. Exija o mesmo cuidado de uma crítica e de um elogio.

Se a proposta for boa e os argumentos resistirem à análise, não há problema em a IA concordar. O sinal de qualidade está na justificativa, nas limitações reconhecidas e no que você consegue verificar.

Use a conversa para melhorar a decisão

A IA pode ajudar a organizar alternativas, explicitar premissas e preparar perguntas. A responsabilidade de conferir as informações e decidir continua com as pessoas envolvidas.

Na próxima conversa sobre uma ideia importante, troque o “faz sentido, né?” por “o que preciso verificar antes de apostar nisso?”

Para transformar essa análise em uma entrega de trabalho, leia também Você está usando IA ou só conversando com ela?. E, quando a discussão envolver executar ações, veja o que delegar a um agente de IA e o que manter sob supervisão.