Você muda uma instrução para corrigir a resposta da IA sobre um serviço. O novo teste fica melhor. Antes de colocar essa versão na rotina, confira também as situações que ela já resolvia.
Esse cuidado é um teste de regressão: verificar se uma mudança preserva comportamentos esperados. Ele pode começar com exemplos fictícios e uma tabela simples de conferência.
Guarde situações que precisam continuar funcionando
A Anthropic distingue avaliações de capacidade, que investigam o que o sistema consegue fazer, e de regressão, que conferem tarefas já atendidas. Também lembra que as respostas variam entre execuções.
Uma resposta boa isolada não demonstra estabilidade. Repita os casos relevantes e guarde a versão da instrução, o modelo utilizado e o contexto fornecido, para saber o que está sendo comparado.
Referências: [1]
Defina o que torna cada resposta aceitável
A documentação recomenda critérios específicos e mensuráveis. Para uma rotina de atendimento, transforme o pedido genérico de “responder melhor” em pontos que alguém consiga conferir.
Num exemplo hipotético, o critério pode exigir reconhecer o serviço solicitado, pedir apenas a informação que falta e encaminhar uma exceção para uma pessoa. Não é necessário exigir as mesmas palavras em todas as respostas.
Referências: [2]
Teste a mudança sobre a mesma base
Uma revisão inicial pode seguir este roteiro:
- Separe exemplos fictícios de pedido comum, informação ausente e situação fora do escopo.
- Registre o comportamento esperado antes de executar os testes.
- Compare a instrução anterior e a nova com as mesmas entradas.
- Marque o que melhorou e o que deixou de atender ao critério.
- Acrescente à base os erros relevantes encontrados durante a operação, retirando dados pessoais.
Minha recomendação: preserve os testes antigos
Eu manteria os casos que já passaram ao lado do novo problema que motivou a mudança. Assim, a avaliação não fica limitada à resposta que acabou de melhorar.
Se a IA altera registros ou envia mensagens, confira também o resultado no sistema de destino. O texto dizer que fez algo não comprova que a ação ocorreu. Use ambiente de teste e ações controladas antes de ampliar uma versão para a operação real.
Referências: [1]
Fontes e referências
Referências consultadas em 21 out. 2026. Recursos e condições podem mudar.
Conteúdo produzido com apoio de inteligência artificial e aprovado para publicação. Os exemplos são ilustrativos; não representam testes próprios ou resultados de clientes. Conheça a política editorial.
