Construir um agente de IA é a parte que já dominamos. Mantê-lo funcionando depois do primeiro ajuste é outra história: prompt é texto em linguagem natural, e uma regra nova escrita para resolver um cenário pode alterar o comportamento em cenários que já estavam corretos.

Dentro do UiPath Agent existem duas abas menos exploradas: Evaluators e Evaluation Sets. Nesta sessão vamos percorrer as duas em detalhe: o que significa cada campo, o que cada tipo de avaliador mede, e como isso se encaixa na rotina de construção, publicação e acompanhamento de agentes.

A demo usa um agente de classificação de chamados, simples de propósito e sem integração externa. O foco não é o caso de uso, é o método.

🎯 O que você vai ver:

• Por que avaliar um agente é diferente de testar um robô

• As três famílias de avaliador (determinístico, LLM-as-a-Judge e trajetória) e quando usar cada uma

• Como uma execução correta vira caso de teste permanente

• A aba Evaluators campo a campo, incluindo os parâmetros que costumam ser configurados de forma equivocada

• A aba Evaluation Sets campo a campo: casos, histórico de execuções e comparação entre rodadas

• Demo: um ajuste de prompt afetando um caso que já funcionava, e a verificação da correção

• A diferença entre um erro do agente e uma lacuna na regra, e por que o tratamento é diferente

• Comparação de modelos: acurácia, tempo de execução e consumo lado a lado

• Os limites do LLM-as-a-Judge, com medições em execuções repetidas

• Optimize: o que a funcionalidade propõe e quais cuidados ela exige

• A ordem dos passos em um cenário real: construir, congelar a referência em evaluation sets, ajustar, validar e incorporar

Um evento para quem já construiu um agente e quer garantir que ele continue funcionando ao longo do tempo.