Práticas recomendadas para aprimorar seu Agente Personalizado

O desempenho do seu agente se resume a três coisas: o modelo no qual ele é executado, como seus gatilhos e escopo estão configurados e como suas instruções foram escritas. Ajustar esses itens pode tornar seu agente mais confiável, mais consistente e mais econômico.

Este guia explica como:

• escolher um modelo adequado para a tarefa;

• controlar os gatilhos e o escopo do seu agente;

• deixar seu agente ajudar você a depurá-lo e otimizá-lo.

O Product Scout é um Agente personalizado criado para responder a perguntas internas sobre produtos. Sua função é ajudar os colegas de equipe a obter respostas rápidas e precisas, como "O recurso X é compatível com exportações em massa?", incorporando informações de documentos e conversas anteriores.

No momento, o Product Scout é acionado a cada mensagem em um canal do Slack, pesquisa todo o espaço de trabalho em busca de contexto e é executado no modelo mais poderoso disponível. Funciona, mas três coisas se destacam: as respostas nem sempre são consistentes, ele é executado com mais frequência do que o necessário e há espaço para reduzir custos. Usaremos isso ao longo deste guia para mostrar como cada ajuste funciona na prática.

O Notion permite que você escolha em qual modelo seu Agente Personalizado será executado, e essa escolha é um dos fatores que mais afetam o custo. O objetivo não é escolher o modelo mais poderoso disponível. É encontrar o modelo que oferece resultados consistentes que atendam ao seu padrão de qualidade.

Ao selecionar um modelo, passe o cursor sobre cada opção no seletor de modelos para comparar velocidade, inteligência e custo.

Aqui está uma estrutura geral:

• O Auto permite que o Notion selecione o melhor modelo para cada solicitação. Este é o padrão recomendado para a maioria dos agentes.

• Modelos leves funcionam bem para fluxos de trabalho repetitivos e de menor risco, como redação de rotina, roteamento e triagem simples ou geração de conteúdo estruturado. Eles são uma boa opção quando a velocidade, a consistência e a relação custo-benefício são mais importantes do que o raciocínio complexo.

• Modelos poderosos (por exemplo, Opus) são ideais para tarefas que exigem escrita com nuances, raciocínio complexo ou alta precisão, mas usam mais créditos por execução.

Teste alguns modelos diferentes para ver qual deles atende com consistência ao seu padrão de qualidade. Se a qualidade da saída cair à medida que a tarefa se torna mais complexa, você sempre pode mudar para um modelo mais poderoso.

O Product Scout estava originalmente sendo executado no modelo mais poderoso disponível. Mas sua tarefa principal, encontrar documentos relevantes e resumi-los, não exige raciocínio complexo. Mudar para um modelo leve reduziu os custos sem qualquer perda de qualidade.

Os gatilhos e o escopo do seu agente funcionam juntos. Os gatilhos controlam quando ele é executado. O escopo controla o que ele lê. Se qualquer um desses elementos for muito amplo, você consumirá créditos em execuções que produzem saídas ruidosas ou irrelevantes.

Um bom gatilho é frequente o suficiente para ser útil e específico o suficiente para ser executado apenas quando necessário. Toda vez que seu agente é acionado, ele usa créditos, mesmo que nenhuma ação seja tomada. Concentre seu gatilho nos momentos em que a ajuda do agente é realmente necessária.

Na configuração do Product Scout, ele era acionado a cada mensagem no #product-questions, incluindo respostas, reações e "obrigado!" Isso significava consumir créditos em execuções que não produziam nada útil.

Comece definindo quando o seu agente deve intervir:

• Quais perguntas este agente deve responder? Defina o pequeno conjunto de tipos de perguntas dentro do escopo e escreva alguns exemplos.

• O que ele deve ignorar? Reações, "obrigado", conversas gerais e mensagens fora do tópico não devem acionar uma execução.

Depois de definir esses limites, ajuste seus gatilhos para corresponder. Por exemplo, limite seu gatilho a @menções, filtre por palavras-chave ou acione em uma alteração de propriedade específica em vez de a cada edição.

Mudar o gatilho do Product Scout para @ menções faz com que ele só seja executado quando alguém está de fato fazendo uma pergunta.

Seu agente lê tudo a que você lhe dá acesso. Se esse escopo for amplo, ele vasculha muitas informações irrelevantes e a qualidade da saída é prejudicada.

O Product Scout estava pesquisando em todo o espaço de trabalho e em todas as suas ferramentas conectadas: páginas de marketing, documentos de RH, anotações de reuniões antigas e meses de histórico do Slack de canais não relacionados. Nenhum deles contém respostas sobre produtos, mas o agente estava lendo tudo mesmo assim. Isso significava resultados com mais ruído e respostas menos consistentes.

Veja como definir o escopo do seu agente:

• Comece pelo local onde as respostas realmente estão: se o seu agente responde a perguntas sobre produtos, conecte-o à sua documentação de produtos e canais relevantes do Slack, não a todo o seu espaço de trabalho e a todas as ferramentas conectadas.

• Não adicione contexto "por precaução": cada página, base de dados ou canal extra é mais conteúdo para o seu agente desvendar. Se um conteúdo não contiver respostas úteis regularmente, remova-o.

• Se o seu agente ainda cobrir muitos tópicos não relacionados, divida-o em dois agentes focados: Um agente que lida tanto com perguntas sobre produtos quanto com consultas de faturamento está fazendo dois trabalhos. Dois agentes separados com escopos restritos darão a você melhores resultados em cada um.

Restringir o escopo do Product Scout apenas à base de dados de Lançamentos de Produtos e ao histórico do Slack #product-questions deu ao agente uma visão mais clara de onde procurar. As respostas ficaram mais consistentes porque o agente tinha menos ruído para organizar.

Você não precisa acertar suas instruções na primeira tentativa. A maneira mais rápida de melhorá-las é mostrar ao seu Agente Personalizado algumas saídas "ruins" e pedir que ele ajude você a reescrevê-las.

Aqui está um fluxo de trabalho simples:

• Reúna de 3 a 5 exemplos reais em que a resposta do agente foi muito longa, fora do tópico ou muito confiante.

• Pergunte ao agente o que deu errado: o escopo estava muito amplo? As regras sobre quando responder não estão claras?

• Peça que ele proponha instruções aprimoradas que adicionem tipos de perguntas dentro do escopo, regras de “não responder” ou um modelo de resposta.

• Teste as novas instruções nos mesmos exemplos e mantenha a menor alteração que resolva o problema.

Por exemplo, você pode colar uma resposta em que o Product Scout extraiu informações de um documento de RH não relacionado e dizer a ele: "Esta resposta fez referência a uma página fora dos Lançamentos de Produto. Como devo atualizar suas instruções para evitar isso?" O agente pode sugerir adicionar um limite como "Faça referência apenas a páginas na base de dados Lançamentos de Produtos."

Cada rodada de feedback ajuda você a identificar o que está faltando, e as instruções ficam mais precisas à medida que você avança.

As instruções originais do Product Scout eram amplas: "Responda a perguntas sobre produtos usando o conteúdo do espaço de trabalho." Após algumas rodadas de teste e feedback, elas ficaram muito mais precisas: "Responda usando as especificações do produto e o histórico do Slack. Se a resposta não estiver em nossos documentos, diga isso. Mantenha as respostas com menos de 3 parágrafos."

Antes de disponibilizar seu agente para sua equipe, teste-o você mesmo clicando em Executar agente na parte superior da sua página de configurações. Faça a ele os tipos de perguntas que sua equipe realmente faria e veja como ele responde.

O Insights oferece aos criadores e administradores do Agente Personalizado uma visão clara do custo, do desempenho e da adoção em nível de agente. É onde você identifica as execuções que estão custando mais, verifica se suas alterações estão funcionando e descobre quais erros corrigir primeiro.

O painel de controle do Insights tem duas visualizações:

• Gráficos mostra tendências de custo, desempenho e adoção ao longo do tempo.

• Todos os chats mostra uma visão detalhada da atividade do seu agente, incluindo status, gatilhos, créditos consumidos, número de execuções, modelo usado e muito mais.

Veja como colocar o Insights em prática:

• Meça o custo e o desempenho à medida que itera: verifique os créditos por execução, ajuste uma alavanca (instruções, modelo ou gatilhos) e depois compare os resultados ao longo do tempo. Esse ciclo de feedback mais curto é o que diz a você se uma alteração realmente fez a diferença.

• Otimize agentes de alto custo: comece pelo painel de controle de créditos para encontrar seus agentes de maior custo e use a visualização de Todos os chats para identificar as execuções mais caras e os padrões repetidos. As correções mais comuns são restringir o escopo e escolher um modelo mais adequado à tarefa.

• Solucione falhas de execução mais rapidamente: quando ocorre uma falha na execução, o Insights identifica a causa rapidamente, como uma chamada de ferramenta específica ou uma autorização ausente. Corrigir a causa raiz uma vez evita que a mesma falha na execução ocorra novamente.

Para ver como essas práticas funcionam com um agente diferente, assista a este passo a passo:

Os melhores Agentes Personalizados são moldados ao longo do tempo. Cada pequeno ajuste se acumula e, em pouco tempo, você tem um agente mais confiável, mais consistente e mais econômico.