Best Practices zur Verbesserung deines Custom Agent

Die Leistung deines Agents hängt von drei Faktoren ab: dem Modell, auf dem er ausgeführt wird, der Konfiguration seiner Auslöser und seines Umfangs sowie der Formulierung seiner Anweisungen. Wenn du einen dieser Faktoren anpasst, kann dein Agent zuverlässiger, konsistenter und kosteneffizienter werden.

In dieser Anleitung erfährst du, wie du:

• Wähle ein Modell aus, das zur Aufgabe passt

• Lege die Auslöser und den Umfang deines Agents fest

• Lass deinen Agent dir dabei helfen, sich selbst zu debuggen und zu optimieren

Product Scout ist ein Custom Agent, der erstellt wurde, um interne Produktfragen zu beantworten. Seine Aufgabe ist es, Teammitgliedern zu helfen, schnelle und genaue Antworten zu erhalten, wie z. B. „Unterstützt Funktion X Massenexporte?“, indem er Dokumente und frühere Gespräche durchsucht.

Derzeit wird Product Scout bei jeder Nachricht in einem Slack-Kanal ausgelöst, durchsucht den gesamten Workspace nach Kontext und läuft auf dem leistungsstärksten verfügbaren Modell. Es funktioniert, aber drei Dinge fallen auf: Die Antworten sind nicht immer stimmig, er wird öfter als nötig ausgeführt und es gibt Spielraum, um Kosten zu senken. Wir werden ihn in dieser Anleitung einsetzen, um zu zeigen, wie die Anpassungen in der Praxis aussehen.

Mit Notion kannst du auswählen, auf welchem Modell dein Custom Agent ausgeführt wird, und diese Auswahl ist eine der größten Stellschrauben zur Kostenregulierung. Das Ziel ist nicht, das leistungsstärkste verfügbare Modell auszuwählen. Es geht darum, das Modell zu finden, das dir durchweg Ergebnisse liefert, die deinen Qualitätsansprüchen entsprechen.

Wenn du ein Modell auswählst, fahre mit dem Mauszeiger über jede Option in der Modellauswahl, um Geschwindigkeit, Intelligenz und Kosten zu vergleichen.

Hier ist ein allgemeiner Rahmen:

• Mit Auto kann Notion das beste Modell für jede Anfrage auswählen. Dies ist die empfohlene Standardeinstellung für die meisten Agents.

• Einfache Modelle eignen sich hervorragend für repetitive Workflows mit geringerem Risiko, wie z. B. die routinemäßige Erstellung von Entwürfen, einfaches Routing und Triage oder die Erstellung strukturierter Inhalte. Sie sind eine gute Wahl, wenn Geschwindigkeit, Konsistenz und Kosteneffizienz wichtiger sind als komplexes Denken.

• Leistungsstarke Modelle (z. B. Opus) eignen sich am besten für Aufgaben, die differenziertes Schreiben, komplexes Denken oder hohe Genauigkeit erfordern, aber sie verbrauchen mehr Guthaben pro Ausführung.

Teste ein paar verschiedene Modelle, um zu sehen, welches durchweg deinen Qualitätsansprüchen entspricht. Wenn die Qualität der Ausgabe mit zunehmender Komplexität der Aufgabe abnimmt, kannst du jederzeit zu einem leistungsstärkeren Modell wechseln.

Product Scout lief ursprünglich auf dem leistungsstärksten verfügbaren Modell. Aber seine Hauptaufgabe, relevante Dokumente zu finden und zusammenzufassen, erfordert kein komplexes Denken. Der Wechsel zu einem einfacheren Modell reduzierte die Kosten, ohne dass es zu Qualitätsverlusten kam.

Die Auslöser und der Umfang deines Agents greifen ineinander. Auslöser steuern, wann er ausgeführt wird. Der Umfang bestimmt, was er liest. Wenn einer der beiden Faktoren zu weit gefasst ist, verbrauchst du Guthaben für Ausführungen, die ungenaue oder irrelevante Ergebnisse liefern.

Ein guter Auslöser arbeitet häufig genug, um nützlich zu sein, und spezifisch genug, um nur bei Bedarf ausgeführt zu werden. Jedes Mal, wenn dein Agent ausgelöst wird, verbraucht er Guthaben, auch wenn keine Maßnahmen ergriffen werden. Richte deinen Auslöser auf die Momente aus, in denen die Hilfe des Agents tatsächlich benötigt wird.

Product Scout wurde so eingerichtet, dass er bei jeder Nachricht in #product-questions ausgelöst wurde, einschließlich Antworten, Reaktionen und „Danke!“ Das bedeutete, Guthaben für Ausführungen zu verbrauchen, die nichts Nützliches erbrachten.

Beginne damit, zu definieren, wann dein Agent eingreifen soll:

• Welche Fragen soll dieser Agent beantworten? Definiere die kleine Gruppe von Fragentypen, die den Agent auslösen sollen, und notiere einige Beispiele.

• Was soll er ignorieren? Reaktionen, „Danke“, allgemeines Geplauder und Nachrichten, die nichts mit dem Thema zu tun haben, sollten keine Ausführung auslösen.

Sobald du diese Grenzen definiert hast, passe deine Auslöser entsprechend an. Beschränke deinen Auslöser beispielsweise auf @-Erwähnungen, filtere nach Schlüsselwörtern oder erstelle Auslöser für eine bestimmte Eigenschaftsänderung und nicht für jede Bearbeitung.

Wenn du den Auslöser von Product Scout auf @-Erwähnungen umstellst, wird er nur ausgeführt, wenn jemand ihm tatsächlich eine Frage stellt.

Dein Agent liest alles, auf das du ihm Zugriff gewährst. Wenn dieser Bereich weit gefasst ist, durchforstet er viele irrelevante Informationen, und die Qualität der Ausgabe leidet darunter.

Product Scout durchsuchte den gesamten Workspace und alle damit verbundenen Tools: Marketingseiten, HR-Dokumente, alte Meeting-Notizen und monatelange Slack-Verläufe aus Kanälen, die für die Frage irrelevant sind. Keine dieser Quellen enthält Produktantworten, aber der Agent hat sie trotzdem durchgelesen. Das führte zu ungenauen Ergebnissen und weniger konsistenten Antworten.

So legst du den Umfang für deinen eigenen Agent fest:

• Beginne damit, wo die Antworten tatsächlich zu finden sind: Wenn dein Agent Produktfragen beantwortet, verbinde ihn mit deinen Produktdokumenten und relevanten Slack-Kanälen, nicht mit deinem gesamten Workspace und jedem verbundenen Tool.

• Füge keinen Kontext „nur für den Fall“ hinzu: Jede zusätzliche Seite, Datenbank oder jeder zusätzliche Kanal bedeutet mehr Inhalte, die dein Agent durchsuchen muss. Wenn eine Quelle nicht regelmäßig nützliche Antworten enthält, entferne sie.

• Wenn dein Agent immer noch zu viele irrelevante Themen abdeckt, teile ihn in zwei fokussierte Agents auf: Ein Agent, der sowohl Produktfragen als auch Abrechnungsanfragen bearbeitet, erledigt zwei Aufgaben. Zwei separate Agents mit engem Aufgabenbereich liefern dir jeweils bessere Ergebnisse.

Die Eingrenzung des Anwendungsbereichs von Product Scout auf die Produkt-Launch-Datenbank und den Slack-Verlauf #produkt-fragen gab dem Agent ein klareres Bild davon, wo er suchen musste. Die Antworten wurden stimmiger, da der Agent weniger Informationen durchsuchen musste.

Du musst deine Anweisungen nicht gleich beim ersten Versuch richtig formulieren. Der schnellste Weg, sie zu verbessern, besteht darin, deinem Custom Agent einige „schlechte“ Ergebnisse zu zeigen und ihn zu bitten, dir zu helfen, sie neu zu schreiben.

Hier ist ein einfacher Workflow:

• Sammle 3 bis 5 echte Beispiele, bei denen die Antwort des Agents zu lang, nicht zum Thema gehörend oder zu selbstsicher war.

• Frage den Agent, was schiefgelaufen ist: War der Bereich zu weit gefasst? Sind die Regeln, wann geantwortet werden soll, unklar?

• Lass ihn verbesserte Anweisungen vorschlagen, die Fragentypen, die den Agent auslösen sollen, „Nicht antworten“-Regeln oder eine Antwortvorlage hinzufügen.

• Teste die neuen Anweisungen an denselben Beispielen und behalte die kleinste Änderung, die das Problem behebt.

Du kannst zum Beispiel eine Antwort einfügen, bei der Product Scout Informationen aus einem irrelevanten HR-Dokument bezogen hat, und ihm sagen: „Diese Antwort verwies auf eine Seite außerhalb von Produkt-Launches. Wie sollte ich deine Anweisungen anpassen, um das zu verhindern?“ Der Agent könnte vorschlagen, eine Einschränkung hinzuzufügen, wie z. B. „Nur Seiten aus der Produkt-Launch-Datenbank verwenden“.

Jede Feedback-Runde hilft dir, zu erkennen, was fehlt, und die Anweisungen werden im Laufe der Zeit präziser.

Die ursprünglichen Anweisungen von Product Scout waren weit gefasst: „Beantworte Produktfragen anhand von Workspace-Inhalten.“ Nach ein paar Test- und Feedbackrunden wurden sie viel präziser: „Antworte mithilfe der Produktspezifikationen und des Slack-Verlaufs. Wenn die Antwort nicht in unseren Dokumenten zu finden ist, gib dies an. Die Antworten sollen maximal 3 Absätze umfassen.“

Bevor du deinen Agent für dein Team freigibst, teste ihn selbst, indem du oben auf deiner Einstellungsseite auf Agent ausführen klickst. Stelle ihm die Art von Fragen, die dein Team tatsächlich stellen würde, und sieh dir an, wie er reagiert.

Insights bietet Custom-Agent-Creators und Admins einen klaren Überblick über Kosten, Leistung und Akzeptanz auf Agent-Ebene. Hier kannst du sehen, welche Ausführungen am meisten kosten, prüfen, ob deine Änderungen funktionieren, und herausfinden, welche Fehler zuerst behoben werden müssen.

Das Insights-Dashboard enthält zwei Ansichten:

• In Diagramme kannst du Trends bei Kosten, Leistung und Akzeptanz im Zeitverlauf sehen.

• In Alle Chats kannst du die Aktivitäten deines Agents im Detail sehen, darunter Status, Auslöser, verbrauchtes Guthaben, Anzahl der Ausführungen und eingesetztes Modell.

So setzt du Insights in der Praxis ein:

• Kosten und Leistung während der Iteration messen: Überprüfe das Guthaben pro Ausführung, passe einen Hebel an (Anweisungen, Modell oder Auslöser) und vergleiche anschließend die Ergebnisse im Zeitverlauf. Dieser verkürzte Feedbackzyklus zeigt dir, ob eine Änderung tatsächlich die gewünschte Wirkung entfaltet.

• Kostenintensive Custom Agents optimieren: Ermittle zuerst im Guthaben-Dashboard die Agents mit den höchsten Ausgaben. Öffne dann die Ansicht „Alle Chats“, um die kostspieligsten Ausführungen und wiederkehrende Muster zu erkennen. Die häufigsten Lösungen sind die Verringerung des Anwendungsbereichs und die Umstellung auf ein Modell, das sich besser für die Aufgabe eignet.

• Fehlgeschlagene Ausführungen schneller korrigieren: Wenn eine Ausführung fehlschlägt, weist dich Insights direkt auf die Ursache hin, z. B. einen spezifischen Tool-Aufruf oder eine fehlende Berechtigung. Wird das zugrunde liegende Problem behoben, lässt sich ein erneutes Auftreten des Fehlers verhindern.

Sieh dir diese Anleitung an, um zu sehen, wie diese Vorgehensweisen bei einem anderen Agent aussehen:

Die besten Custom Agents werden im Laufe der Zeit präzisiert. Jede kleine Anpassung wirkt sich aus, und schon bald hast du einen Agent, der zuverlässiger, konsistenter und kosteneffizienter ist.