SLOs geben Fehlern von KI-Agenten ein messbares Budget
SLOs, oder Service Level Objectives, sind vereinbarte Ziele dafür, wie gut sich ein System verhalten soll. Grafana Labs argumentiert, dass sie auf KI-Agenten genauso angewendet werden können, wie sie seit Langem für Verfügbarkeit und Zuverlässigkeit genutzt werden.
Das praktische Problem ist, dass normale Observability-Signale die wichtigste Frage zu einem KI-Agenten nicht beantworten: ob er nützlich und sicher ist. Die Latenz, also wie lange eine Antwort dauert, kann gut aussehen. Token-Zahlen, die messen, wie viel Text ein KI-Modell verarbeitet, können niedrig bleiben. Fehlerraten und Traces, also die Schritt-für-Schritt-Aufzeichnungen von Tool-Aufrufen, können alle sauber aussehen. Trotzdem kann der Agent eine Antwort geben, die flüssig, selbstbewusst und falsch ist.
Grafana Labs beschreibt diese Lücke als blinden Fleck bei der Zuverlässigkeit. Wenn Teams die Qualität von Agenten nicht messen können, wird jede Änderung am Prompt, jedes Modell-Update und jedes Release zu einer Vermutung. Die vorgeschlagene Antwort besteht darin, evaluations zu nutzen, also Prüfungen, die echte Gespräche, einzelne Nachrichten oder einzelne Tool-Aufrufe bewerten. Ein Judge, häufig ein anderes Sprachmodell, überprüft die Ausgabe und liefert entweder ein Bestehen- oder Nichtbestehen-Ergebnis oder eine Bewertung auf einer Skala zurück.
Diese Bewertungen können konkrete Fragen stellen. War die Antwort im bereitgestellten Kontext verankert, hat sie sich also an die Informationen gehalten, die ihr gegeben wurden? Hat sie die Anfrage des Nutzers erfüllt? War sie toxisch? Hat sie personenbezogene Informationen offengelegt? Ist sie auf eine Prompt Injection hereingefallen, also einen Trick, der versucht, den Agenten dazu zu bringen, seine Anweisungen zu ignorieren? In manchen Fällen ist kein KI-Judge nötig: Ein regulärer Ausdruck, also eine einfache Regel zum Textabgleich, kann erkennen, ob eine Antwort etwas wie einen API key enthält, also einen geheimen Code, den Software verwendet, um auf einen Dienst zuzugreifen, oder ob sie einen Wettbewerber nennt.
Grafana Labs sagt, dass Grafana Cloud’s Agent Observability sowohl deterministische Prüfungen nutzen kann, bei denen dieselbe Eingabe immer zum selben Urteil führen sollte, als auch modellbasierte Judges. Die allgemeinere Lehre ist nicht an ein bestimmtes Tool gebunden: Agentenqualität ist keine einzelne Zahl. Ein Agent kann gut im Kontext verankert, aber langsam sein, hilfreich, aber gelegentlich toxisch, oder korrekt, aber zu teuer im Betrieb. Aus diesem Grund empfiehlt Grafana Labs, einzelne Verhaltensweisen wie Kontexttreue, Erfüllung, Toxizität, Latenz und Kosten getrennt zu messen, statt sie in einer gemischten Genauigkeitsbewertung zu verstecken.
Die Bewertungsmethode kann einfach oder detaillierter sein. Für manche Verhaltensweisen kann eine Prüfung auf bestanden oder nicht bestanden ausreichen. Für andere kann eine Skala nützlicher sein. Grafana Labs nennt das Beispiel, die Kontexttreue von eins bis fünf zu bewerten und dann Werte von vier und höher als bestanden zu behandeln. Dadurch entsteht eine Rate: der Anteil der Gespräche, die die gewählte Schwelle überschritten haben. Die Dashboards können Ausführungen, Bestehensquote, Fehler, Evaluatoren, Judge-Kosten und Bestehensquote nach Evaluator anzeigen. Der Assistant kann außerdem eine Bewertung für ein ausgewähltes Verhalten erstellen und anschließend agentenspezifische Bewertungsregeln erstellen und aktivieren.
Eine Zahl auf einem Dashboard ist noch keine Entscheidung. Genau hier verändert ein SLO das Betriebsmodell. Grafana Labs nennt das Beispiel, den Anteil der Gespräche zu messen, die ein Judge als erfüllt markiert, und ein Ziel von 95 % erfüllten Gesprächen über 30 Tage festzulegen. Die verbleibenden 5 % werden zum Error Budget, also zu dem Maß an Unzuverlässigkeit, das das Team in diesem Zeitraum nach eigener Entscheidung tolerieren kann.
Dieser Rahmen ist wichtig, weil er verändert, wie Teams handeln. Wenn das Budget gesund ist, kann ein Team einen ambitionierten Prompt oder ein neues Modell mit etwas Spielraum für Fehler testen. Wenn das Budget fast aufgebraucht ist, ist das Signal, die Funktionsentwicklung zu verlangsamen und die Qualität zu verbessern. Grafana Labs weist außerdem darauf hin, dass eine Änderung vor der Veröffentlichung mit bekannten Gesprächen erneut durchgespielt werden kann, sodass ein Prompt oder Modell, das ein gemessenes Verhalten verschlechtert, erkannt wird, bevor es Nutzer erreicht.
Der Ansatz ist besonders relevant, weil Fehler von Agenten nicht immer dramatisch sind. Ein kurzer Anstieg schlechter Gespräche kann sichtbar sein und ein 30-Tage-Budget kaum beeinträchtigen. Das gefährlichere Muster ist ein langsames Schwelen: ein kleiner, stetiger Rückgang, bei dem keine einzelne Antwort alarmierend aussieht, die Qualität aber mit der Zeit abnimmt. Grafana Labs nennt mögliche Ursachen, darunter ein veralteter Prompt, ein Modell-Upgrade, das für den Anwendungsfall subtil schlechter ist, oder Nutzer, die nach und nach andere Arten von Fragen stellen. Da Antworten von Agenten plausibel bleiben können, während sie abdriften, können einfache Schwellenwerte das Problem übersehen. Ein Budget misst die Anhäufung.
Das erste Ziel auszuwählen, ist der schwierige Teil. Grafana Labs sagt, dass Teams es nicht sofort erfinden müssen. Sobald Bewertungen lange genug gelaufen sind, um eine nützliche Stichprobe aufzubauen, kann Assistant auf Grundlage der beobachteten Werte in der Grafana Cloud-Umgebung des Kunden SLO-Ziele empfehlen und aus diesen Messungen SLOs erstellen. Teams können das Ziel anschließend verschärfen oder lockern. Grafana Labs stellt einen jungen Agenten, der in einen neuen Bereich einsteigt und möglicherweise eine fifty-fifty-Chance akzeptiert, sein Ziel zu verfehlen, einem Agenten gegenüber, der zahlenden Kunden gegenübertritt und vielleicht nur eine 5-prozentige Wahrscheinlichkeit für ein Abrutschen zulassen möchte.
Für IT- und Business-Teams ist der übertragbare Punkt klar: Behandeln Sie das Verhalten von KI-Agenten als Frage der operativen Zuverlässigkeit, nicht nur als Diskussion über Modellqualität. Wählen Sie die relevanten Verhaltensweisen aus, messen Sie sie getrennt, setzen Sie explizite Ziele und nutzen Sie das Error Budget als gemeinsame Sprache zwischen Produktteams und Bereitschaftsingenieuren. Für Organisationen, die eine ähnliche Disziplin auf Infrastruktur anwenden, ist AEU-I als sicherheitsorientierte IT, Infrastruktur und Beratung relevant.
Die Lehre ist nicht, dass jeder Agent dasselbe Ziel, denselben Judge oder dasselbe Dashboard braucht. Sie lautet, dass vages Vertrauen ein schlechter Ersatz für gemessenes Verhalten ist. Bewertungen machen die Ausgabe von Agenten sichtbar, SLOs verwandeln diese Messungen in Verpflichtungen, und Error Budgets helfen Teams zu entscheiden, wann sie experimentieren und wann sie anhalten und die Qualität verbessern sollten.