Gli SLO danno agli errori degli agenti AI un budget misurabile
SLOs, o service level objectives, sono obiettivi concordati su quanto bene un sistema dovrebbe comportarsi, e Grafana Labs sostiene che possano essere applicati agli agenti AI nello stesso modo in cui da tempo vengono usati per uptime e affidabilità.
Il problema pratico è che i normali segnali di osservabilità non rispondono alla domanda più importante su un agente AI: se sia utile e sicuro. La latenza, cioè quanto tempo richiede una risposta, può apparire buona. I conteggi dei token, che misurano quanto testo elabora un modello AI, possono rimanere bassi. I tassi di errore e le trace, i registri passo per passo delle chiamate agli strumenti, possono sembrare tutti puliti. Eppure l’agente può comunque dare una risposta fluida, sicura e sbagliata.
Grafana Labs descrive questa lacuna come un punto cieco dell’affidabilità. Se i team non possono misurare la qualità dell’agente, ogni modifica al prompt, cambio di modello o rilascio diventa una scommessa. La risposta proposta è usare le evaluations, cioè controlli che assegnano un punteggio a conversazioni reali, singoli messaggi o singole chiamate agli strumenti. Un giudice, spesso un altro modello linguistico, esamina l’output e restituisce un risultato di superamento o fallimento, oppure una valutazione su una scala.
Queste valutazioni possono porre domande specifiche. La risposta era fondata sul contesto fornito, cioè si atteneva alle informazioni ricevute? Ha soddisfatto la richiesta dell’utente? Era tossica? Ha esposto informazioni personali? È caduta in una prompt injection, un trucco che cerca di far ignorare all’agente le sue istruzioni? In alcuni casi non serve alcun giudice AI: un’espressione regolare, una semplice regola di corrispondenza testuale, può rilevare se una risposta contiene qualcosa come una API key, cioè un codice segreto usato dal software per accedere a un servizio, oppure se nomina un concorrente.
Grafana Labs afferma che Agent Observability di Grafana Cloud può usare sia controlli deterministici, in cui lo stesso input dovrebbe sempre produrre lo stesso verdetto, sia giudici basati su modelli. La lezione più generale non è legata a un singolo strumento: la qualità dell’agente non è un unico numero. Un agente può essere fondato ma lento, utile ma occasionalmente tossico, oppure corretto ma troppo costoso da eseguire. Per questo motivo, Grafana Labs consiglia di misurare comportamenti separati come groundedness, fulfilment, tossicità, latenza e costo, invece di nasconderli dentro un punteggio di accuratezza combinato.
Il metodo di valutazione può essere semplice o più dettagliato. Un controllo superato o fallito può essere sufficiente per alcuni comportamenti. Per altri, una scala può essere più utile. Grafana Labs fa l’esempio di valutare la groundedness da uno a cinque, quindi considerare come superati i punteggi da quattro in su. Questo crea un tasso: la quota di conversazioni che ha superato la soglia scelta. Le sue dashboard possono mostrare esecuzioni, tasso di superamento, errori, valutatori, costo del giudice e tasso di superamento per valutatore. Il suo Assistant può anche creare una valutazione per un comportamento scelto e poi creare e abilitare regole di valutazione specifiche per un agente.
Un numero su una dashboard non è ancora una decisione. È qui che uno SLO cambia il modello operativo. Grafana Labs fa l’esempio di misurare la frazione di conversazioni che un giudice contrassegna come soddisfatte e di fissare un obiettivo del 95% di richieste soddisfatte su 30 giorni. Il restante 5% diventa l’error budget, cioè la quantità di inaffidabilità che il team ha deciso di poter tollerare durante quel periodo.
Questa impostazione conta perché cambia il modo in cui agiscono i team. Se il budget è in buona salute, un team può testare un prompt ambizioso o un nuovo modello con un certo margine di errore. Se il budget è quasi esaurito, il segnale è rallentare il lavoro sulle funzionalità e migliorare la qualità. Grafana Labs osserva anche che una modifica può essere riprodotta su conversazioni note prima del rilascio, così un prompt o un modello che compromette un comportamento misurato viene intercettato prima di arrivare agli utenti.
L’approccio è particolarmente rilevante perché i fallimenti degli agenti non sono sempre clamorosi. Un breve picco di conversazioni scadenti può essere visibile e può incidere appena su un budget di 30 giorni. Il modello più pericoloso è un degrado lento: un piccolo calo costante in cui nessuna singola risposta appare allarmante, ma la qualità si consuma nel tempo. Grafana Labs elenca possibili cause tra cui un prompt diventato obsoleto, un aggiornamento del modello che è leggermente peggiore per il caso d’uso, oppure utenti che gradualmente pongono tipi di domande diversi. Poiché le risposte degli agenti possono restare plausibili mentre deviano, soglie semplici possono non cogliere il problema. Un budget misura l’accumulo.
Scegliere il primo obiettivo è la parte difficile. Grafana Labs dice che i team non devono inventarlo subito. Una volta che le valutazioni sono state eseguite abbastanza a lungo da costruire un campione utile, Assistant può raccomandare obiettivi SLO basati sui punteggi osservati nell’ambiente Grafana Cloud del cliente e può creare SLO a partire da quelle misurazioni. I team possono poi rendere l’obiettivo più stretto o più permissivo. Grafana Labs contrappone un agente giovane che entra in una nuova area, che può accettare una probabilità da lancio di moneta di mancare il proprio obiettivo, a un agente rivolto a clienti paganti, che può volere solo una probabilità del 5% di sforare.
Per i team IT e business, il punto trasferibile è chiaro: trattare il comportamento degli agenti AI come un problema di affidabilità operativa, non solo come una discussione sulla qualità del modello. Scegliere i comportamenti che contano, misurarli separatamente, fissare obiettivi espliciti e usare l’error budget come linguaggio condiviso tra team di prodotto e ingegneri reperibili. Per le organizzazioni che applicano una disciplina simile su tutta l’infrastruttura, AEU-I è rilevante come IT, infrastruttura e consulenza con la sicurezza al primo posto.
La lezione non è che ogni agente abbia bisogno dello stesso obiettivo, giudice o dashboard. È che una fiducia vaga è un pessimo sostituto di un comportamento misurato. Le valutazioni rendono visibile l’output dell’agente, gli SLO trasformano quelle misurazioni in impegni, e gli error budget aiutano i team a decidere quando sperimentare e quando fermarsi per correggere la qualità.