SLO-të u japin gabimeve të agjentëve AI një buxhet të matshëm
SLO-të, ose objektivat e nivelit të shërbimit, janë objektiva të rëna dakord për sa mirë duhet të sillet një sistem, dhe Grafana Labs argumenton se ato mund të zbatohen për agjentët AI në të njëjtën mënyrë siç janë përdorur prej kohësh për kohën e funksionimit dhe besueshmërinë.
Problemi praktik është se sinjalet normale të observability nuk i përgjigjen pyetjes më të rëndësishme për një agjent AI: nëse është i dobishëm dhe i sigurt. Latenca, që do të thotë sa kohë merr një përgjigje, mund të duket e mirë. Numërimet e tokenëve, që matin sa tekst përpunon një model AI, mund të mbeten të ulëta. Normat e gabimeve dhe gjurmët, regjistrimet hap pas hapi të thirrjeve të mjeteve, mund të duken të gjitha të pastra. Megjithatë agjenti mund të japë ende një përgjigje që është e rrjedhshme, e sigurt në ton dhe e gabuar.
Grafana Labs e përshkruan këtë boshllëk si një pikë të verbër të besueshmërisë. Nëse ekipet nuk mund të matin cilësinë e agjentit, çdo ndryshim prompt-i, ndryshim modeli ose publikim bëhet hamendësim. Përgjigjja e propozuar është përdorimi i evaluations, që janë kontrolle që vlerësojnë biseda reale, mesazhe të vetme ose thirrje individuale të mjeteve. Një gjykues, shpesh një model tjetër gjuhësor, shqyrton daljen dhe kthen ose një rezultat kalon/dështon, ose një vlerësim në një shkallë.
Këto vlerësime mund të bëjnë pyetje specifike. A ishte përgjigjja e mbështetur në kontekstin e dhënë, pra a iu përmbajt informacionit që iu dha? A e përmbushi kërkesën e përdoruesit? A ishte toksike? A ekspozoi informacion personal? A ra pre e një prompt injection, një truk që përpiqet ta bëjë agjentin të shpërfillë udhëzimet e tij? Në disa raste, nuk nevojitet gjykues AI: një shprehje e rregullt, një rregull i thjeshtë për përputhje teksti, mund të zbulojë nëse një përgjigje përmban diçka si një API key, që është një kod sekret i përdorur nga softueri për të hyrë në një shërbim, ose nëse përmend emrin e një konkurrenti.
Grafana Labs thotë se Agent Observability i Grafana Cloud mund të përdorë si kontrolle deterministike, ku i njëjti input duhet të prodhojë gjithmonë të njëjtin verdikt, ashtu edhe gjykues të bazuar në model. Mësimi më i përgjithshëm nuk lidhet me një mjet të vetëm: cilësia e agjentit nuk është një numër i vetëm. Një agjent mund të jetë i bazuar në kontekst por i ngadaltë, i dobishëm por herë pas here toksik, ose i saktë por tepër i kushtueshëm për t’u ekzekutuar. Për këtë arsye, Grafana Labs rekomandon matjen e sjelljeve të veçanta si mbështetja në kontekst, përmbushja, toksiciteti, latenca dhe kostoja, në vend që ato të fshihen brenda një rezultati të përzier saktësie.
Metoda e vlerësimit mund të jetë e thjeshtë ose më e hollësishme. Një kontroll kalon ose dështon mund të jetë i mjaftueshëm për disa sjellje. Për të tjera, një shkallë mund të jetë më e dobishme. Grafana Labs jep shembullin e vlerësimit të mbështetjes në kontekst nga një deri në pesë, pastaj trajtimin e rezultateve katër e lart si kalim. Kjo krijon një normë: pjesën e bisedave që e kaluan pragun e zgjedhur. Panelet e saj mund të tregojnë ekzekutimet, normën e kalimit, dështimet, vlerësuesit, koston e gjykuesit dhe normën e kalimit sipas vlerësuesit. Assistant i saj gjithashtu mund të krijojë një vlerësim për një sjellje të zgjedhur dhe më pas të krijojë dhe aktivizojë rregulla vlerësimi specifike për një agjent.
Një numër në një panel ende nuk është vendim. Këtu një SLO ndryshon modelin operacional. Grafana Labs jep shembullin e matjes së përqindjes së bisedave që një gjykues i shënon si të përmbushura dhe vendosjes së një objektivi prej 95% të përmbushura gjatë 30 ditëve. 5% e mbetur bëhet buxheti i gabimeve, që do të thotë sasia e mosbesueshmërisë që ekipi ka vendosur se mund ta tolerojë gjatë asaj periudhe.
Kjo kornizë ka rëndësi sepse ndryshon mënyrën se si veprojnë ekipet. Nëse buxheti është i shëndetshëm, një ekip mund të testojë një prompt ambicioz ose një model të ri me pak hapësirë për dështim. Nëse buxheti është gati i shpenzuar, sinjali është të ngadalësohet puna me veçoritë dhe të përmirësohet cilësia. Grafana Labs vëren gjithashtu se një ndryshim mund të riluhet kundrejt bisedave të njohura përpara publikimit, në mënyrë që një prompt ose model që prish një sjellje të matur të kapet përpara se të arrijë te përdoruesit.
Qasja është veçanërisht e rëndësishme sepse dështimet e agjentëve nuk janë gjithmonë dramatike. Një rritje e shkurtër e bisedave të këqija mund të jetë e dukshme dhe mund të ndikojë fare pak në një buxhet 30-ditor. Modeli më i rrezikshëm është djegia e ngadaltë: një rënie e vogël dhe e qëndrueshme ku asnjë përgjigje e vetme nuk duket alarmante, por cilësia zbrazet me kalimin e kohës. Grafana Labs rendit shkaqe të mundshme, përfshirë një prompt që është vjetruar, një përmirësim modeli që është në mënyrë të lehtë më i dobët për rastin e përdorimit, ose përdorues që gradualisht bëjnë lloje të ndryshme pyetjesh. Për shkak se përgjigjet e agjentëve mund të mbeten të besueshme në dukje ndërsa devijojnë, pragjet e thjeshta mund ta humbasin problemin. Një buxhet mat grumbullimin.
Zgjedhja e objektivit të parë është pjesa e vështirë. Grafana Labs thotë se ekipet nuk kanë nevojë ta shpikin menjëherë. Pasi vlerësimet të kenë funksionuar mjaftueshëm për të ndërtuar një kampion të dobishëm, Assistant mund të rekomandojë objektiva SLO bazuar në rezultatet e vëzhguara në mjedisin Grafana Cloud të klientit dhe mund të krijojë SLO nga ato matje. Ekipet pastaj mund ta shtrëngojnë ose ta lirojnë objektivin. Grafana Labs krahason një agjent të ri që hyn në një fushë të re, i cili mund të pranojë një shans si hedhje monedhe për të mos arritur objektivin, me një agjent përballë klientëve që paguajnë, i cili mund të dëshirojë vetëm 5% shans për një rrëshqitje.
Për ekipet e IT-së dhe të biznesit, pika e transferueshme është e qartë: trajtojeni sjelljen e agjentit AI si një çështje besueshmërie operacionale, jo thjesht si një diskutim për cilësinë e modelit. Zgjidhni sjelljet që kanë rëndësi, matini veçmas, vendosni objektiva të qarta dhe përdorni buxhetin e gabimeve si gjuhë të përbashkët midis ekipeve të produktit dhe inxhinierëve në gatishmëri. Për organizatat që zbatojnë një disiplinë të ngjashme në infrastrukturë, AEU-I është i rëndësishëm si IT, infrastrukturë dhe konsulencë me sigurinë në plan të parë.
Mësimi nuk është se çdo agjent ka nevojë për të njëjtin objektiv, gjykues ose panel. Është se besimi i paqartë është një zëvendësues i dobët për sjelljen e matur. Evaluations e bëjnë të dukshme daljen e agjentit, SLO-të i kthejnë ato matje në angazhime, dhe buxhetet e gabimeve i ndihmojnë ekipet të vendosin kur të eksperimentojnë dhe kur të ndalen e të rregullojnë cilësinë.