LLM-të më të vogla përputhen me të mëdhatë për detyrat e DBA me kosto më të ulët
Modelet më të vogla të gjuhës me peshë të hapur (LLM) tashmë mund të kryejnë detyrat e administrimit të bazës së të dhënave (DBA) po aq mirë sa modelet shumë më të mëdha, ndërsa kushtojnë sa një e dhjeta e kostos për çdo ekzekutim, sipas një benchmark-u të publikuar nga Percona më 17 shtator 2026. Vadim Tkachenko, autori i vlerësimit, ndërtoi një mjet që lejon LLM-të e ndryshme të kryejnë punë reale DBA në servera të largët dhe i raporton rezultatet hapur.
Mjeti, i quajtur DBA AI Benchmark, ndjek një cikël të thjeshtë. Ai merr një detyrë si 'Instalo shpërndarjen e Percona të bazës së të dhënave relacionale me burim të hapur, versioni 8.4', ia dërgon atë detyrë LLM-së së zgjedhur dhe i kërkon modelit ta përkthejë kërkesën në operacione të linjës së komandës ose skripta Bash. Më pas mjeti i ekzekuton ato komanda përmes SSH (Secure Shell, një protokoll për ekzekutim të sigurt të komandave në një server të largët) në një sistem të synuar, i dërgon daljen e komandës, gabimet dhe gjendjen e sistemit modelit dhe e lejon modelin të vendosë çfarë të bëjë më pas. Procesi përsëritet derisa detyra të përfundojë, të ndodhë një afat kohor, të arrihet numri maksimal i hapave ose të goditet një kufi i konfiguruar i kostos. Projekti është i disponueshëm në GitHub nën Percona-Lab/dbaai_bench.
Tkachenko po teston tetë modele në dy grupe. Modelet e rënda, me madhësi të plotë janë qwen/qwen3.8-max, moonshotai/kimi-k3, z-ai/glm-5.3 dhe deepseek/deepseek-v4-pro-0813. Modelet më të lehta ose flash janë deepseek/deepseek-v4-flash-0731, qwen/qwen3.8-27b, meta/muse-glimmer-30b dhe google/gemma-4-31b-it. Të gjitha kërkesat dhe përgjigjet menaxhohen përmes OpenRouter. Autori thotë se fokusi i tij kryesor është te modelet me peshë të hapur, parametrat e trajnuar të të cilave janë publikisht të disponueshëm, sepse ato ofrojnë fleksibilitet vendosjeje dhe efikasitet kostoje, dhe sepse kostot e token-ave të tyre janë shpesh dukshëm më të ulëta se ato të modeleve të mbyllura kufitare. Kjo ka rëndësi për ngarkesat e automatizimit ku një agjent mund të ketë nevojë për dhjetëra ndërveprime për të përfunduar një detyrë të vetme.
Një shembull ekzekutimi në postim lanson mjetin kundër dy hosteve me qwen/qwen3.8-max, detyrën 'Instalo replikimin e bazës së të dhënave relacionale me burim të hapur versioni 9.7 me trafik të koduar', një maksimum prej 200 hapash dhe modalitet pa mbikëqyrje. Modeli është përgjegjës për interpretimin e kërkesës, zgjedhjen e komandave, reagimin ndaj gabimeve dhe vendosjen se kur detyra ka përfunduar. Nëpër teste, pothuajse të gjitha modelet i ekzekutuan me sukses detyrat, me vetëm disa përjashtime individuale. Një gjetje e habitshme është se modelet më të vogla dhe më të lira janë shpesh po aq të afta sa modelet shumë më të mëdha; ndryshimi kryesor është zakonisht numri i hapave. Modelet më të vogla mund të kërkojnë më shumë përsëritje për të arritur një konfigurim të saktë, por kostoja e tyre e përgjithshme mund të jetë ende dramatikisht më e ulët. Në disa teste, modelet më të vogla e përfunduan të njëjtën punë me afërsisht një të dhjetën e kostos së modeleve më të mëdha.
Një tabelë e detajuar e renditjes për një detyrë replikimi e tregon këtë qartë. Detyra u kërkoi modeleve të instalonin shpërndarjen e Percona të bazës së të dhënave relacionale me burim të hapur, versioni 8.4 në dy servera të sapondërtuar, të vendosnin replikimin në mënyrë që një primar të pranojë shkrime dhe një replikë të ndjekë, të drejtonin trafikun e replikimit përmes rrjetit privat dhe ta bënin replikën të refuzojë shkrimet e veta. Rezultatet: deepseek/deepseek-v4-flash-0731 arriti 100% rezultate të pastra në 35 hapa me $0.0082; deepseek/deepseek-v4-pro-0813 arriti 100% në 27 hapa me $0.2639; meta/muse-glimmer-30b arriti 100% në 74 hapa me $0.0479; moonshotai/kimi-k3 arriti 100% në 17 hapa me $0.2888; qwen/qwen3.8-max arriti 100% në 22 hapa me $0.4200; z-ai/glm-5.3 arriti 100% në 20 hapa me $0.2176; google/gemma-4-31b-it arriti 94% pa asnjë ekzekutim të pastër pas 46 hapash me $0.0289; dhe qwen/qwen3.8-27b mbaroi kohën me 0% pas 78 hapash me $0.5116. Krahasimi i kostos është veçanërisht udhëzues. meta/muse-glimmer-30b kishte nevojë për 74 hapa por kushtoi vetëm $0.0479, ndërsa qwen/qwen3.8-max kishte nevojë për vetëm 22 hapa por kushtoi $0.4200, dhe deepseek-v4-flash përfundoi në 35 hapa për vetëm $0.0082. Në ngarkesat e infrastrukturës agentike, modeli që përdor më pak hapa nuk është domosdoshmërisht më ekonomiku.
Tkachenko gjithashtu testoi se si modelet i trajtojnë kërkesat që nuk mund të përmbushen saktësisht. Kur iu kërkua të instalonte versionin 9.7 të bazës së të dhënave relacionale me burim të hapur, deepseek-v4-pro-0813 u përgjigj se versioni 8.4 i asaj baze të dhënash ishte i disponueshëm, jo 9.7 siç u kërkua, por se 8.4 është ajo që ofron Ubuntu, kështu që do të përdorte atë version, dhe instaloi serverin e bazës së të dhënave në nyjen primare. Në vend që të dështonte, modeli e interpretoi situatën, zgjodhi një version të disponueshëm dhe vazhdoi. Nëse kjo sjellje është e dëshirueshme varet nga skenari i automatizimit, por tregon se automatizimi i infrastrukturës i drejtuar nga LLM mund të marrë vendime operacionale në vend që të ndjekë verbërisht udhëzimet. Kjo e bën validimin dhe mbrojtëset veçanërisht të rëndësishme. Në një test tjetër të qëllimshëm, autori u kërkoi modeleve të instalonin shpërndarjen e Percona të bazës së të dhënave relacionale me burim të hapur, versioni 9.7.2, një version që nuk ekziston. Shumica e modeleve vendosën të instalonin versionin më të afërt të disponueshëm, 9.7.1, ndërsa DeepSeek e përfundoi ekzekutimin pa kryer një instalim. Këto raste ekspozojnë se si një model arsyeton rreth paqartësisë, softuerit të padisponueshëm, kërkesave konfliktuale dhe nëse duhet të modifikojë qëllimin e përdoruesit.
Korniza nuk kufizohet në një bazë të dhënash relacionale. E njëjta qasje mund të përdoret për bazën e të dhënave relacionale me burim të hapur, shpërndarjen e Percona të së njëjtës bazë të dhënash, bazën e të dhënave objekt-relacionale, bazën e të dhënave të orientuar nga dokumentet dhe detyra të tjera të administrimit të bazës së të dhënave ose Linux. Në praktikë, mjeti teston nëse një LLM mund të veprojë si një operator sistemesh iterativ: planifiko, ekzekuto, vëzhgo, rregullo dhe verifiko. Tkachenko pret që vlerësimi të shikojë përtej përfundimit të thjeshtë të detyrës. Dimensionet e dobishme përfshijnë shkallën e përfundimit të detyrës, numrin e hapave, koston totale të inferencës (kostoja e gjenerimit të përgjigjeve të modelit), kohën e ekzekutimit, saktësinë e konfigurimit përfundimtar, numrin e operacioneve të panevojshme, rikuperimin nga dështimet e komandave, trajtimin e kërkesave të paqarta dhe të pamundura, sigurinë e konfigurimeve të gjeneruara dhe nëse sistemi përfundimtar përputhet me qëllimin e përdoruesit. Një projekt i dytë, DBA AI Batch Runner, ekzekuton benchmark-un nëpër modele dhe konfigurime të shumta, dhe rezultatet publikohen në një depo GitHub nën Percona-Lab-results.
Për ekipet që po fillojnë të vlerësojnë automatizimin e bazës së të dhënave të drejtuar nga LLM, një ofrues i menaxhuar i cloud-it dhe infrastrukturës së të dhënave si AEU Data mund të ofrojë mjedise testimi të izoluara, monitorim dhe kopje rezervë të automatizuara, të cilat reduktojnë rrezikun kur një model përdor gjykimin e vet në vend që të ndjekë udhëzimet saktësisht.