I modelli LLM più piccoli eguagliano quelli grandi nelle attività DBA a costi inferiori
I modelli linguistici di grandi dimensioni (LLM) open-weight più piccoli possono già completare le attività di amministrazione di database (DBA) altrettanto bene dei modelli molto più grandi, costando anche solo un decimo per esecuzione, secondo un benchmark pubblicato da Percona il 17 settembre 2026. Vadim Tkachenko, autore della valutazione, ha creato un harness che consente a diversi LLM di eseguire un vero lavoro DBA su server remoti e riporta i risultati apertamente.
L'harness, chiamato DBA AI Benchmark, segue un ciclo semplice. Riceve un'attività come "Installa la distribuzione Percona del database relazionale open-source, versione 8.4", la invia all'LLM selezionato e chiede al modello di tradurre la richiesta in operazioni da riga di comando o script Bash. L'harness esegue quindi quei comandi tramite SSH (Secure Shell, un protocollo per eseguire comandi in sicurezza su un server remoto) su un sistema di destinazione, rimanda l'output dei comandi, gli errori e lo stato del sistema al modello, e lascia che il modello decida cosa fare dopo. Il processo si ripete finché l'attività non è completata, si verifica un timeout, viene raggiunto il numero massimo di passaggi o viene superato un limite di costo configurato. Il progetto è disponibile su GitHub sotto Percona-Lab/dbaai_bench.
Tkachenko sta testando otto modelli in due gruppi. I modelli pesanti e full-size sono qwen/qwen3.8-max, moonshotai/kimi-k3, z-ai/glm-5.3 e deepseek/deepseek-v4-pro-0813. I modelli più leggeri o flash sono deepseek/deepseek-v4-flash-0731, qwen/qwen3.8-27b, meta/muse-glimmer-30b e google/gemma-4-31b-it. Tutte le richieste e le risposte sono gestite tramite OpenRouter. L'autore afferma che il suo focus principale è sui modelli open-weight, i cui parametri addestrati sono pubblicamente disponibili, perché offrono flessibilità di distribuzione ed efficienza dei costi, e perché i loro costi per token sono spesso sostanzialmente inferiori a quelli dei modelli frontier chiusi. Questo è importante per i carichi di lavoro di automazione in cui un agente potrebbe aver bisogno di decine di interazioni per terminare una singola attività.
Un esempio di esecuzione nel post lancia l'harness contro due host con qwen/qwen3.8-max, l'attività "Installa la replica del database relazionale open-source versione 9.7 con traffico crittografato", un massimo di 200 passaggi e modalità non presidiata. Il modello è responsabile dell'interpretazione della richiesta, della scelta dei comandi, della reazione agli errori e della decisione su quando l'attività è terminata. Nei test, quasi tutti i modelli hanno eseguito con successo le attività, con solo poche eccezioni individuali. Una scoperta sorprendente è che i modelli più piccoli ed economici sono spesso altrettanto capaci dei modelli molto più grandi; la differenza principale è di solito il numero di passaggi. I modelli più piccoli potrebbero richiedere più iterazioni per raggiungere una configurazione corretta, ma il loro costo complessivo può comunque essere drasticamente inferiore. In diversi test, i modelli più piccoli hanno completato lo stesso lavoro a circa un decimo del costo dei modelli più grandi.
Una classifica dettagliata per un'attività di replica lo mostra chiaramente. L'attività chiedeva ai modelli di installare la distribuzione Percona del database relazionale open-source, versione 8.4 su due server appena creati, impostare la replica in modo che un primario accetti le scritture e una replica le segua, instradare il traffico di replica sulla rete privata e far sì che la replica rifiuti le proprie scritture. I risultati: deepseek/deepseek-v4-flash-0731 ha ottenuto il 100% di risultati puliti in 35 passaggi a $0,0082; deepseek/deepseek-v4-pro-0813 ha ottenuto il 100% in 27 passaggi a $0,2639; meta/muse-glimmer-30b ha ottenuto il 100% in 74 passaggi a $0,0479; moonshotai/kimi-k3 ha ottenuto il 100% in 17 passaggi a $0,2888; qwen/qwen3.8-max ha ottenuto il 100% in 22 passaggi a $0,4200; z-ai/glm-5.3 ha ottenuto il 100% in 20 passaggi a $0,2176; google/gemma-4-31b-it ha ottenuto il 94% senza esecuzione pulita dopo 46 passaggi a $0,0289; e qwen/qwen3.8-27b è andato in timeout con 0% dopo 78 passaggi a $0,5116. Il confronto dei costi è particolarmente istruttivo. meta/muse-glimmer-30b ha richiesto 74 passaggi ma è costato solo $0,0479, mentre qwen/qwen3.8-max ha richiesto solo 22 passaggi ma è costato $0,4200, e deepseek-v4-flash ha terminato in 35 passaggi per soli $0,0082. Nei carichi di lavoro infrastrutturali agentici, il modello che usa meno passaggi non è necessariamente il più economico.
Tkachenko ha anche testato come i modelli gestiscono richieste che non possono essere completate esattamente. Quando è stato chiesto di installare la versione 9.7 del database relazionale open-source, deepseek-v4-pro-0813 ha risposto che era disponibile la versione 8.4 di quel database, non la 9.7 richiesta, ma che 8.4 è ciò che fornisce Ubuntu, quindi avrebbe usato quella versione, e ha installato il server di database sul nodo primario. Invece di fallire, il modello ha interpretato la situazione, selezionato una versione disponibile e continuato. Se questo comportamento sia desiderabile dipende dallo scenario di automazione, ma dimostra che l'automazione infrastrutturale guidata da LLM può prendere decisioni operative invece di seguire ciecamente le istruzioni. Questo rende la validazione e i guardrail particolarmente importanti. In un altro test deliberato, l'autore ha chiesto ai modelli di installare la distribuzione Percona del database relazionale open-source, versione 9.7.2, una release che non esiste. La maggior parte dei modelli ha deciso di installare la versione disponibile più vicina, 9.7.1, mentre DeepSeek ha completato l'esecuzione senza eseguire un'installazione. Questi casi espongono come un modello ragiona su ambiguità, software non disponibile, requisiti in conflitto e se debba modificare l'intento di un utente.
Il framework non è limitato a un solo database relazionale. Lo stesso approccio può essere usato per il database relazionale open-source, la distribuzione Percona dello stesso database, il database relazionale a oggetti, il database orientato ai documenti e altre attività di amministrazione di database o Linux. In pratica, l'harness verifica se un LLM può agire come un operatore di sistema iterativo: pianificare, eseguire, osservare, regolare e verificare. Tkachenko si aspetta che la valutazione vada oltre il semplice completamento dell'attività. Dimensioni utili includono il tasso di completamento dell'attività, il numero di passaggi, il costo di inferenza totale (il costo di generazione delle risposte del modello), il tempo di esecuzione, la correttezza della configurazione finale, il numero di operazioni non necessarie, il recupero da errori dei comandi, la gestione di requisiti ambigui e impossibili, la sicurezza delle configurazioni generate e se il sistema finale corrisponda effettivamente all'intento dell'utente. Un secondo progetto, DBA AI Batch Runner, esegue il benchmark su più modelli e configurazioni, e i risultati sono pubblicati in un repository GitHub sotto Percona-Lab-results.
Per i team che iniziano a valutare l'automazione di database guidata da LLM, un provider gestito di cloud e infrastruttura dati come AEU Data può fornire ambienti di test isolati, monitoraggio e backup automatizzati, che riducono il rischio quando un modello usa il proprio giudizio invece di seguire esattamente le istruzioni.