L'archiviazione cloud per l'AI richiede storage a livelli, non solo flash
L'archiviazione cloud per l'AI costruita attorno alle GPU sta incontrando un disallineamento: lo storage più veloce, il flash, viene utilizzato per compiti che non richiedono la sua velocità, e questo spinge i dati verso piattaforme hyperscaler con costose tariffe di uscita. Il direttore del marketing di prodotto di Backblaze, David Johnson, illustra il problema in un post del 24 settembre 2026, sostenendo che i neocloud, i provider cloud focalizzati sulle GPU, possono mantenere l'intera relazione con il cliente se adottano un'architettura di storage a livelli. I neocloud sono costruiti attorno al noleggio di GPU, i processori che addestrano i modelli di AI. Le GPU possono funzionare solo alla velocità dei dati in ingresso.
Johnson spiega che l'infrastruttura di un neocloud è costruita attorno al flash. Lo storage flash è il tipo di memoria a stato solido molto veloce utilizzata per l'addestramento attivo; fornisce dati a velocità estrema e bassa latenza, ovvero con pochissimo ritardo. Ma il lavoro di archiviazione che circonda l'addestramento attivo, il salvataggio dei checkpoint, l'archiviazione dei dataset, la conservazione dei modelli finiti, non richiede velocità da flash né prezzi da flash. Quindi, per lo storage che non necessita di flash, i neocloud spesso indirizzano i clienti verso lo storage a oggetti degli hyperscaler. È più economico, funziona e mantiene il neocloud concentrato sul suo prodotto GPU principale. Il problema è la gravità dei dati: più dati hai archiviato da qualche parte, più difficile diventa andarsene. Gli hyperscaler peggiorano la situazione di proposito. Ti permettono di inserire dati gratuitamente ma applicano tariffe di uscita proibitivamente costose, le tariffe per scaricare o spostare i dati fuori. Quindi, una volta che i tuoi dati sono radicati sulla piattaforma di un hyperscaler, il costo di andarsene continua a salire. E ovunque risiedano i tuoi dati, è lì che tendi ad acquistare più servizi. Così, mentre il neocloud continua a essere pagato per il calcolo GPU, l'hyperscaler si prende silenziosamente il controllo dell'account più ampio.
Per capire perché il solo flash non è la risposta, Johnson esamina ogni fase del ciclo di vita dell'AI. Prima l'ingestione dei dati: i dataset grezzi devono essere puliti, etichettati e preparati. Questa fase richiede storage ad alta capacità in grado di spostare efficientemente grandi volumi di dati, ma non flash. L'addestramento attivo è la fase in cui il flash si guadagna il suo posto. I dati passano attraverso diversi livelli di storage prima di raggiungere la GPU, ma in quel passaggio finale il modello ha bisogno che vengano forniti continuamente e a velocità molto elevata. Solo il flash è abbastanza veloce da mantenere migliaia di GPU in funzione senza interruzioni. Il checkpointing avviene durante tutto l'addestramento. Poiché l'addestramento dell'AI è un processo sincrono con ogni nodo del cluster che lavora all'unisono, il guasto di un singolo componente può fermare l'intera sessione di addestramento. Alla scala di un grande cluster moderno, i guasti non sono rari; il tasso di guasti cresce esponenzialmente con la dimensione del cluster. I checkpoint sono istantanee frequenti dello stato attuale del modello che consentono di riprendere l'addestramento da dove si era interrotto. Su larga scala, un checkpoint potrebbe dover catturare 15 TB di dati in meno di cinque secondi, ripetuto ogni pochi minuti, 24 ore su 24. Questa fase richiede storage abbastanza veloce da tenere il passo e abbastanza affidabile da non perdere nulla. Una volta terminato l'addestramento, gli output, i pesi del modello, i log e i metadati, vanno in storage a lungo termine. Gli esperimenti di messa a punto e le sessioni di addestramento aggiuntive ne aggiungono altri nel tempo. Questa fase richiede capacità e durabilità, non velocità. Infine, l'inferenza, ovvero servire un modello distribuito, richiede accesso ripetuto ai pesi del modello su richiesta. I volumi di dati sono molto inferiori rispetto all'addestramento e, sebbene le distribuzioni sensibili alla latenza possano ancora trarre vantaggio dal flash, le esigenze di storage sono molto meno intensive.
Lo storage flash è progettato specificamente per una sola di queste fasi, l'addestramento attivo, secondo Johnson. In tutte le altre fasi, ciò che serve è un livello di storage economico e ad alta capacità, che è esattamente ciò che i neocloud attualmente inviano agli hyperscaler. Il programma di storage certificato di NVIDIA convalida le soluzioni di storage separatamente per ciascuna di queste fasi, riconoscendo che una singola architettura di storage non può servirle tutte bene. Il flash è costoso perché è costruito per la velocità. Ma paghi per quella velocità che tu ne abbia bisogno o no. Usare il flash per archiviare dataset, checkpoint e artefatti di modelli finiti è come spedire tutta la posta con consegna notturna quando la maggior parte potrebbe andare via terra; stai pagando un sovrapprezzo per una capacità di cui non hai bisogno. C'è un secondo problema oltre al costo. Il flash impegnato ad archiviare checkpoint e dataset non è disponibile per le GPU, e le GPU sono ciò che i neocloud vendono. Ogni terabyte di flash usato nel posto sbagliato è capacità sottratta al prodotto principale. L'economia ha sempre favorito un approccio a livelli: storage veloce dove serve velocità, storage più economico ad alta capacità ovunque altrove. Google, Meta e Microsoft utilizzano architetture di storage a livelli da anni, e il team di ingegneri di Meta descrive il proprio approccio in quattro livelli espliciti, ciascuno selezionato per il lavoro che svolge meglio. Ma costruire un livello di storage completo sotto il flash è un'impresa significativa, e la maggior parte dei neocloud è rimasta concentrata sul proprio prodotto GPU principale. Con i prezzi degli SSD aumentati del 257% in meno di un anno, quel divario è diventato troppo costoso da ignorare.
La soluzione è abbinare lo storage al carico di lavoro. Per l'addestramento attivo, il flash rimane la risposta. VAST, WEKA e DDN gestiscono questo livello con storage veloce e adiacente alla GPU che mantiene l'addestramento a piena velocità. Per tutto il resto, B2 Neo di Backblaze può colmare il divario. I dataset risiedono lì prima dell'inizio dell'addestramento. I checkpoint vi vengono scritti continuamente durante l'addestramento. I pesi dei modelli finiti e i record si accumulano lì nel tempo. Lo storage è veloce e durevole, ma ha un prezzo per carichi di lavoro di capacità piuttosto che per carichi di lavoro flash. B2 Neo si collega direttamente al livello caldo, quindi i dati si spostano tra di essi senza passare attraverso un hyperscaler. Il neocloud non deve costruire nulla di tutto questo. B2 Neo è disponibile come prodotto white-label, distribuito con il marchio del neocloud. Il cliente vede solo una piattaforma senza soluzione di continuità; i suoi dati rimangono sull'infrastruttura del neocloud dal dataset grezzo al modello distribuito e non toccano mai un hyperscaler.
Il flash è lo storage giusto per una fase del ciclo di vita dell'AI. In tutte le altre fasi, è uno strumento costoso per un lavoro che non lo richiede. I neocloud che servono solo il livello di addestramento attivo lasciano un vuoto, e i clienti spesso colmano quel vuoto inviando i propri dati a un hyperscaler. Una volta lì, le tariffe di uscita li trattengono. Il neocloud finisce per cedere la relazione più ampia con il cliente a chi detiene i dati. Colmare il divario non richiede di costruire nulla da zero. L'architettura a livelli che Google e Meta gestiscono su larga scala è disponibile oggi per i neocloud come infrastruttura white-label. In questo mercato, il contratto GPU è solo l'inizio. Conservare i dati è ciò che mantiene il cliente. Per le organizzazioni che affrontano decisioni simili sulla gravità dei dati e sulla suddivisione in livelli dello storage, AEU Data offre storage a oggetti gestito e backup automatici crittografati che si adattano al livello di capacità più economico senza vincoli di tariffe di uscita, aiutando i team a mantenere il controllo dei propri dati.