AI storage-Bursts überfordern traditionelles capacity planning
AI storage-Traffic kann in konzentrierten Schüben auftreten, die Netzwerke und Speichersysteme herausfordern, die für ein gleichmäßigeres Wachstum ausgelegt wurden. Backblaze zufolge zeigen Messungen aus der eigenen Infrastruktur, dass die Kosten pro Terabyte nur einen Teil des Problems ausmachen. throughput, also die in einem bestimmten Zeitraum übertragene Datenmenge, und latency, also die Verzögerung bis zum Beginn oder Abschluss einer Übertragung, können darüber entscheiden, ob teure Rechenressourcen produktiv bleiben oder ungenutzt sind.
Das Unternehmen veröffentlicht drei vierteljährliche Datensätze, die auf seiner Infrastruktur und seinen Tests basieren. Network Stats erfasst, wo Daten in sein Netzwerk gelangen und es wieder verlassen. Performance Stats vergleicht das Upload- und Download-Verhalten mithilfe eines neutralen Testframeworks eines Drittanbieters. Drive Stats wird seit 2013 geführt und verfolgt die Ausfallraten von Festplatten in den Rechenzentren des Unternehmens. Backblaze veröffentlicht die Methoden und erklärt, Ergebnisse auch dann zu melden, wenn sie für den eigenen Dienst ungünstig sind.
Die Netzwerkmessungen zeigen, dass AI-Daten in großen Mengen eintreffen, gespeichert werden und anschließend in diejenige Rechenumgebung gelangen, die geeignete Kosten oder Verfügbarkeit bietet. Dies unterstützt eine multi-cloud architecture, bei der eine Anwendung die Infrastruktur von mehr als einem Cloudanbieter nutzt. Bevorzugte AI-Tools und der Zugang zu Rechenkapazität können sich von Monat zu Monat ändern. Dadurch wird die Datenübertragung zu einem zentralen Aspekt des Systemdesigns und ist nicht länger nur ein unbedeutendes Detail der Speicherung.
Backblaze ordnet verbundene Netzwerke den Kategorien content delivery networks, traditionelle Hostinganbieter, Hyperscaler, regionale Internetanbieter, Tier-1-Internet-Carrier oder Neoclouds zu. Eine Neocloud ist ein Rechenanbieter, der auf AI workloads spezialisiert ist. Das Unternehmen misst jede Kategorie mithilfe der Kennzahl magnitude, die als Anzahl der übertragenen Datenbits pro Internet Protocol address beziehungsweise IP address definiert ist. Eine solche Adresse identifiziert ein Ziel in einem Netzwerk. Backblaze berichtet, dass die magnitude von Neoclouds so viel höher ist als die der anderen Kategorien, dass ein direkter Vergleich nur begrenzt sinnvoll ist.
Die Form dieses Traffics ist entscheidend. Konventionelle Workloads umfassen häufig viele Quellen, die vorhersehbare Datenmengen übertragen. Bei AI workloads können dagegen relativ wenige Quellen sogenannte elephant flows erzeugen, also außergewöhnlich große Netzwerkübertragungen zu stark schwankenden Zeiten. Backblaze zufolge können diese Übertragungen als konzentrierte Schübe von einer kleinen Anzahl von GPUs auftreten. Diese Grafikprozessoren werden für rechenintensive AI-Berechnungen eingesetzt und befinden sich in der Nähe großer AI-Recheninfrastrukturen.
Dieses Muster untergräbt einen traditionellen Ansatz für capacity planning, bei dem das Wachstum mehrere Monate lang beobachtet und eine Verdopplung der Nachfrage alle zwei Jahre erwartet wird. Infrastrukturteams müssen bandwidth möglicherweise stattdessen in größeren Schritten ausbauen, das interne Network Switching für plötzliche Lasten verstärken und zuverlässige Peering-Beziehungen aufbauen, also direkte Verbindungen, über die Netzwerke Traffic austauschen. Andernfalls könnten Speichersysteme, die für konventionellen Traffic ausgelegt sind, für die Anforderungen von AI storage zu klein oder falsch konfiguriert sein. Backblaze weist darauf hin, dass Network Stats noch ein junger Datensatz ist: Die Muster liefern nützliche Hinweise auf die allgemeine Entwicklung, doch die verfügbaren Messungen erlauben noch keine gesicherten Schlussfolgerungen.
Performance-Tests bringen ein zweites Problem mit sich, denn es gibt keinen einzelnen Benchmark, der jeden AI workload repräsentiert. Model Serving und die Verteilung von Modellen belasten den Download-throughput. Machine Learning Operations, allgemein als MLOps bezeichnet, und Telemetrie können single-threaded sein. Das bedeutet, dass Übertragungen über einen einzigen Verarbeitungsstrom erfolgen und nicht über viele parallele Ströme. Inference, also die Nutzung eines trainierten Modells zur Erzeugung einer Antwort, kann eine niedrige Lese-latency erfordern, damit Modelldateien schnell abgerufen werden können.
Andere Anwendungen stellen andere Anforderungen. RAG liest relativ kleine gespeicherte Objekte wiederholt, nachdem sie einmal geschrieben wurden. Die Analyse von Logs und Ereignissen benötigt eine wettbewerbsfähige Performance bei kleinen Schreibvorgängen und schnellen Lesevorgängen. Interaktive Data-Lake-Abfragen, die große Sammlungen gespeicherter Informationen durchsuchen, sind auf einen konstanten throughput und schnelle Downloads angewiesen. Backblaze testet daher single-threaded und multi-threaded Uploads und Downloads mit mehreren Dateigrößen, anstatt die Performance auf einen einzigen Wert zu reduzieren.
Das Unternehmen legte außerdem offen, dass bei seinen ersten Tests die eigenen bandwidth caps erreicht wurden. Es veröffentlichte die durch die Begrenzung eingeschränkten Ergebnisse, dokumentierte den Auslöser der Einschränkung und wiederholte die Tests anschließend mit der nach eigenen Angaben kleinstmöglichen Anpassung. Beide Ergebnissätze wurden nebeneinander dargestellt. Dies ist ein nützliches Testprinzip für jeden Käufer: Grenzen sollten dokumentiert werden, anstatt einen Benchmark stillschweigend zu ändern, wenn ein Ergebnis unpraktisch ist. Backblaze zufolge zeigen zwei Quartale mit Performance Stats einige Muster, reichen jedoch nicht für endgültige Schlussfolgerungen über verschiedene Regionen hinweg aus. Organisationen sollten die Tests ihren eigenen Workloads zuordnen und sie mit ihren eigenen Anwendungen wiederholen.
Physische Speichermedien bleiben Teil der Gleichung. Drive Stats erfasst Festplatten und keine Solid-State-Drives beziehungsweise SSDs, die Daten elektronisch speichern und einen sehr schnellen Zugriff ermöglichen können. Backblaze argumentiert, dass SSDs besonders wichtig sind, wenn schneller Speicher die GPUs während des AI training kontinuierlich mit Daten versorgen muss. Mechanische Festplatten bleiben dagegen für die wesentlich größeren Datenmengen relevant, die diese rechenintensiven Phasen umgeben, weil sie pro Gigabyte deutlich weniger kosten.
Backblaze berichtet, dass die Preise für Festplatten seit Ende 2025 um 46 % gestiegen sind. Gleichzeitig haben sich die Lieferzeiten auf zwölf Monate oder mehr verlängert, da AI-Rechenzentren Produktionskapazitäten beanspruchen. Western Digital hat erklärt, dass nahezu die gesamte Jahresproduktion bereits vertraglich gebunden sei, wobei Verträge mit Hyperscale-Kunden bis 2028 und 2029 reichen. Seagate liefert mithilfe seiner HAMR-Plattform Laufwerke mit bis zu 44 TB aus und gibt an, dass mehrere Hyperscale-Cloudanbieter diese qualifiziert haben. Western Digital stellte auf seinem Innovation Day 2026 Architekturarbeiten vor, die derzeit eine Verdopplung des throughput ermöglichen. Geplant ist ein Weg zu einer vierfachen und schließlich achtfachen Verbesserung.
Laufwerke mit höherer Kapazität verändern zudem die Speicherdichte. Ende 2025 machten Laufwerke mit mindestens 20 TB nach Stückzahl fast 23 % der Backblaze-Flotte und einen noch größeren Anteil ihrer Gesamtkapazität aus. Das erste Laufwerk mit 26 TB wurde im vierten Quartal 2025 in Betrieb genommen. Werden Laufwerke mit 8 TB durch Modelle mit 24 TB ersetzt, benötigt dieselbe Informationsmenge nur noch ein Drittel des Rack-Platzes.
Die höhere Dichte erschwert den Schutz. Backblaze verwendet Reed-Solomon erasure coding, ein Verfahren, das Dateien in Datenfragmente und als parity shards bezeichnete Wiederherstellungsfragmente aufteilt und sie anschließend über die Speicherflotte verteilt. Größere Laufwerke erfordern mehr parity shards. Diese müssen sorgfältig platziert werden, damit sich nicht zu viele davon im selben Rack befinden. Andernfalls könnte ein Geräteausfall mehrere Fragmente betreffen, die zur Rekonstruktion der Informationen benötigt werden.
Drive Stats umfasst 557 Millionen Laufwerkstage. Dieser Wert wurde berechnet, indem jeder Betriebstag jedes erfassten Laufwerks über einen Zeitraum von 13 Jahren addiert wurde.