Shpërthimet e AI storage tejkalojnë mundësitë e capacity planning tradicional
Trafiku i AI storage mund të mbërrijë në shpërthime të përqendruara që vënë në vështirësi rrjetet dhe sistemet storage të projektuara për rritje më të qëndrueshme. Backblaze thotë se matjet nga infrastruktura e saj tregojnë se kostoja për terabyte është vetëm një pjesë e çështjes. Throughput, sasia e të dhënave që transferohet brenda një kohe të caktuar, dhe latency, vonesa përpara se një transferim të fillojë ose të përfundojë, mund të përcaktojnë nëse burimet e kushtueshme kompjuterike mbeten produktive apo qëndrojnë pa u përdorur.
Kompania publikon tri grupe të dhënash tremujore të bazuara në infrastrukturën dhe testimet e saj. Network Stats regjistron se ku hyjnë të dhënat në rrjetin e saj dhe ku dalin prej tij. Performance Stats krahason sjelljen e upload dhe download përmes një framework neutral testimi të një pale të tretë. Drive Stats, që mirëmbahet që nga viti 2013, ndjek normat e dështimit të hard drive në data centres të kompanisë. Backblaze publikon metodologjitë dhe thotë se i raporton rezultatet edhe kur ato janë të pafavorshme për shërbimin e vet.
Matjet e rrjetit të saj tregojnë se të dhënat e AI mbërrijnë në grupe të mëdha, ruhen dhe më pas zhvendosen drejt cilitdo mjedis kompjuterik që ofron kosto ose disponueshmëri të përshtatshme. Kjo mbështet multi-cloud architecture, që do të thotë se një aplikacion përdor infrastrukturë nga më shumë se një cloud provider. Mjetet e preferuara të AI dhe qasja në kapacitetin kompjuterik mund të ndryshojnë nga muaji në muaj, duke e bërë lëvizjen e të dhënave një shqetësim qendror të projektimit dhe jo një hollësi të papërfillshme të storage.
Backblaze i klasifikon rrjetet e lidhura si content delivery networks, providerë tradicionalë hosting, hyperscalers, providerë rajonalë të shërbimit të internetit, operatorë interneti Tier 1 ose neoclouds. Një neocloud është një provider kompjuterik i përqendruar te AI workloads. Kompania e mat secilën kategori duke përdorur magnitude, të përkufizuar si numri i bitëve të të dhënave të transferuara për çdo Internet Protocol address, ose IP address, i cili identifikon një destinacion në një rrjet. Ajo raporton se magnitude i neoclouds është aq shumë më i lartë se ai i kategorive të tjera, saqë krahasimi i drejtpërdrejtë ka përdorim të kufizuar.
Forma e këtij trafiku ka rëndësi. Workloads konvencionale shpesh përfshijnë shumë burime që transferojnë sasi të parashikueshme. AI workloads mund të përfshijnë relativisht pak burime që prodhojnë elephant flows, domethënë transferime jashtëzakonisht të mëdha në rrjet, në kohë shumë të ndryshueshme. Backblaze thotë se këto transferime mund të shfaqen si shpërthime të përqendruara nga një numër i vogël GPU-sh, ose graphics processing units që përdoren për llogaritje intensive të AI, të vendosura rreth infrastrukturës së madhe kompjuterike të AI.
Ky model dobëson një qasje tradicionale capacity planning, e cila bazohet në vëzhgimin e rritjes gjatë disa muajve dhe në pritshmërinë që kërkesa të dyfishohet çdo dy vjet. Ekipet e infrastrukturës mund të kenë nevojë që, në vend të kësaj, ta shtojnë bandwidth në hapa më të mëdhenj, të përforcojnë network switching të brendshëm për ngarkesa të papritura dhe të krijojnë marrëdhënie të besueshme peering, të cilat janë lidhje të drejtpërdrejta që përdoren nga rrjetet për të shkëmbyer trafik. Përndryshe, storage i projektuar për trafik konvencional mund të ketë kapacitet të pamjaftueshëm ose të konfigurohet gabimisht për kërkesën e AI storage. Backblaze paralajmëron se Network Stats është ende një grup i ri të dhënash: modelet janë të dobishme për të kuptuar drejtimin, por matjet e disponueshme nuk mbështesin ende përfundime të sigurta.
Testimi i performancës paraqet një problem të dytë, sepse nuk ka asnjë benchmark të vetëm që përfaqëson çdo AI workload. Model serving dhe distribution ushtrojnë presion mbi download throughput. Machine learning operations, të quajtura zakonisht MLOps, dhe telemetry mund të jenë single-threaded, që do të thotë se i kryejnë transferimet përmes një rrjedhe të vetme përpunimi dhe jo përmes shumë rrjedhave paralelisht. Inference, procesi i përdorimit të një modeli të trajnuar për të prodhuar një përgjigje, mund të kërkojë read latency të ulët kur model files merren me shpejtësi.
Aplikacione të tjera krijojnë kërkesa të ndryshme. Retrieval-augmented generation, ose RAG, lexon në mënyrë të përsëritur objekte relativisht të vogla të ruajtura pasi i ka shkruar ato një herë. Analiza e logs dhe events kërkon performancë konkurruese për shkrime të vogla dhe lexime të shpejta. Interactive data-lake queries, që kërkojnë në një koleksion të madh informacioni të ruajtur, mbështeten te throughput i qëndrueshëm dhe downloads të shpejta. Për këtë arsye, Backblaze teston uploads dhe downloads single-threaded dhe multi-threaded për disa madhësi skedarësh, në vend që ta reduktojë performancën në një rezultat të vetëm.
Kompania bëri të ditur gjithashtu se testimi i saj fillestar arriti bandwidth caps të vetë kompanisë. Ajo publikoi rezultatet rate-limited, dokumentoi se çfarë e aktivizoi kufizimin dhe më pas i përsëriti testet me atë që e përshkroi si rregullimin më të vogël të mundshëm. Të dyja grupet e rezultateve u paraqitën krah për krah. Ky është një parim i dobishëm testimi për çdo blerës: dokumentoni kufizimet në vend që ta ndryshoni në heshtje benchmark kur një rezultat është i papërshtatshëm. Backblaze thotë se dy tremujorë të Performance Stats zbulojnë disa modele, por nuk mjaftojnë për përfundime përfundimtare në rajone të ndryshme. Organizatat duhet t'i përshtatin testet me workloads e tyre dhe t'i përsëritin me aplikacionet e veta.
Physical media mbeten pjesë e ekuacionit. Drive Stats mbulon hard drives dhe jo solid-state drives, ose SSDs, të cilat i ruajnë të dhënat në mënyrë elektronike dhe mund të ofrojnë qasje shumë të shpejtë. Backblaze argumenton se SSDs janë veçanërisht të rëndësishme kur storage i shpejtë duhet t'i mbajë GPU-të të furnizuara gjatë AI training, ndërsa hard drives mekanike mbeten të rëndësishme për vëllimet shumë më të mëdha të të dhënave që rrethojnë këto faza intensive, sepse kushtojnë ndjeshëm më pak për gigabyte.
Backblaze raporton se çmimet e hard drive janë rritur me 46% që nga fundi i vitit 2025, ndërsa afatet e furnizimit janë zgjatur në 12 muaj ose më shumë, pasi AI data centres konsumojnë kapacitetin e prodhimit. Western Digital ka thënë se pothuajse i gjithë prodhimi i saj për këtë vit është rezervuar, me kontrata të klientëve hyperscale që shtrihen deri në vitet 2028 dhe 2029. Seagate po dërgon drives me kapacitet deri në 44TB duke përdorur platformën e saj heat-assisted magnetic recording, ose HAMR, dhe thotë se disa hyperscale cloud providers i kanë kualifikuar ato. Western Digital njoftoi punë arkitekturore gjatë Innovation Day 2026, duke treguar një përmirësim aktual dyfish të throughput, me një plan për të arritur përmirësim katërfish dhe, përfundimisht, tetëfish.
Drives me kapacitet më të lartë po ndryshojnë gjithashtu dendësinë e storage. Në fund të vitit 2025, drives me 20TB ose më shumë përfaqësonin pothuajse 23% të flotës së Backblaze sipas numrit të njësive dhe një përqindje më të madhe të kapacitetit. Drive i saj i parë me 26TB hyri në shërbim në tremujorin e katërt të vitit 2025. Zëvendësimi i njësive 8TB me drives 24TB mundëson që e njëjta sasi informacioni të zërë një të tretën e hapësirës në rack.
Dendësia më e madhe e ndërlikon mbrojtjen. Backblaze përdor Reed-Solomon erasure coding, një metodë që i ndan skedarët në fragmente të dhënash dhe fragmente rikuperimi të quajtura parity shards, pastaj i shpërndan ato në të gjithë flotën storage. Drives më të mëdha kërkojnë më shumë parity shards, të cilat duhet të vendosen me kujdes në mënyrë që shumë prej tyre të mos ndodhen në të njëjtin rack. Përndryshe, dështimi i pajisjeve mund të prekë disa fragmente të nevojshme për rindërtimin e informacionit.
Drive Stats mbulon 557 milionë drive-days, të llogaritura duke mbledhur çdo ditë që secili drive i ndjekur ka funksionuar gjatë 13 vjetëve.