Ruajtja cloud për AI ka nevojë për nivele, jo vetëm flash
Ruajtja cloud për AI e ndërtuar rreth GPU-ve po përballet me një mospërputhje: ruajtja më e shpejtë, flash, po përdoret për punë që nuk kanë nevojë për shpejtësinë e saj, dhe kjo i shtyn të dhënat drejt platformave hipershkallëzuese me tarifa të shtrenjta daljeje. Drejtori i marketingut të produkteve të Backblaze, David Johnson, e parashtron problemin në një postim të 24 shtatorit 2026, duke argumentuar se neokloudët, ofruesit cloud të fokusuar te GPU-të, mund ta mbajnë të gjithë marrëdhënien me klientin nëse adoptojnë një arkitekturë ruajtjeje me nivele. Neokloudët janë ndërtuar rreth dhënies me qira të GPU-ve, procesorët që trajnojnë modelet e AI. GPU-të mund të punojnë vetëm aq shpejt sa të dhënat që hyjnë.
Johnson shpjegon se infrastruktura e një neokloudi është ndërtuar rreth flash-it. Ruajtja flash është lloji i memories shumë të shpejtë në gjendje të ngurtë që përdoret për trajnim aktiv; ajo jep të dhëna me shpejtësi ekstreme dhe vonesë të ulët, që do të thotë shumë pak vonesë. Por puna e ruajtjes që rrethon trajnimin aktiv, ruajtja e pikave të kontrollit, ruajtja e grupeve të të dhënave, mbajtja e modeleve të përfunduara, nuk ka nevojë për shpejtësi të nivelit flash ose çmime të nivelit flash. Pra, për ruajtjen që nuk ka nevojë për flash, neokloudët shpesh i drejtojnë klientët te ruajtja e objekteve të hipershkallëzuesve. Është më e lirë, funksionon dhe e mban neokloudin të fokusuar te produkti i tij kryesor GPU. Problemi është graviteti i të dhënave: sa më shumë të dhëna të kesh të ruajtura diku, aq më e vështirë bëhet të largohesh. Hipershkallëzuesit e përkeqësojnë këtë me qëllim. Ata të lejojnë të fusësh të dhëna falas, por ngarkojnë tarifa daljeje tepër të shtrenjta, tarifat për shkarkimin ose lëvizjen e të dhënave jashtë. Pra, sapo të dhënat e tua të jenë të ngulitura në platformën e një hipershkallëzuesi, kostoja e largimit vazhdon të rritet. Dhe kudo që jetojnë të dhënat e tua, aty priresh të blesh më shumë shërbime. Pra, ndërsa neokloudi vazhdon të paguhet për llogaritjen GPU, hipershkallëzuesi në heshtje merr përsipër llogarinë më të gjerë.
Për të parë pse vetëm flash-i nuk është përgjigjja, Johnson kalon nëpër çdo fazë të ciklit jetësor të AI. Së pari, marrja e të dhënave: grupet e të dhënave të papërpunuara duhet të pastrohen, etiketohen dhe përgatiten. Kjo fazë ka nevojë për ruajtje me kapacitet të lartë që mund të lëvizë vëllime të mëdha të dhënash në mënyrë efikase, por jo flash. Trajnimi aktiv është faza ku flash-i e meriton vendin e tij. Të dhënat kalojnë nëpër disa nivele ruajtjeje para se të arrijnë te GPU-ja, por në atë hap të fundit modeli ka nevojë që ato të dorëzohen vazhdimisht dhe me shpejtësi shumë të lartë. Vetëm flash-i është mjaft i shpejtë për të mbajtur mijëra GPU që të punojnë pa ndërprerje. Pikat e kontrollit funksionojnë gjatë gjithë trajnimit. Për shkak se trajnimi i AI është një proces sinkron me çdo nyje në grup që punon në harmoni, një dështim i vetëm komponenti mund ta ndalojë të gjithë procesin e trajnimit. Në shkallën e një grupi të madh modern, dështimet nuk janë të rralla; shkalla e dështimit rritet në mënyrë eksponenciale me madhësinë e grupit. Pikat e kontrollit janë pamje të shpeshta të gjendjes aktuale të modelit që lejojnë trajnimin të rifillojë nga ku e la. Në shkallë të madhe, një pikë kontrolli mund të ketë nevojë të kapë 15TB të dhëna në më pak se pesë sekonda, e përsëritur çdo disa minuta, rreth orës. Kjo fazë ka nevojë për ruajtje mjaft të shpejtë për të vazhduar dhe mjaft të besueshme që asgjë të mos humbasë. Pasi trajnimi përfundon, rezultatet, peshat e modelit, regjistrat dhe metadata, shkojnë në ruajtje afatgjatë. Eksperimentet e rregullimit të imët dhe ciklet shtesë të trajnimit shtojnë më shumë me kalimin e kohës. Kjo fazë ka nevojë për kapacitet dhe qëndrueshmëri, jo shpejtësi. Së fundi, konkluzioni, shërbimi i një modeli të vendosur, kërkon qasje të përsëritur te peshat e modelit sipas kërkesës. Vëllimet e të dhënave janë shumë më të vogla se trajnimi, dhe ndërsa vendosjet e ndjeshme ndaj vonesës mund të përfitojnë ende nga flash-i, kërkesat e ruajtjes janë shumë më pak intensive.
Ruajtja flash është ndërtuar me qëllim për vetëm njërën nga këto faza, trajnimin aktiv, sipas Johnson. Në çdo fazë tjetër, ajo që nevojitet është një nivel ruajtjeje me kosto efektive dhe kapacitet të lartë, që është pikërisht ajo që neokloudët aktualisht po u dërgojnë hipershkallëzuesve. Programi i certifikuar i ruajtjes i NVIDIA-s i vërteton zgjidhjet e ruajtjes veçmas për secilën nga këto faza, duke pranuar se një arkitekturë e vetme ruajtjeje nuk mund t'i shërbejë të gjitha mirë. Flash-i është i shtrenjtë sepse është ndërtuar për shpejtësi. Por ti paguan për atë shpejtësi pavarësisht nëse ke nevojë apo jo. Përdorimi i flash-it për të ruajtur grupe të dhënash, pika kontrolli dhe artefakte të përfunduara modelesh është si të dërgosh të gjithë postën tënde brenda natës kur pjesa më e madhe mund të shkonte me tokë; po paguan një çmim të lartë për një aftësi që nuk e ke nevojë. Ka një problem të dytë përtej kostos. Flash-i që është i zënë duke ruajtur pika kontrolli dhe grupe të dhënash nuk është i disponueshëm për GPU-të, dhe GPU-të janë ajo që shesin neokloudët. Çdo terabajt flash i përdorur në vendin e gabuar është kapacitet i hequr nga produkti kryesor. Ekonomia ka favorizuar gjithmonë një qasje me nivele: ruajtje e shpejtë ku nevojitet shpejtësia, ruajtje më e lirë me kapacitet të lartë kudo tjetër. Google, Meta dhe Microsoft kanë përdorur arkitektura ruajtjeje me nivele për vite me radhë, dhe ekipi inxhinierik i Meta-s e përshkruan qasjen e tyre në katër nivele të qarta, secili i zgjedhur për punën që bën më mirë. Por ndërtimi i një niveli të plotë ruajtjeje nën flash është një ndërmarrje e rëndësishme, dhe shumica e neokloudëve kanë mbetur të fokusuar te produkti i tyre kryesor GPU. Me çmimet e SSD-ve të rritura 257% në më pak se një vit, ai hendek është bërë shumë i shtrenjtë për t'u injoruar.
Zgjidhja është të përputhësh ruajtjen me ngarkesën e punës. Për trajnimin aktiv, flash-i mbetet përgjigjja. VAST, WEKA dhe DDN e trajtojnë këtë nivel me ruajtje të shpejtë, pranë GPU-ve që e mban trajnimin të funksionojë me shpejtësi të plotë. Për gjithçka tjetër, B2 Neo i Backblaze mund ta mbushë hendekun. Grupet e të dhënave jetojnë atje para se të fillojë trajnimi. Pikat e kontrollit shkruhen atje vazhdimisht gjatë trajnimit. Peshat e përfunduara të modelit dhe regjistrat grumbullohen atje me kalimin e kohës. Ruajtja është e shpejtë dhe e qëndrueshme, por me çmim për ngarkesa pune me kapacitet dhe jo për ngarkesa pune flash. B2 Neo lidhet drejtpërdrejt me nivelin e nxehtë, kështu që të dhënat lëvizin midis tyre pa një rrugë të tërthortë përmes një hipershkallëzuesi. Neokloudi nuk ka nevojë të ndërtojë asgjë nga këto. B2 Neo është i disponueshëm si produkt me etiketë të bardhë, i vendosur nën markën e vetë neokloudit. Klienti sheh vetëm një platformë pa ndërprerje; të dhënat e tyre qëndrojnë në infrastrukturën e neokloudit nga grupi i të dhënave të papërpunuara te modeli i vendosur dhe nuk prekin kurrë një hipershkallëzues.
Flash-i është ruajtja e duhur për një fazë të ciklit jetësor të AI. Në çdo fazë tjetër, është një mjet i shtrenjtë për një punë që nuk e ka nevojë. Neokloudët që shërbejnë vetëm nivelin e trajnimit aktiv lënë një hendek, dhe klientët shpesh e mbushin atë hendek duke i dërguar të dhënat e tyre te një hipershkallëzues. Pasi janë atje, tarifat e daljes i mbajnë atje. Neokloudi përfundon duke ia dorëzuar marrëdhënien më të gjerë me klientin kujtdo që mban të dhënat. Mbyllja e hendekut nuk kërkon ndërtim nga e para. Arkitektura me nivele që Google dhe Meta e përdorin në shkallë është e disponueshme për neokloudët sot si infrastrukturë me etiketë të bardhë. Në këtë treg, kontrata e GPU-ve është vetëm fillimi. Mbajtja e të dhënave është ajo që mban klientin. Për organizatat që përballen me vendime të ngjashme për gravitetin e të dhënave dhe nivelimin e ruajtjes, AEU Data ofron ruajtje të menaxhuar objektesh dhe kopje rezervë të automatizuara të koduara që përshtaten me nivelin më të lirë të kapacitetit pa bllokim nga tarifat e daljes, duke ndihmuar ekipet të mbajnë kontrollin e të dhënave të tyre.