Storage Class Memory uitgelegd: de ontbrekende laag tussen DRAM en NAND

Zodra je begint te kijken naar hoe AI-systemen daadwerkelijk data verplaatsen, merk je vrij snel dat het probleem niet alleen gaat over snellere processors of meer opslag, maar vooral over wat er tussen die lagen gebeurt en hoe vaak het systeem moet wachten.

In het vorige artikel over High Bandwidth Memory lag de nadruk op het zo dicht mogelijk bij de processor houden van data, zodat de GPU niet stil komt te staan. Dat is de bovenkant van de stack en dat is cruciaal, maar het lost maar een deel van het probleem op, omdat niet alles daar kan blijven.

Zodra de werkset groter wordt dan wat in die directe laag past, ga je weer data verplaatsen tussen DRAM en NAND, en daar begint het geheel wat onevenwichtig aan te voelen. DRAM is snel en responsief, maar duur en niet onbeperkt schaalbaar. NAND is veel praktischer qua capaciteit, maar zelfs goed flashgeheugen introduceert genoeg vertraging dat het merkbaar wordt wanneer het systeem continu onder belasting staat.

Die ruimte ertussen is waar Storage Class Memory zijn waarde begint te tonen. Niet als iets nieuws dat één van beide kanten wil vervangen, maar als een manier om de overgang soepeler te maken zodat het systeem niet voortdurend springt van heel snel naar merkbaar trager en weer terug.

Als je het bredere plaatje wilt begrijpen waarom deze lagen überhaupt ontstaan, dan sluit dit direct aan op het hoofdartikel hier: NAND verdwijnt niet, maar AI-servers zijn tegenwoordig afhankelijk van meer dan alleen flash.

Waar het gat zichtbaar wordt

Op papier hebben DRAM en NAND altijd goed samengewerkt omdat ze voor verschillende taken zijn ontworpen. De één verwerkt actieve data, de ander bewaart data, en het systeem verplaatst informatie heen en weer wanneer dat nodig is. Voor traditionele workloads werkt die scheiding nog steeds prima.

AI-workloads gedragen zich anders. Ze hergebruiken grote datasets voortdurend, verplaatsen data parallel en houden meerdere processen tegelijk actief, wat betekent dat het systeem constant data uit storage moet halen in plaats van af en toe.

Daar begint het verschil in latency zwaarder te wegen dan vroeger. Niet op een dramatische manier, maar in kleine vertragingen die zich opstapelen. Het systeem stopt niet, maar blijft ook niet zo efficiënt als het zou kunnen, en daar zie je dat processors wachten op data in plaats van ermee te werken.

Wat Storage Class Memory doet, is zich in dat pad plaatsen en verminderen hoe vaak het systeem helemaal naar NAND moet gaan, terwijl het tegelijk voorkomt dat de kosten exploderen door alles naar DRAM te verplaatsen.

Hoe je het praktisch kunt zien

De makkelijkste manier om dit voor te stellen is om terug te gaan naar de magazijn-analogie, maar in plaats van te focussen op het laadperron zoals bij HBM, kijken we naar wat er net daarachter gebeurt.

Je hebt het laadperron waar het actieve werk plaatsvindt, dozen worden geopend, gesorteerd en verplaatst. Dat is je DRAM. Verder naar achter heb je de magazijnrekken waar alles in bulk ligt opgeslagen. Dat is je NAND.

Als je elke keer helemaal naar achter moet lopen om iets te halen en het weer naar voren moet brengen, blijft het werk doorgaan, maar niet zo soepel als het zou kunnen. Stel je nu voor dat er een tussenruimte is direct achter het laadperron, waar de volgende items die waarschijnlijk nodig zijn al klaar liggen. Niet alles, maar genoeg om de workflow niet te laten stokken.

Die tussenruimte is wat Storage Class Memory vertegenwoordigt. Het vervangt het magazijn niet en het vergroot het laadperron niet, het zorgt er simpelweg voor dat je niet telkens de langste route hoeft te nemen.

Wat SCM echt verandert

Vanuit systeemperspectief zit de waarde van SCM (Storage Class Memory) niet zozeer in het feit dat het extreem veel sneller is dan alles eromheen, maar in het feit dat het vermindert hoe vaak het traagste pad gebruikt wordt. Dat verschil is belangrijk, omdat prestatieproblemen meestal niet door één langzaam onderdeel ontstaan, maar door hoe vaak het systeem erop moet terugvallen.

Door een laag tussen DRAM en NAND te plaatsen, kan het systeem meer data dichter bij de verwerking houden zonder de volledige kosten en het energieverbruik van een even grote uitbreiding van DRAM.

Tegelijkertijd voorkomt het dat NAND te zwaar belast wordt met workloads die eigenlijk nooit bedoeld waren voor zo’n continu en intensief gebruikspatroon.

Hier begint ook de grens tussen geheugen en opslag wat te vervagen. SCM gedraagt zich meer als geheugen in de manier waarop het wordt aangesproken, maar behoudt eigenschappen van opslag in termen van dichtheid en kosten. Die hybride rol is precies wat het nuttig maakt in AI-systemen, waar traditionele categorieën minder strak van toepassing zijn.

Waarom deze laag nu belangrijk is

Technisch gezien is niets hiervan volledig nieuw, maar het wordt relevanter door de manier waarop AI-workloads zijn opgebouwd. De hoeveelheid data die wordt verplaatst, hergebruikt en opnieuw benaderd is simpelweg groter dan waar veel systemen oorspronkelijk voor zijn ontworpen.

Die toename legt niet alleen druk op opslagcapaciteit, maar ook op hoe efficiënt data herhaaldelijk toegankelijk is, en dat is waar een tussenlaag echt verschil begint te maken.

Het sluit ook aan op hetzelfde thema uit het eerste artikel: de industrie vervangt NAND niet, maar bouwt eromheen. Storage Class Memory maakt deel uit van die verschuiving en haalt druk weg bij zowel DRAM als NAND zonder één van beide te elimineren.

Vanaf hier blijft de stack zich in beide richtingen ontwikkelen. Boven deze laag zie je steeds gespecialiseerdere geheugentypes zoals HBM. Daaronder past NAND zich aan nieuwe rollen aan, inclusief pogingen om flash zich meer als geheugen te laten gedragen.

Het systeem werkt niet omdat één laag perfect is, maar omdat elke laag wordt ingezet voor het soort werk waar die het beste in is.

Redactionele en afbeeldingsnotitie: De afbeelding bij dit artikel is een originele foto, ter plaatse gemaakt door de auteur voor GetUSB.info.

Hoe dit artikel tot stand is gekomen: Deze content is ontwikkeld door de auteur op basis van het technische onderwerp en de redactionele richting. AI-tools zijn gebruikt om ritme en structuur te ondersteunen, met een eindcontrole en goedkeuring door de auteur.