Zodra je begint te kijken naar hoe AI-systemen daadwerkelijk data verplaatsen, merk je vrij snel dat het probleem niet alleen gaat over snellere processors of meer opslag, maar vooral over wat er tussen die lagen gebeurt en hoe vaak het systeem moet wachten.

In het vorige artikel over High Bandwidth Memory lag de nadruk op het zo dicht mogelijk bij de processor houden van data, zodat de GPU niet stil komt te staan. Dat is de bovenkant van de stack en dat is cruciaal, maar het lost maar een deel van het probleem op, omdat niet alles daar kan blijven.

Zodra de werkset groter wordt dan wat in die directe laag past, ga je weer data verplaatsen tussen DRAM en NAND, en daar begint het geheel wat onevenwichtig aan te voelen. DRAM is snel en responsief, maar duur en niet onbeperkt schaalbaar. NAND is veel praktischer qua capaciteit, maar zelfs goed flashgeheugen introduceert genoeg vertraging dat het merkbaar wordt wanneer het systeem continu onder belasting staat.

Die ruimte ertussen is waar Storage Class Memory zijn waarde begint te tonen. Niet als iets nieuws dat één van beide kanten wil vervangen, maar als een manier om de overgang soepeler te maken zodat het systeem niet voortdurend springt van heel snel naar merkbaar trager en weer terug.

Als je het bredere plaatje wilt begrijpen waarom deze lagen überhaupt ontstaan, dan sluit dit direct aan op het hoofdartikel hier: NAND verdwijnt niet, maar AI-servers zijn tegenwoordig afhankelijk van meer dan alleen flash.