AI-systemen vertragen meestal niet door beperkingen in rekenkracht, maar omdat het systeem de data niet snel genoeg kan verplaatsen om de processor continu van informatie te voorzien.

Met andere woorden: de bottleneck zit niet in het verwerken van data, maar in het leveren van die data op de snelheid die moderne AI-workloads vereisen.

Daar komt High Bandwidth Memory (HBM) in beeld als een belangrijk onderdeel van de architectuur.

Voor een breder beeld van hoe geheugen zich ontwikkelt voorbij flash en waarom AI-systemen tegenwoordig afhankelijk zijn van meerdere lagen, zie onze hoofd­analyse: NAND verdwijnt niet, maar AI-servers zijn tegenwoordig afhankelijk van meer dan alleen flash.

Al meer dan twee decennia kijkt GetUSB naar hoe data zich daadwerkelijk verplaatst, niet alleen hoe het wordt gepresenteerd in marketing. In die tijd hebben we opslag door meerdere cycli zien evolueren, van de afname van draaiende schijven tot de opkomst van flash, en meer recent naar systemen waarin opslag niet langer slechts een passieve component is, maar onderdeel van de infrastructuur zelf.

Wat er nu gebeurt met AI-infrastructuur voelt als opnieuw zo’n overgangsmoment, maar dit keer gedreven door een ander soort druk.

NAND-flash verdwijnt niet, en daar is eigenlijk geen discussie over. Het blijft de basis van moderne opslag en doet dat werk extreem goed. Tegelijkertijd is de vraag naar NAND snel gestegen, grotendeels door AI-workloads die enorme datasets vereisen en daar continu toegang toe nodig hebben. Die vraag begint nu tegen de grenzen van het aanbod aan te lopen op manieren die steeds moeilijker te negeren zijn, of dat nu zichtbaar wordt in prijsdruk, strakkere toewijzingen of simpelweg langere levertijden voor grote implementaties.

Wanneer dit soort onevenwicht zichtbaar wordt, blijft de industrie niet stilzitten en wachten tot alles weer normaliseert. Ze gaat op zoek naar andere manieren om het probleem op te lossen, en daar begint de verschuiving.