AI-systemen vertragen meestal niet door beperkingen in rekenkracht, maar omdat het systeem de data niet snel genoeg kan verplaatsen om de processor continu van informatie te voorzien.

Met andere woorden: de bottleneck zit niet in het verwerken van data, maar in het leveren van die data op de snelheid die moderne AI-workloads vereisen.

Daar komt High Bandwidth Memory (HBM) in beeld als een belangrijk onderdeel van de architectuur.

Voor een breder beeld van hoe geheugen zich ontwikkelt voorbij flash en waarom AI-systemen tegenwoordig afhankelijk zijn van meerdere lagen, zie onze hoofd­analyse: NAND verdwijnt niet, maar AI-servers zijn tegenwoordig afhankelijk van meer dan alleen flash.

Al meer dan twee decennia kijkt GetUSB naar hoe data zich daadwerkelijk verplaatst, niet alleen hoe het wordt gepresenteerd in marketing. In die tijd hebben we opslag door meerdere cycli zien evolueren, van de afname van draaiende schijven tot de opkomst van flash, en meer recent naar systemen waarin opslag niet langer slechts een passieve component is, maar onderdeel van de infrastructuur zelf.

Wat er nu gebeurt met AI-infrastructuur voelt als opnieuw zo’n overgangsmoment, maar dit keer gedreven door een ander soort druk.

NAND-flash verdwijnt niet, en daar is eigenlijk geen discussie over. Het blijft de basis van moderne opslag en doet dat werk extreem goed. Tegelijkertijd is de vraag naar NAND snel gestegen, grotendeels door AI-workloads die enorme datasets vereisen en daar continu toegang toe nodig hebben. Die vraag begint nu tegen de grenzen van het aanbod aan te lopen op manieren die steeds moeilijker te negeren zijn, of dat nu zichtbaar wordt in prijsdruk, strakkere toewijzingen of simpelweg langere levertijden voor grote implementaties.

Wanneer dit soort onevenwicht zichtbaar wordt, blijft de industrie niet stilzitten en wachten tot alles weer normaliseert. Ze gaat op zoek naar andere manieren om het probleem op te lossen, en daar begint de verschuiving.

Hoe een AI-server er echt uitziet wanneer je de behuizing opent

Er is momenteel veel rumoer over AI die “te veel geheugen” gebruikt. De prijzen stijgen. De beschikbaarheid is beperkt. Iedereen zegt dat de vraag explodeert. Dat heb je waarschijnlijk al gelezen.

Maar het meeste wat hierover wordt geschreven, slaat het belangrijkste deel over: hoe een AI-computer er fysiek uitziet en waarom hij überhaupt zo veel geheugen nodig heeft. Niet in abstracte grafieken of marktvoorspellingen, maar in termen die je je kunt voorstellen. Zodra je begrijpt wat één enkel AI-systeem daadwerkelijk verbruikt, klinkt de rest van het verhaal niet meer dramatisch, maar onvermijdelijk.

Onlangs legde ik dit uit op een plek die niets met datacenters te maken heeft. Ik was op de school van mijn kind tijdens een “ouderdag”, stond in een klaslokaal, en een paar leerlingen begonnen vragen te stellen over AI. Geen chatbotvragen. Echte vragen. Hoe ziet de computer eruit? Waar gaan de gegevens naartoe? Waarom heeft iedereen het steeds over “geheugen”, alsof dat het hele verhaal is?