GetUSB verandert niet ineens in een website over kunstmatige intelligentie. Daar zijn er al genoeg van, en op de meeste dagen heeft de wereld waarschijnlijk niet nóg een artikel nodig waarin wordt uitgelegd dat AI alles gaat veranderen.
Wat onze aandacht wel heeft getrokken, is iets praktischer.
Hoe dieper je kijkt naar hoe kunstmatige intelligentie werkelijk werkt, hoe vertrouwder het gesprek begint te klinken. Geheugenbandbreedte is belangrijk. Opslag is belangrijk. NAND-flash is belangrijk. DRAM is belangrijk. PCIe is belangrijk. Enorme hoeveelheden data van de ene plek naar de andere verplaatsen is belangrijk. Dit zijn onderwerpen die we al jaren volgen, lang voordat elke productaankondiging ergens in de eerste alinea de letters “AI” moest bevatten.
De afgelopen maanden hebben we een aantal artikelen geschreven waarin we AI vanuit precies dat hardwareperspectief bekijken. In plaats van achter elk nieuw model of elke softwareaankondiging aan te rennen, zijn we vooral geïnteresseerd geraakt in wat er onder de motorkap moet gebeuren om dit allemaal mogelijk te maken.
Als we terugkijken, passen acht artikelen verrassend goed bij elkaar.
Draagbare AI-versnellers versus cloud-AI: wat moeten kleine bedrijven eigenlijk kiezen?
Een van de interessantere veranderingen binnen AI is dat een AI-workload uitvoeren niet automatisch betekent dat alles naar een enorm datacenter moet worden gestuurd. Kleinere AI-versnellers maken lokale inferentie praktisch voor toepassingen die niet de rekenkracht van een gigantisch cloudmodel nodig hebben.
In ons artikel over draagbare AI-versnellers versus cloud-AI hebben we gekeken naar de afwegingen tussen beide benaderingen. Cloud-AI biedt enorme rekenresources, maar lokale AI heeft ook een aantal interessante voordelen, waaronder privacy, voorspelbare bedrijfskosten, lagere latentie en de mogelijkheid om te blijven werken zonder internetverbinding.
Het belangrijkste punt is niet dat de ene aanpak wint. AI-verwerking begint zich simpelweg te verspreiden. Sommige taken horen thuis in de cloud. Andere zijn veel logischer op een lokale computer of een edge-apparaat.
Binnenin een AI-computer: waarom moderne AI-systemen zoveel geheugen verbruiken
Een GPU krijgt in een AI-computer meestal alle aandacht, maar een krachtige processor heeft niet zoveel nut als hij het grootste deel van zijn tijd op gegevens staat te wachten.
Dat bracht ons ertoe om in een AI-computer te kijken en uit te leggen waarom moderne AI-systemen zoveel geheugen verbruiken. AI-modellen bevatten enorme aantallen parameters, en die parameters moeten worden opgeslagen, geladen en door het systeem worden verplaatst terwijl de berekeningen plaatsvinden.
Dit is een van de terugkerende thema’s bij AI-hardware. De rekenkracht is enorm toegenomen, maar die rekenkracht van voldoende gegevens voorzien is inmiddels een probleem op zichzelf geworden. De processor kan misschien prima in staat zijn het werk uit te voeren, maar alleen als de rest van het systeem hem kan bijhouden.
NAND verdwijnt niet, maar AI-servers zijn tegenwoordig afhankelijk van meer dan alleen flash
Gezien onze achtergrond was NAND-flash voor ons een vrij logische plek om te beginnen graven.
AI maakt NAND niet overbodig. Integendeel zelfs. Modellen, trainingsdata, databases en gegenereerde informatie hebben allemaal permanente opslag nodig, en flash blijft daarbij ontzettend belangrijk. Maar AI-servers zijn tegenwoordig afhankelijk van veel meer dan alleen NAND-flash, omdat opslagcapaciteit maar één deel van het probleem is.
Een SSD kan een enorme hoeveelheid informatie bevatten, maar de processor kan niet rechtstreeks op volle snelheid berekeningen uitvoeren op alles wat op een SSD staat. Gegevens moeten door verschillende lagen van de geheugenhiërarchie bewegen, waarbij elke laag zijn eigen balans heeft tussen capaciteit, snelheid en kosten.
AI heeft die hiërarchie veel zichtbaarder gemaakt.
Wat is High Bandwidth Memory en waarom is AI ervan afhankelijk?
High Bandwidth Memory, meestal afgekort tot HBM, is veranderd van een tamelijk gespecialiseerde geheugentechnologie in iets dat regelmatig wordt genoemd zodra het over AI-hardware gaat.
Daar is een goede reden voor.
In onze uitleg over wat High Bandwidth Memory is en waarom AI ervan afhankelijk is, hebben we gekeken naar het probleem dat HBM probeert op te lossen. Moderne GPU’s kunnen een buitengewoon groot aantal berekeningen uitvoeren, maar traditionele geheugenarchitecturen kunnen een knelpunt worden wanneer die processors voortdurend enorme hoeveelheden gegevens aangeleverd moeten krijgen.
HBM plaatst extreem snel geheugen heel dicht bij de processor en biedt veel meer geheugenbandbreedte dan traditionele geheugenopstellingen. Het is duur en ingewikkeld, maar wanneer je probeert een AI-versneller voortdurend van gegevens te voorzien, kan bandbreedte net zo belangrijk zijn als pure rekenkracht.
Zie het als het bezit van een zeer snelle fabriek. De machines in de fabriek nog sneller maken levert niet zoveel op als het laadperron de grondstoffen niet snel genoeg kan aanvoeren.
Waarom DRAM alleen niet langer kan meekomen met AI
DRAM verdwijnt ook niet. Er zijn simpelweg te veel gegevens.
We hebben dit onderzocht in waarom DRAM alleen niet langer kan meekomen met AI, omdat de voor de hand liggende oplossing voor een tekort aan geheugen lijkt te zijn om gewoon meer geheugen te installeren. Helaas wordt dat op AI-schaal al heel snel duur en lost het nog steeds niet ieder probleem met bandbreedte en capaciteit op.
Hier beginnen de verschillende lagen van AI-opslag logischer te worden. HBM kan uitzonderlijk veel bandbreedte dicht bij de processor leveren. DRAM biedt grotere pools van snel werkgeheugen. NAND-flash biedt veel meer permanente capaciteit. Elke technologie doet iets wat de andere niet op een economisch zinvolle manier kan doen.
AI vervangt dus niet het ene type geheugen door het andere. Als er al iets gebeurt, dan dwingt AI computers juist om meer soorten geheugen tegelijk te gebruiken.
Waarom harde schijven nog steeds cruciaal zijn voor AI-infrastructuur
Dit is misschien wel mijn favoriete tegenstelling in het hele verhaal rond AI-hardware.
We besteden zoveel tijd aan ongelooflijk geavanceerde GPU’s, HBM, NVMe-opslag en moderne halfgeleiderproductie, en vervolgens vinden we verderop in de keten nog steeds technologie die gebaseerd is op draaiende magnetische schijven.
De harde schijf is springlevend.
In waarom harde schijven nog steeds cruciaal zijn voor AI-infrastructuur, hebben we gekeken naar de enorme hoeveelheid informatie die AI-bedrijven moeten bewaren. Trainingsdatasets, model-checkpoints, back-ups, archieven en andere grote hoeveelheden gegevens hoeven niet allemaal op dure, snelle flashopslag te staan.
Op een gegeven moment neemt de economie het over.
Wanneer je informatie per petabyte opslaat, wordt de prijs per terabyte behoorlijk belangrijk. Harde schijven blijven een van de voordeligste manieren om enorme hoeveelheden online opslag beschikbaar te maken. AI mag dan een van de meest geavanceerde computertechnologieën zijn die we ooit hebben gebouwd, maar blijkbaar heeft het nog steeds een behoorlijk grote kast nodig om al zijn spullen in kwijt te kunnen.
Waarom AI rekenkracht dichter bij opslag brengt
Decennialang was de normale computerarchitectuur redelijk eenvoudig: sla gegevens ergens op, verplaats ze naar het geheugen, stuur ze naar de processor en doe er vervolgens iets mee.
Dat werkt uitstekend totdat de hoeveelheid gegevens die moet worden verplaatst enorm wordt.
Ons artikel over waarom AI rekenkracht dichter bij opslag brengt kijkt naar een interessante reactie op dat probleem. In plaats van voortdurend gigantische datasets heen en weer door een systeem te verplaatsen, beginnen sommige architecturen delen van de berekening dichter te brengen bij de plaats waar de gegevens zich al bevinden.
Daar zit een eenvoudige logica achter. Gegevens verplaatsen kost tijd, bandbreedte en energie. Als je de afstand kunt verkleinen die gegevens moeten afleggen, kun je soms de efficiëntie van het hele systeem verbeteren zonder simpelweg een snellere processor tegen het probleem aan te gooien.
Dit is nog zo’n plek waar AI de traditionele definitie van computerprestaties verandert. Het snelste onderdeel is niet noodzakelijk de oplossing. Soms ontstaat de grootste verbetering simpelweg doordat je minder gegevens hoeft te verplaatsen.
KV-cache: het AI-geheugenreservoir dat voorkomt dat GPU’s drooglopen
KV-cache klinkt als een van die onderwerpen die je veilig kunt negeren, totdat je beseft dat het helpt verklaren waarom AI-inferentie verrassend grote hoeveelheden geheugen kan gebruiken.
Wanneer een taalmodel een antwoord genereert, wil het niet telkens opnieuw alles berekenen wat het al heeft verwerkt wanneer het volgende token wordt geproduceerd. De KV-cache werkt als een geheugenreservoir en bewaart informatie uit eerdere berekeningen zodat het model die opnieuw kan gebruiken.
Dat is geweldig voor de prestaties. Maar gratis is het niet.
Naarmate gesprekken langer worden en meer gebruikers met een model werken, kunnen de geheugenvereisten van de KV-cache enorm toenemen. Opnieuw komen we vanuit een andere richting bij hetzelfde probleem met AI-hardware terecht: waar sla je al die informatie op, en hoe snel krijg je die weer terug bij de processor?
KV-cache is een goed voorbeeld van waarom alleen naar de specificaties van een GPU kijken je niet bijzonder veel vertelt over de prestaties van een compleet AI-systeem.
Blijkbaar komen we steeds weer terug bij geheugen en opslag
Toen we deze artikelen schreven, was er geen plan om een AI-serie van acht delen te maken. De onderwerpen bleven gewoon steeds weer kruisen met de technologie die we toch al volgen.
Misschien is dat eigenlijk juist het interessante gedeelte.
Haal de chatbots, gegenereerde afbeeldingen en futuristische voorspellingen weg en kunstmatige intelligentie verandert in een enorm probleem rond gegevensverwerking. Gegevens moeten worden opgeslagen. Ze moeten worden verplaatst. Ze moeten in het geheugen worden geplaatst. Ze moeten de processors snel genoeg bereiken om extreem dure hardware bezig te houden.
Plotseling klinken NAND, DRAM, HBM, harde schijven, PCIe en opslagarchitectuur niet meer als bijzaken. Ze maken deel uit van de machine die moderne AI mogelijk maakt.
En de laatste tijd zijn we zelfs verder gaan kijken dan alleen de hardware.
Ons recentere artikel, De grootste AI-bottleneck is geen software – het zijn elektriciens, brengt het verhaal buiten de server. Het bouwen van AI-infrastructuur vereist enorme hoeveelheden elektrische stroom, koeling en fysieke bouwcapaciteit. Op een gegeven moment kunnen de GPU’s, het geheugen en de opslagsystemen allemaal op een laadperron klaarstaan en heb je nog steeds een probleem: iemand moet de infrastructuur bouwen die nodig is om alles überhaupt aan te kunnen zetten.
Dat is waarschijnlijk ook de richting waarin onze AI-dekking zich zal blijven ontwikkelen. Niet achter elke nieuwe AI-aankondiging aanrennen, maar kijken naar de plekken waar AI opslag, hardware en de fysieke realiteit van computertechnologie tegenkomt.
Want dat zijn meestal toch de delen van het verhaal die ons interesseren.
