AI’s sultne efter regnekraft vokser hurtigere end kapaciteten i vores elnet kan følge med.
Mellem klimamål og digitale ambitioner opstår et spændingsfelt.
Mens techgiganter massivt bygger nye datacentre, søger forskere stille efter måder at gøre AI smartere og mere energieffektiv. Et nyligt gennembrud omkring såkaldte memristorer og en ny træningsmetode kunne drastisk sænke energiregningen for dybe neurale netværk.
Hvorfor AI bliver så energikrævende
Moderne AI-modeller kører oftest på enorme clusters af GPU’er i energiintensive datacentre. Hver forbedring i præcision kræver ekstra lag, flere parametre og dermed mere regnekraft. Især træning af store modeller forbruger gigantiske mængder elektricitet.
I klassiske computere bevæger data konstant mellem hukommelse og processor. Den datastrøm koster meget energi og skaber varme. AI forstærker problemet, fordi neurale netværk ved hvert trin skal hente og justere millioner til milliarder af vægte.
Nye AI-modeller leverer imponerende resultater, men deres energiforbrug risikerer at blive en bremse på både innovation og klimapolitik.
Forskere leder derfor efter nye hardwarekoncepter, der placerer hukommelsen tættere på selve regnprocessen, så data skal bevæge sig mindre. Dér kommer memristorer i spil.
Hvad memristorer gør anderledes
Memristorer er elektroniske komponenter, der opfører sig som modstande med hukommelse. Deres ledningsevne afhænger af den elektriske historie: hvad der tidligere er skrevet, påvirker den nuværende tilstand. Det gør dem velegnede til at opbevare vægte fra et neuralt netværk direkte i hardwaren.
I en memristor-matrix sker beregningerne lokalt. Materialets fysiske egenskaber udfører de matematiske operationer i stedet for en række instruktioner på en traditionel processor. Det sparer datatransport og kan i princippet koste langt mindre energi.
Der er dog en stor men ved denne historie: memristorer er ikke perfekte. De udviser støj, variationer mellem komponenter og upræcise skriveoperationer. Ved klassiske træningsalgoritmer fører det til ustabile modeller og ringere præstationer.
Hardwaren er energieffektiv, men dens ufuldkommenhed ødelægger præcisionen – medmindre træningsprocessen tilpasser sig.
Et smart trick: eaPU gør fejl brugbare
Hvad går eaPU præcist ud på?
Et forskerteam fra Zhejiang-laboratoriet i Kina præsenterede i Nature Communications en ny træningstilgang: error-aware probabilistic update, forkortet eaPU. Kernen: algoritmen accepterer små fejl og undgår unødvendige justeringer i memristorerne.
I stedet for at opdatere alle vægte ved hver minibatch, som ved standard backpropagation, opdaterer netværket med eaPU mindre end 0,1 procent af parametrene per trin. Kun når en ændring er større end en tærskelværdi, følger en fysisk skriveoperation i memristoren.
- Små variationer forbliver uændrede: modellen tolererer mikrofejl.
- Store afvigelser får prioritet: kun signifikante opdateringer koster energi.
- Sandsynligheden for en opdatering afhænger af fejlstørrelsen og memristorens egenskaber.
Fordi skrivning til en memristor kræver langt mere energi end læsning, giver den selektion enorm gevinst. Færre skrivecykler betyder desuden mindre slid på materialet.
Tal der springer i øjnene
| Aspekt | Konventionel memristor-træning | Med eaPU |
|---|---|---|
| Andel opdaterede vægte per trin | Stor del af parametrene | < 0,1 % af parametrene |
| Energiforbrug ved træning (vs. andre memristor-metoder) | Reference | Op til 50× lavere |
| Enhedernes levetid | Begrænset af skriveslid | Op til 1.000× længere |
| Præcision | Betydeligt lavere end digitale supercomputere | +60 % i forhold til andre memristor-tilgange, sammenlignelig med supercomputere |
| Sammenligning med GPU-systemer | Energiintensiv | Cirka en faktor million mindre energi |
Ifølge forskerne falder energiforbruget ved sammenligning med GPU-baserede systemer med omkring seks størrelsesordener – en reduktion på omkring en million.
Dermed tegner der sig et scenarie, hvor AI-træning ikke længere udelukkende er afhængig af megadatacentre med kolossal køling, men også bliver mulig på kompakt, specialiseret hardware.
Fra billedbehandling til sprogmodeller?
Teamet testede eaPU på en memristor-matrix på 180 nanometer. De trænede neurale netværk til billedstøjreduktion og superopløsning. Resultaterne lå tæt på dem fra konventionelle digitale metoder, mens energiforbruget forblev markant lavere.
Den anvendte chipstørrelse og arkitektur er beskeden sammenlignet med infrastrukturen for store sprogmodeller. Alligevel ser forskerne ingen fundamental barriere for at udvide tilgangen til LLM’er.
De forventer, at princippet med probabilistiske opdateringer kan anvendes på netværk med milliarder af parametre, forudsat at hardwaren vokser i skala og pålidelighed. I opfølgende forskning vil de teste direkte, hvordan eaPU opfører sig ved flerlagede transformer-arkitekturer, rygraden i moderne sprogmodeller.
Ikke kun til memristorer
Interessant er det, at metoden ikke strengt er bundet til memristorer. Konceptet “fejlbevidst probabilistisk opdatering” kan også køre på andre in-memory computing-teknologier, såsom:
- ferroelektriske transistorer
- magnetoresistiv hukommelse (MRAM)
- hybride arkitekturer med analoge og digitale blokke
Det øger chancen for, at industripartnere vil tage den i brug, fordi forskellige producenter allerede satser på sådanne hukommelsestyper til energieffektive AI-chips.
Hvad dette betyder for datacentre og klimamål
Væksten i AI-forbrug rejser spørgsmål om det digitale landskabs bæredygtighed. Estimater peger på, at storskala-modeller i de kommende år kan forbruge lige så meget strøm som mellemstore lande, hvis der ikke sker ændringer i den underliggende hardware.
En faktor million mindre energi per træningstrin ændrer samtalen: AI behøver ikke forblive synonym med høj CO₂-udledning.
Hvis teknikker som eaPU bliver anvendelige i stor skala, kan datacentre udføre samme arbejde med langt mindre strøm. Det mindsker presset på netoperatører, begrænser behovet for nye højspændingsforbindelser og gør vedvarende energi mere tilstrækkelig.
For europæiske lande, herunder Danmark, hvor lokal modstand mod nye datacentre vokser, kan denne slags hardware-innovation blødgøre debatten. Diskussionen skifter så fra “datacenter eller ej” til “hvilken teknologi bruger datacentret indeni?”.
Scenarier for fremtidige anvendelser
En praktisk anvendelse ligger ved såkaldt edge-AI: modeller der kører tæt på brugeren, på smartphones, biler, medicinsk udstyr eller industrielle sensorer. Med ekstremt energieffektiv træning og inferens kan sådanne enheder lære lokalt i stedet for at sende alt til skyen.
En bil kunne for eksempel finpudse sin køreassistent baseret på lokale forhold uden konstant at uploade data. En bærbar medicinsk enhed kunne tilpasse mønstre i puls eller glukoseværdier, mens batteriet stadig holder i dage.
Også for virksomheder, der arbejder med fortrolige data, som hospitaler eller banker, byder denne retning på muligheder. Mindre afhængighed af centrale GPU-clusters betyder, at følsomme data ikke behøver at forlade bygningen, mens algoritmer stadig forbedres.
Risici, begrænsninger og næste skridt
De nuværende resultater stammer fra laboratorieopsætninger med relativt små chips. Skalerbarhed udgør et stort spørgsmålstegn: hvordan opfører analoge arrays sig, når millioner af memristorer fungerer side om side med temperatursvingninger og produktionsfejl?
Desuden kræver sådan en ny arkitektur en tilpasset softwarestack: træningsbiblioteker, compilere og frameworks, der tager højde for probabilistiske opdateringer og støj i hardwaren. Uden brugervenlige værktøjer forbliver disse løsninger begrænset til forskningslaboratorier.
Alligevel rammer kernen i forslaget et bredere tema i AI-verdenen: acceptér ufuldkommenhed, hvor det kan lade sig gøre. Ved ikke for enhver pris at korrigere hardwarefejl, men at udnytte dem smart, opstår der plads til drastisk lavere energiforbrug. Det skift i tænkning kan også inspirere andre AI-felter, fra neuromorfe chips til spiking neural networks.
For dem, der anvender AI i produkter eller tjenester, lønner det sig at følge disse udviklinger. Valget af hardware og træningsstrategi bestemmer ikke kun præstationerne, men også energiaftrykket, driftsomkostningerne og skalbarheden på lang sigt. Nye generationer af AI-systemer vil sandsynligvis ikke kun blive bedømt på præcision, men også på antal kilowatt-timer per trænet parameter.
