AI sluger energi som et kryptomineanlæg
AI's voksende appetit på elektricitet er ved at blive et alvorligt problem – både for pengepungen og for klimaet. Men en ny kinesisk teknik kan vende denne udvikling fuldstændig på hovedet.
Forskere har demonstreret, at neurale netværk kan trænes til en markant lavere energiomkostning, hvis man kombinerer ukonventionel hardware med en smart algoritme, der i stedet for at bekæmpe fejl lærer at leve med dem.
Bag den venlige grænseflade gemmer sig et energimonstrum
Når du genererer billeder eller chatter med en AI-assistent, ser du kun en simpel og imødekommende overflade. Bag kulisserne arbejder massive serverfarme fyldt med processorer og grafikkort. Disse maskiner forbruger enorme mængder strøm – primært til træning af komplekse modeller som store sprogmodeller.
Jo mere avanceret et neuralt netværk er, desto flere beregninger og desto mere datatransport er der mellem hukommelse og processorer. Det er netop disse operationer, der forårsager gigantiske energitab. Der tales i stigende grad om, at AI-udviklingen kan blive en af verdens største strømforbrugere – på niveau med tunge industrisektorer.
Løsningen på AI's energiproblem handler ikke længere blot om at optimere kode. Der kræves et fundamentalt skift i tilgangen til selve hardwaren og til, hvordan modeller trænes.
Memristorer – hukommelse, der tænker på stedet
En af de mest lovende veje mod en mere "grøn" kunstig intelligens er såkaldt in-memory computing, altså beregning direkte i hukommelsen. I stedet for konstant at flytte data frem og tilbage mellem hukommelse og processor, udføres en del af operationerne der, hvor dataene allerede befinder sig. Memristorer spiller en central rolle her.
En memristor er et særligt elektronisk komponent, der fungerer som en modstand med hukommelse. Dens elektriske modstand afhænger af historikken for den strøm, der har løbet igennem den, og den kan repræsentere vægtene i et neuralt netværk. På den måde fungerer én enkelt struktur samtidig som hukommelse og beregningsenhed.
- Den lagrer information i form af neurale netværksvægte,
- den muliggør lokale beregninger uden at sende data til en ekstern processor,
- den kan reducere datatransporten markant og dermed også energiforbruget.
Det lyder næsten for godt til at være sandt – og reelle memristorer er da heller ikke fejlfrie. De introducerer støj, opfører sig ustabilt, og hvert skriveoperationstrin er energikrævende og slider på komponenternes levetid. Derfor fungerer det ikke tilfredsstillende blot at overføre klassiske træningsmetoder direkte til denne type hardware.
En ny filosofi: færre rettelser, større fejltolerance
Et forskerhold fra et laboratorium i Zhejiang i Kina har foreslået en helt anden tilgang til at træne AI på memristorer. I stedet for at forsøge at eliminere alle ufuldkommenheder har forskerne designet en metode, der bevidst tager højde for dem. De kalder den error-aware probabilistic update, forkortet EaPU – altså en probabilistisk opdatering med fejlbevidsthed.
Kernen i metoden er en enkel idé: netværket forsøger ikke at korrigere enhver minimal vægtændring. Hvis en fejl befinder sig inden for hardwarens tolerancegrænser, forbliver parameteren urørt. Kun større afvigelser udløser en egentlig opdateringsproces.
I stedet for at opdatere næsten alle vægte i hver træningsiteration opdaterer netværket under 0,1% af parametrene. Færre skrivninger betyder mindre energiforbrug og længere levetid for hardwaren.
Denne tilgang har flere konkrete effekter:
- Antallet af skriveoperationer i memristorerne falder drastisk,
- støjpåvirkningen mindskes, fordi algoritmen ikke "jagter" tilfældige udsving,
- træningsprocessen bliver mere stabil på trods af uperfekt hardware.
Hvor meget energi spares der egentlig?
Ifølge de offentliggjorte resultater kræver selve træningen af neurale netværk i en memristorbaseret arkitektur med EaPU op til 50 gange mindre energi sammenlignet med tidligere metoder udviklet til samme type hardware.
Og det er endda ikke hele billedet. Når dette setup sammenlignes med klassisk GPU-baseret netværkstræning, bliver forskellen nærmest ekstrem. Forskerne estimerer, at det samlede energiforbrug kan reduceres med hele seks størrelsesordener – svarende til cirka en million gange.
| Løsning | Energiforbrug (træning) | Modelpræcision | Hardware-levetid |
|---|---|---|---|
| Klassiske GPU'er | 100% | Høj | Standard |
| Memristorer uden EaPU | Lavere end GPU, men stadig højt | Væsentligt dårligere | Begrænset af hyppige skrivninger |
| Memristorer med EaPU | Omkring en million gange mindre end GPU | Sammenlignelig med klassiske supercomputere | Op til tusind gange længere levetid |
Metoden øger desuden netværkenes nøjagtighed med op til 60% sammenlignet med tidligere memristorbaserede løsninger. Det bringer resultaterne på niveau med dem, der opnås på traditionelle supercomputere – og altså uden kompromis med kvaliteten.
Tests: fra billedstøj til skarp superopløsning
For at bevise at dette ikke blot er teori, byggede teamet en reel memristormatrix med en størrelse på 180 nanometer. På denne hardware trænede de netværk til to krævende billedbehandlingsopgaver:
- Fjernelse af støj fra fotografier,
- opskaleringaf opløsning, også kaldet super-resolution.
Testene gav resultater, der var sammenlignelige med traditionelle metoder baseret på processorer og grafikkort. Den afgørende forskel lå i energiprofilen – hardwaren med memristorer og EaPU krævede markant mindre strøm for at nå de samme resultater.
Kan dette bane vejen for mere "grønne" sprogmodeller?
Der tales mest om store sprogmodeller, der driver chatbots og tekstgeneratorer. Træningen af dem sluger enorme energimængder og kræver hundredvis – sommetider tusindvis – af GPU'er, der arbejder parallelt. Det er derfor naturligt, at forskerne overvejer, om EaPU kan overføres til netop denne klasse af modeller.
Forfatterne bag studiet erkender, at de foreløbig er begrænset af den tilgængelige hardware. En 180 nm-matrix er kun en lille brik af, hvad der ville kræves til at træne en fuldskala sprogmodel. Samtidig mener de, at selve algoritmens koncept og fejlhåndteringen ikke er specifik for én bestemt opgavetype.
Forskerne antager, at den samme tilgang kan anvendes på store sprogmodeller, forudsat at der udvikles tilstrækkeligt avancerede hardwarearkitekturer baseret på memristorer eller beslægtede teknologier.
Interessant nok er EaPU heller ikke strengt bundet til memristorer alene. Teamet peger på, at en tilsvarende probabilistisk parameteropdatering sandsynligvis også vil fungere med andre typer ikke-flygtig hukommelse, såsom ferroelektriske transistorer og magnetoresistive hukommelsestyper.
En ny generation af AI-hardware
Hvis sådanne teknikker finder vej ud af laboratorierne, kan det tvinge en helt ny klasse af AI-acceleratorer frem. I stedet for endnu en generation af klassiske GPU'er vil en del af opgaverne blive overtaget af specialiserede in-memory-beregningskredsløb. Denne type hardware kan ende ikke kun i datacentre, men også i edge-enheder – fra intelligente kameraer til medicinsk udstyr.
Forestil dig et overvågningssystem, der behandler billeder lokalt, genkender hændelser og kun bruger en brøkdel af den energi, nutidens løsninger kræver. Eller en smartphone, der kører en lokal sprogmodel uden at dræne batteriet på få timer. Det er præcis disse scenarier, der kan blive virkelighed, hvis energiforbruget falder med størrelsesordener.
Hvad betyder det for brugere og virksomheder?
Set fra en almindelig brugers perspektiv er de to vigtigste effekter lavere serviceomkostninger og en mindre miljøbelastning. Mindre strøm i datacentrene betyder lavere driftsudgifter for operatørerne og dermed større chance for, at avancerede AI-funktioner ikke kræver dyre abonnementer.
For virksomheder, der implementerer AI, betyder et sådant effektivitetsgennembrud helt nye forretningsmæssige beregninger. Træning af egne modeller ophører med at være et privilegium forbeholdt teknologigiganterne. Når energiomkostningerne falder hundrede eller tusinde gange, kan mindre aktører – herunder virksomheder inden for medicin, industri og logistik – pludselig tillade sig egne skræddersyede løsninger.
Det er dog vigtigt at huske én ting: reel forandring kræver ikke blot nye algoritmer, men også masseproduktion af specialiserede hukommelseskredsløb. Det er en lang proces, der kræver investeringer og tid – ligesom overgangen fra klassiske processorer til specialiserede GPU'er til grafik og AI i sin tid gjorde.
For dem, der følger teknologiudviklingen tæt, er der endnu et perspektiv, der er værd at bemærke. Emnet energieffektivitet inden for AI bliver stadig mere centralt i planlægningen af nye datacentre og forskningsprojekter. Institutioner og virksomheder, der allerede nu begynder at interessere sig for in-memory computing og fejltolerante teknikker, vil have et forspring, når disse løsninger træder ind i det brede marked.
