AI sluger energi som et kryptomineanlæg
AI's voksende energitørst er ved at blive et alvorligt problem – både for pengepungen og for klimaet. Men en ny kinesisk teknik kan vende dette mønster fuldstændigt på hovedet. Forskere har nemlig vist, at neurale netværk kan trænes til en brøkdel af den normale energiomkostning, hvis man kombinerer ukonventionel hardware med en smart algoritme, der lærer at leve med fejl i stedet for at bekæmpe dem.
Enhver, der har prøvet at generere billeder eller chatte med en AI-assistent, ser kun en venlig brugerflade. Bag kulisserne arbejder dog enorme serverfarme spækket med processorer og grafikkort. Disse maskiner sluger gigantiske mængder energi – primært til træning af komplekse modeller som store sprogmodeller.
Jo større et neuralt netværk er, desto flere beregninger og desto mere datatransport er der mellem hukommelse og processorer. Det er netop disse operationer, der forårsager massive energitab. Mange eksperter advarer nu om, at AI-udviklingen kan blive en af verdens største strømforbrugere – på niveau med tunge industrisektorer.
At løse AI's energiproblem handler ikke længere kun om at optimere koden. Der kræves en grundlæggende ændring i tilgangen til selve hardwaren og måden, modeller trænes på.
Memristorer – hukommelse, der tænker på stedet
Én af de mest lovende veje mod en "grønnere" kunstig intelligens er såkaldt in-memory computing, altså beregning direkte i hukommelsen. I stedet for konstant at flytte data frem og tilbage mellem hukommelse og processor udføres en del af operationerne dér, hvor dataene faktisk er lagret. Nøglekomponenten her er memristoren.
En memristor er et særligt elektronisk element, der fungerer som en resistor med hukommelse. Dens modstand afhænger af historikken for den strøm, der har passeret igennem den, og den kan repræsentere vægte i et neuralt netværk. Dermed fungerer én enkelt struktur på én gang som hukommelse og beregningsenhed.
- Den lagrer information i form af et neuralt netværks vægte
- Den muliggør lokale beregninger uden at sende data til en separat processor
- Den kan reducere datatransfer markant og dermed også energiforbruget
Det lyder ideelt – men virkeligheden er mere kompliceret. Rigtige memristorer er langt fra perfekte. De introducerer støj, opfører sig ustabilt, og hver skriveoperationer er energikrævende og slider på komponenternes levetid. Derfor virker en direkte overføring af klassiske træningsmetoder til sådan hardware simpelthen ikke tilfredsstillende.
En ny filosofi: færre korrektioner, større fejltolerance
Et forskerhold fra et laboratorium i Zhejiang i Kina har foreslået en helt anden tilgang til at træne AI på memristorer. I stedet for at forsøge at eliminere alle ufuldkommenheder designede holdet en metode, der bevidst tager højde for dem. De kalder den error-aware probabilistic update – eller EaPU for kort – altså en probabilistisk opdatering med fejlbevidsthed.
Kernen i tilgangen er elegant enkel: netværket forsøger ikke at korrigere enhver minimal ændring i en vægt. Hvis en fejl holder sig inden for hardwarens tolerancegrænse, forbliver parameteren urørt. Kun større afvigelser udløser en egentlig opdatering.
I stedet for at opdatere næsten alle vægte i hver træningsiteration opdaterer netværket under 0,1% af parametrene. Færre skrivninger betyder mindre energiforbrug og længere levetid for hardwaren.
Denne tilgang har flere konsekvenser:
- Antallet af skriveoperationer i memristorerne falder drastisk
- Støjens indvirkning mindskes, fordi algoritmen ikke "jagter" tilfældige udsving
- Træningsprocessen bliver mere stabil på trods af uperfekt hardware
Hvor meget energi sparer man egentlig?
Ifølge de offentliggjorte resultater kræver træning af neurale netværk i en memristorbaseret arkitektur med EaPU op til 50 gange mindre energi sammenlignet med tidligere metoder udviklet til samme type hardware.
Men det stopper ikke der. Sammenligner man dette setup med klassisk GPU-baseret netværkstræning, bliver forskellen nærmest ekstrem. Forskerne anslår, at det samlede energiforbrug kan reduceres med hele seks størrelsesordener – det vil sige omtrent en million gange.
| Løsning | Energiforbrug (træning) | Modelnøjagtighed | Hardwarelevetid |
|---|---|---|---|
| Klassiske GPU'er | 100% | Høj | Standard |
| Memristorer uden EaPU | Lavere end GPU, men stadig højt | Betydeligt dårligere | Begrænset af hyppige skrivninger |
| Memristorer med EaPU | Ca. en million gange mindre end GPU | På niveau med klassiske supercomputere | Op til tusind gange længere levetid |
Metoden øger desuden netværkets nøjagtighed med op til 60% sammenlignet med tidligere memristorbaserede løsninger. Det bringer resultaterne praktisk talt på niveau med traditionelle supercomputere – altså uden et kvalitetsmæssigt kompromis.
Test: fra billedstøj til skarp superopløsning
For at bevise at dette ikke blot er teori, byggede holdet en reel memristormatrix med en størrelse på 180 nanometer. På denne hardware trænede de netværk til to krævende billedbehandlingsopgaver:
- Fjernelse af støj fra fotografier
- Opskaling af billedopløsning – såkaldt super-resolution
Testresultaterne var sammenlignelige med traditionelle metoder baseret på konventionelle processorer og grafikkort. Den afgørende forskel lå i energiprofilen – memristoropsætningen med EaPU krævede markant mindre strøm for at opnå de samme resultater.
Kan dette åbne vejen til grønnere sprogmodeller?
De store sprogmodeller bag chatbots og tekstgeneratorer er i dag de mest energiintensive AI-systemer, vi kender. Træning af dem kræver hundredvis eller ligefrem tusindvis af GPU'er, der arbejder parallelt. Det er derfor naturligt, at forskerne nu spørger sig selv, om EaPU kan overføres til netop denne klasse af modeller.
Forfatterne indrømmer, at de foreløbig er begrænset af den tilgængelige hardware. En 180 nm-matrix er blot et lille fragment af, hvad der ville kræves til at træne en fuldskala sprogmodel. Samtidig mener de, at selve den algoritmiske tilgang til fejlhåndtering ikke er bundet til én bestemt opgavetype.
Forskerne vurderer, at den samme tilgang kan anvendes på store sprogmodeller, forudsat at der udvikles tilstrækkeligt avancerede hardwareplatforme baseret på memristorer eller beslægtede teknologier.
Interessant nok er EaPU ikke eksklusivt knyttet til memristorer. Holdet påpeger, at den probabilistiske opdateringstilgang også kan fungere med andre typer ikke-flygtig hukommelse – herunder ferroelektriske transistorer og magnetoresistiv hukommelse.
En ny generation af AI-hardware
Hvis sådanne teknikker bryder ud af laboratoriet, kan det fremtvinge en helt ny klasse af AI-acceleratorer. I stedet for endnu en generation af klassiske GPU'er vil specialiserede in-memory computing-chips overtage en del af opgaverne. Og denne type hardware er ikke kun relevant for store datacentre – den kan også ende i såkaldte edge-enheder, fra intelligente kameraer til medicinsk udstyr.
Forestil dig et overvågningssystem, der behandler billeder lokalt, genkender hændelser og kun kræver en brøkdel af det nuværende energiforbrug. Eller en smartphone, der kører en lokal sprogmodel uden at dræne batteriet på rekordtid. Det er præcis disse scenarier, der pludselig kan blive realistiske, hvis energiforbruget falder med størrelsesordener.
Hvad betyder det for brugere og virksomheder?
For den almindelige bruger er de to vigtigste konsekvenser lavere serviceomkostninger og mindre miljøbelastning. Mindre strøm i datacentrene betyder lavere driftsomkostninger for operatørerne – og dermed større sandsynlighed for, at avancerede AI-funktioner ikke kræver dyre abonnementer.
For virksomheder, der implementerer AI, ændrer et sådant effektivitetsspring de forretningsmæssige regnestykker fundamentalt. Træning af en egen model holder op med at være et privilegium forbeholdt teknologigiganter. Når energiomkostningerne falder hundrede- eller tusindvis af gange, åbner det op for, at mindre aktører inden for eksempelvis medicin, industri og logistik kan udvikle deres egne løsninger.
Det er dog vigtigt at huske én ting: reel forandring kræver ikke bare nye algoritmer, men også masseproduktion af specialiserede hukommelseschips. Det er en lang proces, der kræver investering og tid – ligesom overgangen fra klassiske processorer til specialiserede GPU'er til grafik og AI engang var det.
Emnet energieffektivitet i AI bliver stadigt mere centralt i planlægningen af nye datacentre og forskningsprojekter verden over. Universiteter og virksomheder, der allerede i dag begynder at interessere sig for in-memory computing og fejltolerante træningsmetoder, vil stå langt stærkere, når disse løsninger for alvor gør deres indtog i mainstream-teknologien.
