AI sluger energi som et kryptomineanlæg
AI's voksende energitørst er ved at blive et problem – både for pengepungen og for klimaet. Men en ny kinesisk teknik kan vende den udvikling fuldstændig på hovedet.
Forskere har vist, at neurale netværk kan trænes til en radikalt lavere energipris, hvis man kombinerer utraditionelt hardware med en smart algoritme – én der ikke bekæmper fejl, men i stedet lærer at leve med dem.
Alle der har leget med billedgenerering eller brugt chatbots, ser kun en venlig brugerflade. Bag kulisserne arbejder enorme serverfarme fyldt med processorer og grafikkort. Disse maskiner sluger gigantiske mængder energi – primært til træning af komplekse modeller som store sprogmodeller.
Jo mere avanceret et neuralt netværk er, desto flere beregninger og desto mere dataoverførsel mellem hukommelse og processor kræves der. Det er netop disse operationer, der forårsager enorme energitab. Der tales i stigende grad om, at AI-udviklingen kan blive en af verdens største strømforbrugere – på niveau med store industribrancher.
At løse AI's energiproblem handler ikke længere blot om at optimere kode. Det kræver en helt ny tilgang til selve hardwaren og måden, modeller trænes på.
Memristorer – hukommelse der tænker på stedet
En af de mest lovende veje mod en mere "grøn" kunstig intelligens er såkaldt in-memory computing. I stedet for konstant at flytte data frem og tilbage mellem hukommelse og processor, udføres en del af beregningerne direkte der, hvor dataene er lagret. Her spiller memristorer en central rolle.
En memristor er et særligt elektronisk element, der fungerer som en modstand med hukommelse. Dens modstand afhænger af den historiske strømgennemgang og kan repræsentere vægte i et neuralt netværk. Dermed fungerer én struktur både som hukommelse og beregningsenhed på samme tid.
- Den lagrer information (vægte i det neurale netværk)
- Den muliggør lokale beregninger uden at sende data til processoren
- Den kan markant reducere dataoverførsler og dermed energiforbruget
Det lyder ideelt – men virkelige memristorer er langt fra fejlfri. De introducerer støj, opfører sig ustabilt, og hver skrivehandling koster energi og forkorter komponenternes levetid. Derfor virker det ikke tilfredsstillende blot at overføre klassiske træningsmetoder til dette hardware.
En ny filosofi: færre rettelser, større fejltolerance
Et forskerhold fra et laboratorium i Zhejiang i Kina har foreslået en anderledes tilgang til AI-træning på memristorer. I stedet for at forsøge at eliminere alle ufuldkommenheder, designede forskerne en metode, der bevidst tager højde for dem. De kalder den error-aware probabilistic update – eller blot EaPU.
Kernen i tilgangen er enkel: netværket forsøger ikke at korrigere enhver minimal vægtændring. Hvis en fejl ligger inden for hardwarens tolerancegrænse, forbliver parameteren uændret. Kun større afvigelser udløser en opdateringsproces.
I stedet for at opdatere næsten alle vægte i hver læringsiteration opdaterer netværket færre end 0,1% af parametrene. Færre skrivninger betyder mindre energiforbrug og længere hardwarelevetid.
Denne tilgang har flere konsekvenser:
- Antallet af skrivehandlinger i memristorerne falder drastisk
- Støjens indvirkning mindskes, fordi algoritmen ikke "jagter" tilfældige udsving
- Træningsprocessen bliver mere stabil på trods af uperfekt hardware
Hvor meget energi kan der spares?
Ifølge de offentliggjorte resultater kræver selve træningen af neurale netværk i en memristorbaseret arkitektur med EaPU op til 50 gange mindre energi sammenlignet med tidligere metoder beregnet til den slags hardware.
Og det er ikke alt. Når man sammenligner denne løsning med klassisk GPU-baseret træning, bliver forskellen nærmest ekstrem. Forskerne anslår, at det samlede energiforbrug kan reduceres med hele seks størrelsesordener – svarende til omtrent én million gange.
| Løsning | Energiforbrug (træning) | Modelpræcision | Hardware-levetid |
|---|---|---|---|
| Klassisk GPU | 100% | Høj | Standard |
| Memristorer uden EaPU | Lavere end GPU, men stadig højt | Betydeligt dårligere | Begrænset af hyppige skrivninger |
| Memristorer med EaPU | Ca. én million gange mindre end GPU | Tæt på klassiske supercomputere | Op til tusind gange længere |
Metoden øger også netværkets nøjagtighed med op til 60% sammenlignet med tidligere memristorløsninger. Det bringer resultaterne praktisk talt på niveau med traditionelle supercomputere – altså uden kvalitetskompromis.
Tests: fra billedstøj til skarp detalje
For at bevise at dette ikke blot er teori, byggede holdet en reel memristormatrix med en størrelse på 180 nanometer. På dette hardware trænede de netværk til to krævende billedopgaver:
- Fjernelse af støj fra fotografier
- Opskaling af opløsning – såkaldt super-resolution
Testene gav resultater, der var sammenlignelige med traditionelle metoder baseret på processorer og grafikkort. Forskellen lå i et helt anderledes energiprofil – hardware med memristorer og EaPU krævede markant mindre strøm.
Er dette vejen til mere "grønne" sprogmodeller?
Der tales mest om store sprogmodeller, som driver chatbots og tekstgeneratorer. Træning af dem sluger enorme energimængder og kræver hundredvis – sommetider tusindvis – af GPU'er, der arbejder parallelt. Det er derfor ikke overraskende, at forskerne undersøger, om EaPU kan overføres netop til denne klasse af modeller.
Forfatterne erkender, at de foreløbig er begrænset af det tilgængelige hardware. En 180 nm-matrix er kun en lille del af, hvad der ville kræves til træning af en fuldskala sprogmodel. Samtidig mener de, at selve algoritmekonceptet og fejlhåndteringen ikke er bundet til én bestemt opgavetype.
Forskerne antager, at den samme tilgang kan anvendes på store sprogmodeller, forudsat at der udvikles tilstrækkeligt avancerede hardwaresystemer baseret på memristorer eller beslægtede teknologier.
Interessant nok er EaPU ikke strengt bundet til memristorer alene. Holdet peger på, at en lignende probabilistisk opdateringsmetode sandsynligvis også vil fungere med andre typer ikke-flygtig hukommelse – såsom ferroelektriske transistorer eller magnetoresistiv hukommelse.
En ny generation af AI-hardware
Hvis sådanne teknikker bevæger sig ud af laboratoriet, kan det tvinge en helt ny klasse af AI-acceleratorer frem. I stedet for endnu en generation af klassiske GPU'er vil specialiserede in-memory-chips overtage dele af arbejdet. Sådant hardware kan ende ikke blot i datacentre, men også i edge-enheder – fra intelligente kameraer til medicinsk udstyr.
Forestil dig et overvågningssystem, der behandler billeder lokalt, genkender hændelser og bruger en brøkdel af nutidens energi. Eller en smartphone, der kører en lokal sprogmodel uden dramatisk batteridræn. Netop disse scenarier har en reel chance for at blive virkelighed, hvis energiforbruget falder med størrelsesordener.
Hvad betyder det for brugere og virksomheder?
For den almindelige bruger er de vigtigste effekter to: lavere serviceomkostninger og mindre miljøbelastning. Færre udgifter til strøm i datacentre betyder lavere driftsomkostninger for udbyderne – og dermed større chance for, at avancerede AI-funktioner ikke kræver dyre abonnementer.
For virksomheder der implementerer AI, betyder et sådant effektivitetsspring helt nye forretningsmæssige beregninger. Træning af en egen model ophører med at være en luksus forbeholdt teknologigiganter. Når energiomkostningerne falder hundrede eller tusinde gange, kan mindre virksomheder inden for eksempelvis medicin, industri og logistik også have råd til egne løsninger.
Man skal dog huske én ting: reel forandring kræver ikke blot nye algoritmer, men også masseproduktion af specialiserede hukommelseschips. Det er en lang proces, der kræver investeringer og tid – ligesom overgangen fra klassiske processorer til specialiserede GPU'er til grafik og AI engang tog.
Temaet om AI's energieffektivitet bliver stadig vigtigere i planlægningen af nye datacentre og forskningsprojekter. Universiteter og virksomheder, der allerede nu begynder at interessere sig for in-memory computing og fejltolerante teknikker, vil have en fordel, når sådanne løsninger vinder indpas i den brede industri.
