Gennembrud i AI’s energiforbrug: op til en million gange mindre strøm

AI sluger energi som et kryptomineanlæg

AI's voksende appetit på elektricitet er ved at blive et alvorligt problem – både for pengepungen og for klimaet. Men en ny kinesisk teknik kan vende denne udvikling fuldstændig på hovedet.

Forskere har vist, at neurale netværk kan trænes med drastisk lavere energiforbrug, hvis man kombinerer usædvanligt hardware med en intelligent algoritme – en algoritme, der ikke kæmper mod fejl, men i stedet lærer at leve med dem.

Når du genererer billeder eller chatter med en AI-assistent, ser du kun en venlig brugerflade. Bag kulisserne arbejder enorme serverfarme fyldt med processorer og grafikkort. Disse maskiner forbruger gigantiske mængder strøm – primært til træning af komplekse modeller som store sprogmodeller.

Jo mere avanceret et neuralt netværk er, desto flere beregninger og desto mere datatransport mellem hukommelse og processorer kræves der. Det er netop disse operationer, der forårsager de store energitab. Mange eksperter vurderer, at AI-udviklingen er på vej til at blive en af verdens største strømforbrugere – på niveau med tunge industrisektorer.

At løse AI's energiproblem handler ikke længere kun om at optimere kode. Det kræver en grundlæggende ændring i tilgangen til selve hardwaren og til måden, modeller trænes på.

Memristorer – hukommelse, der tænker på stedet

En af de lovende veje mod en mere energivenlig kunstig intelligens er såkaldt beregning i hukommelsen. I stedet for konstant at flytte data frem og tilbage mellem hukommelse og processor udfører man en del af beregningerne direkte der, hvor dataene er gemt. Her spiller memristorer en central rolle.

En memristor er et særligt elektronisk element, der fungerer som en modstand med hukommelse. Dens modstand afhænger af den historiske strømgennemgang og kan repræsentere vægte i et neuralt netværk. Dermed fungerer én og samme struktur både som hukommelse og beregningsenhed.

• Den gemmer information i form af et neuralt netværks vægte,
• den muliggør lokale beregninger uden at sende data til en ekstern processor,
• den kan markant reducere datatransport – og dermed energiforbruget.

Det lyder næsten for godt til at være sandt – og det er der en grund til. Virkelige memristorer er langt fra perfekte. De introducerer støj, opfører sig ustabilt, og hver skrivehandling er energikrævende og slider på komponenternes levetid. Direkte at overføre klassiske træningsmetoder til sådant hardware fungerer simpelthen ikke tilfredsstillende.

En ny filosofi: færre rettelser, større fejltolerance

Et forskerhold fra et laboratorium i Zhejiang i Kina har foreslået en helt anden tilgang til at træne AI på memristorer. I stedet for at forsøge at eliminere alle ufuldkommenheder designede holdet en metode, der bevidst tager højde for dem. De kalder den error-aware probabilistic update – eller EaPU.

Kernen i tilgangen er enkel: netværket forsøger ikke at korrigere enhver minimal ændring i en vægt. Hvis fejlen ligger inden for hardwarens tolerancegrænse, forbliver parameteren uberørt. Kun større afvigelser udløser en egentlig opdatering.

I stedet for at opdatere næsten alle vægte i hver træningsiteration opdaterer netværket færre end 0,1 % af parametrene. Færre skriveoperationer betyder lavere energiforbrug og længere hardwarelevetid.

Denne tilgang har flere konsekvenser:

• Antallet af skriveoperationer i memristorerne falder drastisk,
• støjens indflydelse mindskes, fordi algoritmen ikke "jager" tilfældige udsving,
• træningsprocessen bliver mere stabil, selv med uperfekt hardware.

Hvor meget energi sparer man faktisk?

Ifølge de offentliggjorte resultater kræver træning af neurale netværk i en memristorbaseret arkitektur med EaPU op til 50 gange mindre energi sammenlignet med tidligere metoder udviklet specifikt til sådanne kredsløb.

Men det er ikke det hele. Når man sammenligner dette skema med klassisk GPU-baseret træning, bliver forskellen direkte ekstrem. Forskerne estimerer, at det samlede energiforbrug kan reduceres med seks størrelsesordener – svarende til omtrent en million gange.

Metoden øger også netværkets nøjagtighed med hele 60 % sammenlignet med tidligere memristorbaserede løsninger. Det bringer resultaterne på niveau med traditionelle supercomputere – uden kompromis med kvaliteten.

Test i praksis: fra billedstøj til skarp detalje

For at bevise, at dette ikke blot er teori, byggede holdet en reel memristormatrix med en størrelse på 180 nanometer. På dette hardware trænede de netværk til to krævende billedopgaver:

• Fjernelse af støj fra fotografier,
• opskaling af billedopløsning – den såkaldte super-resolution.

Testresultaterne var sammenlignelige med traditionelle metoder baseret på processorer og grafikkort. Forskellen lå i energiprofilen: hardware med memristorer og EaPU krævede markant mindre strøm for at opnå samme resultater.

Er dette vejen til mere klimavenlige sprogmodeller?

Store sprogmodeller, der driver chatbots og tekstgeneratorer, er i dag de mest omtalte AI-systemer. Deres træning sluger enorme mængder energi og kræver hundredvis – sommetider tusindvis – af GPU'er, der arbejder parallelt. Det er naturligt at spørge, om EaPU kan overføres til netop denne klasse af modeller.

Forskerne erkender, at de foreløbig er begrænset af det tilgængelige hardware. En 180 nm-matrix er blot en lille brik af, hvad der ville kræves til træning af en fuldskala sprogmodel. Ikke desto mindre mener de, at selve algoritmekonceptet og fejlhåndteringen ikke er begrænset til én bestemt type opgave.

Forskerne antager, at den samme tilgang kan anvendes på store sprogmodeller, forudsat at der udvikles tilstrækkeligt avancerede hardwaresystemer baseret på memristorer eller beslægtede teknologier.

Interessant nok er EaPU ikke strengt bundet til memristorer alene. Holdet peger på, at en lignende probabilistisk opdateringstilgang også kan fungere i andre typer ikke-flygtig hukommelse – herunder ferroelektriske transistorer og magnetoresistiv hukommelse.

En ny generation af AI-hardware

Hvis sådanne teknikker bevæger sig ud af laboratorierne, kan det tvinge en helt ny klasse af AI-acceleratorer frem. I stedet for endnu en generation af klassiske GPU'er vil specialiserede kredsløb til hukommelsesbaserede beregninger overtage en del af arbejdet. Sådant hardware kan lande ikke bare i datacentre, men også i kantenheder – fra intelligente kameraer til medicinsk udstyr.

Forestil dig et overvågningssystem, der behandler billeder lokalt, genkender hændelser og bruger en brøkdel af dagens energiforbrug. Eller en smartphone, der kører en lokal sprogmodel uden dramatisk batteridræn. Netop sådanne scenarier kan blive til virkelighed, hvis energiforbruget falder med størrelsesordener.

Hvad betyder det for brugere og virksomheder?

For den almindelige bruger er de to vigtigste effekter lavere serviceomkostninger og en mindre miljøbelastning. Færre kilowatttimer i datacentrene betyder lavere driftsomkostninger for operatørerne – og dermed en reel mulighed for, at avancerede AI-funktioner ikke kræver dyre abonnementer.

For virksomheder, der implementerer AI, betyder et sådant effektivitetsskift helt nye forretningsmæssige beregninger. Træning af en egen model holder op med at være et privilegium forbeholdt teknologigiganter. Når energiomkostningerne falder hundrede- eller tusindvis af gange, kan mindre aktører – inden for medicin, industri og logistik – pludselig også have råd til egne løsninger.

Man skal dog huske én ting: reel forandring kræver ikke kun nye algoritmer, men også masseproduktion af specialiserede hukommelseskredsløb. Det er en lang proces, der kræver investering og tid – ligesom overgangen fra klassiske processorer til specialiserede GPU'er til grafik og AI engang var det.

Temaet om AI's energieffektivitet bliver stadig mere relevant i planlægningen af nye datacentre og forskningsprojekter. Universiteter og virksomheder, der allerede nu begynder at interessere sig for hukommelsesbaserede beregninger og fejltolerante teknikker, vil have et klart forspring, den dag sådanne løsninger rykker ind i hovedstrømmen.