AI sluger energi som et kryptominefarm
AI's voksende appetit på elektricitet er ved at blive et alvorligt problem – både for pengepungen og for klimaet. Men en ny kinesisk teknik kan vende den udvikling helt på hovedet.
Forskere har nu demonstreret, at neurale netværk kan trænes med drastisk lavere energiforbrug, hvis man kombinerer utraditionelt hardware med en smart algoritme – en algoritme, der i stedet for at bekæmpe fejl lærer at leve med dem.
Enhver, der har leget med billedgenerering eller chatbots, ser kun en venlig brugerflade. Bag kulisserne arbejder imidlertid enorme serverfarme fyldt med processorer og grafikkort. Disse maskiner sluger gigantiske mængder strøm – primært til træning af komplekse modeller som store sprogmodeller.
Jo mere avanceret et neuralt netværk er, desto flere beregninger og dataoverførsler kræves der mellem hukommelse og processorer. Det er netop disse operationer, der forårsager massive energitab. Udviklingen af AI er ved at blive en af verdens største strømforbrugere – på niveau med tunge industrisektorer.
At løse AI's energiproblem handler ikke længere kun om at optimere koden. Det kræver en helt ny tilgang til selve hardwaren og til måden, modeller trænes på.
Memristorer – hukommelse, der tænker på stedet
En af de mest lovende retninger inden for grønnere kunstig intelligens er såkaldt in-memory computing. I stedet for konstant at flytte data frem og tilbage mellem hukommelse og processor udføres en del af beregningerne direkte der, hvor dataene er gemt. Her spiller memristorer en nøglerolle.
En memristor er et særligt elektronisk element, der fungerer som en modstand med hukommelse. Dens modstand afhænger af strømmens historik og kan repræsentere vægte i et neuralt netværk. Dermed fungerer én enkelt struktur samtidig som hukommelse og beregningsenhed.
- Den gemmer information i form af neurale netværksvægte
- Den muliggør lokale beregninger uden at sende data til en processor
- Den kan reducere datatransfer markant og dermed skære kraftigt i energiforbruget
Det lyder ideelt – men virkelige memristorer er langt fra fejlfrie. De introducerer støj, opfører sig ustabilt, og hver skriveoperationen er energikrævende og slider på komponenternes levetid. Derfor fungerer en direkte overflytning af klassiske træningsmetoder til dette hardware ikke tilfredsstillende.
En ny filosofi: færre rettelser, større fejltolerance
Et forskerhold fra et laboratorium i Zhejiang i Kina har foreslået en anderledes tilgang til at træne AI på memristorer. I stedet for at forsøge at eliminere alle ufuldkommenheder har forskerne designet en metode, der bevidst tager dem i betragtning. De kalder den error-aware probabilistic update – eller blot EaPU.
Kernen i tilgangen er enkel: netværket forsøger ikke at korrigere enhver minimal vægtændring. Hvis en fejl ligger inden for hardwarens tolerancegrænse, forbliver parameteren urørt. Kun større afvigelser udløser en opdateringsproces.
I stedet for at opdatere næsten alle vægte i hver træningsiteration opdaterer netværket under 0,1 % af parametrene. Færre skrivninger betyder mindre energiforbrug og længere hardware-levetid.
Denne tilgang har flere konkrete effekter:
- Antallet af skriveoperationer i memristorerne falder drastisk
- Støjens indflydelse mindskes, fordi algoritmen ikke "jager" tilfældige udsving
- Træningsprocessen bliver mere stabil på trods af uperfekt hardware
Hvor meget energi spares der egentlig?
Ifølge de offentliggjorte resultater kræver træning af neurale netværk i en memristorbaseret arkitektur med EaPU op til 50 gange mindre energi sammenlignet med tidligere metoder udviklet til samme type hardware.
Men det stopper ikke der. Når man sammenligner dette system med klassisk GPU-baseret netværkstræning, bliver forskellen nærmest ekstrem. Forskerne estimerer, at det samlede energiforbrug kan reduceres med seks størrelsesordener – svarende til cirka én million gange.
| Løsning | Energiforbrug (træning) | Modelnøjagtighed | Hardware-levetid |
|---|---|---|---|
| Klassisk GPU | 100 % | Høj | Standard |
| Memristorer uden EaPU | Lavere end GPU, men stadig højt | Betydeligt dårligere | Begrænset af hyppige skrivninger |
| Memristorer med EaPU | Cirka én million gange mindre end GPU | Sammenlignelig med klassiske supercomputere | Op til tusind gange længere |
Metoden øger desuden netværkets nøjagtighed med op til 60 % sammenlignet med tidligere memristorbaserede løsninger. Det bringer resultatkvaliteten praktisk talt på niveau med traditionelle supercomputere – uden nogen kvalitetsmæssig kompromis.
Test: fra billedstøj til skarp detalje
For at bevise, at dette ikke bare er teori, byggede holdet en reel memristormatrix med en størrelse på 180 nanometer. På dette hardware trænede de netværk til to krævende billedopgaver:
- Fjernelse af støj fra fotografier
- Opskalerinf af opløsning – såkaldt super-resolution
Testene gav resultater, der er sammenlignelige med traditionelle metoder baseret på CPU'er og GPU'er. Den afgørende forskel lå i et fuldstændig anderledes energiprofil – hardwaren med EaPU krævede markant mindre strøm.
Kan store sprogmodeller blive mere grønne?
Mest omtalt er i dag de store sprogmodeller, der driver chatbots og tekstgeneratorer. Træningen af disse modeller sluger enorme energimængder og kræver hundredvis – til tider tusindvis – af GPU'er, der kører parallelt. Det er naturligt, at forskerne nu spørger sig selv, om EaPU kan overføres netop til denne modelklasse.
Artikelforfatterne erkender, at de for øjeblikket er begrænset af det tilgængelige hardware. En 180 nm-matrix er kun en brøkdel af, hvad der ville kræves til at træne en fuldskala-sprogmodel. Alligevel mener de, at selve konceptet bag algoritmen og fejlhåndteringen ikke er begrænset til én bestemt opgavetype.
Forskerne antager, at den samme tilgang kan anvendes på store sprogmodeller, forudsat at der udvikles tilstrækkeligt avancerede hardwarearkitekturer baseret på memristorer eller beslægtede teknologier.
Interessant nok er EaPU ikke strengt bundet til memristorer alene. Holdet påpeger, at en lignende probabilistisk parameteropdatering også kan fungere i andre former for ikke-flygtig hukommelse – såsom ferroelektriske transistorer eller magnetoresistiv hukommelse.
En ny generation af AI-hardware
Hvis disse teknikker forlader laboratorierne, kan det tvinge en helt ny klasse af AI-acceleratorer frem. I stedet for endnu flere generationer af klassiske GPU'er vil specialiserede in-memory-beregningsenheder overtage en del af opgaverne. Sådant hardware kan ikke bare lande i datacentre, men også i edge-enheder – fra intelligente kameraer til medicinsk udstyr.
Forestil dig et overvågningssystem, der behandler billeder lokalt, genkender hændelser og kun bruger en brøkdel af nutidens energiforbrug. Eller en smartphone, der kører en lokal sprogmodel uden dramatisk batteridræn. Netop disse scenarier kan blive virkelighed, hvis energiforbruget falder med størrelsesordener.
Hvad betyder det for brugere og virksomheder?
Set fra en almindelig brugers perspektiv er de vigtigste effekter to ting: lavere serviceomkostninger og et reduceret miljøaftryk. Mindre strøm i datacentre betyder lavere driftsomkostninger for operatørerne – og dermed større sandsynlighed for, at avancerede AI-funktioner ikke kræver dyre abonnementer.
For virksomheder, der implementerer AI, betyder et sådant effektivitetsspring helt nye forretningsmæssige beregninger. Træning af en egen model holder op med at være et privilegium forbeholdt teknologigiganter. Når energiomkostningerne falder hundrede- eller tusindvis af gange, kan mindre aktører – inden for eksempelvis medicin, industri eller logistik – pludselig råbe til egne løsninger.
Det er dog vigtigt at huske ét: reel forandring kræver ikke kun nye algoritmer, men også masseproduktion af specialiserede hukommelseskomponenter. Det er en lang proces, der kræver investeringer og tid – ligesom overgangen engang fra klassiske processorer til specialiserede GPU'er til grafik og AI.
For alle, der følger teknologiudviklingen tæt, rummer emnet energieffektivitet i AI stadig større relevans – særligt i forbindelse med planlægning af nye datacentre og forskningsprojekter. Universiteter og virksomheder, der allerede nu begynder at interessere sig for in-memory computing og fejltolerante teknikker, vil have et forspring, når disse løsninger engang når mainstream.
