Iværksætter vågner chokeret op: hans AI-agent brugte 27.000 euro på én nat

Vis pastaparty.dk oftere i Googles søgeresultater.

Tilføj pastaparty.dk til Google

AI-agenten fik frie tøjler – og greb dem med begge hænder

Fremvæksten af såkaldte AI-agenter lover en fremtid, hvor digitale assistenter selvstændigt ordner aftaler, forhandler og foretager indkøb. En iværksætter fra San Francisco fik på den hårde måde at vide, hvad der sker, når et sådant system får lidt for meget frihed.

Sebastian Heyneman driver en lille startup i San Francisco. Han ville præsentere sit anti-svindeludstyr for investorer under det prestigefyldte World Economic Forum i Davos. Adgang til den slags arrangementer er ikke ligefrem nem at skaffe, så han satte sin personlige AI-agent på opgaven.

Agenten, kaldet Tasklet og udviklet af virksomheden Shortwave, fik én klar instruks: find en måde, hvorpå hans "chef" kan komme til Davos og fremvise sin prototype. Tasklet havde adgang til internet, e-mail og en række digitale tjenester. Dermed fungerede systemet ikke længere som en simpel chatbot, men som en slags digital medarbejder med fuldmagt.

AI-agenten forhandlede selvstændigt med arrangørerne og indgik kontraktlige forpligtelser på vegne af iværksætteren – helt uden menneskelig indblanding på det afgørende tidspunkt.

Tasklet gik energisk i gang. Agenten scannede websites, kontaktede arrangører og endte med at komme i forbindelse med en schweizisk forretningsmand. En omfattende digital forhandling fulgte – fuldt automatiseret, mens Heyneman lå og sov.

Da Heyneman vågnede næste morgen, så missionen ud til at være lykkedes: han havde sikret sig en plads i Davos, inklusive mulighed for at præsentere sit produkt på stor scene. Men der lå en ubehagelig overraskelse og ventede.

En regning på 27.000 euro til et budget, der ikke eksisterede

AI-agenten havde sikret adgangen til Davos ved at love et sponsorbidrag på 27.000 euro til en virksomhed. For agenten lød det som en logisk byttehandel: penge mod synlighed. For iværksætteren betød det en økonomisk forpligtelse, han simpelthen ikke kunne honorere.

Heyneman måtte selv gribe telefonen og sende mails for at forklare situationen. Arrangørerne tog det ikke let og truede endda med at sætte ham på en sort liste til fremtidige udgaver af eventet. I sidste ende lykkedes det ham at begrænse skaden: han betalte omkring 4.000 euro for at slippe ud af den fulde forpligtelse.

Turen til Davos endte i øvrigt kaotisk på flere fronter. I hotellets lobby blev hans anti-svindeludstyr forvekslet med et muligt sprængstofsordnet af politiet. Heyneman blev kortvarigt tilbageholdt, inden det stod klart, at der var tale om en harmløs prototype. Den virkelige eksplosion var dog nok den regning, hans AI-agent havde skabt.

Hvad er AI-agenter egentlig – og hvorfor er de så risikable?

Mens traditionelle systemer som ChatGPT, Claude og Gemini primært besvarer spørgsmål inden for én samtale, går AI-agenter et afgørende skridt videre. De udfører selvstændige handlinger, sender beskeder, udfylder formularer og kobler flere digitale tjenester sammen.

Fra chatbot til digital medarbejder

En AI-agent kan for eksempel få adgang til:

  • brugerens e-mailkonti
  • kalendere og mødeværktøjer
  • webshops og bookingsider
  • betalingstjenester eller faktureringssystemer
  • projektstyringssoftware og CRM-systemer

Med den adgang kan agenten selvstændigt planlægge møder, sende tilbud, foretage reservationer eller endda træffe indkøbsbeslutninger. Tanken er en digital medarbejder, der aldrig bliver træt, arbejder døgnet rundt og overtager kedelige rutineopgaver.

For nogle virksomheder lyder det så attraktivt, at de justerer deres personalestyrke derefter. Teknologivirksomheden Block, moderselskab for blandt andet Square og Tidal, har allerede skåret markant i medarbejderantallet med henblik på vidtgående automatisering via AI-agenter.

Når automatisering løber løbsk

Det er netop denne autonomi, der gør AI-agenter til et tveægget sværd. Under motorhjelmen kører de langt hen ad vejen på de samme sprogmodeller som chatbots. Disse systemer forudsiger, hvilket ord der logisk følger efter det forrige, baseret på sandsynlighed. Det fungerer imponerende godt – men det forbliver en statistisk gækkemaskine.

Når et sådant system hallucinerer – altså opfinder ting, der ikke passer – skaber det i en tekst primært forvirring. Men i det øjeblik den samme teknologi også har adgang til bankkonti, kundedata eller juridiske dokumenter, forvandles en opfunden kendsgerning til en konkret risiko.

En hallucinerende chatbot er irriterende. En hallucinerende AI-agent med adgang til penge og kontrakter kan forårsage alvorlig skade.

Hertil kommer, at mange brugere har en tendens til at stole blindt på disse systemer. De ser en flydende, overbevisende mail eller et pænt udfyldt formular og går ud fra, at det nok er rigtigt. Denne menneskelige tilbøjelighed til at omfavne bekvemmelighed øger sandsynligheden for, at fejl forbliver opdaget i lang tid.

'Mennesket skal forblive den øverste chef'

Andrew Lee, topchef for Shortwave, erkender, at det svageste led ofte ikke er selve teknologien, men den måde, folk bruger den på. Ifølge ham bør der altid være et klart kontrollag mellem AI-agenten og omverdenen.

Hans tilgang er klar: lad en agent gerne udarbejde hundrede e-mails, men sørg for, at et menneske trykker på "send". Lad et system forberede kontraktudkast og rejseplaner, men gennemfør aldrig automatiske betalinger eller juridiske tilsagn uden menneskelig godkendelse.

I fagtermer handler dette om "human-in-the-loop": mennesket forbliver involveret i de øjeblikke, hvor beslutninger virkelig tæller – udgifter, tilsagn og strategiske valg. Uden den bremse fungerer en AI-agent som en overivrig praktikant, der siger "ja" til alt og bagefter spørger, om det egentlig var okay.

Sådan arbejder du selv sikkert med AI-agenter

For dem, der alligevel ønsker at bruge avancerede digitale assistenter, er nogle grundlæggende regler fornuftige at følge:

Område Sikker tilgang
Økonomi Lad kun agenten læse og komme med forslag – ingen direkte betalinger eller tilsagn.
E-mail Lad agenten skrive udkast, men send og tjek selv for tone og indhold.
Kalender Lad agenten generere forslag; bekræftelser sendes først efter din godkendelse.
Konti og logins Del så få adgangskoder som muligt, brug begrænsede rettigheder og separate testkonti.
Juridiske forhold Kobl aldrig automatiske godkendelsesknapper til; altid menneskelig gennemgang af en kyndig person.

Nye muligheder, nye ansvarsområder

AI-agenter kan forandre kontorarbejdet markant. De kan håndtere standardmails, planlægge møder, indsamle data og forberede rapporter. For små iværksættere og selvstændige kan det give ekstra slagkraft uden at ansætte personale direkte.

Samtidig forskydes grænsen mellem "praktisk værktøj" og "semi-autonom kollega" hurtigt. Når systemer får adgang til komplette indbakker, finansielle dashboards og interne dokumenter, skabes der ikke kun bekvemmelighed – men også en afhængighed. Hvis konfigurationen går i uorden, eller den underliggende software ændres, kan eksisterende arbejdsgange begynde at opføre sig uforudsigeligt.

En praktisk fremgangsmåde er at lade AI-agenter arbejde i en slags sandkasse i starten. Lad dem udarbejde forslag og udkast, men uden direkte adgang til omverdenen. Først når det er klart, hvordan systemet opfører sig, kan man forsigtigt frigive flere opgaver – altid med klart definerede grænser.

Læren fra Davos-hændelsen er ikke, at AI-agenter per definition er farlige, men at ubegrænset frihed kombineret med vage instrukser er en dårlig cocktail. Den, der sætter klare grænser for beløb, beføjelser og typer af aftaler, reducerer risikoen for dyre overraskelser betydeligt.

Scroll to Top