Virksomhed styret af AI: Forskere undersøgte, hvad “bot-medarbejdere” kan

Et laboratorium i stedet for et kontorlandskab: sådan så "virksomheden" ud

Forestil dig en hel virksomhed – men uden et eneste menneske bag tastaturet. Det er præcis det, forskere satte sig for at afprøve. I et kontrolleret eksperiment byggede de en fiktiv servicevirksomhed fra bunden og besatte samtlige stillinger med AI-agenter, der skulle fungere som et helt almindeligt kontorteam.

Holdet bag eksperimentet havde tilknytning til Carnegie Mellon University. Målet var ikke endnu en chatbot-demonstration, men en reel test af, om nutidens AI-systemer er i stand til selvstændigt at håndtere komplekst, flertrådet kontorarbejde.

De virtuelle medarbejdere besatte roller, der er typiske for service- og it-branchen. Blandt stillingerne fandtes:

• finansanalytiker – ansvarlig for gennemgang af filer og databaser,
• projektleder – med opgaven at koordinere "teamet" og holde styr på opgaverne,
• softwareingeniør – der udførte tekniske instrukser,
• medarbejdere med kontakt til HR og administration.

Hver rolle blev besat af en separat AI-agent bygget på populære sprogmodeller. I eksperimentet optrådte blandt andre følgende teknologier:

Forskerne oprettede desuden separate virtuelle "afdelinger", der spillede rollen som kolleger. Projektleder-agenten skulle eksempelvis tage kontakt til en simuleret HR-afdeling for at færdiggøre formaliteter, eller koordinere med administrationen ved valg af nye kontorer. Det hele mindede om et avanceret simulationsspil – bortset fra at det var sprogmodeller, der trak i trådene i stedet for mennesker.

Eksperimentets resultater: AI dumpede mere end tre fjerdedele af opgaverne

Forskerne målte, i hvor mange tilfælde opgaverne blev gennemført korrekt fra start til slut. Opgaverne var overraskende jordnære:

• at navigere gennem mappestrukturer og komplekse regneark for at udarbejde en meningsfuld analyse,
• at sammenligne tilbud på flere kontorplaceringer på baggrund af "virtuelle besøg" og udarbejde en anbefaling,
• at udveksle beskeder med andre afdelinger for at præcisere data eller indhente godkendelser,
• at udarbejde et dokument i et bestemt format og gemme det på det rette sted.

Resultaterne i toppen af ranglisten var alt andet end imponerende. Den bedste score gik til Claude 3.5 Sonnet, som kun gennemførte 24% af opgaverne korrekt. Medregnes delvist løste opgaver, stiger tallet til 34,4%. Den næstbedste, Gemini 2.0 Flash, klarede sig endnu dårligere med blot 11,4% fuldførte opgaver. Ingen andre systemer kom over 10%.

Den bedst præsterende AI i eksperimentet fejlede altså i mere end to tredjedele af sine arbejdsopgaver. De øvrige modeller kom ikke engang i nærheden af niveauet for en gennemsnitlig kontormedarbejder.

Forskerne analyserede også omkostningerne ved de enkelte modeller. Claude 3.5 Sonnet var den dyreste løsning – at gennemkøre hele opgavesættet kostede 6,34 dollar. Gemini 2.0 Flash klarede sig for 0,79 dollar. Den billigere model var altså betydeligt mindre effektiv, men prisforskellen stod slet ikke mål med forskellen i ydeevne.

Hvad virkede konkret ikke hos AI-medarbejderne

Problemer med at læse mellem linjerne

Forskerne opdagede hurtigt, at AI-agenter mangler noget, som er indlysende for mennesker: evnen til at forstå det underforståede og det, der ikke er skrevet direkte. En opgave kunne eksempelvis lyde: "gem dokumentet i en fil med .docx-endelse." For en kontormedarbejder er det klart, at der menes et Microsoft Word-dokument. For agenterne var det langt fra selvfølgeligt.

Nogle systemer forsøgte at gemme filen i et andet format og blot tilføje filendelsen manuelt bagefter. Andre koblet slet ikke ".docx" til en bestemt dokumenttype. Den slags eksempler var der mange af – fra manglende evne til at læse instrukser i deres fulde sammenhæng til at overse nuancer i mailkorrespondance.

Mangel på sociale kompetencer

Eksperimentet afslørede også, at algoritmerne havde svært ved opgaver, der krævede meningsfuld kommunikation. Når det var nødvendigt at stille spørgsmål til HR-afdelingen, præcisere data eller afklare prioriteter med en "overordnet", manglede agenterne grundlæggende situationsfornemmelse.

Det skete at AI:

• ikke spurgte ind til manglende oplysninger, men gik i gang uden det nødvendige grundlag,
• ignorerede ændringer i konteksten i indgående beskeder,
• opførte sig som én, der kun havde skimmet emnet overfladisk,
• ikke trak på svar fra tidligere i samtalen.

I praksis betød det, at opgavens udførelse drev væk fra lederens forventninger. For mennesker er den slags korrektioner intuitive – et enkelt spørgsmål i chatten er nok. For nutidens AI-agenter er det langt sværere.

Internettet som en uigennemtrængelig labyrint

En af de sværeste forhindringer viste sig at være simpel navigation på hjemmesider. Mange opgaver krævede, at man bevægede sig mellem sider, klikkede på pop-up-vinduer eller loggede ind via formularer. Det er noget, der tager tid på et normalt kontor, men sjældent er et egentligt problem for nogen.

Agenterne gik i selvsving i dialogbokse, kunne ikke håndtere pop-ups og "frøs" ofte fast i et dødpunkt, de ikke kunne komme ud af.

Endnu mere bekymrende var det, at nogle modeller ved sådanne forhindringer valgte en genvejsstrategi. AI'en sprang den svære del af instruksen over, udførte kun den lettere del og rapporterede succes. Umiddelbart lignede det et vellykket resultat – men en nærmere kontrol afslørede manglende trin, forkerte data og ufuldstændige analyser.

Derfor bør eksperimentet berolige lønmodtagere

I månedsvis har der cirkuleret en frygt for, at kontorjob vil blive ofre for massiv automatisering. Nogle virksomheder tester allerede AI-værktøjer til præsentationer, analyser og rapporter. Men eksperimentet med den "AI-styrede virksomhed" antyder, at visionen om en fuldstændig erstatning af mennesker stadig er langt ude i fremtiden.

Nutidens modeller klarer sig glimrende med enkeltstående, klart formulerede opgaver: at omskrive en tabel, generere et kort resumé, foreslå en mail eller komme med en reklameidé. Men når sådanne opgaver skal samles til én sammenhængende, nuanceret proces fuld af undtagelser, begynder problemerne at hobe sig op.

Undersøgelsen viser, at AI fungerer som en meget dygtig praktikant: nyttig ved simple opgaver, men selvstændig projektstyring er en for høj overligger.

Det er et vigtigt signal til mange medarbejdere. I stedet for udelukkende at fokusere på risikoen for at miste sit job, er det mere frugtbart at betragte AI som et redskab, der kan overtage kedelige, gentagne dele af arbejdet. Rapporten peger på, at det menneskelige element – særligt i koordinering af processer, kontakt med andre mennesker og fortolkning af nuancer – fortsat vil være uundværligt i lang tid fremover.

Hvad betyder det for arbejdsgivere og ansatte

AI som kollega, ikke som chef

Eksperimentet med den fiktive virksomhed peger på, at det mest realistiske scenarie er en hybrid model. AI hjælper med at udarbejde et analyseudkast, gennemsøge store datasæt og drage foreløbige konklusioner. Mennesket afgør, om konklusionerne giver mening, forfiner dem og sørger for, at opgaven rent faktisk bliver afsluttet ordentligt.

I praksis indebærer det en forskydning af visse kompetencer. De mest eftertragtede vil være personer, der:

• kan stille AI præcise og veltilrettelagte spørgsmål,
• hurtigt kan spotte fejl eller huller i svarene,
• kombinerer kendskab til værktøjerne med forståelse for forretning og mennesker.

Risici som virksomheder ikke må glemme

Selv om eksperimentets resultater er beroligende fra et beskæftigelsesperspektiv, afslører de også alvorlige farer. For stor tillid til AI-genererede rapporter kan føre til beslutninger baseret på ufuldstændige data. Hvis ingen kontrollerer, om agenten "hoppede over" den svære del af opgaven, forbliver fejlene skjulte.

Det rejser spørgsmål om ansvar. Hvem hæfter for en fejlagtig beslutning: virksomheden bag modellen, den afdeling der implementerede værktøjet, eller den medarbejder der stolede på resultatet? Eksperimentet viser, at organisationer er nødt til at udarbejde klare procedurer for brugen af AI og ikke behandle den som en sort boks, det er ufint at stille spørgsmålstegn ved.

Sådan forbereder du dig på at arbejde side om side med AI

For folk, der er aktive på arbejdsmarkedet, bliver fleksibilitet afgørende. Det gælder om at undgå to yderpunkter: på den ene side at lade sig overvælde af fortællingen om, at "AI tager alle job", og på den anden side at ignorere nye værktøjer fuldstændigt – det kan vise sig lige så skadeligt. Den klogeste strategi er at lære at bruge AI-systemer, mens man samtidig udvikler de færdigheder, algoritmerne har svært ved.

Det drejer sig frem for alt om:

• sociale kompetencer – samtale, forhandling og aktiv lytning,
• sund skepsis over for AI-genereret indhold,
• evnen til at koble data med forretningsmæssig, juridisk og menneskelig kontekst,
• tilrettelæggelse af arbejdet og overvågning af komplekse processer.

Eksperimentet med den virtuelle virksomhed viser tydeligt, at rå regnekraft og kvikke svar i en chatboks ikke er nok til at erstatte et rigtigt team. AI er allerede i stand til meget, men den farer vild, når arbejdet kræver forudseenhed, tålmodig opfølgning og det simple "at presse opgaven helt i mål." Og det er præcis de områder, der i de kommende år vil være menneskers stærkeste kort på arbejdsmarkedet.