Spørgsmålet er ikke, om AI kan
Den samtale, vi oftest har, starter med en virksomhed, der har set noget imponerende og gerne vil have det samme. Og som regel kan det lade sig gøre. Sprogmodeller er blevet gode nok til, at «kan det her lade sig gøre?» næsten altid besvares med ja.
Det er bare ikke det spørgsmål, der afgør noget. Det rigtige spørgsmål er, om AI er den billigste, mest forudsigelige og mest vedligeholdbare måde at løse netop den opgave på. Tit er den ikke. Et regelsæt, der altid giver det samme svar, slår en model, der næsten altid gør — og «næsten» er dyrere at leve med, end folk regner med.
Findes der ét rigtigt svar?
Har opgaven et facit, er AI det forkerte værktøj. En pris, en vagtplan, en momsberegning, en rabatstruktur: alt det har et rigtigt svar, som kan skrives ned som regler. En beregner giver samme resultat hver gang, kan revideres af en bogholder, og kan forklares for en kunde, der spørger hvorfor.
Sprogmodellers styrke er tvetydighed — at læse en mail, der ikke er skrevet efter en skabelon, og forstå hvad der egentlig bliver spurgt om. Deres svaghed er aritmetik og faste regler. Bruger man dem til at regne, betaler man for det dyre værktøj og får det upålidelige resultat.
Hvad koster en fejl?
En sprogmodel er et sandsynlighedsbaseret system. Den tager fejl nogle gange, og det kan man ikke teste sig helt fri af. Det afgørende er derfor ikke fejlraten, men prisen på en enkelt fejl.
Koster en fejl en undskyldning, er det fint. Koster den en forkert faktura, en overset deadline eller en aftale, virksomheden er bundet af, skal der enten et menneske ind før afsendelse, eller også skal den del af opgaven løses med regler i stedet. Det er derfor vores mail-workflows laver et udkast og ikke sender: fejlen bliver til to sekunders læsning i stedet for en reklamation.
Skal I kunne forklare svaret bagefter?
Nogle brancher skal kunne dokumentere, hvorfor et system nåede frem til en afgørelse. Et regelsæt kan revideres linje for linje: her stod betingelsen, her blev den opfyldt.
En sprogmodel kan godt forklare sig, men forklaringen er ikke nødvendigvis grunden — den er en efterrationalisering, der lyder plausibel. Skal beslutningen kunne holde i en revision eller en klagesag, er det ikke godt nok.
Findes dataene overhovedet?
«Spørg vores egne manualer» er en god idé, hvis manualerne findes. Vi har set opgaven falde fra hinanden, fordi den viden, systemet skulle søge i, sad i hovedet på én medarbejder og i en mappe med filnavne som endelig_v3_RETTET.docx.
AI kan ikke opfinde viden, virksomheden ikke har skrevet ned. Er dokumentationen ikke der, er første opgave at få den ud af hovederne — og det er et organisationsprojekt, ikke et it-projekt. Vi siger det højt, fordi det ellers bliver opdaget efter, at regningen er begyndt at løbe.
Hvad vi gør i stedet
Svaret er sjældent enten-eller. Det, vi oftest ender med, er regler i kernen og AI i kanten: beregneren regner, og sprogmodellen skriver følgebrevet. Vagtplanen lægges af en algoritme, der overholder overenskomsten, og AI'en formulerer beskeden til den, der får en uheldig vagt.
Sådan får man forudsigeligheden dér, hvor den betyder noget, og sproget dér, hvor det er besværligt at skrive selv. Og man betaler kun for modellen på den del, der faktisk har brug for den.
Kort fortalt
- Har opgaven ét rigtigt svar, skal den løses med regler — ikke med en model.
- Fejlraten betyder mindre end prisen på den enkelte fejl. Er den høj, skal der et menneske ind før afsendelse.
- Skal afgørelsen kunne revideres, kan en model ikke bære den alene.
- AI kan ikke søge i viden, der aldrig er blevet skrevet ned.
- Den mest holdbare løsning er som regel regler i kernen og AI i kanten.