Hvad koster det at drive en AI-funktion?

Du betaler pr. ord, ikke pr. måned

Sprogmodeller afregnes pr. token — groft sagt tre fjerdedele af et ord — og der betales både for det, der sendes ind, og for det, der kommer ud. Output er typisk flere gange dyrere end input.

Konsekvensen er, at omkostningen skalerer med brug og ikke med antal brugere. Ti medarbejdere, der hver sender to lange dokumenter igennem om dagen, koster mere end hundrede, der stiller et kort spørgsmål om ugen. Det er en anden økonomi end den software, de fleste er vant til at købe, og det er derfor et bud på «hvad koster det om måneden?» kræver et bud på, hvor meget I kommer til at bruge den.

Inputtet er som regel det dyre

En AI-funktion sender mere med end brugerens spørgsmål. Der ligger en systemprompt, som forklarer modellen dens opgave, tonen, formatet og reglerne — og den sendes med hver eneste gang. Er den lang, ganges den med antallet af kald.

Det er også dér, den største besparelse ligger. Holdes den faste del af prompten uændret og placeres først, kan leverandøren genbruge sit arbejde på tværs af kald, og den del afregnes til en brøkdel. Det kræver, at prompten er stor nok til at være værd at gemme, og at man ikke skriver noget variabelt ind i toppen af den. Vi kontrollerer i serverloggen, at genbruget faktisk sker — ellers er besparelsen kun en hensigt.

Regn på det værste tilfælde, ikke det typiske

Et gennemsnitsforbrug er ubrugeligt til budgettering, fordi det ikke er gennemsnittet, der vælter budgettet. Det gør den dag, hvor en robot finder formularen, eller en medarbejder sætter et helt arkiv ind.

Derfor skal enhver funktion, der kalder et betalt API, have et loft: pr. bruger, pr. døgn og for hele installationen. Rammes loftet, skal brugeren møde en forståelig besked frem for en fejl. Og der skal sættes et forbrugsloft hos leverandøren som sidste net, for kode kan indeholde fejl, og et loft i koden hjælper ikke, hvis fejlen er i koden.

Sagt kort: en ubeskyttet rute er ikke et sikkerhedsproblem. Det er en regning.

Ventetid koster også — bare ikke i kroner

Den anden driftsomkostning er tid. En model, der tænker sig grundigt om, giver bedre svar på svære opgaver og unødig ventetid på lette. Skal der skrives et mødereferat efter en fast skabelon, er grundig eftertanke spildt.

To greb hjælper mest: slå den ekstra tænkning fra på opgaver, der ikke har brug for den, og lad svaret strømme ind tegn for tegn i stedet for at komme samlet til sidst. Det sidste gør ikke svaret hurtigere, men det fjerner fornemmelsen af, at der ikke sker noget — og det er den fornemmelse, folk opgiver på.

Spørg om det her, før I siger ja

Bed om et estimat pr. kald, ikke kun pr. projekt — og bed om at se, hvad tallet bygger på. Bed om at få loftet skrevet ind: hvad sker der ved det 501. kald på et døgn? Spørg, om jeres data bliver gemt eller brugt til træning, og få svaret på skrift.

Og spørg, hvad der sker, når leverandøren udskifter modellen. Det gør de. En løsning, der er finjusteret til én models særheder, skal justeres igen — og det er en driftsomkostning, som sjældent står i tilbuddet.