Mistral mod Claude i vores onboarding: 4× hurtigere, 30 % billigere
2. juli 2026 · 4 min læsning
Vi satte Mistral Medium 3.5 op mod Claude Sonnet 4.6, modellen bag vores onboarding-agent, på vores egen arbejdsbyrde. Mistral endte omkring 4× hurtigere og 30 % billigere, med næsten samme kvalitet. Til netop denne opgave viste den sig at passe overraskende godt, af grunde, der er specifikke for, hvordan onboarding faktisk kører.
Vi holder til i Malmø, og vi har altid ønsket os en europæisk teknologistak. Det er for eksempel en del af grunden til, at vi kører på Hetzner. Målet er en helt europæisk stak, og det vil vi kæmpe for. Men lysten til at bygge et fantastisk produkt er lige så stærk, så hvor en europæisk løsning endnu ikke kan klare opgaven, tager vi den bedste tilgængelige model og sørger for, at den kører under EU-lovgivning. Vi er slet ikke en mulighed for mange af vores potentielle kunder, hvis vi ikke behandler deres data efter EU's regler.
Men inden for AI er det meste af frontlinjen amerikansk, og vores første undersøgelser endte med Anthropics Claude til de fleste modeller i vores stak. Det har bragt os dertil, hvor vi er i dag, med ekstrem fart, men nu er det tid til at sætte farten ned og se, hvordan vi kan nå målet om at være helt europæiske.
Den første kandidat
Den første samtale, du har, når du ansætter en Squidler-specialist, styres af en onboarding-agent, der finder ud af, hvad du faktisk har brug for. Da den kører ret isoleret fra resten af systemet, føles den som en god kandidat at starte med.
Onboarding kører i dag på Claude Sonnet 4.6, fordi den rammer en god balance mellem kvalitet, hastighed og pris til opgaven. I starten evaluerede vi også Haiku 4.5, Anthropics billigere niveau, men fik ikke den kvalitet, vi ville have. For at finde en europæisk model, der kunne stå ved siden af den, hentede vi de offentliggjorte benchmarks (Artificial Analysis for evner og hastighed, leverandørerne for pris). Én kandidat skilte sig ud.
| Måling | Mistral Medium 3.5 🇫🇷 | Claude Sonnet 4.6 🇺🇸 | Claude Haiku 4.5 🇺🇸 |
|---|---|---|---|
| Intelligence Index | 30 | 36 | 24 |
| Outputhastighed | 92 tok/s | 44,8 tok/s | 92 tok/s |
| Tid til første token | 2,06 s | 1,26 s | 0,93 s |
| Pris (ind / ud pr. 1M) | $1.50 / $7.50 | $3 / $15 | $1 / $5 |
Tal pr. 2. juli 2026, for hver leverandørs eget API. De ændrer sig, efterhånden som nye benchmarkkørsler kommer til.
Mistral Medium 3.5 ligger seks point efter Sonnet på intelligens, til halv pris. Dens tid til første token, ventetiden før noget vises på skærmen, er lidt langsommere end Sonnets, men dens outputhastighed svarer til Haikus, dobbelt så høj som Sonnets, så den burde levere hele svaret hurtigere. På papiret er Mistral den oplagte at teste: skabt i Frankrig og leveret via deres eget API med data hostet i EU. Den helt europæiske løsning, hvis kvaliteten holder.
Testen
Vi bedømmer ikke modeller på mavefornemmelse. Onboarding har sin egen eval-suite: 17 skriptede samtalefixtures, der hver køres tre gange og bedømmes med promptfoo på det, der betyder noget. Får agenten et konkret problem frem i lyset, overleverer den rent, håndterer den flere sprog, og holder den sig til fakta i stedet for at finde på ting?
| Resultat | Mistral Medium 3.5 🇫🇷 | Claude Sonnet 4.6 🇺🇸 | Claude Haiku 4.5 🇺🇸 |
|---|---|---|---|
| Kvalitet (beståede tjek) | 46 / 51 (90 %) | 48 / 51 (94 %) | 39 / 51 (76 %) |
| Hastighed (median pr. tur) | ~1,9 s | ~7,6 s | ~1,9 s |
| Pris (pr. session) | ~$0.044 | ~$0.063 | ~$0.035 |
Hvert tjek er én fixture-kørsel bedømt som bestået/ikke bestået som helhed, de subjektive af en Claude-model, en skævhed, der om noget favoriserer den siddende model. En forskel på to tjek ud af 51 kørsler ligger inden for støjen fra kørsel til kørsel. Hastighed og pris kommer fra genafspillede sessioner med otte ture pr. model.
På kvalitet kom Mistral Medium 3.5 ud næsten lige så god som Sonnet i vores test, i tråd med de offentliggjorte tal. Overraskelsen er hastigheden: omkring 4× så hurtig pr. tur, dobbelt så meget som specifikationerne lovede. De rå svar fra eval'en forklarer det: Når samtalen først er kommet i gang, lå Mistral i snit på omkring 170 output-tokens pr. tur, hvor Sonnet brugte omkring 500. Samme opgave, en tredjedel af ordene. Som i eksemplet nedenfor:
The next reply is the model's, same conversation for both
That's a real problem — missing something important because it's buried is stressful. Is the main pain that you're missing things you need to act on (reply, follow up, do something), or more that you can't find information when you need it later?
That sounds like a real pain. Do you use Gmail or another email service?
Some readers will prefer Sonnet's fuller reply here, and that's fair. Both pass the same checks.
Værd at bemærke: Tallet pr. tur er den samlede tid, og oplevet ventetid er ikke det samme som målt ventetid. Det, du mærker først, er tiden til første token. Ifølge specifikationerne er Mistral langsommere til det første ord, men vi mærkede det aldrig: En median Mistral-tur var færdig på kortere tid end specifikationernes angivne tid til første token. Brug offentliggjorte latenstal som et udgangspunkt, ikke et svar.
Når det gælder pris, er det ikke så enkelt som at læse modelkortet. To andre faktorer spiller ind: caching og output-tokens. Både Mistral og Anthropic prissætter cachet input til en tiendedel af den normale pris. Hagen er, at en cache kun hjælper, hvis den rammer: Claude har efter vores erfaring været fremragende til det, mens Mistrals, der ifølge deres egen dokumentation er best-effort, aldrig gav os et eneste cachet token, da vi testede den direkte. For onboarding vender det ikke resultatet: Caching giver kun rabat på input, Sonnets regning er mest dens lange svar, og Mistral ender omkring 30 % billigere pr. session, selv når den betaler fuld pris for hvert input-token. Hvis Mistrals cache nogensinde begynder at levere, bliver det tal kun bedre.
Hvor det står nu
Det gik overraskende godt. På vores egen onboarding-arbejdsbyrde holdt en europæisk model trit med Claude på kvalitet, kom ind til en lavere pris og svarede med mærkbart lavere ventetid. For en opgave, vi kører hver dag, er det en reel mulighed, vi ikke havde regnet med at have.
Næsten lige så god, 4× hurtigere, 30 % billigere, og den er europæisk.
En note om Sonnet 5: Anthropic udgav den i samme uge, som vi kørte dette, og vi har ikke kørt eval'en igen mod den. Vi sammenligner med det, der faktisk kører onboarding i dag.