Rättelse av mätunderlaget
14 juli 2026
Vi har hittat och rättat två fel i vårt mätunderlag. De påverkade de resultat vi publicerat fram till i dag, och de påverkade dem på ett sätt som gjorde våra rangordningar mindre tillförlitliga. Här är vad som var fel.
Fel 1: Korrekt svenska registrerades som fel språk
Svar skrivna på korrekt svenska registrerades i många fall som att modellen inte hade svarat på svenska. Felet drabbade inte modellerna lika: det slog hårdast mot korta svar, och därmed snett mellan modeller.
Konsekvensen är att våra språkresultat mätte något annat än vad vi sa att de mätte. Vissa modeller fick avdrag för svenska som var helt korrekt.
Fel 2: De starkaste modellerna fick inte svara färdigt
Modeller som resonerar sig igenom en uppgift innan de svarar fick sina svar avkortade. De mättes därmed som om de inte hade löst uppgiften — trots att de aldrig fick möjlighet att slutföra den.
Detta drabbade flera av de starkaste modellerna på marknaden. Värre: några av dem föll ur vårt urval på grundval av mätningar de aldrig fick göra, och fick därmed ingen chans att komma tillbaka.
Vad vi har gjort
Båda felen är rättade.
Vi sparar de ursprungliga svaren från alla modeller och har därför kunnat räkna om hela historiken från källan. Mätningar som förstördes av det andra felet har förkastats — vi låter dem inte räknas mot modellerna, eftersom felet var vårt.
Modellerna som felaktigt föll ur urvalet är återinsatta i testningen.
Vi har dessutom infört en ny och strängare bedömning av språkkvalitet, som mäter hur väl svenskan faktiskt är skriven — inte bara om svaret är på svenska.
Tidigare veckorapporter är tillbakadragna
Veckorapporterna vi publicerat fram till i dag byggde på siffror vi nu vet var felaktiga. De är därför tillbakadragna i sin helhet. Vi låter dem inte stå kvar korrigerade i efterhand, eftersom de inte går att rekonstruera ärligt.
Varför vi skriver detta
hvilkenAI är en mättjänst. Vårt värde är att siffrorna stämmer. När de inte gör det är det enda som är värt något att vi säger ifrån.
Vi har inga affiliateavtal, sponsrade placeringar eller kommersiella bindningar till AI-leverantörerna vi testar. Det gäller fortfarande, och det är just därför vi inte har någon anledning att dölja detta.