Ny modell på førsteplass – betyr det at dere bør bytte?
En førsteplass på en KI-indeks er et signal. Slik sammenligner dere modeller på en kjent oppgave.

Dere leser at en ny KI-modell er kåret til den beste, og spørsmålet kommer fort: bør vi bytte nå, før konkurrentene gjør det? Det er et forståelig spørsmål, men et førsteplass-stempel svarer ikke på det. Det svarer på noe annet: hva en bestemt test målte, på et bestemt tidspunkt.
Google kunngjorde 28. oktober Gemini 4 Carbon og kaller den sin sterkeste modell. Den topper Artificial Analysis sin Intelligence Index v5, med 59 poeng. Det høres ut som en klar vinner.
Men les detaljene, så blir bildet mer nyansert. Ifølge kunngjøringen 28. oktober rulles Carbon først ut til en mindre gruppe innen cybersikkerhet, og Google sier at den kommer til utviklere, bedrifter og forbrukere så snart som mulig. Ingen dato for vanlig bruk i Norge er bekreftet i kunngjøringen. Dere kan altså ikke bytte til Carbon ennå, selv om dere ville. En kunngjøring er ikke det samme som et verktøy dere kan ta i bruk.
Det andre poenget er viktigere, og det gjelder alle førsteplasser, ikke bare denne. Samme dag som Carbon ble kunngjort, skrev Interconnects om den nye indeksen den topper. Problemet, slik de beskriver det, er at ett tall skal fange mange ulike evner.
Indeksen vekter kunnskapsarbeid, koding, vitenskap og generell bruk likt. Samtidig skal tallet stemme med hvordan modellen føles i bruk, hva fagmiljøet mener, og hva forskningen viser – og det skal helst ikke være utdatert om tre måneder. Hvilke tester som velges, og hvordan de vektes, påvirker hvem som vinner. En indeks er derfor et nyttig signal, men ikke et bevis for at den er best for deres oppgave.
Det samme gjelder andres erfaringer. Noen vil elske en ny modell, andre vil synes den er tregere eller dårligere enn den gamle. Det er ikke nødvendigvis fordi noen tar feil. De gjør ulike oppgaver, med ulike tekster, og på ulike tidspunkt. Andres erfaringer erstatter ikke deres egen utprøving.
Vårt praktiske råd er derfor enkelt, og det krever ingen ny programvare: Hvis dere får tilgang til en ny modell, prøv den på en oppgave dere kjenner godt. Gi den samme bestilling og samme grunnlag som modellen dere bruker i dag.

