Hur detektorn fungerar
Vår AI-text detektor är vår nyligen utvecklade första version av en detektor som kan klassificera om en text är skriven av en människa eller en AI. Den kombinerar två olika modeller för att ge sannolikheter för att en text är skriven av en AI.
De två modellerna
Den första modellen som används är en s.k. “encoder”-modell. Den har tränats specifikt för att uppskatta om en text har skrivits av en AI eller inte. Den kan läsa upp till 500 ord och göra en förutsägelse utifrån dessa, så om en text är mer än 500 ord delas den upp i mindre delar.
Den andra modellen som används är GPT2-basmodellen. Den läser igenom texten och för varje ord som den läser ger den sannolikheter för vad nästa ord bör vara. Vi kan använda dessa sannolikheter för att se om den skrivna texten är mycket lik det som modellen skulle förutsäga, och om den är det är texten sannolikt AI-genererad.
Hur väl gpt2-modellen kan förutsäga texten mäts i det som kallas “perplexitet”. Högre perplexitet innebär att texten verkar mer slumpmässig och oförutsägbar, vilket är vanligt för människor.
En tumregel är att AI-genererade texter vanligtvis har en perplexitet på omkring 4-15, medan mänskligt skrivna texter oftast ligger mellan 15-60.