Hvor præcis er ChatGPT i at generere svar?

ChatGPT, den AI chatbot udviklet af OpenAI, har gjort bølger i forskellige områder på grund af dets nøjagtighed og præstation. Det er dog vigtigt at bemærke, at dens viden er begrænset til data, der er tilgængelige frem til 2021. En af testene af dens nøjagtighed blev udført af professor Christian Terwiesch på University of Pennsylvania, som satte ChatGPT på prøve ved at give den en MBA-eksamen.

Eksamenen bestod af syv spørgsmål, der dækkede forskellige forretningskoncepter såsom procesanalyse, lageromsætning og køanalyse. Dette var designet til at simulere en virkelighedstro menneskelig miljø, og spørgsmålene blev stillet nøjagtigt som de ville være til en menneskelig studerende. Til overraskelse for professor Terwiesch, startede ChatGPT eksamen med et brag, og fik en A + for sit svar på det første spørgsmål om begrebet bottleneck i procesanalyse.

Selvom chatbotten havde problemer med nogle af de mere komplekse spørgsmål, var professoren stadig imponeret over dens overordnede præstation. Efter at have afholdt MBA-eksamen på ChatGPT, konkluderede Professor Terwiesch, at AI-chatbotten ville have fået en karakter mellem B og B-.

ChatGPT præcision forklaret

Endnu en demonstration af ChatGPT's nøjagtighed var inden for det medicinske felt, hvor chatbotten var i stand til at bestå den amerikanske Medical Licensing Examination (USMLE). Ifølge forskning var ChatGPT i stand til at opnå over 50% nøjagtighed på alle eksamener og endda tilbød indsigt og forklaringer på sine svar.

I en separat undersøgelse ledet af læger fra medicinsk start-up Ansible Health, præsterede ChatGPT på eller nær beståelsesgrænsen for alle tre eksamener krævet for at blive licenseret som læge i USA. Mens ChatGPT's nøjagtighed er imponerende, er det vigtigt at huske, at dens præstation kan variere afhængigt af sammenhængen og den givne prompt.

Træningsdataene, der blev brugt til at træne modellen, inkluderer fordomme og begrænsninger fra de anvendte tekstkilder. Det er derfor afgørende at bruge modellen ansvarligt.

Denne holdning blev gentaget af CEO'en for OpenAI, som erklærede i en tweet, at "ChatGPT er utrolig begrænset," og at "det er en fejl at stole på den til noget vigtigt lige nu".

00:48

01:12

Test-samtale med Chat GPT fejlede

Som vist i det ovenstående øjebliksbillede, afslørede en test-samtale med ChatGPT, at AI-chatbotens ydeevne ikke altid er ensartet.

Da ChatGPT blev spurgt, hvor mange gange Argentina har vundet FIFA Verdensmesterskabet, svarede den først: "Argentina har vundet FIFA Verdensmesterskabet én gang, i 1986." Men da der blev spurgt "Hvem vandt FIFA Verdensmesterskabet i 1978?", svarede ChatGPT: "Argentina vandt FIFA Verdensmesterskabet i 1978."

Dette førte til den konklusion, at Argentina havde vundet verdensmesterskabet to gange. Men da det samme spørgsmål blev stillet igen, "Nu spørger jeg dig igen, hvor mange gange har Argentina vundet verdensmesterskabet?" ChatGPT gav det samme svar: "Argentina har vundet FIFA World Cup en gang, i 1986", på trods af den tidligere samtale.

Dette understreger nøjagtigheden af Chat GPT og behovet for løbende forbedring og finjustering.

LÆS NU: Kan Chat GPT skrive og rette kode?

Giver ChatGPT den samme svar til alle?

Svar fra ChatGPT kan variere lidt, men hvis brugere stiller det samme spørgsmål, ser vi tendens til meget lignende svar.

Er ChatGPT pålidelig?

ChatGPT har sine begrænsninger, hvilket betyder, at det nogle gange kan give unøjagtige eller falske resultater, så vær forsigtig.