11 Ulemper ved ChatGPT-indhold

Højdepunkter

• Hvorfor lavkvalitetsindhold på ChatGPT går igennem den menneskelige anmeldelse.
• ChatGPT er omfattende, selv når det burde være koncist.
• Professor citerer en fejl, der ødelægger ChatGPT-genererede essays.
• ChatGPT fejler den fiktive Voight-Kampff android-detektionstest, og den overraskende årsag til, hvorfor dette er vigtigt.

ChatGPT producerer indhold, der er omfattende og plausibelt nøjagtigt.

Men forskere, kunstnere og professorer advarer om mangler, der bør være opmærksomme på, da de mindsker kvaliteten af indholdet.

I denne artikel vil vi se på 11 ulemper ved ChatGPT-inhold. Lad os dykke ned.

1. Brug af udtryk gør det opdageligt som ikke-menneskeligt

Forskere, der studerer hvordan man opdager maskin-genereret indhold, har opdaget mønstre, der får det til at lyde unaturligt.

En af disse særheder er, hvordan AI har svært ved idiomatiske udtryk.

En idiom er en frase eller et udtryk med en figurativ betydning, for eksempel "enhver sky har en sølvkant".

Mangel på idiomer inden for en tekst kan være et signal om, at indholdet er maskingenereret - og dette kan være en del af en detektionsalgoritme.

Dette er hvad forskningsartiklen Adversarial Robustness of Neural-Statistical Features in Detection of Generative Transformers fra 2022 siger om denne særegenhed i maskingenereret indhold:

"Komplekse frasale funktioner er baseret på hyppigheden af specifikke ord og fraser inden for den analyserede tekst, som forekommer mere hyppigt i menneskelig tekst."

... Af disse komplekse sætningsstrukturer, bevarer idiomer den største predictive kraft i detektionen af nuværende generative modeller."

Denne manglende evne til at bruge idiomer bidrager til, at ChatGPT's output lyder og læses unaturligt.

2. ChatGPT mangler evnen til udtryk

En kunstner kommenterede hvordan resultatet af ChatGPT efterligner, hvad kunst er, men mangler de faktiske kvaliteter af kunstnerisk udtryk.

Udtryk er handlingen med at kommunikere tanker eller følelser.

ChatGPT-udgangen indeholder kun ord, ikke udtryk.

Det kan ikke producere indhold, der berører mennesker følelsesmæssigt på samme niveau som et menneske kan - fordi det ikke har nogen faktiske tanker eller følelser.

Musikartisten Nick Cave kommenterede i en artikel på sit nyhedsbrev Red Hand Files om en ChatGPT-sangtekst, der blev sendt til ham og som var skabt i Nick Caves stil.

Nyt AI-drevet værktøj til indholdsmarkedsføring
Tag næste generations teknologier i brug, før dine konkurrenter gør det. Skab veloptimeret og målrettet indhold, der leverer resultater tre gange hurtigere.

Han skrev:

"Det der gør en god sang fantastisk er ikke dens tætte lighed med et genkendeligt værk."

…det er den åndeløse konfrontation med sin egen sårbarhed, sin egen farlighed, sin egen ubetydelighed, sat op mod en følelse af pludselig chokerende opdagelse; det er den forløsende kunstneriske handling, der vækker lytterens hjerte, hvor lytteren genkender i sangens indre arbejde deres eget blod, deres egen kamp, deres egen lidelse."

Cave kaldte ChatGPT's tekster for en latterliggørelse.

Dette er ChatGPT-teksten, der minder om en Nick Cave-sangtekst:

“Jeg har engles blod på mine hænder
Jeg har helvedes ild i mine øjne
Jeg er kongen af ​​afgrunden, jeg er herskeren af mørket
Jeg er den, de frygter, og i skyggerne lytter de”

Og dette er en faktisk Nick Cave-sangtekst (Bror, Mit Bæger Er Tomt):

"Nå, jeg har lixom glidet ned af regnbuer
Jeg er dinglet i stjernerne
Nu er denne usling i tiggerklæder
Hamrer sin krus mod tremmerne
Se, min kop er tom!
Min iver synes at være forsvundet
Det ser ud til, at jeg fejer resterne op
Alle mine tidligere ildsteder"

Det er let at se, at maskingenereret sangtekst mindes om kunstnerens sangtekst, men den formidler ikke rigtig noget.

Nick Caves tekster fortæller en historie, som resonerer med personens patos, ønsker, skam og vilfuld bedrag i sangen. Det udtrykker tanker og følelser.

Det er nemt at se hvorfor Nick Cave kalder det en spot.

3. ChatGPT producerer ikke indsigt

En artikel offentliggjort i The Insider citerede en akademiker, der bemærkede, at akademiske essays genereret af ChatGPT mangler indsigt i emnet.

ChatGPT opsummerer emnet, men tilbyder ikke en unik indsigt i emnet.

Mennesker skaber gennem viden, men også gennem deres personlige erfaringer og subjektive opfattelser.

Ifølge The Insider citerer professor Christopher Bartel fra Appalachian State University at mens et ChatGPT-essay kan have høje grammatik-kvaliteter og sofistikerede ideer, mangler det stadig indsigt.

Bartel sagde:

"De er virkelig fluffy. Der er ingen sammenhæng, der er ingen dybde eller indsigt."

Indsigt er kendetegnet ved en velskrevet essay, og det er noget som ChatGPT ikke er særlig god til.

Denne manglende indsigt er noget at have i baghovedet, når man vurderer maskin-genereret indhold.

4. ChatGPT Er for ordret

En undersøgelse offentliggjort i januar 2023 opdagede mønstre i ChatGPT-indhold, der gør det mindre egnet til kritiske applikationer.

Papiret har titlen, Hvor tæt er ChatGPT på menneskelige eksperter? Sammenligningskorpus, evaluering og detektion.

Forskningen viste, at mennesker foretrak svar fra ChatGPT i mere end 50% af besvarelserne relateret til finans og psykologi.

Men ChatGPT svigtede ved at besvare medicinske spørgsmål, fordi mennesker foretrak direkte svar - noget som AI'en ikke kunne give.

Forskerne skrev:

"...ChatGPT præsterer dårligt med hensyn til hjælpsomhed inden for det medicinske område både på engelsk og kinesisk."

ChatGPT giver ofte uddybende svar på medicinsk rådgivning i vores indsamlede datasæt, mens menneskelige eksperter måske giver direkte og enkle svar eller forslag, hvilket delvist kan forklare, hvorfor frivillige betragter menneskelige svar som mere hjælpsomme inden for det medicinske område.

ChatGPT har tendens til at dække et emne fra forskellige vinkler, hvilket gør det upassende, når det bedste svar er et direkte svar.

Markedsførere, der bruger ChatGPT, skal tage hensyn til dette, fordi webstedsbesøgende, der kræver et direkte svar, ikke vil være tilfredse med en udførlig webside.

Og held og lykke med at rangere en alt for lang side i Googles fremhævede uddrag, hvor et kortfattet og klart formuleret svar, der fungerer godt i Google Voice, måske har en bedre chance for at rangere end et langvarigt svar.

OpenAI, producenterne bag ChatGPT, anerkender, at det at give omstændelige svar er en kendt begrænsning.

Meddelelsesartiklen fra OpenAI lyder:

"Modellen er ofte alt for langtrukken..."

ChatGPT's bias for at give langtrukne svar er noget at være opmærksom på, når man bruger ChatGPT's output, da du kan støde på situationer, hvor kortere og mere direkte svar er bedre.

5. ChatGPT's indhold er meget organiseret med klar logik

ChatGPT har en skrivestil, der ikke kun er ordret, men også har en skabelon, der giver indholdet en unik stil, der ikke er menneskelig.

Denne umenneskelige kvalitet afsløres i forskellene mellem, hvordan mennesker og maskiner svarer på spørgsmål.

Filmen Blade Runner indeholder en scene med en række spørgsmål, der er designet til at afsløre om den, der besvarer spørgsmålene, er et menneske eller en android.

Disse spørgsmål var en del af en fiktiv test kaldet "Voigt-Kampff-testen".

En af spørgsmålene er:

“Du ser fjernsyn. Pludselig opdager du, at der kravler en hveps på din arm. Hvad gør du?”

En normal menneskelig reaktion ville være at sige noget i stil med at skrige, gå ud og slå til den, og så videre.

Men da jeg stillede dette spørgsmål til ChatGPT, tilbød den en omhyggeligt organiseret besvarelse, der resumerede spørgsmålet og derefter tilbød logiske mulige resultater - uden at besvare det faktiske spørgsmål.

Skærmbillede af ChatGPT, der besvarer et Voight-Kampff-testspørgsmål

Svaret er meget organiseret og logisk, hvilket giver det en meget unaturlig følelse, som er uønsket.

6. ChatGPT er overdrevent detaljeret og omfattende

ChatGPT blev trænet på en måde, der belønnede maskinen, når mennesker var glade for svaret.

Menneskelige bedømmere foretrak svar med flere detaljer.

Men nogle gange, som f.eks. i en medicinsk sammenhæng, er et direkte svar bedre end et omfattende.

Det betyder, at maskinen skal instrueres til at være mindre omfattende og mere direkte, når disse kvaliteter er vigtige.

Fra OpenAI:

"Disse problemer opstår på grund af skævheder i træningsdataene (trænerne foretrækker længere svar, der ser mere omfattende ud) og velkendte overoptimeringsproblemer."

7. ChatGPT lyver (forestillinger om facts)

Det førnævnte forskningspapir, Hvor Tæt er ChatGPT på Menneskelige Eksperter?, bemærkede, at ChatGPT har en tendens til at lyve.

Det rapporterer:

"Når man besvarer et spørgsmål, der kræver professionel viden fra et bestemt felt, kan ChatGPT opdigte fakta for at give et svar...

For eksempel kan ChatGPT opfinde nogle ikke-eksisterende lovgivningsbestemmelser for at besvare spørgsmålet i juridiske spørgsmål.

…Desuden kan ChatGPT også opdigte kendsgerninger for at give et svar, når en bruger stiller et spørgsmål, som ikke har noget eksisterende svar.”

Futurism hjemmesiden dokumenterede tilfælde, hvor maskin-genereret indhold offentliggjort på CNET var forkert og fyldt med "dumme fejl."

CNET burde have haft en idé om, at dette kunne ske, fordi OpenAI udgav en advarsel om forkert output:

"ChatGPT skriver sommetider plausibelt klingende, men forkerte eller meningsløse svar."

CNET hævder at have indsendt maskingenererede artikler til menneskelig gennemgang inden offentliggørelse.

Et problem med menneskelig gennemgang er, at ChatGPT-indhold er designet til at lyde overbevisende korrekt, hvilket kan narre en revisor, der ikke er ekspert i emnet.

8. ChatGPT er unaturlig, fordi den ikke er divergent

Forskningsartiklen How Close is ChatGPT to Human Experts? noterede også, at menneskelig kommunikation kan have indirekte betydninger, som kræver en ændring af emnet for at forstå det.

ChatGPT er alt for bogstavelig, hvilket gør, at svarene nogle gange misser pointen, fordi AI overser det faktiske emne.

Forskerne skrev:

"ChatGPT's svar er generelt strengt fokuseret på det givne spørgsmål, mens menneskers svar kan divergere og nemt skifte til andre emner."

Når det gælder indholdsrighed, er mennesker mere divergente i forskellige aspekter, mens ChatGPT foretrækker at fokusere på spørgsmålet i sig selv.

Mennesker kan besvare den skjulte betydning under spørgsmålet baseret på deres egen sund fornuft og viden, men ChatGPT læner sig på de bogstavelige ord i det pågældende spørgsmål…”

Mennesker er bedre i stand til at afvige fra den bogstavelige spørgsmål, hvilket er vigtigt for at besvare "hvad med" type spørgsmål.

For eksempel, hvis jeg spørger:

"Heste er for store til at være kæledyr. Hvad med vaskebjørne?"

Det ovenstående spørgsmål spørger ikke om en vaskebjørn er et passende kæledyr. Spørgsmålet handler om størrelsen på dyret.

ChatGPT fokuserer på om vaskebjørnen er passende som kæledyr, i stedet for at fokusere på dens størrelse.

Skærmbillede af en overdrevent bogstavelig ChatGPT-svar

9. ChatGPT har en tendens til at være neutral

Outputtet fra ChatGPT er generelt neutralt og informativt. Der kan dog opstå bias i outputtet, som kan virke hjælpsomt, men ikke altid er det.

Forskningsrapporten, som vi lige har diskuteret, bemærker, at neutralitet er en uønsket kvalitet, når det kommer til juridiske, medicinske og tekniske spørgsmål.

Mennesker har en tendens til at vælge side, når de giver denne slags meninger.

10. ChatGPT er biased til at være formel

ChatGPT output har en bias, der forhindrer den i at løsne op og svare med almindelige udtryk. I stedet har dens svar tendens til at være formelle.

Mennesker har tilbøjelighed til at besvare spørgsmål på en mere uformel måde ved hjælp af dagligtale og slang - det modsatte af formelt.

ChatGPT bruger ikke forkortelser som GED eller FOR LANGT; LÆST.

Svarene mangler også eksempler på ironi, metaforer og humor, hvilket kan gøre ChatGPT-indholdet alt for formelt til visse typer af indhold.

Forskerne skriver:

"...ChatGPT kan lide at bruge konjunktioner og adverbier til at formidle en logisk tankestrøm, såsom "Generelt set", "På den anden side", "For det første, ... For det andet, ... Endelig" og så videre."

11. ChatGPT er stadig i træning

ChatGPT er i øjeblikket stadig i gang med træning og forbedring.

OpenAI anbefaler, at alt indhold genereret af ChatGPT bør gennemses af en menneskelig oversætter, og opfører dette som en god praksis.

OpenAI foreslår at holde mennesker i løkken:

"Hvor det er muligt, anbefaler vi at have en menneskelig gennemgang af resultaterne, inden de anvendes i praksis."

Dette er særlig vigtigt i områder med høj risiko og for kodegenerering.

Mennesker bør være opmærksomme på systemets begrænsninger og have adgang til enhver information, der er nødvendig for at verificere resultaterne (for eksempel hvis applikationen opsummerer noter, bør en menneskelig bruger have nem adgang til de oprindelige noter for at henvise tilbage).

Uønskede kvaliteter ved ChatGPT

Det er klart, at der er mange problemer med ChatGPT, der gør det uegnet til selvstændig indholdsproduktion. Det indeholder fordomme og kan ikke skabe indhold, der føles naturligt eller indeholder ægte indsigt.

Derudover gør dens manglende evne til at føle eller skabe originale tanker den til et dårligt valg til at skabe kunstneriske udtryk.

Brugere bør følge detaljerede anvisninger for at generere indhold, som er bedre end det standardindhold, det normalt outputter.

Til sidst er menneskelig gennemgang af maskingenereret indhold ikke altid nok, for ChatGPT-indhold er designet til at se korrekt ud, selv når det ikke er det.

Det betyder, at det er vigtigt, at menneskelige anmeldere er fagfolk, der kan skelne mellem korrekt og ukorrekt indhold om et bestemt emne.