Opgaver hvor ChatGPT fejler, og hvordan man undgår fejlene

Informatic Digital » Recursos » Opgaver hvor ChatGPT fejler, og hvordan man undgår fejlene

Generativ kunstig intelligens er blevet en del af vores dagligdag, og ChatGPT er blevet det foretrukne værktøj til at skrive, opsummere, programmere og brainstorme . Men selvom det kan virke imponerende, er det langt fra perfekt. At stole blindt på dens svar kan føre til ubehagelige overraskelser, hvis man ikke er bekendt med dens begrænsninger.

Derfor insisterer flere og flere eksperter på, at det er næsten lige så vigtigt at forstå de opgaver, hvor ChatGPT ikke lever op til forventningerne, som at vide, hvordan man bruger den . Det handler ikke om at dæmonisere teknologien, men om at lære at leve med dens begrænsninger: hvornår den er pålidelig, hvornår man skal tage dens svar med et gran salt, og hvordan man udnytter den uden at miste den menneskelige kritiske dømmekraft.

Hvorfor det er vigtigt at kende begrænsningerne ved ChatGPT

Bag chatgrænsefladen ligger et komplekst system, der kombinerer store sprogmodeller med interne mekanismer, der prioriterer hastighed eller ræsonnement afhængigt af spørgsmålet . Denne automatiske "beslutning" stemmer ikke altid overens med brugerens behov: nogle gange har en hurtig reaktion forrang, selvom problemet kræver trinvis tankegang. Du kan dykke dybere ned i, hvordan parametre for kunstig intelligens påvirker denne adfærd.

Derudover ændrer modellens adfærd sig med hver opdatering, hvilket betyder, at ChatGPT kan reagere forskelligt på den samme forespørgsel på forskellige tidspunkter . Derudover er der kontekstbegrænsninger i lange samtaler, hvor den begynder at "glemme" dele af tråden, og sikkerhedsfiltre, der blokerer følsomme eller helt legitime emner af stor forsigtighed.

Denne kombination af faktorer betyder, at brugeroplevelsen i praksis kan svinge fra strålende til frustrerende på få sekunder . Forskellen mellem et nyttigt resultat og et katastrofalt resultat ligger ofte i, om brugeren kan genkende, hvornår AI'en er på afveje, og hvordan man retter det.

Adskillige nylige undersøgelser og undersøgelser viser, at en betydelig del af brugerne ikke fuldt ud stoler på ChatGPT's svar . I en OCU-undersøgelse angav mange personer "mangel på tillid" til de genererede oplysninger som hovedårsagen til ikke at bruge det dagligt, på trods af at de havde prøvet det.

Derfor anbefaler specialister i kunstig intelligens og uddannelse at bruge ChatGPT som en ekstra kilde og aldrig som den ultimative sandhedsdommer . Det er i dag essentielt at validere data med andre kilder, have i det mindste en grundlæggende forståelse af emnet og acceptere, at information kan være fabrikeret (de berygtede "hallucinationer").

Almindelige fejl og tekniske begrænsninger i ChatGPT

Teknisk litteratur har dokumenteret, at disse systemer har en tendens til at generere plausible, men falske svar , især når spørgsmålet er tvetydigt, meget specifikt eller afviger fra de data, de så under træningen. Problemet er, at formuleringen er så overbevisende, at det er vanskeligt at opdage fejlen, hvis brugeren ikke er bekendt med emnet. Værktøjer som udvidelser til at detektere AI-genereret indhold kan hjælpe med at identificere nogle af disse falske svar.

Eksperter som professor Josep Curto understreger, at nogle af de mest almindelige fejl er dybe og påvirker systemets samlede pålidelighed . Disse omfatter fejlagtige beskrivelser af verificerbare fakta, ufuldstændige svar, opdigtede forklaringer af modellens "ræsonnementsproces" og mindre præcis ydeevne på andre sprog end engelsk.

Derudover er etiske og sikkerhedsmæssige restriktioner, selvom der indføres forbedringer, ikke altid velafbalancerede . Nogle gange blokerer de legitime anmodninger, mens de tillader problematiske, eller de producerer svar fyldt med bias arvet fra træningsdata, hvad enten det er kulturelle, politiske eller kønsrelaterede.

Trods alt har løbende forskning i deep learning og naturlig sprogbehandling ført til, at de nyeste versioner, såsom GPT-4, opnår næsten menneskelig ydeevne i komplekse opgaver inden for matematik, programmering, jura, medicin og psykologi. Men høj ydeevne betyder ikke ufejlbarlighed, og blinde vinkler forbliver.

7 opgaver hvor ChatGPT fejler (eller er upålidelig)

Selvom ChatGPT kan være meget nyttigt i mange situationer, er der visse typer opgaver, hvor sandsynligheden for at modtage et forkert, forudindtaget eller vildledende svar øges betydeligt . Det er tilrådeligt at være bekendt med disse scenarier for at udvise ekstra forsigtighed.

1. Logisk ræsonnement og kompleks matematik

Når et problem kræver kædede beregninger, logiske demonstrationer eller formelle matematiske beviser , vakler ChatGPT ofte. Det kan lave fejl i simple operationer, springe vigtige trin over eller præsentere forkerte resultater som korrekte.

Dette er især mærkbart i øvelser med mange mellemliggende trin, såsom kombinatorik, sandsynlighedsregning, avanceret algebra eller geometri . Selv hvis teksten virker velargumenteret, kan små fejl i ét trin ugyldiggøre hele resultatet, og modellen har ingen måde at "tjekke" sin egen argumentation på.

2. Sund fornuft, intuition og menneskelig kontekst

AI'en fortolker det, den får fortalt, bogstaveligt, så den har svært ved at forstå ironi, dobbeltbetydninger, sarkasme eller meget specifikke kulturelle referencer . Dette resulterer i svar, der for et menneske tydeligvis er "malplacerede".

Når opgaven kræver ægte empati, dyb følelsesmæssig forståelse eller praktisk viden om den virkelige verden , efterligner modellen blot sprogmønstre, men uden personlig erfaring. Det lyder måske empatisk, men det føler ingenting eller opfatter situationer, som en person ville gøre. For at forbedre tonen og skræddersy svar, anbefales det at tilpasse ChatGPT og justere stilarter og roller.

3. Langtidshukommelse og projektkontinuitet

Selvom det kan virke som om, det "husker" samtalen, har ChatGPT begrænset kontekst og kan miste dele af historikken uden varsel . Meget lange samtaler eller projekter, der trækker ud, er tilbøjelige til hukommelsessvigt.

Dette påvirker direkte opgaver som at skrive bøger, lange rapporter eller programmeringsprojekter med flere sessioner . Hvis indhold ikke gemmes og administreres eksternt, er der risiko for at miste konsistens, gentage allerede trufne beslutninger eller modsige sig selv uden at modellen er klar over det.

4. Angivelige tidsbesparelser, der ender med at koste dig mere

Mange bruger ChatGPT på grund af hastighed, men når svar indeholder små fejl eller mangler vigtige oplysninger, kan det tage længere tid at gennemgå og rette dem end at oprette dem fra bunden . Dette er især mærkbart i professionelle opgaver, der kræver en høj kvalitetsstandard.

Inden for områder som tekniske rapporter, juridisk dokumentation, akademisk indhold eller produktionskode kan den ekstra tid, der bruges på verifikation, fuldstændigt ophæve den formodede fordel ved at bruge AI, hvis der ikke er en grundig gennemgangsproces.

5. Forældede data og mangel på realtidsforbindelse

Modeller som GPT-3 eller GPT-4 trænes ved hjælp af en specifik tidsramme af data, så de har ikke direkte adgang til internettet for at konsultere information i realtid . Afhængigt af versionen kan deres viden være begrænset til et bestemt år.

Det betyder, at svarene kan være forældede eller endda falske, hvad angår aktuelle begivenheder, nylige lovændringer, videnskabelige gennembrud eller breaking news . Hvis brugeren ikke tjekker med opdaterede kilder, går fejlen ubemærket hen.

6. Variabel ydeevne og mætning

I perioder med høj efterspørgsel, især på gratis konti, kan kvaliteten og hastigheden af ​​svar blive påvirket . Modellen kan give mindre detaljerede svar, afbryde svar for tidligt eller tilbyde mere overfladiske løsninger.

Denne variabilitet betyder, at det ikke altid er en pålidelig erstatning for kritiske opgaver med stramme deadlines . At være fuldstændig afhængig af tjenesten i myldretiden uden en backupplan kan blive en driftsrisiko for virksomheder og professionelle.

7. Begrænsninger, filtre og bias

Af sikkerhedsmæssige årsager inkluderer ChatGPT filtre til at forhindre skadeligt, ulovligt eller ekstremt følsomt indhold . Problemet er, at disse moderationssystemer ikke er perfekte og nogle gange blokerer legitime anmodninger eller reagerer vagt af overdreven forsigtighed.

Alligevel har adskillige forskere vist, at modeller stadig kan generere svar med racistiske, sexistiske eller ideologiske bias , hvilket afspejler de fordomme, der findes i træningsdataene. Der er dokumenteret tilfælde af bots, der er trænet med lignende teknikker, og som ender med at producere diskriminerende indhold. Den etiske evaluering af chatbots hjælper med at forstå og afbøde disse bias.

Grundlæggende fejl: hvorfor ChatGPT laver så mange fejl

I analysen af ​​disse mangler peger bevidsthedsfilosoffer og AI-eksperter på strukturelle begrænsninger: ChatGPT hverken tænker, forstår eller har nogen bevidsthed om, hvad den siger . Dens tilsyneladende intelligens stammer fra statistiske korrelationer i stor skala, ikke fra ægte ræsonnement.

Professor Ned Block har for eksempel peget på eksperimenter med generative billedmodeller, hvor brugerne bliver bedt om at tegne et ur, der viser tidspunkter som 12:03 eller 6:28, og næsten altid vises et ur klokken 10:10 . Dette tidspunkt dominerer i online reklamebilleder, fordi det er æstetisk tiltalende og ikke skjuler logoet.

Denne adfærd illustrerer, hvordan modeller har en tendens til at replikere de hyppigste mønstre i deres træningsdata, selvom de modsiger den specifikke instruktion . De "forstår" ikke tidsbegrebet; de gentager blot den statistisk set mest almindelige konfiguration.

Noget lignende sker, når man bliver bedt om et billede af en person, der skriver med venstre hånd . Mange modeller ender systematisk med at generere højrehåndede personer, fordi de fleste eksempler i dataene også er højrehåndede. At få en velrepræsenteret venstrehåndet person kræver vedholdende brug af meget specifikke prompts, og selv da virker det ikke altid.

Den slags strukturelle fejl betyder, at selv udviklere ikke fuldstændigt kan korrigere nogle dybt indgroede bias . Forstærkningstræning med menneskelig feedback hjælper, men manuel forstærkning af ethvert muligt scenarie (hvert klokkeslæt, hver skriveposition osv.) er upraktisk.

På et tekstuelt niveau omsættes problemet til overdrevent sikre forklaringer af ting, som modellen faktisk ikke "ved ". De kan trin for trin detaljere en angivelig metode, de aldrig har brugt, eller fabrikere akademiske referencer og links med en fuldstændig overbevisende atmosfære.

Hvordan ChatGPT trænede, og hvorfor det påvirker hans fejl

Modeller som GPT-3 og GPT-4 er baseret på Transformer-arkitekturen og er blevet trænet med enorme mængder tekst fra internettet : websider, bøger, videnskabelige artikler, nyheder og andre offentlige ressourcer såsom Wikipedia eller Common Crawl.

Processen har to hovedfaser. Først en massiv fortræning, hvor modellen lærer at forudsige det næste ord i millioner af sætninger . På dette stadie læres den ikke eksplicit "grammatik", men udleder snarere mønstre ved at udfylde huller i teksten – en slags kæmpe ordkompletteringsøvelse.

Derefter finjusteres specifikke opgaver, såsom oversættelse, opsummering, besvarelse af spørgsmål eller samtale . Dette involverer brug af mindre, mere specifikke datapunkter, der er mærket for at lære modellen, hvilken type respons der anses for passende i hver kontekst.

I tilfældet med ChatGPT blev der også anvendt human feedback reinforcement learning (HFRL) . Menneskelige trænere evaluerede flere mulige svar fra modellen på det samme input og rangerede dem fra bedste til værste. Med denne information lærte systemet at foretrække de højest vurderede output.

Denne tilgang forbedrer den opfattede kvalitet af svarene, men den fjerner ikke det underliggende problem: modellen mangler stadig semantisk forståelse og direkte adgang til virkeligheden . Den forfiner kun sine sandsynligheder til at lyde mere hjælpsom, høflig og selvsikker, hvilket nogle gange gør hallucinationerne endnu farligere.

Desuden er det umuligt at filtrere dem helt fra, selvom dataoprydning, regularisering og menneskelige evalueringsteknikker anvendes til at reducere bias og stereotyper i træningstekster . Derfor anbefaler virksomheder løbende overvågning af output, især i følsomme applikationer.

ChatGPT's indflydelse på studier og arbejdslivet

Siden lanceringen har ChatGPT genoplivet debatten om, hvordan generativ kunstig intelligens vil påvirke menneskelige job og uddannelsessystemet . Store tech-virksomheder præsenterer den som en "co-pilot" eller assistent, men mange undersøgelser peger på dybtgående forandringer i adskillige erhverv.

Forskning fra universiteter som New York University og University of Pennsylvania viser sammen med analyser fra OpenAI og andre enheder, at sprogbaserede opgaver (skrivning, oversættelse, tekstanalyse, dokumentation, grundlæggende regnskabsføring) er særligt sårbare over for delvis automatisering.

På arbejdsmarkedet er telefonsælgere, universitetsprofessorer i sprog og litteratur, historie- og juralærere, oversættere, administrativt personale og visse skriveroller blevet identificeret som særligt sårbare . Det betyder ikke, at de alle vil forsvinde, men det betyder, at mange af deres funktioner i høj grad kan understøttes af AI.

Andre undersøgelser har fundet klare positive effekter. I tests med softwareudviklere, for eksempel, udførte de, der brugte modelbaserede kodningsassistenter, opgaver op til 55 % hurtigere end dem, der arbejdede uden hjælp. Produktiviteten på rutineopgaver øges, hvilket giver mulighed for at dedikere mere tid til komplekse problemer.

Inden for uddannelse er debatten særligt ophedet. Undersøgelser viser, at det bliver stadig vanskeligere at skelne mellem, om et kort essay er skrevet af en studerende eller ChatGPT , selv for erfarne lærere og professionelle forfattere. I nogle eksperimenter har lærere og eksperter ikke kunnet identificere den sande forfatter.

Som reaktion herpå begynder mange undervisere at foreslå flere mundtlige evalueringer, undervisningsarbejde og aktiviteter, der demonstrerer elevens tankeproces , ikke kun det endelige produkt. Andre foreslår at bruge ChatGPT som et undervisningsværktøj: et udgangspunkt, som eleven skal kritisere, korrigere, sammenligne med kilder fra den virkelige verden og forbedre.

Bedste fremgangsmåder til at bruge ChatGPT uden at falde i dens fælder

Trods alle disse problemer er ChatGPT yderst nyttig, hvis den får den rette rolle. Nøglen er at kombinere godt promptdesign med streng menneskelig overvågning af dens output , især når der er akademiske, juridiske eller professionelle implikationer.

En grundlæggende første anbefaling er altid at verificere data, figurer, referencer og egennavne, før du bruger dem. Det er ikke nok, at noget "lyder godt": du skal tjekke med pålidelige kilder (videnskabelige artikler, officiel lovgivning, opslagsværker, specialiserede databaser osv.).

Det er også tilrådeligt ikke at basere kritiske beslutninger på et enkelt svar fra modellen . Når sagen er vigtig, er det klogt at indhente flere meninger (fra andre værktøjer, menneskelige eksperter eller dokumentation) og kun bruge chatten som et supportværktøj eller til at generere kladder.

Udformningen af ​​instruktionerne har en enorm indflydelse: klare, specifikke og velstrukturerede instruktioner reducerer tvetydighed og har en tendens til at producere mere brugbare resultater . At bede brugeren om at forklare sin argumentation trin for trin, inkludere modeksempler eller påpege potentielle begrænsninger kan hjælpe med at opdage fejl.

Endelig er det meget effektivt at bruge ChatGPT som en generator af skabeloner, dispositioner, udkast og idélister, som personen derefter kan arbejde videre med , i stedet for blot at acceptere den endelige tekst. Dette sparer tid på den mere mekaniske del, men det endelige indhold forfines og valideres stadig af et menneske.

Erfaringer fra de senere år viser, at generativ kunstig intelligens fungerer bedst, når den behandles som en stærk, men fejlbarlig assistent . Med et kritisk blik, sund dømmekraft i valg af opgaver og et stringent evalueringssystem bliver den en værdifuld allieret snarere end en stille trussel.