- Hallusinasjoner i ChatGPT oppstår fordi modellen forutsier ord, ikke forstår virkeligheten og har en tendens til å fylle ut hull når informasjon er knapp eller tvetydig.
- Riktig bruk av spørsmål, med tydelig kontekst, eksplisitte begrensninger, forespørsler om kilder og anerkjennelse av usikkerhet, reduserer tydelig sannsynligheten for oppdiktede svar.
- Det er viktig å alltid validere nøkkeldata med eksterne kilder og bruke passende modeller, resonneringsmetoder og konfigurasjoner når nøyaktighet er kritisk.
- Selv om bransjen jobber med nye opplæringsteknikker, ligger det endelige ansvaret for å oppdage feil og gjennomgå den genererte informasjonen hos brukeren.
Hallusinasjoner i ChatGPT har blitt et av de mest diskuterte temaene når generativ kunstig intelligens nevnes, og de dukker opp i mange typiske ChatGPT-feil . Dette er svar som høres veldig overbevisende ut, skrevet i en selvsikker tone, men som faktisk inneholder falske data, fabrikkerte sitater eller udokumenterte konklusjoner. For noen som bruker det av nysgjerrighet, er dette kanskje ikke et problem, men for noen som er avhengige av AI i sitt daglige arbeid, kan det være en skikkelig hodepine.
Selv om det for øyeblikket er umulig å eliminere hallusinasjoner fullstendig fra en språkmodell, kan vi redusere dem betydelig ved å kombinere tre ting: bedre ledetekster, god verifiseringspraksis og visse justeringer i hvordan vi bruker hver modell. Denne artikkelen vil forklare i detalj hva disse hallusinasjonene er, hvorfor de oppstår, hva bransjen (og OpenAI spesielt) gjør for å redusere dem, og, viktigst av alt, hvordan du kan endre bruken av ChatGPT slik at den gjør langt færre feil.
Hva er hallusinasjoner i ChatGPT, og hvorfor oppstår de?
I forbindelse med kunstig intelligens oppstår en hallusinasjon når en modell som ChatGPT genererer feil, oppdiktet eller ustøttet informasjon , men presenterer den på en så naturlig måte at den virker sann. Det er ikke begrenset til en enkelt feil i et tall; noen ganger konstruerer det hele avsnitt, direkte sitater, navn på studier eller argumenter som ikke finnes i noen pålitelig kilde.
Dette skjer fordi ChatGPT, i likhet med andre store språkmodeller, ikke forstår verden slik du gjør . Den verken resonnerer eller sjekker fakta mot en sanntidsdatabase; i stedet beregner den hvilket ord som mest sannsynlig følger det forrige, basert på mønstre den har lært under treningen. I hovedsak er den en ekstremt sofistikert tekstkompletterer.
Når spørsmålet du stiller stemmer godt overens med det modellen har observert under trening, får den vanligvis riktig svar. Problemet oppstår når du ber om svært spesifikk, sjelden eller dårlig representert informasjon i treningsdataene. I disse situasjonene blir den «tvunget» til å fylle ut hullene med det den anser som det mest sannsynlige svaret, selv om det ikke finnes noen støttende virkelighet.
Et typisk eksempel er å be om et direkte sitat fra en bestemt forfatter . Hvis treningsdataene ikke inneholder det nøyaktige sitatet, kan brukeren finne opp en frase som «høres» ut som forfatterens, tilskrive det til dem ganske naturlig, og noen ganger bare erkjenne feilen når brukeren insisterer. Det samme gjelder datoer, figurer, egennavn eller referanser til akademiske artikler – områder som er spesielt utsatt for hallusinasjoner.
Det er også en annen viktig faktor: mange modeller er trent til alltid å produsere et svar . Å åpent erkjenne «Jeg vet ikke» har historisk sett ikke vært en prioritet i treningen deres; derfor har de en tendens til å fylle ut informasjon selv når dataene de håndterer er utilstrekkelige eller tvetydige.
Hvordan ChatGPT fungerer internt (og hva det betyr for hallusinasjoner)
For å bedre forstå hvorfor ChatGPT er så uforutsigbar, er det nyttig å huske at det er en språkmodell som er trent på enorme mengder tekst. Under trening lærer den mønstre: hvilke ord som pleier å passe sammen, hvilke setningsstrukturer som er typiske i en vitenskapelig artikkel, hvordan en nyhetsartikkel er skrevet, hvordan et essay argumenteres, og så videre.
Når du stiller den et spørsmål, søker ikke ChatGPT på internett (bortsett fra i versjoner med nettlesing aktivert), men forutsier i stedet, ord for ord, det mest sannsynlige neste svaret basert på konteksten du har oppgitt. Det er derfor, når du ser den skrive sakte på skjermen, fullfører den faktisk tekst i sanntid, uten å "tenke" slik en person ville gjort.
Dette forklarer hvorfor den er så god til å etterligne stiler, oppsummere tekster eller generere sammenhengende svar fra dokumentasjon du gir, men også hvorfor den kan mislykkes dramatisk når du ber om data som krever høy nøyaktighet. Hvis den er usikker på informasjonen, har modellen en tendens til å fylle inn hullene for å unngå å forstyrre flyten i diskursen.
Videre har måten AI trenes på en betydelig innvirkning. Tradisjonelt har prioriteten vært at modellen skal produsere nyttige og overbevisende svar for brukeren , noe som noen ganger er i konflikt med streng faktisk nøyaktighet. Å finne denne balansen er en av bransjens største utfordringer nå.
OpenAI og bransjestrategier for å redusere hallusinasjoner
De siste årene har det dukket opp en rekke kritikker angående hallusinasjoner knyttet til generativ AI, alt fra feil i offentlige demonstrasjoner (som det berømte tilfellet med en falsk påstand om James Webb-romteleskopet) til fiktive referanser brukt i juridiske eller mediemessige sammenhenger. Denne typen feil har fått selskaper som OpenAI til å revurdere hvordan de trener og evaluerer modellene sine.
En av forskningslinjene OpenAI jobber med er kjent som «prosessovervåking ». I stedet for å fokusere utelukkende på om det endelige svaret er riktig («resultatovervåking»), forsøker den å evaluere og belønne modellen for de ulike stadiene av resonnement den følger for å komme frem til det svaret.
Tanken er at hvis AI belønnes for transparent og sammenhengende resonnement , og ikke bare for å komme frem til et pent endelig svar, reduseres sannsynligheten for at den kommer til falske, men tilsynelatende fornuftige konklusjoner. Dette gjør det også mulig for modellen å bedre forklare trinnene den har tatt, noe som bringer den nærmere en menneskelignende «resonnementskjede».
Det er imidlertid betydelig skepsis i samfunnet til i hvilken grad denne tilnærmingen virkelig kan eliminere hallusinasjoner. Personvern- og etikkeksperter etterlyser flere detaljer om dataene og eksemplene som brukes i disse opplæringsprosessene, samt uavhengig, fagfellevurdert forskning for å validere resultatene.
Foreløpig har ikke OpenAI satt en fast dato for den utbredte utrullingen av disse teknikkene på tvers av alle produktene sine, men de har gjort det klart at det å redusere unøyaktigheter er en prioritet. I mellomtiden ligger det praktiske ansvaret for riktig bruk i stor grad hos brukeren.
Endring i atferd: når ChatGPT ser ut til å hallusinere mer
Mange faste brukere har lagt merke til at ChatGPT over tid ser ut til å være mer utsatt for forvirring, eller å bli forvirret på en annen måte , spesielt når man jobber med lange dokumenter, akademiske sitater eller forskningsoppgaver. Et typisk eksempel er forskere som laster opp et dusin PDF-er og ber om sammendrag, identifisering av hovedtemaer og direkte sitater for å støtte konklusjonene sine.
En tilbakevendende klage er at når modellen blir bedt om direkte sitater med referanser , begynner han å dikte dem opp. Selv når han blir korrigert og bekreftet, genererer han flere falske sitater, og i noen samtaler ser det ut til at han går inn i en slags «hallusinasjonsløkke» som det er vanskelig å få ham ut av uten å starte en ny samtale.
Et annet ofte nevnt problem er virkningen av forbedret hukommelse og krysskontekst . Når assistenten husker preferanser eller emner som er diskutert i andre samtaler, kan den begynne å blande felt på en upassende måte: for eksempel å introdusere kvanteberegningskonsepter når den svarer på spørsmål om samfunnsvitenskap, rett og slett fordi brukeren nevnte kvantemekanikk i en annen chat.
Noen har valgt å prøve alternative verktøy som spesialiserer seg på dokumentanalyse, for eksempel PDF-fokuserte systemer som NotebookLM , etter å ha lagt merke til at ChatGPT genererte sitater som hørtes veldig plausible ut, men som ikke eksisterte. I disse tilfellene er modellen fortsatt et nyttig verktøy for kreativitet, idémyldring eller foreløpig utkast, men brukes mer forsiktig for oppgaver som krever akademisk nøyaktighet.
Innenfor OpenAI-økosystemet har det også blitt observert forskjeller mellom modeller. Versjoner rettet mot mer presis resonnement, som for eksempel o3-familien , har en tendens til å være tregere, men genererer færre illusjoner i detaljert dokumentanalyse. Andre varianter, som GPT-4o eller lettere modeller, er veldig bra for kreativitet og hastighet, men bør brukes med forsiktighet når fullt verifiserte data er nødvendig.
Hvordan minimere hallusinasjoner i ChatGPT med gode ledetekster
Selv om modellens design setter en grense, har måten du stiller spørsmål på stor innvirkning. Å tilpasse ChatGPT og forbedre spørsmålene kan redusere sannsynligheten for at ChatGPT finner på ting betraktelig , eller i det minste sørge for at den varsler deg når den ikke har nok informasjon.
En av nøklene er å gi en klar og spesifikk kontekst . Jo vagere instruksjonen er, desto mer rom har modellen til å fylle ut med antagelser. I stedet for å spørre: «Hva er Mexicos historie?», er det mye bedre å spesifisere: «Forklar tre hovedårsaker til begynnelsen av den meksikanske uavhengigheten, og støtt svaret ditt med anerkjente historiske kilder.»
Det er også veldig nyttig å begrense informasjonsomfanget . Hvis du gir dem et dokument eller et sett med tekster, fortell dem at svaret deres må være basert utelukkende på det materialet: «Svar kun ved å bruke informasjonen i disse artiklene. Hvis noe ikke er i dem, si at du ikke har nok data.» Dette reduserer fristelsen for modellen til å trekke på vag kunnskap fra sin generelle opplæring.
En annen effektiv strategi er å spørre etter kilder eller å erkjenne usikkerhet . Fraser som «Hvis du er usikker, si eksplisitt at du ikke vet» eller «Ikke fabriker informasjon; hvis data mangler, angi det» veileder modellen til å prioritere ærlighet fremfor flyt. Selv om det ikke er idiotsikkert, reduserer dette vanligvis forekomsten av åpenbare fabrikasjoner.
Hvis du har tilgang til API-et, kan du justere modellens temperatur . Lave verdier (nær 0) gjør resultatet mer konservativt og repeterbart, noe som reduserer kreativitetsnivået og dermed risikoen for hallusinasjoner. Du kan ikke endre denne parameteren direkte i webgrensesnittet, men du kan be om noe lignende med instruksjoner som: «Svar objektivt, uten spekulasjoner eller meninger.»
God praksis for å oppdage og validere mulige hallusinasjoner
I tillegg til å forbedre ledetekstene, er det avgjørende å ta i bruk en systematisk verifiseringsrutine . De samme teknikkene vi bruker for å oppdage svindel på nettet, kan brukes til å identifisere tvilsomme AI-svar.
Den første anbefalingen er nesten sunn fornuft, men det er verdt å gjenta: bekreft alltid viktig informasjon med pålitelige eksterne kilder. Hvis ChatGPT gir deg numeriske data, datoer, forfatternavn eller studiereferanser, sjekk dem på offisielle nettsteder, akademiske databaser, bøker eller referanseartikler. Se for eksempel på lister over oppgaver der ChatGPT ikke finner relevante eksempler.
Det er også veldig nyttig å be modellen vise resonnementet sitt trinn for trinn . Instruksjoner som «Forklar meg hvordan du kom frem til den konklusjonen, trinn for trinn» lar deg oppdage logiske hull eller ubegrunnede sprang. Hvis du ser at «veien» ikke gir mening, er svaret sannsynligvis basert på en hallusinasjon.
Å dele opp store spørsmål i spesifikke underspørsmål bidrar til å forhindre at modellen må dekke for mye kontekst på én gang. I stedet for å stille et makrospørsmål om et helt felt, spør først om hovedteoriene, deretter om hovedforfatterne, deretter om empiriske bevis, og så videre. På denne måten kan du validere hver blokk uavhengig.
I ChatGPT-versjoner med internettsøk , som for eksempel noen betalte abonnementer med aktivert nettlesing, er det verdt å aktivere denne funksjonen når du trenger oppdatert informasjon. Selv om dette ikke eliminerer hallusinasjoner, reduserer det risikoen fordi modellen er avhengig av reelle dokumenter i stedet for utelukkende statistisk hukommelse.
Et interessant triks er å gjenta den samme prompten med små variasjoner . Hvis modellen gir motstridende svar på tilnærmet identiske spørsmål, er det en god indikasjon på at den kan fabrikkere eller ekstrapolere upålitelig. I slike tilfeller er det tilrådelig å gjennomføre grundig ekstern verifisering.
Til slutt, hvis du bruker API-et eller avanserte konfigurasjoner, definer permanente systeminstruksjoner som: «Hvis du er usikker på en informasjon, svar 'Jeg har ikke nok informasjon' og ikke prøv å gjette.» Dette eliminerer ikke problemet fullstendig, men det etablerer en strengere standard for ærlighet.
Konfigurasjoner og bruksmoduser som reduserer feil
Utover spørsmålene finnes det visse innstillinger i ChatGPT som kan hjelpe deg med å minimere oppdiktede svar , spesielt hvis du bruker det daglig for sensitive emner som forskning, vitenskap eller jus.
Hvis du har tilgang til avanserte modeller med integrert nettsøk , er det lurt å aktivere dem når du arbeider med data som endrer seg raskt (aktuelle hendelser, forskrifter, nyere litteratur). Ved å stole på sanntidsinformasjon har AI flere muligheter for sammenligning og mindre behov for å fylle ut hull med statistisk intuisjon.
Såkalte avanserte resonneringsmoduser , som modeller fokusert på analytisk nøyaktighet (for eksempel o3-familien), er utformet for å prioritere stringens fremfor hastighet. De kan ta lengre tid å generere et svar, men de har en tendens til å gjøre færre alvorlige feil i logiske, matematiske eller detaljerte dokumentanalyseproblemer.
En annen viktig funksjon er ChatGPTs tilpassede instruksjoner . I innstillingene kan du spesifisere hvilken type svar du foretrekker: mer teknisk, mer pedagogisk, mer forsiktig osv. Du kan for eksempel be den prioritere nøyaktighet fremfor kreativitet, alltid sitere kilder når det ikke er helt sikkert, eller advare deg hvis det spekuleres.
Når du bruker ChatGPT til forskning, er det viktig å gi en rik kontekst, full av tydelige referanser , spesielt hvis du ber om analyse av artikler eller akademiske sammendrag. Å inkludere pålitelige kilder i selve spørsmålet og gjøre det klart at svaret bør være basert på disse dokumentene, vil redusere sannsynligheten for at modellen vil stole på vag informasjon.
Ikke glem at ulike modeller har ulike risikoprofiler . En lettvektsmodell kan være flott for å generere kreative ideer («Gi meg 20 måter å komme fra X til Y»), men ikke det beste alternativet for å trekke ut eksakte sitater fra en artikkel. Omvendt kan en tyngre modell være det riktige valget for grundig analyse, selv om den er tregere. Noen av disse justeringene stammer fra parametrene for kunstig intelligens som former modellene.
Vanlige brukerfeil som utløser hallusinasjoner
Mange av hallusinasjonene vi ser daglig skyldes ikke bare selve modellen, men også hvordan vi bruker den. Det finnes en rekke bruksmønstre som nesten inviterer AI til å gjøre feil , og det er viktig å identifisere dem.
En av de vanligste feilene er å stille altfor generelle spørsmål . Forespørsler som «forklar alt om sosialpsykologi» eller «oppsummer den nyeste teknologien på dette feltet» er så brede at de tvinger modellen til å kondensere en enorm mengde informasjon, noe som øker sannsynligheten for feil eller unøyaktige forenklinger.
En annen farlig praksis er å blindt stole på AI for å generere ordrette sitater, bibliografiske referanser eller juridiske avgjørelser uten å verifisere dem. Det er nettopp i denne typen oppgaver at språkmodeller er spesielt utsatt for å finne opp titler, forfattere eller data som «høres bra ut», men ikke eksisterer.
Det hjelper heller ikke å blande for mange forskjellige temaer i samme tråd . Hvis man i en samtale går fra å snakke om kvantefysikk til pedagogikk, deretter til jus, og ender opp med å snakke om kunsthistorie, blir chatkonteksten kaotisk og øker sannsynligheten for at modellen unødvendig drar konsepter fra ett felt til et annet.
Fra et holdningsperspektiv er det en farlig feil å behandle ChatGPT som om det var en kilde til absolutt sannhet snarere enn et støtteverktøy. Akkurat som du ville gjennomgå arbeidet til en praktikant, bør du gjennomgå resultatet av modellen, spesielt hvis ditt profesjonelle eller akademiske omdømme står på spill.
Til slutt er det verdt å huske at AI-modeller kan forbedres eller forverres over tid etter hvert som de oppdateres. Hvis du merker at en bestemt modell begynner å gi deg flere pålitelighetsproblemer i visse typer oppgaver (for eksempel analyse av lange dokumenter), bør du vurdere å bytte til en annen variant, starte en ny, ren chat eller kombinere den med andre spesialiserte verktøy.
Hvordan leve med hallusinasjoner samtidig som man koser seg med ChatGPT
Hallusinasjonene kommer ikke til å forsvinne i morgen, men det betyr ikke at ChatGPT mister verdien sin. Nøkkelen er å bruke verktøyet klokt : dra nytte av det det gjør veldig bra (skriving, generering av ideer, strukturering av informasjon, gi klare forklaringer) og vær mye mer krevende når kritiske data kommer inn i bildet.
Hvis du bruker det til kreativitet, idémyldring eller innledende skriving, er hallusinasjoner vanligvis mindre problematiske; de kan til og med gi interessante vendinger. Men hvis du bruker det til forskning, tekniske rapporter eller innhold som krever grundighet , er det lurt å inkludere din egen grundige gjennomgang og ikke publisere noe uten å bekrefte det.
I denne balansegangen er det viktig å akseptere to sannheter samtidig: modeller som ChatGPT gjør feil , noen ganger åpenbare, men det er også sant at mennesker gjør feil. Hvis AI utfører en spesifikk oppgave med mindre feil enn oss, eller hjelper oss med å redusere tiden vi investerer betydelig, forblir det et svært attraktivt alternativ, forutsatt at vi ikke delegerer det endelige ansvaret til den.
Til syvende og sist er du ansvarlig for hva du signerer med navnet ditt, ikke modellen. Å skylde på ChatGPT for en alvorlig feil er som å si «hunden spiste leksene dine» : det høres kanskje ut som en unnskyldning, men det fritar deg ikke for konsekvensene. Det fornuftige å gjøre er å lære å identifisere vrangforestillinger, integrere verifiseringsmekanismer i arbeidsflyten din og gradvis forbedre instruksjoner og innstillinger.
Hvis vi kombinerer bedre modeller, nye prosessfokuserte treningsteknikker, integrerte søkeverktøy og en mer moden brukeropplevelse, vil hallusinasjoner gradvis bli mindre utbredt. Inntil da er den klokeste tilnærmingen å behandle ChatGPT for det det er: et kraftig, men ikke ufeilbarlig verktøy som kan øke produktiviteten din så lenge du ikke tar svarene for pålydende uten først å gjennomgå dem.
