Google Translate: Sanntidsstemme og kunstig intelligens skal bryte ned språkbarrierer

Informatec Digital » Ressurser » Google Translate: Sanntidsstemme og kunstig intelligens skal bryte ned språkbarrierer

Det blir stadig mer vanlig å reise, jobbe med internasjonale team eller bare se på videoer på et annet språk, og i alle disse scenariene kan ikke lenger språkbarrierer overvinnes med bare ordbøker eller enkle oversettere . Google tar et betydelig sprang fremover med Google Translate ved å integrere sin kunstige intelligens Gemini og andre modeller som PaLM 2 for å gjøre tekst- og taleoversettelse mye mer naturlig, flytende og nyttig i hverdagen.

Det som en gang var en oversetter som jobbet nesten ord for ord, streber nå etter å bli en slags personlig tolk som forstår konteksten, tonen og til og med intonasjonen i samtaler . Videre utnytter Google den samme teknologien, i motsetning til andre plattformer som DeepL , for å tilby språkøvelsesverktøy i appen, og forvandler Translate til noe som ligner nærmere en privatlærer enn et enkelt verktøy for å komme seg rundt.

Google Translate bruker Gemini og PaLM 2 for å forstå språket bedre

Med Gemini har Google redesignet måten oversetteren behandler språk på, basert på språkmodeller og nevrale nettverk : den erstatter ikke lenger bare termer, men tolker intensjonen og den fulle konteksten i setninger . Dette gjør at idiomer, dagligdagse uttrykk og dagligdagse uttrykk kan oversettes mye nærmere hvordan en morsmålstalende ville oversatt dem.

I praksis betyr dette at Google Translate kan oppdage når en frase ikke skal oversettes bokstavelig, men heller med en kulturelt passende ekvivalent . Et typisk eksempel ville være engelske uttrykk som «stealing my thunder», som AI-en prøver å oversette med sin faktiske betydning og ikke som en absurd ordrekke som ingen ville sagt på spansk.

Denne forbedringen er spesielt merkbar i tekstoversettelser mellom engelsk og nesten tjue andre språk, inkludert spansk, kinesisk, japansk, tysk og hindi . Google har begynt å rulle ut disse forbedringene i USA og India, både i mobilappen og nettversjonen i Google Chrome , og vil gradvis utvide dem til andre markeder etter hvert som modellene forbedres med mer data og tilbakemeldinger fra brukere.

Ved siden av Gemini har Google også utnyttet potensialet til PaLM 2, en språkmodell med svært avanserte flerspråklige funksjoner som har økt antallet språk som støttes av Google Translate dramatisk. Takket være denne motoren har selskapet lagt til 110 nye språk, fra kantonesisk, en lenge etterspurt funksjon, til minoritetsspråk som manx og språkene til urfolkssamfunn.

PaLM 2 har blitt brukt til å identifisere beslektede språk og legge til rette for opplæring når dataene er begrensede , for eksempel når det gjelder awadhi og marwadi. Selv om ikke alle nye språk har de samme funksjonene ennå (som kameraoversettelse, taleoversettelse eller tekst-til-tale), er spranget betydelig fordi det betjener mer enn 614 millioner mennesker, omtrent 8 % av verdens befolkning.

Sanntids taleoversettelse: mer naturlige samtaler

En av de mest slående endringene er sanntids-taleoversettelsen som er designet for ansikt-til-ansikt-samtaler . I stedet for å måtte trykke på knapper eller lese skjermen hver gang noen snakker, lytter, oversetter og viser AI-en resultatet nesten umiddelbart.

Google Translate inkluderer nå en «live translation»-modus som transkriberer det talerne sier og viser det på begge språk på skjermen . Samtidig spiller den av den oversatte lyden, slik at du kan følge med uten å måtte lese hver tekstlinje hele tiden som om det var en kontinuerlig undertekst.

For å oppnå dette bruker Google avanserte talegjenkjenningsmodeller som er utviklet for å isolere lyder og redusere bakgrunnsstøy . Dette er spesielt nyttig i utfordrende miljøer som kafeer, flyplasser, togstasjoner eller andre overfylte steder, hvor mange talegjenkjenningssystemer tidligere har slitt med å skille mellom stemmer og støy.

Denne simultanoversettelsesfunksjonen via appen er i sin første fase tilgjengelig for brukere i USA, India og Mexico, med støtte for mer enn 70 språk . Disse inkluderer store globale språk som spansk, arabisk, fransk, hindi, koreansk og tamil, noe som gjør den til et svært allsidig verktøy for turisme, fjernarbeid og opplæring.

Den underliggende ideen er at i virkelige situasjoner – en legetime, et improvisert møte, å spørre om veien eller å forhandle i en butikk – bør pauser, aksenter og endringer i intonasjon også gjenspeiles i oversettelsen . Gemini forsøker å justere rytmen i den syntetiserte stemmen og opprettholde tonen til den opprinnelige taleren så mye som mulig, slik at samtalen føles mindre robotisk.

Hodetelefoner som personlig oversetter: Live Translate i ørene dine

Selv om oversettelse på skjermen allerede er praktisk, er neste steg enda mer ambisiøst: å bringe taleoversettelse direkte til alle hodetelefoner . Google har forbedret denne funksjonen slik at den ikke lenger er avhengig av proprietære enheter som Pixel Buds, men kan fungere med praktisk talt alle modeller som er koblet til telefonen din.

Det fungerer relativt enkelt: brukeren kobler hodetelefonene til telefonen, åpner Google Translate og aktiverer Live Translate eller «Real-time Translation»-modus . Deretter velger de språket de vil ha oversatt – eller lar appen oppdage det automatisk – peker telefonen mot høyttaleren og lar AI-en gjøre jobben sin.

Mens taleren snakker på sitt språk, behandler Gemini lyden, oversetter den og sender den til hodetelefonene, og legger den oversatte stemmen over originalen . Samtidig ser brukeren en transkripsjon av dialogen på begge språk på skjermen, noe som hjelper med ordforrådsgjennomgang eller forsterker forståelsen ved språklæring.

Ifølge Google er systemet optimalisert for å bevare tonen, vektleggingen og kadensen til den opprinnelige stemmen , noe som gjør opplevelsen mindre «robotisk» og mer som å ha en menneskelig tolk som hvisker oversettelsen i øret ditt. Denne funksjonen er spesielt attraktiv for forretningsmøter, guidede turer, konferanser eller situasjoner der det er ubehagelig å stadig lese fra telefonen.

I denne første fasen lanseres sanntidsoversettelse via et hvilket som helst headset som en begrenset betaversjon for Android i USA, Mexico og India , med støtte for over 70 språk. Google har bekreftet at den samme funksjonen vil komme på iPhones gjennom Google Translate-appen, men iOS-kompatibilitet er planlagt for 2026, så Apple-brukere må vente litt lenger.

Språkpraksis med AI: fra oversetter til læringspartner

Google ønsker ikke bare at Translate skal være nyttig for å komme seg rundt på reise eller forstå en viktig e-post; de har også som mål å forvandle appen til en plattform for personlig språklæring og -praksis . Derfor har de lagt til spesifikke AI-drevne verktøy for å forbedre samtaler og lytteforståelse.

En av de nye funksjonene er en personlig øvingsmodus for samtaler der brukere kan simulere virkelige situasjoner . Fra uformelle samtaler med venner eller familie til mer formelle sammenhenger som jobbintervjuer, studier i utlandet eller arbeidsmøter, genererer AI-en dialoger skreddersydd til hver persons spesifikke mål.

Når du åpner appen på mobilenheten din, kan du velge språket forklaringene vises på og språket du ønsker å øve på , samt velge nivå: grunnleggende, mellomnivå eller avansert. Disse nivåene kan endres over tid etter hvert som brukeren gjør fremskritt, og appen justerer automatisk vanskelighetsgraden på aktivitetene.

Verktøyet integrerer lytteforståelse og taleaktiviteter, med AI-veiledede øvelser som gir korrigering og veiledning . Brukeren lytter til dialoger, svarer på spørsmål, gjentar fraser eller samhandler med simulerte scenarier generert av systemet, som gir forslag til vokabular, grammatiske strukturer og mer naturlige uttrykk.

Du kan også trykke på bestemte ord i dialogene for å se betydningen eller bruksvariasjonene deres , slik at du kan forbedre forståelsen din og lære mer aktivt. Videre sporer appen fremgangen din og foreslår daglige eller ukentlige mål, i likhet med andre språklæringsplattformer, noe som hjelper deg å holde deg motivert i det lange løp.

Foreløpig er denne læringsmodusen i betaversjon for engelsktalende som ønsker å lære spansk eller fransk , og for spansk-, fransk- og portugisisktalende som ønsker å forbedre engelskkunnskapene sine. Google har indikert at de vil utvide språkene og kombinasjonene etter hvert som de samler inn bruksdata og forbedrer samtalemodellene som er involvert.

Massiv utvidelse av språk og funksjoner basert på språk

Forbedringen av kunstig intelligens forbedrer ikke bare kvaliteten på oversettelsene, men har også utvidet utvalget av tilgjengelige språk, inkludert de med få talere eller som gjennomgår revitalisering . Dette har en direkte innvirkning på lokalsamfunn som tidligere hadde få teknologiske verktøy tilpasset sin språklige virkelighet.

Tilføyelsen av 110 nye språk ved hjelp av PaLM 2 spenner fra mye brukte språk til mindre kjente, inkludert urfolksspråk og minoritetsspråk med få morsmålstalende . Teknologien gjør det mulig å skalere støtten selv når mengden data som er tilgjengelig for trening av modellene er begrenset.

Google understreker at prioriteten for mange av disse språkene har vært å respektere revitalisering og kulturbevaringsarbeid , ved å bruke Translate som et støtteverktøy for dokumentasjon, utdanning og kommunikasjon mellom generasjoner. Deres tilstedeværelse på Translate kan gi et betydelig løft til synligheten deres i det digitale miljøet.

Selskapet presiserer imidlertid også at ikke alle funksjoner er tilgjengelige på alle nye språk . Det kan ta lengre tid å rulle ut kameraoversettelse, taleoversettelse og tekst-til-tale til enkelte språk, ettersom de krever spesifikke modeller for håndskriftgjenkjenning, fonetikk og talesyntese.

Selv med disse innledende begrensningene er strategien klar: å fortsette å innlemme språk gradvis, og gradvis utvide settet med tilknyttede funksjoner . KI gjør det mulig å dekke et bredere språklig spekter med hver ny modell og treningssyklus, uten å være så avhengig av populariteten eller antallet talere av hvert språk.

Innvirkning på turisme, næringsliv og viktige tjenester

Forbedringen av oversettelser og fremveksten av talekommunikasjon i sanntid er ikke bare interessante teknologiske fremskritt; de har direkte konsekvenser for hvordan mennesker og organisasjoner kommuniserer i en globalisert verden . Sektorer som turisme, helsevesen, utdanning og internasjonal handel drar allerede nytte av disse verktøyene på svært konkrete måter.

Tenk deg for eksempel en tur til et land med et språk du ikke kan: med live-oversettelse og hodetelefoner kan du ha en rimelig flytende samtale med en taxisjåfør, en hotellresepsjonist eller en reiseleder uten å trenge profesjonelle oversettere. Det er ikke perfekt, men det reduserer friksjonen i hverdagssituasjoner betraktelig.

I næringslivet er Google Translate og de nye funksjonene posisjonert som et støtteverktøy for flerspråklig kundeservice, internasjonale møter og intern opplæring . Selv om menneskelige tolker fortsatt brukes i svært kritiske miljøer, kan AI håndtere mange interaksjoner med lavere risiko med mer enn akseptabel kvalitet.

Google presenterer selv disse forbedringene som en del av en bredere strategi for å demokratisere konversasjonsbasert og kontekstuell AI i møte med konkurrenter som Microsoft, Apple og Meta . Mens Google Translate prioriterer generell tilgjengelighet og integrasjon på tvers av ulike enheter, fokuserer Microsoft sterkt på bedriftsmiljøer, Apple på personvern innenfor sitt lukkede økosystem og innebygd integrasjon, og Meta utforsker oversettelse i bærbare enheter og utvidet virkelighet.

Innen offentlige tjenester, utdanning og helsevesen kan muligheten til å oversette samtaler i sanntid til mer enn 70 språk med bare en mobiltelefon og hodetelefoner utgjøre en betydelig forskjell. Dette spenner fra å hjelpe pasienter som ikke snakker det lokale språket til å legge til rette for tilgang til opplæringsmateriell eller viktige administrative prosedyrer.

Samlet sett forvandler alle disse nye funksjonene Oversetteren fra en enkel og rask frasekonverterer til en omfattende plattform som omfatter maskinoversettelse, språkpraksis og støtte for både profesjonell og personlig kommunikasjon . Alt dette drives av kunstig intelligens i Gemini og PaLM 2, som behandler tekst, tale og til og med visuelt innhold i noen tilfeller.

Utviklingen av Google Translate gjør det klart at maskinoversettelse har gått fra å være et begrenset og bokstavelig hjelpemiddel til et system som stadig mer kommer nærmere forståelsen av menneskelig språk, der kontekst, tonefall, stemmekadens og brukermål er like viktige som ordene i seg selv . Dette bringer oss litt nærmere ideen om å kunne forstå nesten hvem som helst, uansett hvilket språk de snakker.