Google Translate: Röst i realtid och AI ska bryta ner språkbarriärer

Informatec Digital » Resurser » Google Translate: Röst i realtid och AI ska bryta ner språkbarriärer

Att resa, arbeta med internationella team eller helt enkelt titta på videor på ett annat språk blir allt vanligare, och i alla dessa scenarier kan språkbarriärer inte längre övervinnas med bara ordböcker eller enkla översättare. Google tar ett betydande steg framåt med Google Translate genom att helt integrera sin artificiella intelligens Gemini och andra modeller som PaLM 2 för att göra text- och röstöversättning mycket mer naturlig, flytande och användbar i vardagen.

Det som en gång var en översättare som arbetade nästan ord för ord strävar nu efter att bli en sorts personlig tolk som förstår sammanhanget, tonen och till och med intonationen i samtal . Dessutom utnyttjar Google samma teknik, till skillnad från andra plattformar som DeepL , för att erbjuda språkövningsverktyg i appen, vilket förvandlar Translate till något som liknar en privatlärare än ett enkelt verktyg för att klara sig.

Google Translate använder Gemini och PaLM 2 för att bättre förstå språket

Med Gemini har Google omformat hur deras översättare bearbetar språk och förlitar sig på språkmodeller och neurala nätverk : den ersätter inte längre bara termer, utan tolkar meningarnas avsikt och fullständiga sammanhang . Detta gör att idiom, vardagliga uttryck och vardagliga uttryck kan översättas mycket närmare hur en modersmålstalare skulle översätta dem.

I praktiken innebär detta att Google Translate kan upptäcka när en fras inte ska översättas bokstavligt, utan snarare med en kulturellt lämplig motsvarighet. Ett typiskt exempel skulle vara engelska uttryck som "stealing my thunder", som AI:n försöker översätta med sin faktiska betydelse och inte som en absurd ordsträng som ingen skulle säga på spanska.

Denna förbättring är särskilt märkbar i textöversättningar mellan engelska och nästan tjugo andra språk, inklusive spanska, kinesiska, japanska, tyska och hindi . Google har börjat lansera dessa förbättringar i USA och Indien, både i mobilappen och webbversionen i Google Chrome , och kommer gradvis att utöka dem till andra marknader allt eftersom modellerna förfinas med mer data och användarfeedback.

Vid sidan av Gemini har Google också utnyttjat potentialen hos PaLM 2, en språkmodell med mycket avancerade flerspråkiga funktioner som dramatiskt har ökat antalet språk som stöds av Google Translate. Tack vare denna motor har företaget lagt till 110 nya språk, från kantonesiska, en länge efterfrågad funktion, till minoritetsspråk som manx och språk från ursprungsbefolkningar.

PaLM 2 har använts för att identifiera relaterade språk och underlätta utbildning när data är begränsad , till exempel i fallet med Awadhi och Marwadi. Även om inte alla nya språk ännu har samma funktioner (som kameraöversättning, röstöversättning eller text-till-tal), är språnget betydande eftersom det betjänar mer än 614 miljoner människor, cirka 8 % av världens befolkning.

Röstöversättning i realtid: mer naturliga samtal

En av de mest slående förändringarna är realtidsröstöversättningen som är utformad för samtal ansikte mot ansikte . Istället för att behöva trycka på knappar eller läsa skärmen varje gång någon talar, lyssnar, översätter och visar AI:n resultatet nästan omedelbart.

Google Translate har nu ett läge för "liveöversättning" som transkriberar vad talarna säger och visar det på båda språken på skärmen. Samtidigt spelar den upp det översatta ljudet, så att du kan följa med utan att behöva läsa varje textrad hela tiden som om det vore en kontinuerlig undertext.

För att uppnå detta använder Google avancerade taligenkänningsmodeller som är utformade för att isolera ljud och minska bakgrundsljud . Detta är särskilt användbart i krävande miljöer som kaféer, flygplatser, tågstationer eller andra trånga utrymmen, där många taligenkänningssystem tidigare har haft svårt att skilja mellan röster och buller.

Denna simultanöversättningsfunktion via appen är i sin första fas tillgänglig för användare i USA, Indien och Mexiko, med stöd för mer än 70 språk . Dessa inkluderar stora globala språk som spanska, arabiska, franska, hindi, koreanska och tamil, vilket gör den till ett mycket mångsidigt verktyg för turism, distansarbete och utbildning.

Den underliggande idén är att i verkliga situationer – ett läkarbesök, ett improviserat möte, att fråga efter vägen eller att förhandla i en butik – bör pauser, accenter och förändringar i intonation också återspeglas i översättningen . Gemini försöker justera rytmen i den syntetiska rösten och bibehålla, så mycket som möjligt, den ursprungliga talarens ton, vilket gör att samtalet känns mindre robotiskt.

Hörlurar som personlig översättare: Live Translate i dina öron

Även om skärmöversättning redan är praktiskt, är nästa steg ännu mer ambitiöst: att få röstöversättning direkt till alla hörlurar . Google har förfinat den här funktionen så att den inte längre är beroende av proprietära enheter som Pixel Buds, utan kan fungera med praktiskt taget alla modeller som är anslutna till din telefon.

Det fungerar relativt enkelt: användaren ansluter sina hörlurar till telefonen, öppnar Google Translate och aktiverar Live Translate eller läget "Realtidsöversättning" . Sedan väljer de det språk de vill ha översatt – eller låter appen upptäcka det automatiskt – riktar telefonen mot högtalaren och låter AI:n göra sitt jobb.

Medan talaren talar sitt språk bearbetar Gemini ljudet, översätter det och skickar det till hörlurarna, och lägger den översatta rösten ovanpå originalet . Samtidigt ser användaren en transkription av dialogen på båda språken på skärmen, vilket hjälper till med ordförrådsrepetitionen eller förstärker förståelsen vid språkinlärning.

Enligt Google är systemet optimerat för att bevara tonen, betoningen och kadensen i den ursprungliga rösten , vilket gör upplevelsen mindre "robotbaserad" och mer som att ha en mänsklig tolk som viskar översättningen i örat. Den här funktionen är särskilt tilltalande för affärsmöten, guidade turer, konferenser eller situationer där det är obekvämt att ständigt läsa från telefonen.

I denna första fas lanseras realtidsöversättning via valfritt headset som en begränsad betaversion för Android i USA, Mexiko och Indien , med stöd för över 70 språk. Google har bekräftat att samma funktion kommer att finnas tillgänglig på iPhones via Google Translate-appen, men iOS-kompatibilitet är planerad till 2026, så Apple-användare får vänta lite längre.

Språkpraktik med AI: från översättare till lärandepartner

Google vill inte bara att Translate ska vara användbart för att klara sig när man reser eller förstår ett viktigt e-postmeddelande; de ​​strävar också efter att omvandla appen till en plattform för personlig språkinlärning och övning. Därför har de lagt till specifika AI-drivna verktyg för att förbättra konversation och lyssningsförståelse.

En av de nya funktionerna är ett personligt övningsläge för konversationer där användare kan simulera verkliga situationer . Från informella samtal med vänner eller familj till mer formella sammanhang som jobbintervjuer, studier utomlands eller arbetsmöten, genererar AI:n dialoger skräddarsydda för varje persons specifika mål.

När du öppnar appen på din mobila enhet kan du välja vilket språk förklaringarna ska visas på och vilket språk du vill öva på , samt välja nivå: grundläggande, mellannivå eller avancerad nivå. Dessa nivåer kan ändras över tid allt eftersom användaren fortskrider, och appen justerar automatiskt svårighetsgraden på aktiviteterna.

Verktyget integrerar hörförståelse- och talövningar med AI-styrda övningar som ger rättning och vägledning . Användaren lyssnar på dialoger, svarar på frågor, upprepar fraser eller interagerar med simulerade scenarier som genereras av systemet, vilket ger förslag på ordförråd, grammatiska strukturer och mer naturliga uttryck.

Du kan också trycka på specifika ord i dialogerna för att se deras betydelse eller användningsvariationer , vilket gör att du kan förfina din förståelse och lära dig mer aktivt. Dessutom spårar appen dina framsteg och föreslår dagliga eller veckovisa mål, liknande andra språkinlärningsplattformar, vilket hjälper dig att hålla dig motiverad i längden.

För närvarande är detta inlärningsläge i betafas för engelsktalande som vill lära sig spanska eller franska , och för spansktalande, fransktalande och portugisiska som vill förbättra sin engelska. Google har indikerat att de kommer att utöka språken och kombinationerna allt eftersom de samlar in användningsdata och förfinar de involverade konversationsmodellerna.

Massiv expansion av språk och funktioner baserade på språk

Förbättringen av AI förbättrar inte bara kvaliteten på översättningarna, utan har också breddat utbudet av tillgängliga språk, inklusive de med få talare eller som genomgår revitalisering . Detta har en direkt inverkan på samhällen som tidigare hade få tekniska verktyg anpassade till sin språkliga verklighet.

Tillägget av 110 nya språk med hjälp av PaLM 2 sträcker sig från allmänt använda språk till mindre kända, inklusive inhemska språk och minoritetsspråk med få modersmålstalare . Tekniken gör det möjligt att skala stödet även när mängden data som är tillgänglig för att träna modellerna är begränsad.

Google betonar att prioriteringen för många av dessa språk har varit att respektera revitalisering och kulturbevarande insatser , genom att använda Translate som ett stödverktyg för dokumentation, utbildning och kommunikation mellan generationer. Deras närvaro på Translate kan ge ett betydande uppsving för deras synlighet i den digitala miljön.

Företaget förtydligar dock också att inte alla funktioner är tillgängliga på alla nya språk . Kameraöversättning, röstöversättning och text-till-tal kan ta längre tid att lansera på vissa språk, eftersom de kräver specifika modeller för handskriftsigenkänning, fonetik och talsyntes.

Även med dessa inledande begränsningar är strategin tydlig: att fortsätta införliva språk gradvis och successivt utöka uppsättningen av associerade funktioner . AI gör det möjligt att täcka ett bredare språkligt spektrum med varje ny modell och träningscykel, utan att vara så beroende av populariteten eller antalet talare av varje språk.

Påverkan på turism, näringsliv och viktiga tjänster

Förbättringen av översättningar och införandet av röstkommunikation i realtid är inte bara intressanta tekniska framsteg; de har direkta konsekvenser för hur människor och organisationer kommunicerar i en globaliserad värld . Sektorer som turism, hälso- och sjukvård, utbildning och internationell handel drar redan nytta av dessa verktyg på mycket konkreta sätt.

Tänk dig till exempel en resa till ett land vars språk du inte kan: med direktöversättning och hörlurar kan du ha en någorlunda flytande konversation med en taxichaufför, en hotellreceptionist eller en reseguide utan att behöva professionella översättare. Det är inte perfekt, men det minskar friktionen avsevärt i vardagliga situationer.

I affärsvärlden positioneras Google Translate och dess nya funktioner som ett stödverktyg för flerspråkig kundservice, internationella möten och intern utbildning . Även om mänskliga tolkar fortfarande används i mycket kritiska miljöer kan AI hantera många interaktioner med lägre risk med mer än acceptabel kvalitet.

Google presenterar själva dessa förbättringar som en del av en bredare strategi för att demokratisera konversationsbaserad och kontextuell AI gentemot konkurrenter som Microsoft, Apple och Meta . Medan Google Translate prioriterar allmän tillgänglighet och integration mellan olika enheter, fokuserar Microsoft starkt på företagsmiljöer, Apple på integritet inom sitt slutna ekosystem och nativ integration, och Meta utforskar översättning i wearables och augmented reality.

Inom offentliga tjänster, utbildning och hälso- och sjukvård kan möjligheten att översätta samtal i realtid till fler än 70 språk med bara en mobiltelefon och hörlurar göra en betydande skillnad. Detta sträcker sig från att hjälpa patienter som inte talar det lokala språket till att underlätta tillgången till utbildningsmaterial eller viktiga administrativa procedurer.

Sammantaget förvandlar alla dessa nya funktioner Translator från en enkel snabb fraskonverterare till en heltäckande plattform som omfattar maskinöversättning, språkövning och stöd för både professionell och personlig kommunikation . Och allt detta drivs av AI:n i Gemini och PaLM 2, som bearbetar text, röst och till och med visuellt innehåll i vissa fall.

Utvecklingen av Google Translate gör det tydligt att maskinöversättning har gått från att vara ett begränsat och bokstavligt hjälpmedel till ett system som alltmer ligger närmare mänsklig språkförståelse, där kontext, tonläge, röstkadens och användarmål är lika viktiga som orden själva, vilket för oss lite närmare idén om att kunna förstå nästan vem som helst, oavsett språk de talar.