- Full integrasjon av Tensor ML SDK med LiteRT for å optimalisere utrullingen av AI-modeller på Pixel-enheter.
- Tilgang til en modellhage med over 100 modeller optimalisert for Google Tensor TPU.
- Avansert støtte for multimodale språk- og visjonsmodeller gjennom Gemma 4-arkitekturen.
- Evne til å utføre høyhastighetsslutninger og personvern takket være Tensor G5-maskinvaren.
Hvis du er interessert i apputvikling og kunstig intelligens, har du sannsynligvis lagt merke til at spillet er i endring. Google har bestemt seg for å frigjøre potensialet til sin kraftigste maskinvare med Tensor ML SDK , et utviklingsverktøy som lar utviklere utnytte tensor-prosessorenheten (TPU) til Pixel-enheter fullt ut, slik at AI kan kjøre direkte på enheten, i stedet for å stole på skyen.
Det mest spennende er at dette SDK-et har gått utover den eksperimentelle fasen og inn i betafasen . Dette betyr at det ikke lenger bare er for noen få utvalgte; enhver programmerer kan nå begynne å lage interaktive, private og fremfor alt utrolig raske AI-opplevelser ved å utnytte Googles Tensor SoC-arkitektur for å utføre oppgaver som tidligere virket umulige å gjøre lokalt.
En enhetlig arbeidsflyt takket være LiteRT
For å hindre at utviklere setter seg fast i komplekse konfigurasjoner, har Google integrert Tensor SDK med LiteRT . Dette rammeverket fungerer som et abstraksjonslag, noe som eliminerer behovet for å håndtere leverandørspesifikke SDK-er eller kompliserte kompilatorer, og gir et forenklet og konsistent API for distribusjon av maskinlæringsmodeller i utkanten av nettverket.
Prosessen er i hovedsak delt inn i tre hovedfaser. Først er modellkompilering , hvor du kan transformere PyTorch- eller TFLite-baserte prosjekter til optimaliserte binærfiler ved hjelp av LiteRT Torch. Deretter kommer distribusjon , ved hjelp av Play Feature Delivery og AI Packs for å effektivt distribuere de kompilerte bibliotekene og modellene i applikasjonen.
Til slutt kommer vi til utførelsen av inferensen. Takket være LiteRT Runtime kan du få modellen din til å kjøre på TPU-en med bare noen få linjer med kode. Best av alt er at systemet er intelligent: hvis TPU-en av en eller annen grunn ikke er tilgjengelig, kan du konfigurere reservemekanismer for automatisk å flytte belastningen til CPU-en eller GPU-en, slik at appen aldri henger seg.
Modellhagen: En katalog over muligheter
Det er ikke nødvendig å starte på nytt, ettersom Beta SDK-en inkluderer en imponerende Model Garden . Dette biblioteket inneholder over 100 modeller, både klassisk ML og generativ AI, inkludert Gemma 3 1B -versjoner , samt et stort antall forhåndsbygde modeller som du kan laste ned direkte fra Hugging Face-fellesskapet på LiteRT.
Hvis du ønsker å lage tekstfunksjoner, lar små språkmodeller som Function Gemma deg utføre lokale handlinger i appen, mens EmbeddingGemma legger til avanserte semantiske funksjoner. På den visuelle siden lar SDK-en deg implementere objektdeteksjon og dybdekartlegging , noe som er uvurderlig for kameraapplikasjoner som må reagere på brukerens miljø i sanntid.
De har heller ikke glemt lyd og tilgjengelighet. Nå er talegjenkjenning fra ende til ende mulig , noe som garanterer transkripsjoner med ekstremt lav latens og oversettelsesverktøy som fungerer offline, og som opprettholder personvernet siden ingenting forlater telefonen.
Teknisk optimalisering og maskinvarestøtte
For å få mest mulig ut av det, er det viktig å vite hvilken maskinvare som støttes. For øyeblikket er økosystemet sentrert rundt Pixel 10- familien , inkludert Pro-, Pro XL- og Pro Fold-modellene, alle utstyrt med Google Tensor G5 SoC . For å sikre at AI kjører problemfritt, anbefaler Google å bruke spesifikke optimaliseringsflagg under byggeprosessen.
For eksempel, i LiteRT Python-flyten er det veldig vanlig å bruke flagget `google_tensor_truncation_type="half"` for å finjustere ytelse og ressursbruk. For store språkmodeller (LLM-er) krever eksport detaljerte parametere, for eksempel å konfigurere ` quantization_recipe` og aktivere støtte for store modeller via AOT-konfigurasjonsordlisten.
Det er viktig å nevne at selv om NNAPI eksisterte tidligere, har den blitt avviklet siden Android 15. Den nåværende tilnærmingen er å sende alt gjennom LiteRT-delegater, der støtte for Pixel TPU har blitt sentralt for å erstatte eldre implementeringer og oppnå større energieffektivitet.
Gemma 4-revolusjonen og multimodal AI
La oss snakke om det siste: ankomsten av Gemma 4 12B . I motsetning til andre modeller som kobler en bildekoder til en språkmodell, behandler Gemma 4 bilder direkte. Denne forenklede arkitekturen reduserer ikke bare VRAM-forbruket, men muliggjør også mye jevnere og mer konsistent tverrmodal resonnering.
Med et kontekstvindu på 256 000 tokens kan denne modellen håndtere lange samtaler med flere bilder uten å miste oversikten. Dessuten, siden den distribueres under Apache 2.0- lisensen , er den ekstremt fleksibel for kommersiell bruk og omdistribusjon, slik at multimodal AI kan kjøre på moderne bærbare datamaskiner ved hjelp av 4- eller 8-bit kvantisering.
Googles mål er klart: de ønsker at utviklere skal ta i bruk deres åpne vektingsmodeller for å dominere økosystemet. Ved å gjøre AI lokal og kraftig , reduseres avhengigheten av eksterne API-er og skapes et sammenhengende fellesskap rundt Tensor-maskinvare og LiteRT-programvare.
Pixel-utviklingsøkosystemet har tatt et kvalitativt sprang ved å kombinere Tensor G5 -maskinvaren med allsidigheten til LiteRT og kraften til modeller som Gemma 4. Takket være overgangen til Beta av SDK-en og tilgjengeligheten av en massiv katalog med forhåndsoptimaliserte modeller, er det nå en tilgjengelig realitet for enhver programmerer å lage applikasjoner som behandler syn, tale og språk privat og ultraraskt.
