- Potpuna integracija Tensor ML SDK-a s LiteRT-om za optimizaciju implementacije AI modela na Pixel uređajima.
- Pristup Vrtu modela s preko 100 modela optimiziranih za Google Tensor TPU.
- Napredna podrška za multimodalne jezične i vizualne modele putem Gemma 4 arhitekture.
- Mogućnost izvođenja brzih zaključivanja i privatnosti zahvaljujući Tensor G5 hardveru.
Ako se bavite razvojem aplikacija i umjetnom inteligencijom, vjerojatno ste primijetili da se pravila igre mijenjaju. Google je odlučio otključati potencijal svog najmoćnijeg hardvera s Tensor ML SDK-om , razvojnim alatom koji omogućuje programerima da u potpunosti iskoriste tenzorsku procesorsku jedinicu (TPU) Pixel uređaja, omogućujući umjetnoj inteligenciji da se pokreće izravno na uređaju, umjesto da se oslanja na oblak.
Najuzbudljivije je to što je ovaj SDK prešao iz svoje eksperimentalne faze u Beta verziju . To znači da više nije samo za odabrane; svaki programer sada može početi stvarati interaktivna, privatna i, prije svega, nevjerojatno brza AI iskustva koristeći Googleovu Tensor SoC arhitekturu za obavljanje zadataka koji su se prije činili nemogućima za lokalno izvršavanje.
Ujedinjeni tijek rada zahvaljujući LiteRT-u
Kako bi spriječio da se programeri zaglave u složenim konfiguracijama, Google je integrirao Tensor SDK s LiteRT-om . Ovaj okvir djeluje kao sloj apstrakcije, eliminirajući potrebu za radom sa SDK-ovima specifičnim za dobavljače ili kompliciranim kompajlerima te pružajući pojednostavljeni i dosljedni API za implementaciju modela strojnog učenja na rubu mreže.
Proces je u osnovi podijeljen u tri ključne faze. Prva je kompilacija modela , gdje možete transformirati svoje projekte temeljene na PyTorchu ili TFLiteu u optimizirane binarne datoteke pomoću LiteRT Torcha. Sljedeća je implementacija , korištenjem Play Feature Delivery i AI Packsa za učinkovitu distribuciju kompiliranih biblioteka i modela unutar aplikacije.
Konačno, dolazimo do izvršavanja inferencije. Zahvaljujući LiteRT Runtimeu , možete pokrenuti svoj model na TPU-u sa samo nekoliko redaka koda. Najbolje od svega je što je sustav inteligentan: ako iz bilo kojeg razloga TPU nije dostupan, možete konfigurirati rezervne mehanizme za automatsko prebacivanje opterećenja na CPU ili GPU, osiguravajući da se aplikacija nikada ne zamrzne.
Model vrta: Katalog mogućnosti
Nema potrebe za počinjanjem od nule, jer Beta SDK uključuje impresivni Model Garden . Ova biblioteka sadrži preko 100 modela, i klasičnog ML-a i generativne umjetne inteligencije, uključujući Gemma 3 1B verzije , kao i ogroman broj unaprijed izgrađenih modela koje možete preuzeti izravno iz Hugging Face zajednice na LiteRT-u.
Ako želite stvoriti tekstualne funkcije, modeli malih jezika poput Function Gemma omogućuju vam izvršavanje lokalnih akcija unutar aplikacije, dok EmbeddingGemma dodaje napredne semantičke mogućnosti. S vizualne strane, SDK vam omogućuje implementaciju detekcije objekata i mapiranja dubine , što je neprocjenjivo za aplikacije kamere koje trebaju reagirati na korisnikovo okruženje u stvarnom vremenu.
Nisu zaboravili ni na zvuk i pristupačnost. Sada je moguće prepoznavanje govora od početka do kraja , što jamči transkripcije s izuzetno niskom latencijom i alate za prevođenje koji rade izvan mreže, održavajući privatnost podataka jer ništa ne napušta telefon.
Tehnička optimizacija i hardverska podrška
Kako biste izvukli maksimum iz toga, bitno je znati koji je hardver podržan. Trenutno je ekosustav usredotočen na obitelj Pixel 10 , uključujući modele Pro, Pro XL i Pro Fold, a svi su opremljeni Google Tensor G5 SoC-om . Kako bi se osiguralo nesmetano funkcioniranje umjetne inteligencije, Google preporučuje korištenje specifičnih optimizacijskih zastavica tijekom procesa izrade.
Na primjer, u LiteRT Python toku, vrlo je uobičajeno koristiti zastavicu `google_tensor_truncation_type="half"` za fino podešavanje performansi i korištenja resursa. Za velike jezične modele (LLM-ove), izvoz zahtijeva detaljne parametre, kao što je konfiguriranje ` quantization_recipe` i omogućavanje podrške za velike modele putem AOT konfiguracijskog rječnika.
Važno je spomenuti da, iako je NNAPI postojao prije, ukinut je od Androida 15. Trenutni pristup je propuštanje svega kroz LiteRT delegate, gdje je podrška za Pixel TPU postala ključna za zamjenu starijih implementacija i postizanje veće energetske učinkovitosti.
Revolucija Gemme 4 i multimodalna umjetna inteligencija
Razgovarajmo o najnovijem: dolasku Gemme 4 12B . Za razliku od drugih modela koji pridružuju enkoder slike jezičnom modelu, Gemma 4 obrađuje slike izvorno. Ova pojednostavljena arhitektura ne samo da smanjuje potrošnju VRAM-a, već omogućuje i puno glatkije i dosljednije međumodalno zaključivanje.
S kontekstnim prozorom od 256 tisuća tokena , ovaj model može podnijeti duge razgovore s više slika bez gubitka traga. Nadalje, budući da se distribuira pod licencom Apache 2.0 , izuzetno je fleksibilan za komercijalnu upotrebu i distribuciju, omogućujući multimodalnoj umjetnoj inteligenciji pokretanje na modernim prijenosnim računalima koristeći 4- ili 8-bitnu kvantizaciju.
Googleov cilj je jasan: želi da programeri usvoje njegove otvorene modele ponderiranja kako bi dominirali ekosustavom. Čineći umjetnu inteligenciju lokalnom i snažnom , smanjuje se ovisnost o vanjskim API-jima i stvara kohezivna zajednica oko Tensor hardvera i LiteRT softvera.
Razvojni ekosustav Pixela napravio je kvalitativni skok kombinirajući Tensor G5 hardver sa svestranošću LiteRT-a i snagom modela poput Gemme 4. Zahvaljujući prijelazu na Beta verziju SDK-a i dostupnosti ogromnog kataloga unaprijed optimiziranih modela, stvaranje aplikacija koje privatno i ultrabrzo obrađuju vid, govor i jezik sada je dostupna stvarnost za svakog programera.
