- Popolna integracija Tensor ML SDK z LiteRT za optimizacijo uvajanja modelov umetne inteligence na napravah Pixel.
- Dostop do vrta modelov z več kot 100 modeli, optimiziranimi za Google Tensor TPU.
- Napredna podpora za multimodalne jezikovne in vizualne modele prek arhitekture Gemma 4.
- Zmožnost izvajanja hitrih sklepov in zasebnosti zahvaljujoč strojni opremi Tensor G5.
Če vas zanima razvoj aplikacij in umetna inteligenca, ste verjetno opazili, da se pravila igre spreminjajo. Google se je odločil, da bo s kompletom Tensor ML SDK sprostil potencial svoje najzmogljivejše strojne opreme, razvojnim orodjem, ki razvijalcem omogoča, da v celoti izkoristijo tenzorsko procesno enoto (TPU) naprav Pixel, kar omogoča, da se umetna inteligenca izvaja neposredno na napravi, namesto da bi se zanašala na oblak.
Najbolj vznemirljivo je, da je ta SDK presegel svojo eksperimentalno fazo in prešel v beta različico . To pomeni, da ni več namenjen le redkim izbrancem; vsak programer lahko zdaj začne ustvarjati interaktivne, zasebne in predvsem neverjetno hitre izkušnje z umetno inteligenco z uporabo Googlove arhitekture Tensor SoC za izvajanje nalog, ki so se prej zdele nemogoče izvesti lokalno.
Poenoten potek dela zahvaljujoč LiteRT
Da bi preprečil, da bi se razvijalci zapletli v kompleksne konfiguracije, je Google integriral Tensor SDK z LiteRT . Ta ogrodje deluje kot abstrakcijska plast, s čimer odpravlja potrebo po delu s SDK-ji, specifičnimi za posamezne proizvajalce, ali zapletenimi prevajalniki ter zagotavlja poenostavljen in dosleden API za uvajanje modelov strojnega učenja na robu omrežja.
Postopek je v osnovi razdeljen na tri ključne faze. Prva je prevajanje modela , kjer lahko svoje projekte, ki temeljijo na PyTorchu ali TFLite, pretvorite v optimizirane binarne datoteke z uporabo LiteRT Torch. Sledi uvajanje z uporabo Play Feature Delivery in AI Packs za učinkovito distribucijo prevedenih knjižnic in modelov znotraj aplikacije.
Končno pridemo do izvedbe sklepanja. Zahvaljujoč izvajalnemu okolju LiteRT lahko svoj model zaženete na procesorju TPU z le nekaj vrsticami kode. Najboljše od vsega pa je, da je sistem inteligenten: če iz kakršnega koli razloga procesor TPU ni na voljo, lahko konfigurirate rezervne mehanizme , ki samodejno prenesejo obremenitev na procesor ali grafični procesor, s čimer zagotovite, da se aplikacija nikoli ne zatakne.
Vzorčni vrt: Katalog možnosti
Ni treba začeti iz nič, saj beta SDK vključuje impresiven Model Garden . Ta knjižnica vsebuje več kot 100 modelov, tako klasičnega strojnega učenja kot generativne umetne inteligence, vključno z različicami Gemma 3 1B , ter ogromno število vnaprej izdelanih modelov, ki jih lahko prenesete neposredno iz skupnosti Hugging Face na LiteRT.
Če želite ustvariti besedilne funkcije, vam modeli majhnih jezikov, kot je Function Gemma, omogočajo izvajanje lokalnih dejanj znotraj aplikacije, medtem ko EmbeddingGemma dodaja napredne semantične zmogljivosti. Na vizualni strani vam SDK omogoča implementacijo zaznavanja objektov in preslikave globine , kar je neprecenljivo za aplikacije kamer, ki se morajo v realnem času odzvati na uporabnikovo okolje.
Pozabili niso niti na zvok in dostopnost. Zdaj je mogoče celovito prepoznavanje govora , kar zagotavlja prepise z izjemno nizko zakasnitvijo in orodja za prevajanje, ki delujejo brez povezave, pri čemer se ohranja zasebnost podatkov, saj nič ne zapusti telefona.
Tehnična optimizacija in podpora strojne opreme
Da bi kar najbolje izkoristili ta sistem, je bistveno vedeti, katera strojna oprema je podprta. Trenutno je ekosistem osredotočen na družino Pixel 10 , vključno z modeli Pro, Pro XL in Pro Fold, ki so vsi opremljeni s sistemom Google Tensor G5 SoC . Za zagotovitev nemotenega delovanja umetne inteligence Google priporoča uporabo posebnih optimizacijskih zastavic med postopkom gradnje.
Na primer, v Python poteku LiteRT se zelo pogosto uporablja zastavica `google_tensor_truncation_type="half"` za natančno nastavitev zmogljivosti in porabe virov. Za velike jezikovne modele (LLM) izvoz zahteva podrobne parametre, kot sta konfiguriranje ` quantization_recipe` in omogočanje podpore za velike modele prek konfiguracijskega slovarja AOT.
Pomembno je omeniti, da je NNAPI, čeprav je obstajal že prej, od Androida 15 dalje zastarel. Trenutni pristop je, da se vse prenese prek delegatov LiteRT, kjer je podpora za Pixel TPU postala osrednjega pomena za zamenjavo starejših implementacij in doseganje večje energetske učinkovitosti.
Revolucija Gemma 4 in multimodalna umetna inteligenca
Pogovorimo se o najnovejšem: prihodu Gemme 4 12B . Za razliko od drugih modelov, ki jezikovnemu modelu pripnejo kodirnik slik, Gemma 4 slike obdeluje izvorno. Ta poenostavljena arhitektura ne le zmanjša porabo VRAM-a, temveč omogoča tudi veliko bolj gladko in dosledno medmodalno sklepanje.
Z oknom konteksta 256 tisoč žetonov lahko ta model obvladuje dolge pogovore z več slikami, ne da bi pri tem izgubil sled. Poleg tega je, ker je distribuiran pod licenco Apache 2.0 , izjemno prilagodljiv za komercialno uporabo in redistribucijo, kar omogoča delovanje večmodalne umetne inteligence na sodobnih prenosnikih z uporabo 4- ali 8-bitne kvantizacije.
Googlov cilj je jasen: želi, da razvijalci sprejmejo njegove odprte modele uteži, da bi prevladovali v ekosistemu. Z lokalno in zmogljivo umetno inteligenco zmanjšuje odvisnost od zunanjih API-jev in ustvarja kohezivno skupnost okoli strojne opreme Tensor in programske opreme LiteRT.
Razvojni ekosistem Pixel je naredil kakovosten preskok z združitvijo strojne opreme Tensor G5 z vsestranskostjo LiteRT in močjo modelov, kot je Gemma 4. Zahvaljujoč prehodu na beta različico SDK-ja in razpoložljivosti ogromnega kataloga predhodno optimiziranih modelov je ustvarjanje aplikacij, ki zasebno in ultra hitro obdelujejo vid, govor in jezik, zdaj dostopna realnost za vsakega programerja.
