- Popolna integracija Tensor ML SDK z LiteRT za optimizacijo uvajanja modelov umetne inteligence na napravah Pixel.
- Dostop do vrta modelov z več kot 100 modeli, optimiziranimi za Google Tensor TPU.
- Napredna podpora za multimodalne jezikovne in vizualne modele prek arhitekture Gemma 4.
- Zmožnost izvajanja hitrih sklepov in zasebnosti zahvaljujoč strojni opremi Tensor G5.
Če vas zanima razvoj aplikacij in umetna inteligenca, ste verjetno opazili, da se pravila igre spreminjajo. Google se je odločil, da bo odprl vrata svoji najzmogljivejši strojni opremi z ... razvojna programska oprema od Komplet za strojno učenje Tensor, orodje, ki razvijalcem omogoča, da kar najbolje izkoristijo tenzorsko procesno enoto (TPU) naprav Pixel, zaradi česar umetna inteligenca ni odvisna od oblaka, temveč deluje neposredno na napravi.
Najbolj vznemirljivo je, da je ta SDK zapustil svojo eksperimentalno fazo in vstopil Beta fazaTo pomeni, da ni več namenjeno le redkim izbrancem; vsak programer lahko začne ustvarjati izkušnje z umetno inteligenco, ki so interaktivne, zasebne in predvsem neverjetno hitre, pri čemer izkorišča Googlovo arhitekturo Tensor SoC za izvajanje nalog, ki se jim je prej zdelo nemogoče izvesti lokalno.
Poenoten potek dela zahvaljujoč LiteRT
Da bi preprečil, da bi razvijalci zmešani s kompleksnimi konfiguracijami, je Google integriral Tensor SDK z LiteRTTa okvir deluje kot abstrakcijska plast, ki odpravlja potrebo po delu s SDK-ji, specifičnimi za posamezne proizvajalce, ali zapletenimi prevajalniki, saj ponuja poenostavljen in dosleden API za uvajanje modelov strojnega učenja na robu omrežja.
Postopek je v osnovi razdeljen na tri ključne faze. Prva je sestavljanje modelovkjer lahko preoblikujete svoje projekte PyTorch ali TFLite, ki temelji na TensorFlowu v binarnih datotekah, optimiziranih z LiteRT Torch. Nato pride na vrsto uvajanje, z uporabo storitve Play Feature Delivery in tako imenovanih paketov AI za učinkovito distribucijo knjižnic in prevedenih modelov znotraj aplikacije.
Končno pridemo do izvedbe sklepanja. Zahvaljujoč Izvajalno okolje LiteRTSvoj model lahko zaženete na TPU-ju z le nekaj vrsticami kode. Najboljše od vsega pa je, da je sistem pameten: če iz nekega razloga TPU ni na voljo, ga lahko konfigurirate rezervni mehanizmi tako da se obremenitev samodejno prenese na CPU ali GPU, s čimer se zagotovi, da se aplikacija nikoli ne zamrzne.
Vzorčni vrt: Katalog možnosti
Ni treba začeti iz nič, saj beta SDK vključuje modelni vrt Impresivno. Gre za knjižnico z več kot 100 modeli, tako klasičnim strojnim učenjem kot generativno umetno inteligenco, vključno z različicami Gemma 3 1BPoleg ogromnega števila vnaprej sestavljenih modelov, ki jih lahko prenesete neposredno iz skupnosti Hugging Face na LiteRT.
Če želite ustvariti besedilne funkcije, so to modeli majhnih jezikov, kot so Funkcija Gemma Omogočajo vam izvajanje lokalnih dejanj znotraj aplikacije, medtem ko EmbeddingGemma dodaja napredne semantične zmogljivosti. Na vizualni strani vam SDK omogoča implementacijo zaznavanje objektov in kartiranje globinekar je čisto zlato za aplikacije s kamerami, ki se morajo v realnem času odzvati na uporabnikovo okolje.
Prav tako niso pozabili na zvok in dostopnost. Zdaj je mogoče zagnati prepoznavanje glasu od začetka do koncaTo zagotavlja prepise z izjemno nizko zakasnitvijo in orodja za prevajanje, ki delujejo brez povezave, pri čemer se ohranja zasebnost podatkov, saj nič ne zapusti telefona.
Tehnična optimizacija in podpora strojne opreme
Da bi kar najbolje izkoristili to možnost, je bistveno vedeti, katera strojna oprema je podprta. Trenutno je ekosistem osredotočen na družino. pixel 10vključno z modeli Pro, Pro XL in Pro Fold, vsi opremljeni s SoC Google Tensor G5Za nemoteno delovanje umetne inteligence Google priporoča uporabo posebnih optimizacijskih zastavic med prevajanjem.
Na primer, v Python toku LiteRT se zelo pogosto uporablja zastavica google_tensor_truncation_type=”polovica” za prilagoditev zmogljivosti in porabe virov. V primeru obsežnih jezikovnih modelov (LLM) izvoz zahteva podrobne parametre, kot je konfiguracija recept_za_kvantizacijo in aktivacijo podpore za velike modele prek konfiguracijskega slovarja AOT.
Pomembno je omeniti, da je NNAPI, čeprav je obstajal že prej, od leta 2004 postal zastarel. Android 15Strategija je zdaj, da se vse skupaj prenese prek delegatov LiteRT, kjer je podpora za Pixel TPU postala osrednjega pomena za zamenjavo starejših implementacij in pridobitev oporišča. energetska učinkovitost višje.
Revolucija Gemma 4 in multimodalna umetna inteligenca
Pogovorimo se o najnovejšem: prihodu Gemma 4 12BZa razliko od drugih modelov, ki jezikovnemu modelu pripnejo kodirnik slik, Gemma 4 slike obdeluje izvorno. Ta poenostavljena arhitektura ne le zmanjša porabo VRAM-a, temveč omogoča tudi ... medmodalno sklepanje veliko bolj tekoč in koherenten.
S kontekstnim oknom 256K žetonovTa model lahko obvladuje dolge pogovore z več slikami, ne da bi pri tem izgubil sled. Poleg tega se distribuira pod licenco Apache 2.0Je izjemno prilagodljiv za komercialno uporabo in redistribucijo, kar omogoča delovanje multimodalne umetne inteligence na sodobnih prenosnikih z uporabo 4- ali 8-bitnih kvantizacij.
Googlov cilj je jasen: želi, da razvijalci sprejmejo njegove odprte modele uteži, da bi prevladali v ekosistemu. Z olajšanjem umetne inteligence lokalni in močniZmanjšujejo odvisnost od zunanjih API-jev in ustvarjajo povezano skupnost okoli strojne opreme Tensor in programske opreme LiteRT.
Razvojni ekosistem za Pixel je naredil kvalitativni preskok z združitvijo strojne opreme Tenzor G5 Z vsestranskostjo LiteRT in močjo modelov, kot je Gemma 4, je po zaslugi prehoda na beta različico SDK-ja in razpoložljivosti ogromnega kataloga predhodno optimiziranih modelov ustvarjanje aplikacij, ki zasebno in ultra hitro obdelujejo vid, govor in jezik, zdaj dostopna realnost za vsakega programerja.
