- Úplná integrácia Tensor ML SDK s LiteRT pre optimalizáciu nasadenia modelov umelej inteligencie na zariadeniach Pixel.
- Prístup k modelovej záhrade s viac ako 100 modelmi optimalizovanými pre Google Tensor TPU.
- Pokročilá podpora multimodálnych jazykových a vizuálnych modelov prostredníctvom architektúry Gemma 4.
- Schopnosť vykonávať vysokorýchlostné inferencie a zachovať súkromie vďaka hardvéru Tensor G5.
Ak sa venujete vývoju aplikácií a umelej inteligencii, pravdepodobne ste si všimli, že sa pravidlá hry menia. Spoločnosť Google sa rozhodla otvoriť dvere svojmu najvýkonnejšiemu hardvéru s... vývojový softvér del Sada SDK pre strojové učenie Tensor, nástroj, ktorý umožňuje vývojárom čo najlepšie využiť tenzorovú procesorovú jednotku (TPU) zariadení Pixel, vďaka čomu umelá inteligencia nie je závislá od cloudu, ale funguje priamo na zariadení.
Najvzrušujúcejšie je, že toto SDK opustilo svoju experimentálnu fázu a vstúpilo... Beta fázaTo znamená, že to už nie je len pre vybraných; každý programátor môže začať vytvárať interaktívne, súkromné a predovšetkým neuveriteľne rýchle zážitky s umelou inteligenciou, pričom využíva architektúru Tensor SoC od spoločnosti Google na spúšťanie úloh, ktoré sa predtým zdali byť nemožné vykonávať lokálne.
Zjednotený pracovný postup vďaka LiteRT
Aby sa vývojárom zabránilo v zložitých konfiguráciách, spoločnosť Google integrovala Tensor SDK s LiteRTTento framework funguje ako abstrakčná vrstva, ktorá eliminuje potrebu pracovať s SDK špecifickými pre dodávateľov alebo zložitými kompilátormi a ponúka zjednodušené a konzistentné API na nasadenie modelov strojového učenia na okraji siete.
Proces je v podstate rozdelený do troch kľúčových fáz. Prvou je zostavovanie modelovkde môžete transformovať svoje projekty PyTorch alebo TFLite založený na TensorFlow v binárnych súboroch optimalizovaných pomocou LiteRT Torch. Potom prichádza na rad nasadenie, pričom využíva službu Play Feature Delivery a takzvané balíčky AI na efektívnu distribúciu knižníc a kompilovaných modelov v rámci aplikácie.
Nakoniec dospejeme k vykonaniu inferencie. Vďaka Runtime LiteRTSvoj model môžete spustiť na TPU len niekoľkými riadkami kódu. A čo je najlepšie, systém je inteligentný: ak z nejakého dôvodu TPU nie je k dispozícii, môžete ho nakonfigurovať záložné mechanizmy aby sa záťaž automaticky preniesla na CPU alebo GPU, čím sa zabezpečí, že aplikácia nikdy nezamrzne.
Modelová záhrada: Katalóg možností
Nie je potrebné začínať od nuly, pretože beta SDK obsahuje vzorová záhrada Pôsobivé. Je to knižnica s viac ako 100 modelmi, klasickým strojovým učením aj generatívnou umelou inteligenciou, vrátane verzií... Gemma 3 1BOkrem obrovského množstva predkompilovaných modelov, ktoré si môžete stiahnuť priamo z komunity Hugging Face na LiteRT.
Ak chcete vytvárať textové funkcie, malé jazykové modely ako napríklad Funkcia Gemma Umožňujú vám vykonávať lokálne akcie v rámci aplikácie, zatiaľ čo EmbeddingGemma pridáva pokročilé sémantické možnosti. Z vizuálneho hľadiska vám SDK umožňuje implementovať detekcia objektov a mapovanie hĺbkyčo je rýdze zlato pre kamerové aplikácie, ktoré musia reagovať na prostredie používateľa v reálnom čase.
Nezabudli ani na zvuk a prístupnosť. Teraz je možné spustiť rozpoznávanie hlasu od začiatku do koncaTo zaručuje prepisy s extrémne nízkou latenciou a prekladateľské nástroje, ktoré fungujú offline, pričom sa zachováva súkromie údajov, pretože nič neopúšťa telefón.
Technická optimalizácia a hardvérová podpora
Aby ste z toho vyťažili maximum, je nevyhnutné vedieť, ktorý hardvér je podporovaný. V súčasnosti sa ekosystém zameriava na rodinu. pixel 10vrátane modelov Pro, Pro XL a Pro Fold, ktoré sú všetky vybavené týmto systémom na čipe (SoC) Google Tensor G5Pre plynulý chod umelej inteligencie spoločnosť Google odporúča počas kompilácie používať špecifické optimalizačné príznaky.
Napríklad v Python flow LiteRT je veľmi bežné používať príznak google_tensor_truncation_type=„polovica“ na úpravu výkonu a využitia zdrojov. V prípade rozsiahlych jazykových modelov (LLM) si export vyžaduje podrobné parametre, ako napríklad konfiguráciu kvantizačný_recept a aktiváciu podpory pre rozsiahle modely prostredníctvom konfiguračného slovníka AOT.
Je dôležité spomenúť, že hoci NNAPI existoval už predtým, od roku 2006 sa stal zastaraným. Android 15Stratégiou je teraz všetko presúvať cez delegátov LiteRT, kde sa podpora Pixel TPU stala ústrednou pre nahradenie starších implementácií a získanie oporného bodu. energetickej účinnosti vyššie.
Revolúcia Gemma 4 a multimodálna umelá inteligencia
Poďme sa porozprávať o najnovšom: príchode Gemma 4 12BNa rozdiel od iných modelov, ktoré pripájajú obrazový kodér k jazykovému modelu, Gemma 4 spracováva obrázky natívne. Táto zjednodušená architektúra nielen znižuje spotrebu VRAM, ale umožňuje aj... medzimodálne uvažovanie oveľa plynulejšie a súdržnejšie.
S kontextovým oknom 256 XNUMX tokenovTento model zvládne dlhé konverzácie s viacerými obrázkami bez straty prehľadu. Okrem toho je distribuovaný pod licenciou Apache 2.0Je mimoriadne flexibilný pre komerčné použitie a redistribúciu, čo umožňuje multimodálnu umelú inteligenciu bežať na moderných notebookoch s použitím 4 alebo 8-bitových kvantizácií.
Cieľ spoločnosti Google je jasný: chce, aby vývojári prijali jej otvorené modely váženia a dominovali ekosystému. Uľahčením umelej inteligencie lokálne a mocnéZnižujú závislosť od externých API a vytvárajú súdržnú komunitu okolo hardvéru Tensor a softvéru LiteRT.
Vývojový ekosystém pre Pixel urobil kvalitatívny skok zjednotením hardvéru... Tenzor G5 Vďaka všestrannosti LiteRT a sile modelov, ako je Gemma 4, prechodu na beta verziu SDK a dostupnosti rozsiahleho katalógu predoptimalizovaných modelov je teraz vytváranie aplikácií, ktoré spracovávajú zrak, reč a jazyk súkromne a ultrarýchlo, dostupnou realitou pre každého programátora.
