- Ganap na integrasyon ng Tensor ML SDK sa LiteRT upang ma-optimize ang pag-deploy ng mga modelo ng AI sa mga Pixel device.
- Access sa isang Model Garden na may mahigit 100 modelong na-optimize para sa Google Tensor TPU.
- Mas mataas na suporta para sa mga multimodal na modelo ng wika at paningin sa pamamagitan ng arkitekturang Gemma 4.
- Kakayahang magsagawa ng mga mabilis na hinuha at privacy salamat sa hardware ng Tensor G5.
Kung mahilig ka sa pagbuo ng app at artificial intelligence, malamang napansin mo na ang pagbabago sa takbo ng laro. Napagpasyahan ng Google na i-unlock ang potensyal ng pinakamakapangyarihang hardware nito gamit ang Tensor ML SDK , isang development tool na nagbibigay-daan sa mga developer na lubos na magamit ang tensor processing unit (TPU) ng mga Pixel device, na nagbibigay-daan sa AI na direktang tumakbo sa device, sa halip na umasa sa cloud.
Ang pinakakapana-panabik ay ang SDK na ito ay lumampas na sa yugto ng eksperimento at nasa Beta na . Nangangahulugan ito na hindi na ito para lamang sa iilang piling tao; kahit sinong programmer ay maaari nang magsimulang lumikha ng interactive, pribado, at, higit sa lahat, napakabilis na karanasan sa AI sa pamamagitan ng paggamit ng arkitektura ng Tensor SoC ng Google upang maisagawa ang mga gawaing dating tila imposibleng gawin nang lokal.
Isang pinag-isang daloy ng trabaho salamat sa LiteRT
Upang maiwasan ang pagkaabala ng mga developer sa mga kumplikadong configuration, isinama ng Google ang Tensor SDK sa LiteRT . Ang framework na ito ay gumaganap bilang isang abstraction layer, na nag-aalis ng pangangailangang harapin ang mga vendor-specific SDK o mga kumplikadong compiler at nagbibigay ng isang pinasimple at pare-parehong API para sa pag-deploy ng mga machine learning model sa edge.
Ang proseso ay karaniwang nahahati sa tatlong pangunahing yugto. Una ay ang compilation ng modelo , kung saan maaari mong baguhin ang iyong mga proyektong nakabatay sa PyTorch o TFLite patungo sa mga na-optimize na binary gamit ang LiteRT Torch. Susunod ay ang deployment , gamit ang Play Feature Delivery at AI Packs upang mahusay na maipamahagi ang mga na-compile na library at modelo sa loob ng application.
Sa wakas, narito na tayo sa pagpapatupad ng hinuha. Salamat sa LiteRT Runtime , mapapatakbo mo ang iyong modelo sa TPU gamit lamang ang ilang linya ng code. Higit sa lahat, matalino ang sistema: kung sa anumang kadahilanan ay hindi magagamit ang TPU, maaari mong i-configure ang mga mekanismo ng fallback upang awtomatikong ilipat ang load sa CPU o GPU, na tinitiyak na hindi kailanman magha-hang ang app.
Ang Modelong Hardin: Isang katalogo ng mga posibilidad
Hindi na kailangang magsimula sa wala, dahil ang Beta SDK ay may kasamang kahanga-hangang Model Garden . Ang library na ito ay naglalaman ng mahigit 100 modelo, parehong klasikong ML at generative AI, kabilang ang mga bersyon ng Gemma 3 1B , pati na rin ang napakaraming pre-built na modelo na maaari mong i-download nang direkta mula sa komunidad ng Hugging Face sa LiteRT.
Kung naghahanap ka ng mga text function, ang maliliit na language model tulad ng Function Gemma ay nagbibigay-daan sa iyong magsagawa ng mga lokal na aksyon sa loob ng app, habang ang EmbeddingGemma ay nagdaragdag ng mga advanced na semantic capabilities. Sa visual na aspeto, pinapayagan ka ng SDK na ipatupad ang object detection at depth mapping , na napakahalaga para sa mga application ng camera na kailangang tumugon sa kapaligiran ng user sa real time.
Hindi rin nila nakalimutan ang tungkol sa audio at accessibility. Posible na ngayon ang end-to-end speech recognition , na ginagarantiyahan ang mga transkripsyon na may napakababang latency at mga tool sa pagsasalin na gumagana offline, pinapanatili ang privacy ng data dahil walang anumang bagay na lumalabas sa telepono.
Teknikal na pag-optimize at suporta sa hardware
Para masulit ito, mahalagang malaman kung aling hardware ang sinusuportahan. Sa kasalukuyan, ang ecosystem ay nakasentro sa pamilya ng Pixel 10 , kabilang ang mga modelong Pro, Pro XL, at Pro Fold, na pawang may Google Tensor G5 SoC . Para matiyak na maayos ang paggana ng AI, inirerekomenda ng Google ang paggamit ng mga partikular na optimization flag sa proseso ng pagbuo.
Halimbawa, sa daloy ng LiteRT Python, karaniwan nang gamitin ang flag na `google_tensor_truncation_type="half"` upang pinuhin ang performance at paggamit ng resource. Para sa mga malalaking modelo ng wika (LLM), ang pag-export ay nangangailangan ng detalyadong mga parameter, tulad ng pag-configure ng ` quantization_recipe` at pagpapagana ng suporta para sa malalaking modelo sa pamamagitan ng AOT configuration dictionary.
Mahalagang banggitin na, bagama't dati nang umiiral ang NNAPI, hindi na ito ginagamit simula noong Android 15. Ang kasalukuyang pamamaraan ay ipasa ang lahat sa pamamagitan ng mga delegado ng LiteRT, kung saan ang suporta para sa Pixel TPU ay naging mahalaga sa pagpapalit ng mga lumang implementasyon at pagkamit ng mas mataas na kahusayan sa enerhiya.
Ang rebolusyong Gemma 4 at Multimodal AI
Pag-usapan natin ang pinakabago: ang pagdating ng Gemma 4 12B . Hindi tulad ng ibang mga modelo na nagkakabit ng image encoder sa isang language model, pinoproseso ng Gemma 4 ang mga imahe nang natively. Ang pinasimpleng arkitekturang ito ay hindi lamang binabawasan ang pagkonsumo ng VRAM kundi nagbibigay-daan din sa mas maayos at mas pare-parehong cross-modal reasoning.
Gamit ang context window na 256K token , kayang pangasiwaan ng modelong ito ang mahahabang pag-uusap na may maraming larawan nang hindi nawawala ang track. Bukod pa rito, dahil ipinamamahagi ito sa ilalim ng lisensyang Apache 2.0 , ito ay lubos na flexible para sa komersyal na paggamit at muling pamamahagi, na nagpapahintulot sa multimodal AI na tumakbo sa mga modernong laptop gamit ang 4- o 8-bit quantization.
Malinaw ang layunin ng Google: nais nitong gamitin ng mga developer ang mga open weighting model nito upang mangibabaw sa ecosystem. Sa pamamagitan ng paggawa ng AI na lokal at makapangyarihan , binabawasan nito ang pag-asa sa mga panlabas na API at lumilikha ng isang magkakaugnay na komunidad sa paligid ng Tensor hardware at LiteRT software.
Ang Pixel development ecosystem ay gumawa ng isang kwalitatibong hakbang sa pamamagitan ng pagsasama-sama ng Tensor G5 hardware sa versatility ng LiteRT at sa kapangyarihan ng mga modelo tulad ng Gemma 4. Dahil sa paglipat sa Beta ng SDK at sa pagkakaroon ng isang napakalaking katalogo ng mga paunang na-optimize na modelo, ang paglikha ng mga application na nagpoproseso ng paningin, pagsasalita, at wika nang pribado at napakabilis ay isang naa-access na realidad na ngayon para sa sinumang programmer.
