- Pełna integracja Tensor ML SDK z LiteRT w celu optymalizacji wdrażania modeli AI na urządzeniach Pixel.
- Dostęp do Model Garden zawierającego ponad 100 modeli zoptymalizowanych pod kątem Google Tensor TPU.
- Zaawansowane wsparcie dla multimodalnych modeli języka i wizji poprzez architekturę Gemma 4.
- Możliwość przeprowadzania szybkich wnioskowań i zachowanie prywatności dzięki sprzętowi Tensor G5.
Jeśli interesujesz się tworzeniem aplikacji i sztuczną inteligencją, prawdopodobnie zauważyłeś, że zasady gry się zmieniają. Google postanowiło wykorzystać potencjał swojego najpotężniejszego sprzętu dzięki Tensor ML SDK – narzędziu programistycznemu , które pozwala programistom w pełni wykorzystać jednostkę przetwarzania tensora (TPU) urządzeń Pixel, umożliwiając działanie sztucznej inteligencji bezpośrednio na urządzeniu, bez konieczności polegania na chmurze.
Najbardziej ekscytujące jest to, że ten zestaw SDK wyszedł poza fazę eksperymentalną i wszedł w fazę beta . Oznacza to, że nie jest już przeznaczony tylko dla wybranych; każdy programista może teraz zacząć tworzyć interaktywne, prywatne i, przede wszystkim, niezwykle szybkie rozwiązania AI, wykorzystując architekturę SoC Tensor firmy Google do wykonywania zadań, które wcześniej wydawały się niemożliwe do wykonania lokalnie.
Zunifikowany przepływ pracy dzięki LiteRT
Aby zapobiec utknięciu programistów w skomplikowanych konfiguracjach, Google zintegrowało pakiet Tensor SDK z LiteRT . Ta struktura działa jako warstwa abstrakcji, eliminując potrzebę korzystania z pakietów SDK specyficznych dla danego dostawcy lub skomplikowanych kompilatorów i zapewniając uproszczony i spójny interfejs API do wdrażania modeli uczenia maszynowego na brzegu sieci.
Proces zasadniczo dzieli się na trzy kluczowe etapy. Pierwszym jest kompilacja modelu , w której można przekształcić projekty oparte na PyTorch lub TFLite w zoptymalizowane pliki binarne za pomocą LiteRT Torch. Następnie następuje wdrożenie , z wykorzystaniem Play Feature Delivery i AI Packs, aby efektywnie dystrybuować skompilowane biblioteki i modele w aplikacji.
Na koniec przechodzimy do realizacji wnioskowania. Dzięki środowisku uruchomieniowemu LiteRT możesz uruchomić swój model na procesorze TPU za pomocą zaledwie kilku linijek kodu. Co najważniejsze, system jest inteligentny: jeśli z jakiegokolwiek powodu procesor TPU jest niedostępny, możesz skonfigurować mechanizmy awaryjne, które automatycznie przeniosą obciążenie na procesor lub kartę graficzną, gwarantując, że aplikacja nigdy się nie zawiesi.
Ogród modelowy: katalog możliwości
Nie ma potrzeby zaczynać od zera, ponieważ pakiet Beta SDK zawiera imponujący Model Garden . Ta biblioteka zawiera ponad 100 modeli, zarówno klasycznych modeli uczenia maszynowego, jak i generatywnych modeli sztucznej inteligencji, w tym wersje Gemma 3 1B , a także ogromną liczbę gotowych modeli, które można pobrać bezpośrednio ze społeczności Hugging Face na platformie LiteRT.
Jeśli chcesz tworzyć funkcje tekstowe, małe modele językowe, takie jak Function Gemma, umożliwiają wykonywanie lokalnych akcji w aplikacji, a EmbeddingGemma dodaje zaawansowane możliwości semantyczne. Od strony wizualnej, SDK umożliwia implementację wykrywania obiektów i mapowania głębi , co jest nieocenione w aplikacjach kamerowych, które muszą reagować na otoczenie użytkownika w czasie rzeczywistym.
Nie zapomnieli również o dźwięku i dostępności. Teraz możliwe jest kompleksowe rozpoznawanie mowy , gwarantujące transkrypcje z wyjątkowo niskim opóźnieniem i narzędzia do tłumaczeń działające w trybie offline, co zapewnia prywatność danych, ponieważ nic nie opuszcza telefonu.
Optymalizacja techniczna i wsparcie sprzętowe
Aby w pełni wykorzystać możliwości tej technologii, niezbędna jest wiedza o obsługiwanym sprzęcie. Obecnie ekosystem koncentruje się wokół rodziny Pixel 10 , obejmującej modele Pro, Pro XL i Pro Fold, wszystkie wyposażone w układ SoC Google Tensor G5 . Aby zapewnić płynne działanie sztucznej inteligencji, Google zaleca korzystanie z określonych flag optymalizacyjnych podczas kompilacji.
Na przykład w przepływie LiteRT w Pythonie bardzo często używa się flagi `google_tensor_truncation_type="half"` do precyzyjnego dostrojenia wydajności i wykorzystania zasobów. W przypadku dużych modeli językowych (LLM) eksportowanie wymaga szczegółowych parametrów, takich jak konfiguracja ` quantization_recipe` i włączenie obsługi dużych modeli za pomocą słownika konfiguracji AOT.
Należy wspomnieć, że chociaż NNAPI istniał wcześniej, to został wycofany w systemie Android 15. Obecnie podejście polega na przekazywaniu wszystkiego za pośrednictwem delegatów LiteRT, gdzie obsługa Pixel TPU stała się kluczowa dla zastąpienia starszych implementacji i osiągnięcia większej efektywności energetycznej.
Rewolucja Gemma 4 i sztuczna inteligencja multimodalna
Porozmawiajmy o najnowszym: pojawieniu się Gemma 4 12B . W przeciwieństwie do innych modeli, które dołączają koder obrazu do modelu językowego, Gemma 4 przetwarza obrazy natywnie. Ta uproszczona architektura nie tylko zmniejsza zużycie pamięci VRAM, ale także umożliwia znacznie płynniejsze i bardziej spójne wnioskowanie międzymodalne.
Dzięki oknu kontekstowemu o pojemności 256 tys. tokenów , model ten może obsługiwać długie konwersacje z wieloma obrazami bez utraty spójności. Co więcej, dystrybuowany na licencji Apache 2.0 , jest niezwykle elastyczny w zastosowaniach komercyjnych i redystrybucji, umożliwiając multimodalną sztuczną inteligencję na nowoczesnych laptopach z wykorzystaniem kwantyzacji 4- lub 8-bitowej.
Cel Google jest jasny: chce, aby programiści przyjęli jego otwarte modele ważenia, aby zdominować ekosystem. Dzięki temu, że sztuczna inteligencja jest lokalna i wydajna , Google zmniejsza zależność od zewnętrznych interfejsów API i tworzy spójną społeczność wokół sprzętu Tensor i oprogramowania LiteRT.
Ekosystem programistyczny Pixel wykonał jakościowy skok, łącząc sprzęt Tensor G5 z wszechstronnością LiteRT i mocą modeli takich jak Gemma 4. Dzięki przejściu do wersji beta zestawu SDK i dostępności obszernego katalogu wstępnie zoptymalizowanych modeli, tworzenie aplikacji przetwarzających obraz, mowę i język w sposób prywatny i ultraszybki stało się rzeczywistością dostępną dla każdego programisty.
