- Vollständige Integration des Tensor ML SDK mit LiteRT zur Optimierung des Einsatzes von KI-Modellen auf Pixel-Geräten.
- Zugang zu einem Modellgarten mit über 100 Modellen, die für die Google Tensor TPU optimiert sind.
- Erweiterte Unterstützung für multimodale Sprach- und Bildmodelle durch die Gemma 4-Architektur.
- Die Tensor G5-Hardware ermöglicht schnelle Inferenzprozesse und gewährleistet gleichzeitig den Datenschutz.
Wer sich mit App-Entwicklung und künstlicher Intelligenz beschäftigt, hat wahrscheinlich schon bemerkt, dass sich die Spielregeln ändern. Google hat beschlossen, das Potenzial seiner leistungsstärksten Hardware mit dem Tensor ML SDK auszuschöpfen. Dieses Entwicklungstool ermöglicht es Entwicklern, die Tensor Processing Unit (TPU) von Pixel-Geräten voll auszunutzen und KI direkt auf dem Gerät auszuführen, anstatt auf die Cloud angewiesen zu sein.
Das Spannendste daran ist, dass dieses SDK die experimentelle Phase hinter sich gelassen hat und nun in die Beta-Phase eingetreten ist. Das bedeutet, dass es nicht mehr nur wenigen Auserwählten vorbehalten ist; jeder Programmierer kann jetzt interaktive, datenschutzkonforme und vor allem unglaublich schnelle KI-Anwendungen entwickeln, indem er Googles Tensor-SoC-Architektur nutzt, um Aufgaben zu bewältigen, die zuvor lokal unmöglich schienen.
Ein einheitlicher Workflow dank LiteRT
Um zu verhindern, dass Entwickler sich in komplexen Konfigurationen verlieren, hat Google das Tensor SDK in LiteRT integriert . Dieses Framework fungiert als Abstraktionsschicht, wodurch die Notwendigkeit entfällt, sich mit herstellerspezifischen SDKs oder komplizierten Compilern auseinanderzusetzen, und bietet eine vereinfachte und konsistente API für die Bereitstellung von Machine-Learning-Modellen am Netzwerkrand.
Der Prozess lässt sich im Wesentlichen in drei Hauptphasen unterteilen. Zunächst erfolgt die Modellkompilation , bei der Sie Ihre PyTorch- oder TFLite-basierten Projekte mithilfe von LiteRT Torch in optimierte Binärdateien umwandeln können. Anschließend folgt die Bereitstellung , bei der Play Feature Delivery und AI Packs die kompilierten Bibliotheken und Modelle effizient innerhalb der Anwendung verteilen.
Schließlich kommen wir zur Ausführung der Inferenz. Dank der LiteRT-Runtime können Sie Ihr Modell mit nur wenigen Codezeilen auf der TPU ausführen. Das Beste daran: Das System ist intelligent: Sollte die TPU aus irgendeinem Grund nicht verfügbar sein, können Sie Ausweichmechanismen konfigurieren , die die Last automatisch auf die CPU oder GPU verlagern und so sicherstellen, dass die Anwendung niemals abstürzt.
Der Modellgarten: Ein Katalog der Möglichkeiten
Sie müssen nicht bei Null anfangen, denn das Beta SDK enthält einen beeindruckenden Modellgarten . Diese Bibliothek umfasst über 100 Modelle, sowohl klassische ML-Modelle als auch generative KI-Modelle, darunter Gemma 3 1B- Versionen , sowie eine Vielzahl vorgefertigter Modelle, die Sie direkt von der Hugging Face-Community auf LiteRT herunterladen können.
Wenn Sie Textfunktionen erstellen möchten, ermöglichen kleine Sprachmodelle wie Function Gemma die Ausführung lokaler Aktionen innerhalb der App, während EmbeddingGemma erweiterte semantische Funktionen hinzufügt. Im visuellen Bereich ermöglicht das SDK die Implementierung von Objekterkennung und Tiefenmessung , was für Kameraanwendungen, die in Echtzeit auf die Umgebung des Benutzers reagieren müssen, von unschätzbarem Wert ist.
Auch Audio und Barrierefreiheit wurden nicht vernachlässigt. End-to-End-Spracherkennung ist nun möglich und garantiert Transkriptionen mit extrem geringer Latenz sowie Übersetzungstools, die offline funktionieren. So bleibt der Datenschutz gewahrt, da keine Daten das Telefon verlassen.
Technische Optimierung und Hardwareunterstützung
Um alle Funktionen optimal zu nutzen, ist es wichtig zu wissen, welche Hardware unterstützt wird. Aktuell basiert das Ökosystem auf der Pixel-10- Familie , einschließlich der Modelle Pro, Pro XL und Pro Fold, die alle mit dem Google Tensor G5 SoC ausgestattet sind . Damit die KI reibungslos funktioniert, empfiehlt Google die Verwendung bestimmter Optimierungsflags während des Build-Prozesses.
Im LiteRT-Python-Workflow ist es beispielsweise üblich, das Flag `google_tensor_truncation_type="half"` zu verwenden , um Leistung und Ressourcennutzung zu optimieren. Für große Sprachmodelle (LLMs) erfordert der Export detaillierte Parameter, wie die Konfiguration von ` quantization_recipe` und die Aktivierung der Unterstützung für große Modelle über das AOT-Konfigurationswörterbuch.
Es ist wichtig zu erwähnen, dass die NNAPI zwar früher existierte, aber seit Android 15 als veraltet gilt. Der aktuelle Ansatz besteht darin, alles über LiteRT-Delegates zu leiten, wobei die Unterstützung für die Pixel TPU von zentraler Bedeutung ist, um ältere Implementierungen zu ersetzen und eine höhere Energieeffizienz zu erzielen.
Die Gemma 4-Revolution und multimodale KI
Kommen wir zum Neuesten: Gemma 4 12B ist erschienen . Im Gegensatz zu anderen Modellen, die einen Bildcodierer an ein Sprachmodell anbinden, verarbeitet Gemma 4 Bilder nativ. Diese vereinfachte Architektur reduziert nicht nur den VRAM-Verbrauch, sondern ermöglicht auch ein deutlich flüssigeres und konsistenteres modalitätsübergreifendes Schließen.
Mit einem Kontextfenster von 256 Tokens kann dieses Modell lange Konversationen mit mehreren Bildern verarbeiten, ohne den Überblick zu verlieren. Da es unter der Apache-2.0- Lizenz veröffentlicht wird , ist es zudem äußerst flexibel für die kommerzielle Nutzung und Weiterverbreitung und ermöglicht den Einsatz multimodaler KI auf modernen Laptops mit 4- oder 8-Bit-Quantisierung.
Googles Ziel ist klar: Entwickler sollen die offenen Gewichtungsmodelle des Unternehmens übernehmen, um das Ökosystem zu dominieren. Indem KI lokal und leistungsstark wird , reduziert Google die Abhängigkeit von externen APIs und schafft eine eng verbundene Community rund um die Tensor-Hardware und die LiteRT-Software.
Das Pixel-Entwicklungsökosystem hat durch die Kombination der Tensor G5- Hardware mit der Vielseitigkeit von LiteRT und der Leistungsfähigkeit von Modellen wie Gemma 4 einen qualitativen Sprung gemacht. Dank des Übergangs zur Beta-Phase des SDK und der Verfügbarkeit eines riesigen Katalogs voroptimierter Modelle ist die Entwicklung von Anwendungen, die Bild-, Sprach- und Datenverarbeitung privat und ultraschnell durchführen, nun für jeden Programmierer eine erreichbare Realität.
