- 將 Tensor ML SDK 與 LiteRT 完全集成，以優化 AI 模型在 Pixel 裝置上的部署。
- 存取包含 100 多個針對 Google Tensor TPU 最佳化的模型的模型庫。
- 透過 Gemma 4 架構提供多模態語言和視覺模型的高階支援。
- 借助 Tensor G5 硬件，能夠執行高速推理並保護隱私。
如果你對應用程式開發和人工智慧感興趣，你可能已經注意到遊戲規則正在改變。谷歌決定透過Tensor ML SDK釋放其最強大硬體的潛力。這款開發工具可讓開發者充分利用 Pixel 設備的張量處理單元 (TPU)，使人工智慧能夠直接在裝置上運行，而無需依賴雲端。
最令人興奮的是，這款 SDK 已經結束了實驗階段，進入了Beta測試階段。這意味著它不再只面向少數人；任何程式設計師現在都可以利用 Google 的 Tensor SoC 架構來創建互動式、私密且速度極快的 AI 體驗，從而執行以前在本地似乎無法完成的任務。
借助 LiteRT 實現統一的工作流程
為了避免開發者陷入複雜的配置中，Google將 Tensor SDK 與LiteRT整合。該框架充當抽象層，無需處理特定供應商的 SDK 或複雜的編譯器，並提供簡化且一致的 API，用於在邊緣部署機器學習模型。
此流程主要分為三個關鍵階段。首先是模型編譯，您可以使用 LiteRT Torch將基於PyTorch 或TFLite 的專案轉換為最佳化的二進位。接下來是部署，使用 Play Feature Delivery 和 AI Packs 在應用程式內有效地分發編譯後的函式庫和模型。
最後，我們來看看推理的執行。由於採用LiteRT Runtime，只需幾行程式碼即可讓模型在 TPU 上運作。更棒的是，該系統非常聰明：如果 TPU 由於任何原因不可用，您可以配置回退機制，自動將負載轉移到 CPU 或 GPU，確保應用程式不會卡頓。
模型花園：各種可能性的目錄
您無需從零開始，因為 Beta SDK 包含一個強大的模型庫。模型庫包含 100 多個模型，涵蓋經典機器學習和生成式人工智慧，包括Gemma 3 1B版本，以及大量預先建置模型，您可以直接從 LiteRT 上的 Hugging Face 社群下載這些模型。
如果您想建立文字函數，像Function Gemma這樣的小型語言模型可以讓您在應用程式內執行本機操作，而 EmbeddingGemma 則新增了進階語意功能。在視覺方面，SDK 可讓您實現物件偵測和深度映射，這對於需要即時響應使用者環境的相機應用至關重要。
他們也沒有忽略音訊和無障礙功能。現在已實現端對端語音識別，保證了極低延遲的轉錄效果，並且翻譯工具支援離線使用，同時由於所有資料都不會離開手機，因此能夠有效保護資料隱私。
技術優化和硬體支持
為了充分發揮其性能，了解支援的硬體至關重要。目前，該生態系統以Pixel 10系列為核心，包括 Pro、Pro XL 和 Pro Fold 機型，它們均搭載了Google Tensor G5 SoC 。為了確保 AI 流暢運行，Google 建議在建置過程中使用特定的最佳化標誌。
例如，在 LiteRT Python 流程中，通常會使用`google_tensor_truncation_type="half"`標誌來微調效能和資源使用情況。對於大型語言模型 (LLM)，匯出需要詳細的參數，例如配置 ` quantization_recipe`並透過 AOT 配置字典啟用對大型模型的支援。
值得一提的是，雖然 NNAPI 之前存在，但自Android 15起已被棄用。目前的做法是將所有請求透過 LiteRT 委託傳遞，其中對 Pixel TPU 的支援已成為替換舊實現和實現更高能源效率的關鍵。
Gemma 4 革命與多模態人工智慧
我們來聊聊最新的進展：Gemma 4 12B的發布。與其他將影像編碼器附加到語言模型上的模型不同，Gemma 4 直接處理影像。這種簡化的架構不僅降低了顯存消耗，也實現了更流暢、更一致的跨模態推理。
該模型擁有256K 個字元的上下文窗口，能夠處理包含多張圖像的長篇對話而不丟失資訊。此外，由於採用Apache 2.0許可證，該模型在商業用途和再分發方面極其靈活，支援在採用 4 位元或 8 位元量化的現代筆記型電腦上運行多模態 AI。
谷歌的目標很明確：它希望開發者採用其開放的權重模型，從而主導整個生態系統。透過讓人工智慧在地化並發揮強大功能，Google減少了對外部API的依賴，並圍繞Tensor硬體和LiteRT軟體建立了一個緊密的社群。
Pixel 開發生態系統透過將Tensor G5硬體與 LiteRT 的多功能性以及 Gemma 4 等模型的強大功能相結合，實現了質的飛躍。由於 SDK 進入 Beta 版以及大量預優化模型的可用性，現在任何程式設計師都可以輕鬆創建私密且超快速地處理視覺、語音和語言的應用程式。
