- 将 Tensor ML SDK 与 LiteRT 完全集成，以优化 AI 模型在 Pixel 设备上的部署。
- 访问包含 100 多个针对 Google Tensor TPU 优化的模型的模型库。
- 通过 Gemma 4 架构提供对多模态语言和视觉模型的高级支持。
- 借助 Tensor G5 硬件，能够执行高速推理并保护隐私。
如果你对应用开发和人工智能感兴趣，你可能已经注意到游戏规则正在发生变化。谷歌决定通过Tensor ML SDK释放其最强大硬件的潜力。这款开发工具允许开发者充分利用 Pixel 设备的张量处理单元 (TPU)，使人工智能能够直接在设备上运行，而无需依赖云端。
最令人兴奋的是，这款 SDK 已经结束了实验阶段，进入了Beta测试阶段。这意味着它不再只面向少数人；任何程序员现在都可以利用 Google 的 Tensor SoC 架构来创建交互式、私密且速度极快的 AI 体验，从而执行以前在本地似乎无法完成的任务。
借助 LiteRT 实现统一的工作流程
为了避免开发者陷入复杂的配置中，谷歌将 Tensor SDK 与LiteRT集成。该框架充当抽象层，无需处理特定供应商的 SDK 或复杂的编译器，并提供简化且一致的 API，用于在边缘部署机器学习模型。
该流程主要分为三个关键阶段。首先是模型编译，您可以使用 LiteRT Torch将基于PyTorch 或TFLite 的项目转换为优化的二进制文件。接下来是部署，使用 Play Feature Delivery 和 AI Packs 在应用程序内高效地分发编译后的库和模型。
最后，我们来看看推理的执行。得益于LiteRT Runtime，只需几行代码即可让模型在 TPU 上运行。更棒的是，该系统非常智能：如果 TPU 由于任何原因不可用，您可以配置回退机制，自动将负载转移到 CPU 或 GPU，确保应用程序不会卡顿。
模型花园：各种可能性的目录
您无需从零开始，因为 Beta SDK 包含一个功能强大的模型库。该模型库包含 100 多个模型，涵盖经典机器学习和生成式人工智能，包括Gemma 3 1B版本，以及大量预构建模型，您可以直接从 LiteRT 上的 Hugging Face 社区下载这些模型。
如果您想创建文本函数，像Function Gemma这样的小型语言模型可以让您在应用内执行本地操作，而 EmbeddingGemma 则添加了高级语义功能。在视觉方面，SDK 允许您实现对象检测和深度映射，这对于需要实时响应用户环境的相机应用来说至关重要。
他们也没有忽略音频和无障碍功能。现在已能实现端到端语音识别，保证了极低延迟的转录效果，并且翻译工具支持离线使用，同时由于所有数据都不会离开手机，因此能够有效保护数据隐私。
技术优化和硬件支持
为了充分发挥其性能，了解支持的硬件至关重要。目前，该生态系统以Pixel 10系列为核心，包括 Pro、Pro XL 和 Pro Fold 机型，它们均搭载了Google Tensor G5 SoC 。为了确保 AI 流畅运行，Google 建议在构建过程中使用特定的优化标志。
例如，在 LiteRT Python 流程中，通常会使用`google_tensor_truncation_type="half"`标志来微调性能和资源使用情况。对于大型语言模型 (LLM)，导出需要详细的参数，例如配置 ` quantization_recipe`并通过 AOT 配置字典启用对大型模型的支持。
值得一提的是，虽然 NNAPI 之前存在，但自Android 15起已被弃用。目前的做法是将所有请求都通过 LiteRT 委托传递，其中对 Pixel TPU 的支持已成为替换旧实现和实现更高能效的关键。
Gemma 4 革命和多模态人工智能
我们来聊聊最新的进展：Gemma 4 12B的发布。与其他将图像编码器附加到语言模型上的模型不同，Gemma 4 直接处理图像。这种简化的架构不仅降低了显存消耗，还实现了更流畅、更一致的跨模态推理。
该模型拥有256K 个词元的上下文窗口，能够处理包含多张图像的长篇对话而不丢失信息。此外，由于采用Apache 2.0许可证，该模型在商业用途和再分发方面极其灵活，支持在采用 4 位或 8 位量化的现代笔记本电脑上运行多模态 AI。
谷歌的目标很明确：它希望开发者采用其开放的权重模型，从而主导整个生态系统。通过使人工智能本地化并发挥强大功能，谷歌减少了对外部API的依赖，并围绕Tensor硬件和LiteRT软件构建了一个紧密的社区。
Pixel 开发生态系统通过将Tensor G5硬件与 LiteRT 的多功能性以及 Gemma 4 等模型的强大功能相结合，实现了质的飞跃。得益于 SDK 进入 Beta 版以及大量预优化模型的可用性，现在任何程序员都可以轻松创建私密且超快速地处理视觉、语音和语言的应用程序。
