- Повна інтеграція Tensor ML SDK з LiteRT для оптимізації розгортання моделей штучного інтелекту на пристроях Pixel.
- Доступ до Саду моделей з понад 100 моделями, оптимізованими для Google Tensor TPU.
- Розширена підтримка мультимодальних мовних та візуальних моделей через архітектуру Gemma 4.
- Можливість виконувати високошвидкісні висновки та забезпечувати конфіденційність завдяки апаратному забезпеченню Tensor G5.
Якщо ви захоплюєтеся розробкою додатків та штучним інтелектом, ви, мабуть, помітили, що правила гри змінюються. Google вирішила розкрити потенціал свого найпотужнішого обладнання за допомогою Tensor ML SDK – інструменту розробки , який дозволяє розробникам повною мірою використовувати тензорний процесор (TPU) пристроїв Pixel, що дозволяє штучному інтелекту працювати безпосередньо на пристрої, а не покладатися на хмару.
Найцікавіше те, що цей SDK вийшов за межі експериментальної фази та перейшов у бета-версію . Це означає, що він більше не доступний лише для обраних; будь-який програміст тепер може почати створювати інтерактивні, приватні та, перш за все, неймовірно швидкі інтерфейси штучного інтелекту, використовуючи архітектуру Tensor SoC від Google для виконання завдань, які раніше здавалися неможливими для локального виконання.
Уніфікований робочий процес завдяки LiteRT
Щоб запобігти проблемі розробників зі складними конфігураціями, Google інтегрував Tensor SDK з LiteRT . Цей фреймворк діє як рівень абстракції, усуваючи необхідність мати справу зі специфічними для постачальників SDK або складними компіляторами, а також забезпечуючи спрощений та узгоджений API для розгортання моделей машинного навчання на периферії.
Процес в основному поділяється на три ключові етапи. Перший – це компіляція моделі , де ви можете перетворити свої проекти на основі PyTorch або TFLite на оптимізовані бінарні файли за допомогою LiteRT Torch. Далі йде розгортання , використовуючи Play Feature Delivery та AI Packs для ефективного розподілу скомпільованих бібліотек та моделей у застосунку.
Нарешті, ми переходимо до виконання висновку. Завдяки LiteRT Runtime ви можете запустити свою модель на TPU лише за допомогою кількох рядків коду. Найкраще те, що система інтелектуальна: якщо з якоїсь причини TPU недоступний, ви можете налаштувати резервні механізми для автоматичного перемикання навантаження на центральний або графічний процесор, гарантуючи, що програма ніколи не зависне.
Зразковий сад: каталог можливостей
Немає потреби починати з нуля, оскільки бета-версія SDK містить вражаючий Model Garden . Ця бібліотека містить понад 100 моделей, як класичного машинного навчання, так і генеративного штучного інтелекту, включаючи версії Gemma 3 1B , а також величезну кількість попередньо створених моделей, які можна завантажити безпосередньо зі спільноти Hugging Face на LiteRT.
Якщо ви хочете створювати текстові функції, моделі невеликих мов програмування, такі як Function Gemma, дозволяють виконувати локальні дії всередині програми, тоді як EmbeddingGemma додає розширені семантичні можливості. Що стосується візуальної складової, SDK дозволяє реалізувати виявлення об'єктів та відображення глибини , що безцінно для програм камери, яким потрібно реагувати на середовище користувача в режимі реального часу.
Вони також не забули про аудіо та доступність. Тепер можливе наскрізне розпізнавання мовлення , що гарантує транскрипції з надзвичайно низькою затримкою та інструменти перекладу, які працюють офлайн, зберігаючи конфіденційність даних, оскільки нічого не залишає телефон.
Технічна оптимізація та підтримка обладнання
Щоб отримати максимальну віддачу від цього, важливо знати, яке обладнання підтримується. Наразі екосистема зосереджена навколо сімейства Pixel 10 , включаючи моделі Pro, Pro XL та Pro Fold, усі з яких оснащені однокристальним процесором Google Tensor G5 . Щоб забезпечити безперебійну роботу штучного інтелекту, Google рекомендує використовувати спеціальні прапорці оптимізації під час процесу збірки.
Наприклад, у потоці LiteRT на Python дуже часто використовується прапорець `google_tensor_truncation_type="half"` для точного налаштування продуктивності та використання ресурсів. Для моделей великих мов (LLM) експорт вимагає детальних параметрів, таких як налаштування ` quantization_recipe` та ввімкнення підтримки великих моделей через словник конфігурації AOT.
Важливо зазначити, що хоча NNAPI існував і раніше, він застарів з часів Android 15. Поточний підхід полягає в передачі всього через делегати LiteRT, де підтримка Pixel TPU стала центральною для заміни старих реалізацій та досягнення більшої енергоефективності.
Революція Gemma 4 та мультимодальний штучний інтелект
Давайте поговоримо про останні новини: поява Gemma 4 12B . На відміну від інших моделей, які приєднують кодер зображень до мовної моделі, Gemma 4 обробляє зображення власноруч. Ця спрощена архітектура не тільки зменшує споживання відеопам'яті, але й забезпечує набагато плавнішу та послідовнішу міжмодальну логіку.
З контекстним вікном розміром 256 тисяч токенів , ця модель може обробляти довгі розмови з кількома зображеннями без втрати послідовності дій. Крім того, розповсюджувана за ліцензією Apache 2.0 , вона надзвичайно гнучка для комерційного використання та розповсюдження, що дозволяє мультимодальному штучному інтелекту працювати на сучасних ноутбуках з використанням 4- або 8-бітного квантування.
Мета Google зрозуміла: розробники повинні прийняти її відкриті моделі зважування, щоб домінувати в екосистемі. Роблячи штучний інтелект локальним і потужним , компанія зменшує залежність від зовнішніх API та створює згуртовану спільноту навколо апаратного забезпечення Tensor і програмного забезпечення LiteRT.
Екосистема розробки Pixel зробила якісний стрибок, поєднавши апаратне забезпечення Tensor G5 з універсальністю LiteRT та потужністю таких моделей, як Gemma 4. Завдяки переходу на бета-версію SDK та наявності величезного каталогу попередньо оптимізованих моделей, створення додатків, які обробляють зір, мовлення та мову конфіденційно та надшвидко, тепер є доступною реальністю для будь-якого програміста.
