- שילוב מלא של Tensor ML SDK עם LiteRT כדי לייעל את פריסת מודלי הבינה המלאכותית במכשירי Pixel.
- גישה לגן מודלים עם מעל 100 מודלים המותאמים ל-Google Tensor TPU.
- תמיכה מתקדמת בשפה רב-מודאלית ומודלים של חזון באמצעות ארכיטקטורת Gemma 4.
- יכולת לבצע הסקות במהירות גבוהה ופרטיות הודות לחומרת Tensor G5.
אם אתם מתעניינים בפיתוח אפליקציות ובינה מלאכותית, סביר להניח ששמתם לב שהמשחק משתנה. גוגל החליטה לשחרר את הפוטנציאל של החומרה החזקה ביותר שלה עם Tensor ML SDK , כלי פיתוח המאפשר למפתחים לנצל באופן מלא את יחידת עיבוד ה-tensor (TPU) של מכשירי Pixel, מה שמאפשר לבינה מלאכותית לפעול ישירות על המכשיר, במקום להסתמך על הענן.
הדבר המרגש ביותר הוא ש-SDK זה עבר את שלב הניסוי שלו ונכנס לגרסת בטא . משמעות הדבר היא שהוא כבר לא מיועד רק לקומץ נבחרים; כל מתכנת יכול כעת להתחיל ליצור חוויות בינה מלאכותית אינטראקטיביות, פרטיות, ומעל הכל, מהירות להפליא, על ידי מינוף ארכיטקטורת Tensor SoC של גוגל כדי לבצע משימות שנראו בעבר בלתי אפשריות לביצוע באופן מקומי.
זרימת עבודה מאוחדת הודות ל- LiteRT
כדי למנוע ממפתחים להיתקע בתצורות מורכבות, גוגל שילבה את Tensor SDK עם LiteRT . מסגרת זו פועלת כשכבת הפשטה, מבטלת את הצורך להתמודד עם SDKs ספציפיים לספק או עם מהדרים מסובכים ומספקת API פשוט ועקבי לפריסת מודלים של למידת מכונה בקצה.
התהליך מחולק בעיקרו לשלושה שלבים עיקריים. הראשון הוא קומפילציית מודלים , שבהם ניתן להמיר את הפרויקטים מבוססי PyTorch או TFLite לקבצים בינאריים ממוטבים באמצעות LiteRT Torch. לאחר מכן מגיע פריסה , באמצעות Play Feature Delivery ו-AI Packs כדי להפיץ ביעילות את הספריות והמודלים שעברו קומפילציה בתוך האפליקציה.
לבסוף, אנו מגיעים לביצוע ההסקה. הודות ל- LiteRT Runtime , תוכלו להריץ את המודל שלכם על ה- TPU עם מספר שורות קוד בלבד. והכי חשוב, המערכת חכמה: אם מסיבה כלשהי ה- TPU אינו זמין, תוכלו להגדיר מנגנוני גיבוי שיעבירו אוטומטית את העומס למעבד או לכרטיס המסך, ויבטיחו שהאפליקציה לעולם לא תיתקע.
גן המודל: קטלוג של אפשרויות
אין צורך להתחיל מאפס, מכיוון ש-Beta SDK כולל גן מודלים מרשים . ספרייה זו מכילה מעל 100 מודלים, הן למידה חשמלית קלאסית והן בינה מלאכותית גנרטורה, כולל גרסאות Gemma 3 1B , כמו גם מספר עצום של מודלים מוכנים מראש שניתן להוריד ישירות מקהילת Hugging Face ב-LiterRT.
אם אתם מחפשים ליצור פונקציות טקסט, מודלים של שפה קטנה כמו Function Gemma מאפשרים לכם לבצע פעולות מקומיות בתוך האפליקציה, בעוד ש-EmbeddingGemma מוסיפה יכולות סמנטיות מתקדמות. בצד הוויזואלי, ערכת פיתוח התוכנה (SDK) מאפשרת לכם ליישם זיהוי אובייקטים ומיפוי עומק , דבר בעל ערך רב עבור יישומי מצלמה שצריכים להגיב לסביבת המשתמש בזמן אמת.
הם לא שכחו גם את האודיו והנגישות. זיהוי דיבור מקצה לקצה אפשרי כעת , מה שמבטיח תמלולים עם השהייה נמוכה במיוחד וכלי תרגום שעובדים במצב לא מקוון, תוך שמירה על פרטיות הנתונים מכיוון ששום דבר לא יוצא מהטלפון.
אופטימיזציה טכנית ותמיכה בחומרה
כדי להפיק את המרב מכך, חיוני לדעת איזו חומרה נתמכת. נכון לעכשיו, המערכת האקולוגית מתמקדת במשפחת Pixel 10 , כולל דגמי Pro, Pro XL ו-Pro Fold, כולם מצוידים ב- Google Tensor G5 SoC . כדי להבטיח שהבינה המלאכותית תפעל בצורה חלקה, גוגל ממליצה להשתמש בדגלי אופטימיזציה ספציפיים במהלך תהליך הבנייה.
לדוגמה, בזרימת Python של LiteRT, נפוץ מאוד להשתמש בדגל `google_tensor_truncation_type="half"` כדי לכוונן את הביצועים ואת ניצול המשאבים. עבור מודלים של שפה גדולה (LLMs), ייצוא דורש פרמטרים מפורטים, כגון הגדרת ` quantization_recipe` והפעלת תמיכה במודלים גדולים דרך מילון התצורה של AOT.
חשוב לציין שלמרות ש-NNAPI היה קיים בעבר, הוא הוצא משימוש מאז אנדרואיד 15. הגישה הנוכחית היא להעביר הכל דרך נציגי LiteRT, כאשר התמיכה ב-Pixel TPU הפכה למרכזית בהחלפת יישומים ישנים יותר והשגת יעילות אנרגטית רבה יותר.
מהפכת ג'מה 4 ובינה מלאכותית רב-מודאלית
בואו נדבר על החדשות האחרונות: הגעתה של Gemma 4 12B . שלא כמו מודלים אחרים שמחברים מקודד תמונה למודל שפה, Gemma 4 מעבד תמונות באופן טבעי. ארכיטקטורה פשוטה זו לא רק מפחיתה את צריכת ה-VRAM אלא גם מאפשרת חשיבה חלקה ועקבית הרבה יותר בין מודלים.
עם חלון הקשר של 256 טוקנים , מודל זה יכול להתמודד עם שיחות ארוכות עם תמונות מרובות מבלי לאבד כיוון. יתר על כן, בהיותו מופץ תחת רישיון Apache 2.0 , הוא גמיש ביותר לשימוש מסחרי והפצה מחדש, ומאפשר לבינה מלאכותית רב-מודאלית לפעול על מחשבים ניידים מודרניים באמצעות כימות של 4 או 8 סיביות.
המטרה של גוגל ברורה: היא רוצה שמפתחים יאמצו את מודלי השקלול הפתוחים שלה כדי לשלוט במערכת האקולוגית. על ידי הפיכת הבינה המלאכותית למקומית וחזקה , היא מפחיתה את התלות בממשקי API חיצוניים ויוצרת קהילה מגובשת סביב חומרת Tensor ותוכנת LiteRT.
מערכת הפיתוח של Pixel עשתה קפיצת מדרגה איכותית על ידי שילוב חומרת Tensor G5 עם הרבגוניות של LiteRT והעוצמה של מודלים כמו Gemma 4. הודות למעבר לגרסת בטא של ערכת הפיתוח (SDK) ולזמינות של קטלוג עצום של מודלים מותאמים מראש, יצירת יישומים המעבדים ראייה, דיבור ושפה באופן פרטי ובמהירות גבוהה היא כעת מציאות נגישה לכל מתכנת.
