- การผสานรวม Tensor ML SDK เข้ากับ LiteRT อย่างสมบูรณ์เพื่อเพิ่มประสิทธิภาพการใช้งานโมเดล AI บนอุปกรณ์ Pixel
- เข้าถึงคลังโมเดลที่มีโมเดลมากกว่า 100 แบบ ซึ่งได้รับการปรับแต่งให้เหมาะสมกับ Google Tensor TPU
- รองรับโมเดลภาษาและภาพแบบมัลติโมดอลขั้นสูงผ่านสถาปัตยกรรม Gemma 4
- ความสามารถในการประมวลผลข้อมูลด้วยความเร็วสูงและรักษาความเป็นส่วนตัวด้วยฮาร์ดแวร์ Tensor G5
หากคุณสนใจการพัฒนาแอปพลิเคชันและปัญญาประดิษฐ์ คุณคงสังเกตเห็นว่าวงการนี้กำลังเปลี่ยนแปลงไป Google ได้ตัดสินใจปลดล็อกศักยภาพของฮาร์ดแวร์ที่ทรงพลังที่สุดของตนด้วยTensor ML SDK ซึ่งเป็นเครื่องมือ พัฒนาที่ช่วยให้นักพัฒนาสามารถใช้หน่วยประมวลผลเทนเซอร์ (TPU) ของอุปกรณ์ Pixel ได้อย่างเต็มที่ ทำให้ AI สามารถทำงานได้โดยตรงบนอุปกรณ์ แทนที่จะพึ่งพาคลาวด์
สิ่งที่น่าตื่นเต้นที่สุดคือ SDK นี้ได้ก้าวพ้นช่วงทดลองและเข้าสู่เวอร์ชันเบต้าแล้ว ซึ่งหมายความว่ามันไม่ได้จำกัดอยู่แค่คนกลุ่มเล็กๆ อีกต่อไป โปรแกรมเมอร์ทุกคนสามารถเริ่มสร้างประสบการณ์ AI แบบโต้ตอบ เป็นส่วนตัว และเหนือสิ่งอื่นใดคือรวดเร็วอย่างเหลือเชื่อได้แล้ว โดยใช้ประโยชน์จากสถาปัตยกรรม Tensor SoC ของ Google เพื่อทำงานที่ก่อนหน้านี้ดูเหมือนจะเป็นไปไม่ได้ที่จะทำได้ในเครื่องคอมพิวเตอร์ส่วนบุคคล
ขั้นตอนการทำงานที่เป็นหนึ่งเดียวด้วย LiteRT
เพื่อป้องกันไม่ให้นักพัฒนาต้องเสียเวลาไปกับการตั้งค่าที่ซับซ้อน Google ได้ผสานรวม Tensor SDK เข้ากับLiteRTเฟรมเวิร์กนี้ทำหน้าที่เป็นเลเยอร์นามธรรม ช่วยลดความจำเป็นในการจัดการกับ SDK เฉพาะของผู้จำหน่ายหรือคอมไพเลอร์ที่ซับซ้อน และมอบ API ที่เรียบง่ายและสม่ำเสมอสำหรับการปรับใช้โมเดลแมชชีนเลิร์นนิงที่อุปกรณ์ปลายทาง
กระบวนการนี้โดยพื้นฐานแล้วแบ่งออกเป็นสามขั้นตอนหลัก ขั้นแรกคือการคอมไพล์โมเดลซึ่งคุณสามารถแปลง โปรเจ็กต์ ที่ใช้ PyTorch หรือ TFLiteให้เป็นไบนารีที่ได้รับการปรับแต่งให้เหมาะสมโดยใช้ LiteRT Torch ขั้นต่อไปคือการปรับใช้งานโดยใช้ Play Feature Delivery และ AI Packs เพื่อกระจายไลบรารีและโมเดลที่คอมไพล์แล้วภายในแอปพลิเคชันอย่างมีประสิทธิภาพ
สุดท้ายนี้ เรามาถึงขั้นตอนการประมวลผลการอนุมานแล้ว ด้วยLiteRT Runtimeคุณสามารถเรียกใช้โมเดลของคุณบน TPU ได้ด้วยโค้ดเพียงไม่กี่บรรทัด ที่สำคัญที่สุดคือ ระบบมีความฉลาด: หาก TPU ไม่สามารถใช้งานได้ด้วยเหตุผลใดก็ตาม คุณสามารถกำหนดค่ากลไกการสำรองข้อมูลเพื่อถ่ายโอนภาระไปยัง CPU หรือ GPU โดยอัตโนมัติ ทำให้มั่นใจได้ว่าแอปจะไม่ค้าง
สวนต้นแบบ: แคตตาล็อกแห่งความเป็นไปได้
ไม่จำเป็นต้องเริ่มต้นใหม่ทั้งหมด เพราะ Beta SDK มีคลังโมเดล ที่น่าประทับใจอยู่ แล้ว คลังนี้ประกอบด้วยโมเดลมากกว่า 100 แบบ ทั้งแบบ ML คลาสสิกและ AI แบบสร้างภาพ รวมถึง เวอร์ชัน Gemma 3 1Bตลอดจนโมเดลสำเร็จรูปจำนวนมากที่คุณสามารถดาวน์โหลดได้โดยตรงจากชุมชน Hugging Face บน LiteRT
หากคุณต้องการสร้างฟังก์ชันข้อความ โมเดลภาษาขนาดเล็กอย่างFunction Gemmaจะช่วยให้คุณสามารถเรียกใช้การกระทำเฉพาะที่ภายในแอปได้ ในขณะที่ EmbeddingGemma เพิ่มความสามารถด้านความหมายขั้นสูง ในด้านภาพ SDK ช่วยให้คุณสามารถใช้งานการตรวจจับวัตถุและการสร้างแผนที่ความลึกซึ่งมีค่าอย่างยิ่งสำหรับแอปพลิเคชันกล้องที่ต้องการตอบสนองต่อสภาพแวดล้อมของผู้ใช้แบบเรียลไท ม์
พวกเขายังไม่ลืมเรื่องเสียงและการเข้าถึงสำหรับผู้พิการด้วยเช่นกัน ปัจจุบัน ระบบรู้จำเสียงพูดแบบครบวงจร (End-to-end speech recognition) สามารถใช้งานได้ แล้ว รับประกันการถอดเสียงด้วยความหน่วงต่ำมาก และเครื่องมือแปลภาษาที่ใช้งานได้แบบออฟไลน์ ช่วยรักษาความเป็นส่วนตัวของข้อมูล เนื่องจากไม่มีข้อมูลใดออกจากโทรศัพท์
การเพิ่มประสิทธิภาพทางเทคนิคและการสนับสนุนฮาร์ดแวร์
เพื่อให้ได้ประโยชน์สูงสุด จำเป็นต้องทราบว่าฮาร์ดแวร์ใดบ้างที่รองรับ ปัจจุบัน ระบบนิเวศนี้เน้นไปที่ ตระกูล Pixel 10รวมถึงรุ่น Pro, Pro XL และ Pro Fold ซึ่งทั้งหมดติดตั้งชิปGoogle Tensor G5 SoC เพื่อให้ AI ทำงานได้อย่างราบรื่น Google แนะนำให้ใช้แฟล็กการเพิ่มประสิทธิภาพเฉพาะระหว่างกระบวนการสร้าง
ตัวอย่างเช่น ในขั้นตอนการทำงานของ LiteRT Python เป็นเรื่องปกติที่จะใช้ แฟล็ก `google_tensor_truncation_type="half"`เพื่อปรับแต่งประสิทธิภาพและการใช้ทรัพยากร สำหรับโมเดลภาษาขนาดใหญ่ (LLM) การส่งออกต้องใช้พารามิเตอร์โดยละเอียด เช่น การกำหนดค่า ` quantization_recipe`และการเปิดใช้งานการสนับสนุนโมเดลขนาดใหญ่ผ่านพจนานุกรมการกำหนดค่า AOT
สิ่งสำคัญที่ควรกล่าวถึงคือ แม้ว่า NNAPI จะเคยมีมาก่อน แต่ก็ถูกยกเลิกการใช้งานไปแล้วตั้งแต่Android 15 แนวทางปัจจุบันคือการส่งผ่านทุกอย่างผ่านตัวแทน LiteRT ซึ่งการสนับสนุน Pixel TPU กลายเป็นหัวใจสำคัญในการทดแทน การใช้งานแบบเก่าและเพิ่มประสิทธิภาพการใช้พลังงาน
การปฏิวัติ Gemma 4 และ AI แบบมัลติโมดอล
มาพูดถึงเรื่องล่าสุดกันดีกว่า นั่นคือการมาถึงของGemma 4 12Bแตกต่างจากรุ่นอื่นๆ ที่เชื่อมต่อตัวเข้ารหัสภาพเข้ากับโมเดลภาษา Gemma 4 ประมวลผลภาพโดยตรง สถาปัตยกรรมที่เรียบง่ายนี้ไม่เพียงแต่ช่วยลดการใช้ VRAM เท่านั้น แต่ยังช่วยให้การให้เหตุผลข้ามโมดอลราบรื่น และสม่ำเสมอยิ่งขึ้นอีกด้วย
ด้วยหน้าต่างบริบทขนาด256 โทเค็นโมเดลนี้สามารถจัดการบทสนทนาที่ยาวนานพร้อมรูปภาพหลายภาพได้โดยไม่เสียการติดตาม นอกจากนี้ การเผยแพร่ภายใต้ ใบอนุญาต Apache 2.0ทำให้มีความยืดหยุ่นสูงสำหรับการใช้งานเชิงพาณิชย์และการแจกจ่ายซ้ำ ช่วยให้ AI แบบมัลติโมดอลทำงานบนแล็ปท็อปรุ่นใหม่โดยใช้การควอนไทเซชัน 4 หรือ 8 บิตได้
เป้าหมายของ Google ชัดเจน: ต้องการให้นักพัฒนาใช้โมเดลการถ่วงน้ำหนักแบบเปิดของตนเพื่อครองตลาดระบบนิเวศ ด้วยการทำให้ AI มีประสิทธิภาพและใช้งานได้ในพื้นที่ช่วยลดการพึ่งพา API ภายนอก และสร้างชุมชนที่เหนียวแน่นรอบฮาร์ดแวร์ Tensor และซอฟต์แวร์ LiteRT
ระบบนิเวศการพัฒนา Pixel ได้ก้าวไปอีกขั้นอย่างก้าวกระโดดด้วยการผสาน ฮาร์ดแวร์ Tensor G5เข้ากับความอเนกประสงค์ของ LiteRT และพลังของโมเดลต่างๆ เช่น Gemma 4 ด้วยการเปลี่ยนไปใช้ SDK เวอร์ชันเบต้าและการมีแคตตาล็อกโมเดลที่ปรับแต่งไว้ล่วงหน้าจำนวนมาก ทำให้การสร้างแอปพลิเคชันที่ประมวลผลภาพ เสียง และภาษาได้อย่างเป็นส่วนตัวและรวดเร็วเป็นพิเศษ กลายเป็นความจริงที่เข้าถึงได้สำหรับโปรแกรมเมอร์ทุกคนแล้ว
