ปัญญาประดิษฐ์และการทำงานอัตโนมัติในระดับท้องถิ่น: ตัวแทน ระบบรักษาความปลอดภัย และกรณีศึกษาในโลกแห่งความเป็นจริง

อินฟอร์เมเทค ดิจิตอล » Recursos » ปัญญาประดิษฐ์และการทำงานอัตโนมัติในระดับท้องถิ่น: ตัวแทน ระบบรักษาความปลอดภัย และกรณีศึกษาในโลกแห่งความเป็นจริง

La ระบบอัตโนมัติด้วย AI ในท้องถิ่น ปัจจุบัน เทคโนโลยีนี้ไม่ได้จำกัดอยู่แค่กลุ่มผู้ที่ชื่นชอบเทคโนโลยีและมีเซิร์ฟเวอร์ที่บ้านอีกต่อไป แต่กำลังกลายเป็นตัวเลือกที่แท้จริงสำหรับทุกคนที่ต้องการการควบคุม ความเป็นส่วนตัว และความยืดหยุ่นที่มากขึ้น ทุกวันนี้ คุณไม่จำเป็นต้องพึ่งพาระบบคลาวด์ของบริษัทขนาดใหญ่เพียงอย่างเดียวอีกต่อไป เพื่อให้มีเอเจนต์ที่สามารถอ่านหน้าจอ ควบคุมเมาส์ ทำงานกับไฟล์ หรือรันเวิร์กโฟลว์ที่ซับซ้อนในเบื้องหลังได้

สถานการณ์ได้บานปลายขึ้น: จาก โซลูชันแบบครบวงจร เช่น NemoClaw ของ NVIDIA ตั้งแต่เอเจนต์อัตโนมัติที่ทำงานบนฮาร์ดแวร์ของคุณเอง ไปจนถึงแอปมือถืออย่าง PocketBot ที่แปลงภาษาธรรมชาติให้เป็นระบบอัตโนมัติทางโทรศัพท์ และรวมถึงแพลตฟอร์มแบบเปิดอย่าง OpenClaw ผู้ช่วยอย่าง Jan AI และคู่มือเชิงปฏิบัติสำหรับการตั้งค่า "ChatGPT แบบทำเอง" ของคุณด้วย Ollama และ Open WebUI เป้าหมายก็คือการสร้างระบบนิเวศที่ AI อาศัยอยู่บนคอมพิวเตอร์ของคุณ โต้ตอบกับโปรแกรมของคุณ และทำให้งานประจำวันของคุณเป็นไปโดยอัตโนมัติโดยไม่ต้องนำข้อมูลของคุณออกจากระบบ

ระบบอัตโนมัติด้วย AI ในระดับท้องถิ่นคืออะไร และทำไมจึงมีความสำคัญ?

เมื่อเราพูดถึง AI ระดับท้องถิ่นสำหรับการทำงานอัตโนมัติเรากำลังพูดถึงโมเดลและเอเจนต์ที่ทำงานบนอุปกรณ์ของคุณเอง (พีซี เซิร์ฟเวอร์ DGX มือถือ) โดยไม่ต้องส่งข้อมูลสำคัญไปยังเซิร์ฟเวอร์ภายนอก โมเดลจะทำการตัดสินใจ ดำเนินการตามโค้ด อ่านไฟล์ เรียกใช้ API และประสานงานกับเครื่องมือต่างๆ แต่ทุกอย่างจะเกิดขึ้นภายในสภาพแวดล้อมที่คุณควบคุมได้

วิวัฒนาการนั้นน่าทึ่งมาก: จากแชทบอทแบบง่ายๆ ที่ตอบคำถามเท่านั้น เราได้ก้าวไปสู่ระดับที่สูงขึ้นแล้ว เอージェนต์ AI ที่สามารถดำเนินการตามลำดับงานได้เพื่อประสานขั้นตอนต่างๆ ปรึกษาแหล่งข้อมูลที่แตกต่างกัน และตัดสินใจอย่างอิสระ สิ่งนี้ได้เปลี่ยนความเข้าใจของเราเกี่ยวกับระบบอัตโนมัติไปอย่างสิ้นเชิง: โมเดลไม่ได้เป็นเพียง "ผู้ตอบคำถาม" อีกต่อไป แต่เป็น "ผู้ลงมือทำ"

การเปลี่ยนแปลงนี้ส่งผลให้เกิดผลลัพธ์ที่เห็นได้ชัดอย่างหนึ่งคือ: ความเป็นอิสระที่มากขึ้นย่อมหมายถึงความเสี่ยงที่มากขึ้นหากคุณอนุญาตให้เอเจนต์เข้าถึงระบบไฟล์ ข้อมูลประจำตัว เบราว์เซอร์ หรือเครื่องมือพัฒนาของคุณ คุณจำเป็นต้องมีการออกแบบระบบรักษาความปลอดภัยที่แข็งแกร่ง นี่คือจุดที่วิธีการแบบโลคอลโดดเด่น เพราะคุณสามารถจำกัดสิทธิ์ แยกกระบวนการ และตรวจสอบการทำงานของโมเดลได้อย่างใกล้ชิดในทุกช่วงเวลา

นอกจากนี้ โมเดลแบบเปิดที่มีใบอนุญาตเสรี เช่น Apache-2.0 หรือ MIT (เช่นเดียวกับโซลูชันอื่นๆ จาก Falcon, Bark, Jan เป็นต้น) โซลูชันเหล่านี้ช่วยให้คุณสร้างโซลูชันได้โดยไม่ต้องผูกมัดกับสัญญาหรือนโยบายการใช้งานที่ไม่โปร่งใส คุณสามารถตรวจสอบโค้ด ปรับแต่งโมเดล ปรับแต่งอย่างละเอียด และแม้กระทั่งผสานรวมเข้ากับฮาร์ดแวร์เฉพาะ เช่น GPU A100 หรือเวิร์กสเตชัน NVIDIA DGX ได้

สำหรับหลายภาคส่วน (เช่น การดูแลสุขภาพ การธนาคาร กฎหมาย การบริหารราชการ) ที่ซึ่ง ความเป็นส่วนตัวและการจัดเก็บข้อมูลที่ปลอดภัย การรวมกันของสิ่งศักดิ์สิทธิ์นี้เรียกว่า... AI ระดับท้องถิ่น + ตัวแทนอัตโนมัติ + โมเดลแบบเปิด มันสร้างความแตกต่าง: คุณใช้ระบบอัตโนมัติ แต่ข้อมูลยังคงอยู่ภายในขอบเขตของคุณ

ชุดเครื่องมือ AI สำหรับระบบอัตโนมัติขั้นสูงในระดับท้องถิ่น: NemoClaw, OpenShell และ OpenClaw

NVIDIA ได้เข้ามาร่วมในตลาดนี้อย่างแข็งแกร่งด้วย เนโมคลอว์เป็นชุดซอฟต์แวร์โอเพนซอร์สที่ออกแบบมาเพื่อติดตั้งใช้งานเอเจนต์อัตโนมัติในพื้นที่อย่างปลอดภัยและรับประกันว่าเอเจนต์เหล่านั้นพร้อมใช้งานอยู่เสมอ ได้รับการออกแบบให้ทำงานบนเครื่องที่มีประสิทธิภาพสูง เช่น NVIDIA DGX Spark แต่หลักการพื้นฐานสามารถนำไปใช้กับสภาพแวดล้อมที่ได้รับการรับรองอื่นๆ ได้เช่นกัน

เนโมคลอว์ทำหน้าที่เป็น capa de orquestación: ติดตั้งและประสานงาน OpenShell (รันไทม์ด้านความปลอดภัย) และ OpenClaw (เฟรมเวิร์กเอเจนต์แบบหลายช่องทาง) กำหนดค่าการอนุมานโมเดล (ผ่าน Ollama หรือ NVIDIA NIM) และใช้มาตรการรักษาความปลอดภัยตั้งแต่เริ่มต้น ไม่ใช่เป็นการแก้ไขในนาทีสุดท้าย

โดยปกติแล้ว ใจกลางของสแต็กคือ NVIDIA Nemotron 3 Super 120Bโมเดลที่มีพารามิเตอร์ 120.000 พันล้านตัว ซึ่งได้รับการปรับแต่งมาสำหรับเอเจนต์โดยเฉพาะ มีความสามารถในการปฏิบัติตามคำสั่งที่ซับซ้อน การจัดการเครื่องมือ และการให้เหตุผลแบบหลายขั้นตอนได้อย่างดีเยี่ยม อย่างไรก็ตาม ในการใช้งานโมเดลขนาดใหญ่เช่นนี้ คุณจำเป็นต้องใช้ GPU ที่มีประสิทธิภาพสูงและหน่วยความจำจำนวนมาก โดยมีการระบุว่าต้องการหน่วยความจำประมาณ 87 GB สำหรับตัวโมเดลเพียงอย่างเดียว

โดยปกติแล้ว การอนุมานจะมาพร้อมกับ Ollama เป็นรันไทม์ท้องถิ่นซึ่งเปิดเผย REST API บนตัวเครื่องเอง NemoClaw สื่อสารกับ API นี้เพื่อส่งคำสั่ง รับการตอบกลับ และประสานงานการเรียกใช้เครื่องมือโดยใช้รูปแบบการเรียกใช้เครื่องมือ

ส่วนประกอบ OpenShell เป็นกุญแจสำคัญในด้านความปลอดภัยมันบังคับใช้การจำกัดสิทธิ์การเข้าถึง ควบคุมข้อมูลประจำตัว ทำหน้าที่เป็นพร็อกซีเครือข่าย และใช้หลักการให้สิทธิ์ขั้นต่ำสุด มันตรวจสอบการเชื่อมต่อที่เอเจนต์พยายาม และอนุญาตให้คุณอนุมัติหรือบล็อกปลายทางจากอินเทอร์เฟซที่คล้ายกับ TUI ด้วยวิธีนี้ หากโมเดลพยายามเข้าถึงบริการใหม่ จะไม่มีอะไรเกิดขึ้นหากไม่ได้รับการอนุมัติจากคุณ

ภายในกระบะทรายนั้นมีชีวิตอยู่ OpenClaw คือเลเยอร์เอเจนต์แบบหลายช่องทางมันทำหน้าที่จัดการการสื่อสารกับแพลตฟอร์มต่างๆ เช่น Telegram, Slack และ Discord จัดการหน่วยความจำของเอเจนต์ เชื่อมต่อเครื่องมือต่างๆ (สคริปต์, API, เบราว์เซอร์) และรักษาการสนทนาในระยะยาว หากคุณต้องการผู้ช่วยที่พร้อมใช้งานตลอดเวลา เข้าถึงได้ผ่านการส่งข้อความ และมีหน่วยความจำที่คงอยู่ นี่คือส่วนประกอบที่จะทำให้สิ่งนั้นเป็นไปได้

ขั้นตอนการรักษาความปลอดภัย การจำลองสภาพแวดล้อม และการปรับใช้ในพื้นที่ทีละขั้นตอน

จุดแข็งที่สำคัญอย่างหนึ่งของชุดซอฟต์แวร์นี้คือ มีการคำนึงถึงความปลอดภัยตั้งแต่ขั้นตอนการออกแบบไม่ใช่สิ่งที่เพิ่มเข้ามาภายหลัง ข้อผิดพลาดทั่วไปในโครงการเอเจนต์คือการสร้างฟังก์ชันการทำงานทั้งหมดก่อน แล้วจึงพยายาม "ปกป้อง" สิ่งที่สร้างไปแล้ว ซึ่งทำให้เกิดช่องโหว่ขึ้นทุกที่

กลไกหลักคือ การจำกัดขอบเขตการดำเนินการโค้ดทั้งหมดที่เอเจนต์ต้องการเรียกใช้จะทำงานภายในสภาพแวดล้อมที่แยกต่างหาก: มันไม่สามารถเข้าถึงระบบไฟล์ของโฮสต์ได้โดยตรง ไม่สามารถทำการเรียกใช้เครือข่ายตามอำเภอใจ และไม่สามารถยกระดับสิทธิ์เกินกว่าที่กำหนดไว้ในการกำหนดค่าได้

สิ่งนี้ช่วยลดผลกระทบของลงได้อย่างมาก การโจมตีแบบฉีดทันที หรือคำสั่งที่เป็นอันตราย หากโมเดลตัดสินใจทำสิ่งผิดปกติ ความเสียหายจะจำกัดอยู่ภายในแซนด์บ็อกซ์เท่านั้น ถึงกระนั้น NVIDIA เองก็ยอมรับว่าไม่มีแซนด์บ็อกซ์ใดสมบูรณ์แบบ ดังนั้นพวกเขาจึงแนะนำให้ทดสอบเครื่องมือใหม่บนระบบที่แยกต่างหากเสมอ

นอกจากนี้ NemoClaw ยังติดตั้งอุปกรณ์ต่างๆ อีกด้วย การควบคุมเครื่องมือและนโยบายอย่างละเอียดแบบเรียลไทม์โดยค่าเริ่มต้น เอเจนต์สามารถสื่อสารกับปลายทางเครือข่ายได้เพียงจำนวนจำกัดเท่านั้น เมื่อเอเจนต์พยายามทำสิ่งใหม่ OpenShell จะบล็อกการกระทำนั้น และคุณสามารถดูได้อย่างชัดเจนว่ามันพยายามทำอะไร (โฮสต์ พอร์ต กระบวนการ) จากนั้นคุณสามารถอนุมัติการกระทำนั้นสำหรับเซสชันนั้น หรือเพิ่มนโยบายถาวรบนโฮสต์ได้

โดยทั่วไปแล้ว ขั้นตอนการติดตั้งใช้งานใน DGX Spark จะมีดังต่อไปนี้: การกำหนดค่า Ubuntu 24.04 LTS พร้อมไดรเวอร์ NVIDIA ตามมาด้วย คู่มือการประกอบคอมพิวเตอร์ติดตั้ง Docker เวอร์ชัน 28.xo หรือสูงกว่า พร้อมรันไทม์ GPU ติดตั้ง Ollama และดาวน์โหลดโมเดล Nemotron 3 Super 120B จากนั้นเริ่มการติดตั้ง NemoClaw ด้วยคำสั่งเดียวที่จะเรียกใช้ตัวช่วยสร้างการกำหนดค่า

คู่มือการเริ่มต้นใช้งานนี้จะแนะนำคุณไปทีละขั้นตอน ชื่อแซนด์บ็อกซ์, ผู้ให้บริการการอนุมาน, โมเดลที่เลือก, การตั้งค่าความปลอดภัยล่วงหน้า และหากต้องการ คุณสามารถเชื่อมต่อกับ Telegram ได้ ระยะเวลาในการตั้งค่าโดยประมาณอยู่ที่ 20-30 นาที บวกกับอีก 15-30 นาทีสำหรับการดาวน์โหลดเทมเพลต ขึ้นอยู่กับแบนด์วิดท์

ในแง่ของประสิทธิภาพ เราต้องยอมรับความจริง: การตอบสนองด้วยโมเดลที่มีพารามิเตอร์ 120 พันล้านตัว อาจใช้เวลาตั้งแต่... 30 และ 90 วินาที ในบริบทท้องถิ่นนั้น ไม่ใช่ปัญหาในตัวมันเอง แต่จำเป็นต้องนำมาพิจารณาเมื่อออกแบบขั้นตอนการใช้งานและประเภทของงานที่มอบหมายให้กับเจ้าหน้าที่

การเข้าถึงระยะไกล อินเทอร์เฟซเว็บ และฮาร์ดแวร์ที่ออกแบบมาสำหรับ AI ในพื้นที่

เมื่อตั้งค่าทุกอย่างเสร็จเรียบร้อยแล้ว คุณสามารถติดต่อสื่อสารกับเจ้าหน้าที่ได้หลายวิธี วิธีที่พบได้บ่อยที่สุดคือ ผ่านทาง Telegramการใช้บอทที่สร้างด้วย @BotFather เป็นทางเลือกที่ใช้งานได้จริง: API ที่แข็งแกร่ง การเข้ารหัส แอปพลิเคชันสำหรับอุปกรณ์ทุกประเภท และไม่จำเป็นต้องเปิดเผยพอร์ตเซิร์ฟเวอร์ของคุณสู่ภายนอก

บอทจะรับข้อความของคุณ ส่งต่อไปยังเอเจนต์บน DGX และส่งข้อความตอบกลับมาหาคุณ สิ่งที่น่าสนใจคือ แม้ว่าการสนทนาจะผ่านโครงสร้างพื้นฐานของ Telegram ก็ตาม การอนุมานและการเข้าถึงข้อมูลที่ละเอียดอ่อนยังคงดำเนินการในระดับท้องถิ่น 100% บนเครื่องของคุณ

นอกจากนี้ NemoClaw ยังมีบริการอื่นๆ อีกด้วย อินเทอร์เฟซเว็บส่วนตัว สามารถเข้าถึงได้ผ่าน URL ที่สร้างด้วยโทเค็น ซึ่งจะสร้างขึ้นเพียงครั้งเดียวเมื่อสิ้นสุดกระบวนการเริ่มต้นใช้งาน สิ่งสำคัญคือต้องบันทึก URL นี้ทันที เนื่องจากจะไม่แสดงอีก หากต้องการดูจากเครื่องอื่นในเครือข่าย คุณต้องกำหนดค่าอุโมงค์ SSH และการส่งต่อพอร์ตโดยใช้ OpenShell

รายละเอียดเล็กๆ แต่สำคัญอย่างหนึ่งคือ URL นั้นจะต้องเปิดด้วย 127.0.0.1 แทนที่จะเป็น localhostการใช้ localhost อาจทำให้เกิดข้อผิดพลาดเกี่ยวกับแหล่งกำเนิดที่ไม่ได้รับอนุญาต (CORS) ซึ่งอาจทำให้เสียเวลาหากคุณไม่ระวัง

สำหรับการดำเนินงานประจำวันมีอยู่หลายประการ คำสั่ง CLI ที่มีประโยชน์: เปิดเชลล์ภายในแซนด์บ็อกซ์ ดูสถานะ ติดตามบันทึกแบบเรียลไทม์ แสดงรายการแซนด์บ็อกซ์ เริ่มหรือหยุดการเชื่อมต่อ Telegram เปิดใช้งานการส่งต่อพอร์ต หรือเรียกใช้สคริปต์ถอนการติดตั้งแบบสะอาดที่ลบสแต็กทั้งหมด

สำหรับฮาร์ดแวร์นั้น NVIDIA DGX Spark เห็นได้ชัดว่ามันถูกออกแบบมาเพื่อใช้งานในกรณีเหล่านี้โดยเฉพาะ เป็นระบบขนาดกะทัดรัดที่มี GPU ของ NVIDIA และหน่วยความจำแบบรวมที่มีแบนด์วิดท์สูง เหมาะอย่างยิ่งสำหรับการประมวลผลโมเดลขนาดกลางและขนาดใหญ่ด้วยความหน่วงต่ำ โดยไม่ต้องตั้งค่าศูนย์ข้อมูลขนาดใหญ่

La หน่วยความจำแบบครบวงจร โดยเฉพาะอย่างยิ่ง มันช่วยแก้ปัญหาคอขวดคลาสสิกอย่างหนึ่งได้ นั่นคือ การย้ายข้อมูลระหว่าง CPU และ GPU การใช้พื้นที่หน่วยความจำร่วมกันทำให้โมเดลเข้าถึงข้อมูลได้อย่างมีประสิทธิภาพมากขึ้น ส่งผลให้สามารถโหลดโมเดลที่มีพารามิเตอร์หลายหมื่นล้านตัวได้ในเวลา (เกือบ) เรียลไทม์ ซึ่งเป็นสิ่งที่คิดไม่ถึงมาก่อนในฮาร์ดแวร์สำหรับผู้บริโภค

ตัวแทน AI ท้องถิ่นยอดนิยม: ตัวอย่างและกรณีการใช้งาน

นอกเหนือจากระบบนิเวศของ NVIDIA แล้ว ยังมีอีกมากมาย เอージェนต์ AI และแพลตฟอร์มที่เน้นการทำงานอัตโนมัติในทีมของคุณเอง ซึ่งล้วนเป็นสิ่งที่ควรค่าแก่การทราบ แต่ละแอปพลิเคชันมุ่งเป้าไปที่ผู้ใช้ประเภทต่างๆ และชุดงานที่แตกต่างกัน

ตัวอย่างเช่น OpenClaw ได้รับความนิยมอย่างมากเนื่องจาก แพลตฟอร์มเอเจนต์โอเพนซอร์ส ซึ่งทำหน้าที่เสมือนผู้ช่วยส่วนตัว ช่วยให้คุณสร้างเอเจนต์แบบกำหนดเองเพื่อทำความสะอาดกล่องจดหมาย ส่งข้อความ จัดการปฏิทิน จัดการการเดินทาง หรือทำให้งานที่ซ้ำซากจำเจในชีวิตดิจิทัลของคุณเป็นไปโดยอัตโนมัติ

สามารถติดตั้งได้ใน Windows, macOS และ Linuxนอกจากนี้ ยังได้รับการออกแบบให้ทำงานร่วมกับโมเดล LLM ในพื้นที่ ซึ่งช่วยเพิ่มความเป็นส่วนตัวและลดการพึ่งพาระบบคลาวด์ ยิ่งไปกว่านั้น ยังสามารถผสานรวมกับแอปพลิเคชันส่งข้อความต่างๆ เช่น WhatsApp, Telegram, Discord, Slack, Signal และ Apple Messages ทำให้เอเจนต์ของคุณทำงาน "เบื้องหลัง" การแชทที่คุณใช้งานอยู่แล้ว

ผ่านปลั๊กอิน คุณสามารถให้สิทธิ์การเข้าถึงเบราว์เซอร์ เครือข่ายสังคมออนไลน์ โปรแกรมอีเมล และแอปพลิเคชันอื่นๆ รวมถึงอนุญาตให้ใช้งานได้ โต้ตอบกับระบบไฟล์ เรียกใช้คำสั่งและสคริปต์หรือทำการอัตโนมัติงานสำนักงานและงานเพิ่มประสิทธิภาพการทำงานทั่วไปทั้งหมด โดยเน้นที่การให้ผู้ใช้เลือกโฟลเดอร์ แอป และบริการต่างๆ ที่ตัวแทนสามารถใช้งานได้

ในระบบนิเวศโดยทั่วไปนั้น แพลตฟอร์มต่างๆ เช่น คอมพิวเตอร์ที่สับสนฟังก์ชันนี้เปลี่ยน Perplexity จากเครื่องมือค้นหาแบบสนทนาธรรมดาให้กลายเป็นผู้ช่วยที่สามารถดำเนินการเวิร์กโฟลว์ที่ซับซ้อนได้ โหมดคอมพิวเตอร์นี้ช่วยให้คุณสามารถท่องเว็บ สร้างและจัดการเอกสาร เขียนโค้ด ประมวลผลข้อมูล และประสานงานกับบริการต่างๆ เช่น Gmail, Slack, GitHub และ Notion ได้

จุดเด่นของมันอยู่ที่การใช้ประโยชน์จากโมเดลต่างๆ เช่น Claude, GPT, Gemini หรือ Sonar ของ Perplexity เอง เพื่อจัดการข้อมูลปริมาณมากและแบ่งงานที่ซับซ้อนออกเป็นงานย่อยๆ ที่สามารถดำเนินการได้ทั้งแบบเรียงลำดับหรือแบบขนาน แม้ว่าจะไม่ได้ทำงานบนเครื่องโลคอลทั้งหมดเสมอไป แต่รูปแบบเอเจนต์และการบูรณาการกับเครื่องมือต่างๆ นั้นคล้ายคลึงกับเอเจนต์ที่ทำงานบนเครื่องของคุณมาก

ในขอบเขตของโอเพนซอร์สและท้องถิ่นโดยสมบูรณ์ แจน ไอ โปรแกรมนี้ถูกนำเสนอในฐานะโปรแกรมทดแทน ChatGPT ที่สามารถติดตั้งได้บน Windows, Mac และ Linux ช่วยให้คุณสามารถใช้โมเดลในพื้นที่ เช่น Llama (Meta) หรือ Gemma (Google) หรือเชื่อมต่อกับโมเดลออนไลน์ เช่น ChatGPT, Claude, Gemini, Mistral, Qwen หรือ DeepSeek หากคุณสนใจการผสมผสานระหว่างทั้งสองแบบ

Jan AI ทำงานได้ทั้งสองแบบ ผู้ช่วยสนทนาแบบคลาสสิก (ถาม, ร่าง, สรุป, แปล, เขียนใหม่, อธิบาย) ในฐานะเอเจนต์ที่สามารถประมวลผลไฟล์และเอกสาร ดำเนินการคำสั่ง และสร้างโค้ดในภาษาต่างๆ ได้ นอกจากนี้ การเน้นการปรับแต่งทำให้ง่ายต่อการสร้างเอเจนต์ของคุณเองด้วยคำสั่งเฉพาะ และสลับไปมาระหว่าง "โปรไฟล์" ต่างๆ ขึ้นอยู่กับสิ่งที่คุณกำลังทำ

เอเจนต์บนอุปกรณ์: PocketBot และระบบอัตโนมัติบนมือถือ

แนวคิดของ AI ในเครื่องไม่ได้อยู่บนพีซีตลอดเวลานอกจากนี้ยังส่งผลกระทบอย่างมากต่อโทรศัพท์มือถือ โดยมีโครงการต่างๆ เลือกใช้โมเดลขนาดเล็กแต่มีความเชี่ยวชาญเฉพาะด้านมากขึ้นเรื่อยๆ เพื่อควบคุมการทำงานของโทรศัพท์โดยอัตโนมัติโดยไม่ต้องผ่านระบบคลาวด์

ตัวอย่างที่ชัดเจนคือ PocketBot ซึ่งเป็นเอเจนต์ที่ทำงานโดยตรงบน iPhone ที่ใช้ flame.cpp บน Metalภารกิจของมันคือการแปลงภาษาธรรมชาติให้เป็นระบบอัตโนมัติทางโทรศัพท์: แทนที่จะต้องแตะผ่านเมนูหรือทางลัดมากมาย คุณเพียงแค่บรรยายสิ่งที่คุณต้องการ แล้วระบบจะจัดการแปลงเป็นคำสั่งให้คุณเอง

PocketBot ใช้โมเดลแบบควอนไทซ์ของ 3.000 พันล้านพารามิเตอร์ทำงานทั้งหมดในเครื่องโดยไม่ต้องส่งข้อมูลไปยังเซิร์ฟเวอร์ภายนอก หน่วยความจำที่มีให้ใช้งานใน iPhone 15 Pro โดยทั่วไปจะมีพื้นที่ใช้งานได้ 3-4 GB ก่อนที่ iOS จะเริ่มปิดกระบวนการทำงาน ดังนั้นขนาดโมเดลและการกำหนดค่าเชิงปริมาณจึงมีความสำคัญอย่างยิ่ง

หนึ่งในความท้าทายที่ผู้สร้างกล่าวถึงคือการค้นหา โมเดลขนาดเล็กที่เชื่อถือได้สำหรับการเรียกใช้เครื่องมือและผลลัพธ์ที่มีโครงสร้าง ในรูปแบบ JSON ตัวอย่างเช่น เมื่อใช้ Qwen3 พวกเขาพบปัญหาต่างๆ เช่น ชื่อพารามิเตอร์ที่สร้างขึ้นเอง รูปแบบ JSON ผิดเพี้ยน (วงเล็บหายไป) และการไม่สอดคล้องกับโครงสร้าง Schema ทำให้ต้องมีการใช้งานเลเยอร์การแก้ไขตนเองและการลองใหม่

นอกจากนี้ยังมีการถกเถียงกันอย่างมากเกี่ยวกับเรื่องนี้ จุดที่เหมาะสมที่สุดของการหาปริมาณ เพื่อให้ได้อัตราส่วนคุณภาพต่อหน่วยความจำที่ดีที่สุด ควรพิจารณาตัวเลือกต่างๆ เช่น q4_K_M หรือ q5_K_S ขึ้นอยู่กับรุ่นของชิปและหน่วยความจำที่มีอยู่ การลดจำนวนบิตในการกำหนดปริมาณหมายถึงโมเดลที่จัดการได้ง่ายขึ้น แต่ก็อาจส่งผลเสียต่อการประมวลผลและความแม่นยำในการเรียกใช้เครื่องมือได้

อีกด้านหนึ่งคือการปรับตัวของ พารามิเตอร์การสุ่มตัวอย่าง ขึ้นอยู่กับงานนั้นๆ การกำหนดค่าทั่วไปได้แก่ อุณหภูมิ 0,7, top_p 0,8, top_k 20 และ repeat_penalty 1,1 แต่มีความสนใจในการแยกกลยุทธ์การสร้างสำหรับบทสนทนาอิสระกับการเรียกใช้เครื่องมือ ซึ่งต้องการความแน่นอนมากกว่าความคิดสร้างสรรค์

สุดท้ายนี้ บนโทรศัพท์มือถือ การจัดการบริบท กระบวนการนี้มีความละเอียดอ่อนเป็นพิเศษ: โดยปกติแล้วข้อความแจ้งเตือนของระบบจะถูกแคชไว้ในแคช KV เพื่อหลีกเลี่ยงการประมวลผลซ้ำ และมีการใช้หน้าต่างเลื่อนเพื่อหลีกเลี่ยงการใช้พื้นที่เกินความจุ นั่นเป็นเหตุผลว่าทำไมการรู้วิธีใช้งานจึงมีประโยชน์ บันทึกและจัดระเบียบข้อความแจ้งเตือนของคุณ.

นอกจากนั้น ยังมีช่องว่างสำหรับเทคนิคการสรุปแบบค่อยเป็นค่อยไป หน่วยความจำแบบเลือกสรร หรือแผนการแบบผสมผสานที่รวมประวัติที่ถูกบีอัดและบริบทในทันทีเข้าด้วยกัน

ตั้งค่า “ChatGPT ในพื้นที่ของคุณ” ด้วย Ollama และ Open WebUI

สำหรับผู้ที่ไม่ต้องการชุดอุปกรณ์ที่ซับซ้อนเท่า NemoClaw แต่ต้องการ... ผู้ช่วยเสมือนแบบ ChatGPT ที่ทำงานอยู่บนคอมพิวเตอร์ของคุณแนวทางปฏิบัติที่เป็นรูปธรรมซึ่งใช้ Ollama และ Open WebUI ได้รับความนิยมอย่างมาก

แนวคิดนี้เรียบง่าย: โอลามา มีหน้าที่ในการดาวน์โหลดและให้บริการโมเดล (เช่น Llama, Gemma, Qwen เป็นต้น) บนเครื่องของคุณผ่าน API ในเครื่อง และ Open WebUI ก็มีเว็บอินเทอร์เฟซที่คล้ายกับ ChatGPT มาก แต่ทำงานบนเครื่องของคุณทั้งหมด การรับส่งข้อมูลทั้งหมดระหว่าง UI และโมเดลจะผ่านทาง localhost

คู่มือทีละขั้นตอนที่เข้าใจง่ายมาก ๆ จะอธิบายวิธีการโดยละเอียด พร้อมคำแนะนำเพียงเล็กน้อย คำสั่งเทอร์มินัล 15 คำสั่งคุณสามารถติดตั้งและใช้งานระบบนี้ได้ภายในเวลาไม่ถึงหนึ่งชั่วโมง ซึ่งรวมถึงการติดตั้ง Python 3.11 การกำหนดค่าระบบพื้นฐาน การติดตั้ง Ollama และการใช้งาน Open WebUI พร้อมด้วยภาพหน้าจอและเคล็ดลับการแก้ไขปัญหา

ผลลัพธ์ที่ได้คือสภาพแวดล้อมที่คุณจะรู้สึกเพลิดเพลิน สมัครสมาชิกฟรีความเป็นส่วนตัวอย่างสมบูรณ์ (ข้อมูลจะไม่ถูกส่งออกจากคอมพิวเตอร์ของคุณ) เวลาตอบสนองที่รวดเร็ว (ไม่มีคิวเซิร์ฟเวอร์ที่ใช้ร่วมกัน) และอิสระอย่างเต็มที่ในการปรับแต่งผู้ช่วยเฉพาะทางให้เหมาะกับความต้องการของคุณเอง

นอกจากนี้ Open WebUI ยังผสานรวมคุณสมบัติขั้นสูงต่างๆ เช่น การค้นหาเว็บ, ตัวแปลรหัส, การสร้างโมเดลแบบกำหนดเอง ระบบกำลังเตรียมความสามารถ RAG ขั้นสูงเพื่อสร้างฐานความรู้ส่วนบุคคล โดยขึ้นอยู่กับการกำหนดค่าเฉพาะ แนวคิดคือ คุณจะมี "ผู้ช่วย" ที่ได้รับการฝึกฝนมาเป็นอย่างดีและคุ้นเคยกับเอกสารและขั้นตอนการทำงานของคุณโดยไม่ต้องพึ่งพาบุคคลภายนอก

หลังจากใช้งานไปได้ไม่กี่เดือน ผู้ใช้หลายคนรายงานว่าชุดผลิตภัณฑ์นี้ได้เข้ามาแทนที่ [ผลิตภัณฑ์/บริการเดิม] อย่างสมบูรณ์แล้ว การสมัครสมาชิกแบบชำระเงินสำหรับโซลูชันคลาวด์ของพวกเขาพร้อมทั้งปรับปรุงการบูรณาการกับข้อมูลและเครื่องมือในท้องถิ่นของตนเอง ขั้นตอนต่อไปที่เหมาะสมคือการเชื่อมต่อ "ChatGPT ที่สร้างขึ้นเอง" นี้กับเอเจนต์ สคริปต์ และบริการต่างๆ เพื่อประสานงานระบบอัตโนมัติที่ซับซ้อนยิ่งขึ้น

ทำให้ชีวิตดิจิทัลของคุณเป็นระบบอัตโนมัติ: ตัวอย่างการใช้งาน AI ในพื้นที่อย่างเป็นรูปธรรม

ทั้งหมดนี้ฟังดูดีในเชิงเทคนิค แต่ในชีวิตประจำวันคุณจะนำสิ่งเหล่านี้ไปใช้ประโยชน์อะไรได้บ้าง? ตัวแทนท้องถิ่นที่ได้รับการฝึกฝนมาเป็นอย่างดีหากคุณนำโมเดลแบบหลายรูปแบบ การเข้าถึงผ่านหน้าจอ เครื่องมือ และการจัดเก็บข้อมูลแบบมีโครงสร้างมาผสานรวมกัน ความเป็นไปได้ก็จะมีมากมาย

มีข้อเสนอที่ออกแบบมาเพื่อ ทำให้การใช้คอมพิวเตอร์ของคุณเป็นไปโดยอัตโนมัติ โดยมีเอเจนต์ที่รับภาพหน้าจอและดำเนินการตามภาพนั้น ขั้นตอนการทำงานจะเป็นประมาณนี้: ระบบถ่ายภาพหน้าจอ เอเจนต์ประมวลผลด้วยโมเดลที่สามารถทำงานกับรูปภาพได้ เข้าใจว่าแอปพลิเคชันใดเปิดอยู่ มีปุ่มอะไรบ้าง มีข้อความอะไรปรากฏ และจากคำสั่งของคุณ เอเจนต์จะตัดสินใจว่าจะทำอะไรต่อไป

ด้วยแนวคิดนี้ คุณสามารถทำสิ่งต่างๆ ได้มากมาย เช่น... จัดตั้งตัวแทนแปลเฉพาะทางระบบจะจับภาพส่วนของหน้าจอที่คุณต้องการแปล ขยายภาพนั้นในหน้าต่าง "เครื่องมือแปลแบบแว่นขยาย" และสร้างคำแปลได้เกือบจะในทันทีโดยใช้โมเดลขนาดเล็ก (เช่น พารามิเตอร์ 4B) ที่ปรับแต่งมาอย่างละเอียดสำหรับการแปล คล้ายกับ PHI เวอร์ชันที่ปรับแต่งมาเป็นพิเศษ

อีกแง่มุมที่น่าสนใจคือเรื่องของ โมเดลภาพที่แปลงภาพหน้าจอเป็นไฟล์ PDFลองนึกภาพเครื่องมือที่สามารถสร้างไฟล์ PDF ที่จัดรูปแบบอย่างดีจากภาพหน้าจอของงานนำเสนอ แดชบอร์ด หรือเอกสารต่างๆ ซึ่งคุณสามารถนำไปปรับแต่งหรือใช้งานในงานนำเสนอของคุณได้โดยตรง ด้วยการผสานรวม Python เข้ากับ Acrobat คุณสามารถทำให้กระบวนการทั้งหมดเป็นไปโดยอัตโนมัติได้

ในการทำงานกับเว็บโดยไม่ต้องพึ่งพาบริการภายนอก จำเป็นต้องใช้เทคโนโลยีเก่าแก่ เช่น BeautifulSoup ยังคงมีประโยชน์มากคุณสามารถตั้งค่าโปรแกรมดึงข้อมูลขนาดเล็กที่รวบรวมข้อมูลจากหลายหน้าเว็บและเก็บเฉพาะ HTML ที่จำเป็นเท่านั้น (ตัวอย่างเช่น การดึงเฉพาะ HTML ที่จำเป็น)