ข้อกำหนดด้านฮาร์ดแวร์สำหรับการใช้งาน Ollama โดยไม่มีปัญหาติดขัด

อินฟอร์เมเทค ดิจิตอล » Recursos » ข้อกำหนดด้านฮาร์ดแวร์สำหรับการใช้งาน Ollama โดยไม่มีปัญหาติดขัด

หากคุณกำลังพิจารณาที่จะใช้งานโมเดลปัญญาประดิษฐ์บนคอมพิวเตอร์ของคุณเอง คุณจะต้องพบกับ Ollama อย่างแน่นอนไม่ช้าก็เร็ว และนั่นคือจุดที่คำถามสำคัญเกิดขึ้น: ฉันต้องการฮาร์ดแวร์อะไรบ้างเพื่อให้โมเดลทำงานได้อย่างราบรื่นและไม่สะดุด?การที่มันเริ่มต้นทำงานได้นั้นไม่เพียงพอ สิ่งสำคัญคือมันต้องสามารถใช้งานได้อย่างสะดวกสบายในงานประจำวัน และการทำความเข้าใจฮาร์ดแวร์คอมพิวเตอร์ประเภทต่างๆ นั้นเป็นสิ่งจำเป็น

ในบทความนี้ เราจะมาดูรายละเอียดว่า Llama ทำอะไรได้บ้าง โมเดลแต่ละประเภท (7B, 13B, 70B ฯลฯ) ต้องการอะไรบ้าง CPU, GPU, RAM และดิสก์มีผลต่อประสิทธิภาพอย่างไร และการกำหนดค่าแบบใดที่เหมาะสมกับกรณีของคุณไม่ว่าคุณต้องการเพียงแค่โปรแกรมช่วยพิมพ์ข้อความธรรมดา หรือต้องการใช้งานโปรแกรมขนาดใหญ่ เช่น Llama 3 ที่มีพารามิเตอร์หลายหมื่นล้านตัว หรือโมเดลการมองเห็นและ OCR

Ollama คืออะไร และเหตุใดฮาร์ดแวร์จึงสร้างความแตกต่างได้มากขนาดนี้?

Ollama เป็นโปรแกรมไคลเอ็นต์สำหรับโมเดลภาษาที่ช่วยให้คุณสามารถรัน LLMบนเครื่องของคุณเองได้โดยไม่ต้องพึ่งพาคลาวด์ มันใช้เอนจิ้นอย่างllama.cppสำหรับการอนุมาน และห่อหุ้มความซับซ้อนทั้งหมดไว้ในเครื่องมือที่ใช้งานง่าย พร้อมด้วย CLI และ REST API นอกจากนี้ยังช่วยให้คุณเข้าใจแนวคิดของโครงข่ายประสาทเทียมที่อยู่เบื้องหลังโมเดล ได้อีกด้วย

บทบาทของมันคือการเป็น "ศูนย์บัญชาการ" ที่คุณสามารถดาวน์โหลด จัดการ และเรียกใช้โมเดลต่างๆ เช่น Llama 3, Mistral, Gemma, Phi, Qwen, DeepSeek หรือโมเดลแบบมัลติโมดอลอย่าง Llavaข้อดีคือคุณสามารถใช้งานแบบออฟไลน์ได้อย่างสมบูรณ์ เก็บข้อมูลไว้ในระบบภายใน และไม่ต้องจ่ายค่าโทเค็นแต่ละครั้งเหมือนกับการใช้งาน API บนคลาวด์

แม้ว่า Ollama จะมีขนาดเล็กและไม่ต้องการทรัพยากรมาก แต่แบบจำลองที่มันประมวลผลนั้นใช้ทรัพยากรสูงมากแต่ละ LLM ประกอบด้วยพารามิเตอร์หลายล้านหรือหลายพันล้านตัว ซึ่งหมายถึงหน่วยความจำและพื้นที่จัดเก็บข้อมูลขนาดหลายกิกะไบต์ รวมถึงภาระงานหนักต่อ CPU และ GPU (หากมี)

นั่นเป็นเหตุผลว่าทำไม เมื่อใครบางคนพยายามใช้งานโมเดลขนาดใหญ่ (เช่น โมเดลลามะ 70B) บนระบบที่มี CPU ทรงพลัง แต่มี GPU แยกต่างหากและ RAM เพียงพอผลลัพธ์ที่ได้มักจะเป็น "มันทำงานได้" แต่ช้ามากจนแทบใช้งานไม่ได้เลยกุญแจสำคัญคือการปรับสมดุลระหว่าง CPU, GPU, RAM, ฮาร์ดไดรฟ์ และประเภทของโมเดลให้เหมาะสม

ประเภทของโมเดลใน Ollama และผลกระทบต่อข้อกำหนด

ในคลังข้อมูลของ Ollama คุณจะเห็นโมเดลต่างๆ ที่จัดเรียงตามตระกูลและขนาด: 1B, 2B, 4B, 7B, 13B, 30B, 65B, 70B, 405B…ตัวเลขนั้น (B ย่อมาจากพันล้าน) บ่งบอกถึงจำนวนพารามิเตอร์โดยประมาณ และเป็นหนึ่งในปัจจัยสำคัญที่สุดที่กำหนดฮาร์ดแวร์ที่จำเป็น

เราสามารถจัดกลุ่มพวกมันออกเป็นสี่ประเภท หลัก ๆ ซึ่งจะช่วยอย่างมากในการประเมินว่าคุณต้องการเครื่องจักรแบบใดเพื่อให้ใช้งานได้อย่างสะดวกสบายกับแต่ละกลุ่มของรุ่นและการวัดปริมาณ:

• รุ่นมินิ (270M – 4B): ออกแบบมาเพื่อ อุปกรณ์ที่เรียบง่าย (แล็ปท็อปรุ่นธรรมดา หรือแม้แต่โทรศัพท์มือถือหรือมินิพีซีบางรุ่น) ทำงานเร็ว แต่มีความสามารถในการคิดวิเคราะห์น้อยกว่า
• รุ่นเล็ก (4B – 14B): เหมาะสมอย่างยิ่ง แบบจำลอง "ภายในประเทศ" ที่สมดุลเหมาะสำหรับการสนทนาทั่วไป งานในสำนักงาน การช่วยเหลือด้านการเขียนโค้ดเล็กน้อย ฯลฯ
• รุ่นขนาดกลาง (14B – 70B)พวกเขากำลังเล่นอยู่ในลีกที่แตกต่างออกไปแล้ว พวกเขาต้องการฮาร์ดแวร์ที่มีประสิทธิภาพสูงควรมี RAM จำนวนมาก และถ้าเป็นไปได้ ควรมี GPU ที่มี VRAM สูงๆ ด้วย
• รุ่นขนาดใหญ่ (> 70B)พวกมันคือสัตว์ร้ายที่ถูกออกแบบมาเพื่อ... โครงสร้างพื้นฐานที่ร้ายแรงมาก (เช่น การ์ดจอระดับสูง การ์ดจอหลายตัว เซิร์ฟเวอร์เฉพาะ คอมพิวเตอร์ Mac ระดับสูงที่ใช้งานเต็มประสิทธิภาพ เป็นต้น)

นอกจากขนาดแล้วการกำหนดปริมาณ (quantization) ก็มี บทบาทเช่นกัน ใน Ollama คุณจะเห็นคำต่อท้ายเช่นq4_K_M, q5_1, q3_K_S, q8_0, f16เป็นต้น รูปแบบเหล่านี้บ่งบอกถึงระดับการบีบอัดน้ำหนักของโมเดล

• FP16 / FP32 (f16, f32): บีบอัดเพียงเล็กน้อย คุณภาพเยี่ยมแต่เปลืองหน่วยความจำมากการ์ดจอ 7B ในโหมด FP16 สามารถรองรับ VRAM ได้มากกว่า 20 GB
• ไตรมาสที่ 4 (q4_0, q4_K_M…): การควอนไทเซชัน 4 บิต การลดขนาดครั้งใหญ่โดยมีผลกระทบต่อคุณภาพในระดับปานกลางโดยทั่วไปแล้ว จุดเหล่านั้นมักจะเป็นจุดที่ "เหมาะสมที่สุด"
• Q3, Q2 (q3_K_S, q2_K…): การกำหนดปริมาณเชิงรุกที่มากขึ้น ขนาดเล็กมาก แลกกับการสูญเสียความแม่นยำไปเล็กน้อยใช้งานได้ดีกับฮาร์ดแวร์ที่มีข้อจำกัดมาก
• ไตรมาสที่ 5, ไตรมาสที่ 6, ไตรมาสที่ 8: ขั้นตอนระดับกลางระหว่างการบีบอัดที่รุนแรงและ FP16; คุณภาพสูงขึ้น การบริโภคก็มากขึ้น.

ผลที่ตามมาในทางปฏิบัติชัดเจน: โมเดล 7B เดียวกันนี้สามารถใช้พื้นที่ประมาณ 26 GB ในโหมด FP16 หรือประมาณ 4 GB ในโหมด Q4ซึ่งหมายความโดยตรงถึงปริมาณ VRAM ของ GPU ที่คุณต้องการและปริมาณ RAM ที่ต้องรองรับภาระงานนั้น

ข้อกำหนดฮาร์ดแวร์ขั้นต่ำและข้อแนะนำสำหรับการใช้งาน Ollama บนเครือข่ายท้องถิ่น

หากคุณกังวลว่าคอมพิวเตอร์ของคุณจะรองรับ Ollama ได้หรือไม่ คำตอบโดยทั่วไปคือได้ คำถามคือคุณจะใช้รุ่นไหนได้อย่างราบรื่น เราจะมาวิเคราะห์กันทีละส่วนประกอบ ได้แก่ RAM, CPU, GPU และฮาร์ดไดรฟ์ พร้อมคำแนะนำที่สมจริงโดยอิงจากประสบการณ์จริงและเอกสารจากคู่มือเฉพาะทางหลายฉบับ

RAM: ทรัพยากรสำคัญที่สุด

RAM เป็นคอขวดหลักเมื่อพูดถึง LLM ระดับท้องถิ่น โดยทั่วไปแล้ว เราสามารถพิจารณาช่วงต่างๆ ดังนี้:

• 8 GB of RAM: พื้นฐานเชิงปฏิบัติ มันอนุญาตให้ใช้โมเดลขนาดเล็ก (1B, 3B และโมเดล 7B บางรูปแบบที่มีการควอนไทซ์สูง)อย่างไรก็ตาม คุณจะสังเกตเห็นข้อจำกัด โดยเฉพาะอย่างยิ่งหากระบบและเบราว์เซอร์ใช้หน่วยความจำไปมากแล้ว ทุกอย่างอาจทำงานช้าลงและมีอาการกระตุกมากขึ้น
• 16 GB of RAMมาตรฐานที่สมเหตุสมผลในปัจจุบัน เหมาะอย่างยิ่งสำหรับโมเดล 7B และ 13B ที่ถูกควอนไทซ์ในไตรมาสที่ 4โดยเฉพาะอย่างยิ่งถ้าคุณใช้ GPU คุณจะสามารถทำงานกับแชทที่ซับซ้อนได้โดยที่ระบบไม่ทำงานช้าลง
• RAM 32 GB ขึ้นไปแนะนำหากคุณต้องการ รุ่นขนาดกลาง (30B, 40B, 70B) หรือทำสิ่งต่างๆ ที่ซับซ้อนกว่า เช่น บริบทที่ยาวมาก โมเดลหลายตัวทำงานพร้อมกัน เซิร์ฟเวอร์แบบหลายผู้ใช้ หรือเครื่องมือแบบกราฟิกประเภท Open WebUI บน Ollama

โปรดจำไว้ว่า RAM ไม่ได้ถูกใช้งานโดยอุปกรณ์เพียงอย่างเดียว แต่ระบบปฏิบัติการ เบราว์เซอร์ IDE Docker Open WebUI และแอปพลิเคชันอื่นๆ ก็ใช้ RAM ด้วยเช่นกันหากคุณต้องการเพิ่มพื้นที่ว่างในหน่วยความจำในสถานการณ์เฉพาะ คุณสามารถเรียนรู้วิธีลดการใช้งาน RAMในแอปพลิเคชันต่างๆ เช่น เบราว์เซอร์ของคุณ สำหรับการใช้งานหนัก ปัจจุบันแนะนำให้ใช้ RAM อย่างน้อย 16 GB และ 32 GB ก็เพียงพอแล้ว

ซีพียู: คำสั่งที่ทันสมัยและจำนวนคอร์

Ollama สามารถทำงานบน CPU เพียงอย่างเดียวได้ แต่ประสบการณ์การใช้งานจะแตกต่างกันอย่างมาก ขึ้นอยู่กับโปรเซสเซอร์ สิ่งที่สำคัญกว่าจำนวนคอร์คือการรองรับคำสั่งขั้นสูง เช่น AVX2 และยิ่งไปกว่านั้นคือ AVX-512ซึ่งช่วยเร่งความเร็วในการคำนวณเมทริกซ์และเวกเตอร์ ซึ่งใช้กันอย่างแพร่หลายใน LLM

แนวทางที่เหมาะสมน่าจะเป็นดังนี้:

• ขั้นต่ำที่ยอมรับได้ซีพียูแบบควอดคอร์รุ่นใหม่ (เช่น Intel i5 รุ่นล่าสุด หรือโปรเซสเซอร์ Ryzen ที่เทียบเท่า) ที่รองรับ AVX2 คุณจะสามารถ... รันโมเดล 7B อย่างใจเย็น โดยเฉพาะอย่างยิ่งหากโมเดลเหล่านั้นมีการกำหนดปริมาณที่ดีแล้ว.
• แนะนำ: ประเภทโปรเซสเซอร์ล่าสุด Intel เจเนอเรชั่นที่ 11 หรือใหม่กว่า หรือ AMD Zen4มี 8 คอร์ขึ้นไป และรองรับ AVX-512 เท่าที่จะเป็นไปได้ ด้วยวิธีนี้คุณจะได้รับ ปรับปรุงเวลาตอบสนองและลดปัญหาคอขวด แม้กระทั่งกับ GPU.

หากคุณวางแผนที่จะใช้โมเดลขนาดใหญ่มาก (ตัวอย่างเช่น การลองใช้ Llama 3 ขนาด 70 บิตกับ CPU และ GPU ที่มีประสิทธิภาพปานกลาง) CPU จะทำงานหนักและคุณจะสังเกตเห็นว่าเวลาในการสร้างโทเค็นนั้นสูงมากในสถานการณ์เช่นนี้ วิธีที่เหมาะสมที่สุดคือเลือกใช้โมเดลขนาดเล็กกว่าหรือลงทุนใน GPU ที่เหมาะสม

GPU และ VRAM: เมื่อไหร่จึงจำเป็น และต้องใช้ปริมาณเท่าใด

การ์ดจอไม่ใช่สิ่งจำเป็น แต่จะช่วยให้ประสิทธิภาพดีขึ้นอย่างมากการ์ดจอที่ดีพร้อม VRAM ที่เพียงพอจะเปลี่ยนประสบการณ์การใช้งานที่ช้าให้กลายเป็นสิ่งที่ใช้งานได้อย่างสมบูรณ์แบบโดยเฉพาะอย่างยิ่งกับโมเดลที่มีการควอนไทซ์ 7B ถึง 13B

เพื่อเป็นข้อมูลอ้างอิงที่มีประโยชน์มากสำหรับแบบจำลองเชิงปริมาณ (ประมาณ Q4) สามารถประมาณค่าได้ดังนี้:

• 7B → หน่วยความจำ VRAM ประมาณ 4 GB
• 13B → หน่วยความจำ VRAM ประมาณ 8 GB
• 30B → หน่วยความจำ VRAM ประมาณ 16 GB
• 65-70B → หน่วยความจำ VRAM ประมาณ 32 GB

ค่าเหล่านี้เป็นค่าโดยประมาณ แต่แสดงให้เห็นอย่างชัดเจนว่าGPU RTX 2060 SUPER ที่มี VRAM 8 GB นั้นสามารถรองรับ 7B ได้อย่างสบายๆ และสามารถจัดการได้ถึง 13B แต่จะทำได้ไม่ดีนักที่ 70Bแม้จะมี i9 และ RAM 64 GB ก็ตาม ในกรณีนั้น ระบบจะต้องกระจายภาระการทำงานระหว่าง RAM และ CPU เป็นจำนวนมาก และความหน่วงจะพุ่งสูงขึ้น

ในทางปฏิบัติ :

• กับ VRAM 4-6 GB: มุ่งเน้นไปที่ โมเดล 7B ที่มีการกำหนดปริมาณอย่างดีใช้งานได้ดีมากสำหรับการแชท การเขียน และงานทั่วไป
• กับ VRAM 8-12 GBคุณสามารถทำงานได้อย่างสะดวกสบายด้วย 7B และ 13B และอาจใช้ยางขนาด 30B ได้ด้วย หากคุณยินดีที่จะปั่นช้าลงสักหน่อย
• กับ VRAM 20-24 GBขณะนี้คุณกำลังเข้าสู่เขตแดนของ รุ่น 30B-40B ที่สง่างามอย่างยิ่งและ 70B ที่มีการควอนไทซ์สูง โดยเฉพาะอย่างยิ่งหากคุณใช้ RAM ที่ดีรองรับ
• กับ VRAM 32 GB ขึ้นไป: คือเมื่อ 70B เริ่มดูสมเหตุสมผลขึ้นมาจริงๆ สำหรับการใช้งานแบบโต้ตอบ โดยมีเงื่อนไขว่าสมาชิกคนอื่นๆ ในทีมต้องเข้าร่วมด้วย

สำหรับโมเดล OCR หรือโมเดลเฉพาะทางอื่นๆ (เช่น โมเดลประมวลผลภาพ) การ์ดจอที่มี VRAM 20-24 GB ถือเป็นพื้นฐานที่แข็งแกร่งมากสำหรับการทำงานที่ราบรื่นโดยเฉพาะอย่างยิ่งหากโมเดลนั้นเกี่ยวข้องกับพารามิเตอร์หลายหมื่นล้านตัว สำหรับโมเดล OCR หรือโมเดลประมวลผลภาพที่มีขนาดเล็กกว่า (2B-7B) นั้น 8-12 GB ก็เพียงพอแล้ว

พื้นที่จัดเก็บข้อมูลบนดิสก์: โมเดลเหล่านี้ใช้พื้นที่เท่าไหร่

สำหรับพื้นที่ดิสก์นั้น แอปพลิเคชัน Ollama เองใช้พื้นที่น้อยมาก สิ่งที่ใช้พื้นที่จริงๆ คือโมเดลต่างๆ ในสภาพแวดล้อมพื้นฐานหรือสำหรับการทดสอบ พื้นที่ประมาณ50 GB ก็เพียงพอแล้ว แต่ถ้าคุณเริ่มสะสมโมเดล พื้นที่ก็จะเพิ่มขึ้นอย่างรวดเร็ว

เพื่อเป็นแนวทางคร่าวๆสำหรับแบบจำลองเชิงปริมาณ:

• แบบจำลองขนาดเล็ก (1B-4B) → ประมาณ 2 GB ตามรุ่น
• แบบจำลองขนาดกลาง (7B-13B) → ปกติ ฮิตฮิต-GB โดยแบบจำลองตามการวัดปริมาณ
• แบบจำลองขนาดใหญ่ (30B-70B) → ง่ายดาย ฮิตฮิต-GB แต่ละคน
• โมเดลขนาดใหญ่มาก (> 100B) → สามารถเกินได้ 200 GB ขึ้นอยู่กับรุ่น และในบางกรณีที่รุนแรงอาจมีขนาดใหญ่ถึงระดับเทราไบต์

ควรใช้SSD ที่มีความเร็วสูง (ถ้าเป็นไปได้ควรเป็น NVMe) เพื่อให้โหลดโมเดลเริ่มต้นได้เร็วขึ้น นอกจากนี้ Ollama ยังอนุญาตให้คุณเปลี่ยนตำแหน่งจัดเก็บโมเดล โดยใช้ ตัวแปรสภาพแวดล้อมOLLAMA_MODELSดังนั้นคุณจึงสามารถใช้ไดรฟ์รองขนาดใหญ่และเพิ่มพื้นที่ว่างในไดรฟ์หลักของคุณได้ สำหรับข้อมูลเพิ่มเติมเกี่ยวกับความจุในการจัดเก็บและประเภทของไดรฟ์ โปรดดูคู่มือฮาร์ดแวร์จัดเก็บข้อมูล

ข้อกำหนดเฉพาะสำหรับการใช้งานโมเดลบางรุ่นกับ Ollama

แม้ว่าแต่ละรุ่นจะมีรายละเอียดปลีกย่อยที่แตกต่างกัน แต่ด้วยระบบนิเวศของ Ollama ในปัจจุบัน สามารถกำหนด แนวทางที่ชัดเจนสำหรับประเภทการใช้งานทั่วไปได้ เช่น การแชททั่วไป การเข้ารหัส โมเดลการมองเห็น/OCR และโมเดลขนาดใหญ่ประเภท 70B

เทมเพลตแชททั่วไป (ลามะ, มิสทรัล, เจมม่า, ควีน…)

สำหรับการใช้งาน "ChatGPT ในเครือข่ายท้องถิ่น" ทั่วไปกับเราเตอร์ขนาดกลาง เช่น Llama 3.x 7B/8B, Mistral 7B, Gemma 2B/7B หรือ Qwenการตั้งค่าที่เหมาะสมในปัจจุบันจะเป็นดังนี้:

• คำแนะนำขั้นต่ำ:
  • ซีพียูควอดคอร์รุ่นใหม่พร้อม AVX2
  • 16 GB of RAM.
  • ไม่มีการ์ดจอแยก หรือมีการ์ดจอแยกพื้นฐานที่มี VRAM 4-6 GB
  • อย่างน้อยต้องใช้ SSD ขนาด 50 GB สำหรับระบบ + โมเดลอีกหนึ่งหรือสองตัว
• การกำหนดค่าที่เหมาะสมที่สุดเพื่อให้มีพื้นที่ว่างเหลือเฟือสำหรับ 7B-13B:
  • ซีพียูที่มี 8 คอร์ขึ้นไป (รุ่น i7/i9 หรือ Ryzen 7/9 รุ่นใหม่)
  • 32 GB of RAM ถ้าคุณต้องการเปิดหลายสิ่งหลายอย่างไว้พร้อมกัน
  • GPU พร้อม VRAM 8-12 GB (RTX 3060/3070 หรือเทียบเท่า, AMD RX 6700 หรือสูงกว่า หรือ Mac ที่มีการใช้งาน M1/M2/M3 อย่างเต็มที่)
  • ถ้าคุณจะสะสมโมเดล ควรใช้ SSD ขนาด 1 TB

ในสถานการณ์เหล่านี้โมเดล 7B ที่ใช้การควอนไทเซชันแบบ Q4_K_M หรือ Q5_K_M ทำงานได้ดีมากและให้คุณภาพที่เพียงพอสำหรับการใช้งานส่วนบุคคล เอกสารทางเทคนิค งานวิจัย หรือการเขียน

โมเดลการเข้ารหัส (DeepSeek, CodeLlama, Code-oriented Phi)

โดยทั่วไปแล้ว สมาร์ทโฟนที่เชี่ยวชาญด้านการเขียนโปรแกรมมักมีความต้องการคล้ายกับสมาร์ทโฟนสำหรับแชททั่วไปที่มีขนาดเท่ากันแต่ควรเผื่อพื้นที่RAM และ VRAM ไว้มากกว่าปกติเล็กน้อย หากจะใช้งานร่วมกับ IDE ขนาดใหญ่และโปรเจ็กต์โอเพนซอร์สจำนวนมาก

ตัวอย่างเช่น หากต้องการใช้DeepSeek-Coder (7B-8B) หรือ CodeLlama ที่มีขนาดใกล้เคียงกัน ภายใต้เงื่อนไขที่เหมาะสมการผสมผสานที่ลงตัวอย่างยิ่งจะเป็นดังนี้:

• ซีพียู ซีพียูสมัยใหม่ 6-8 คอร์
• 32 GB of RAM หากคุณใช้งานเครื่องมือหลายอย่างพร้อมกัน (เช่น IDE, เบราว์เซอร์แบบแท็บ, Docker เป็นต้น)
• การ์ดจอที่มี VRAM อย่างน้อย 8 GB เพื่อเคลื่อนย้ายโมเดลได้อย่างราบรื่น

นอกจากนี้ยังใช้งานได้กับฮาร์ดแวร์ที่มีประสิทธิภาพต่ำกว่า แต่คุณจะสังเกตเห็นเวลาตอบสนองที่ช้าลงเมื่อสร้างบล็อกโค้ดขนาดใหญ่หรือทำการวิเคราะห์ที่ซับซ้อนสำหรับรุ่นขนาดกะทัดรัดอย่างPhi-4 Miniความต้องการจะต่ำกว่ามาก และทำงานได้ดีแม้ในระบบที่มี RAM 16 GB และ GPU ขนาดเล็ก

โมเดลการมองเห็นและ OCR (คำสำคัญ: โมเดล OCR, มัลติโมดอล)

โมเดลที่มีความสามารถในการประมวลผลภาพ (การมองเห็น/OCR) เช่นLlamaหรือ Llama 3.x รุ่นมัลติโมดอล รวมถึงโมเดล OCR เฉพาะบางรุ่น เพิ่มความซับซ้อนขึ้นไปอีกระดับ ในระดับฮาร์ดแวร์ โมเดลเหล่านี้มีความต้องการใกล้เคียงกับโมเดลข้อความที่มีขนาดเท่ากัน แต่มีข้อดีมากกว่าคือการใช้ GPU

หากเรากำลังพูดถึงโมเดล OCR ขนาดกลาง (เช่น ในช่วง 7B-13B) และคุณต้องการใช้งานอย่างสะดวกสบายในพื้นที่ของคุณสำหรับการจดจำเอกสาร ภาพที่สแกน ฯลฯการพิจารณาเลือกใช้สิ่งต่อไปนี้จึงเป็นเรื่องที่สมเหตุสมผล :

• การ์ดจอที่มี VRAM 20-24 GB ไม่ว่าโมเดลจะมีขนาดใหญ่มากหรือไม่ หรือคุณต้องการให้การประมวลผลส่วนใหญ่เกิดขึ้นบนการ์ด
• การ์ดจอที่มี VRAM 8-12 GB หากคุณเลือกใช้ไฟล์ภาพที่มีขนาดเล็กกว่าและมีการจัดกลุ่มอย่างเหมาะสม ก็จะยังคงใช้งานได้ดีตราบใดที่คุณไม่ใช้ขนาดภาพหรือบริบทที่ใหญ่เกินไป
• RAM ขั้นต่ำ 16 GBแม้ว่าหน่วยความจำ 32 GB จะมีพื้นที่เหลือเฟือสำหรับการใช้งานอย่างหนักก็ตาม
• ใช้ CPU รุ่นใหม่ๆ เพื่อไม่ให้เกิดปัญหาคอขวดเมื่อ GPU ทำงานหนัก

คำตอบโดยตรงสำหรับคำถามทั่วไปที่ว่า "ฉันสามารถรันโมเดล OCR บน GPU ที่มี VRAM 20-24 GB ได้หรือไม่" คือได้ มันเป็นช่วงที่ยอดเยี่ยมสำหรับโมเดลประมวลผลภาพ/OCR ขนาดกลางถึงขนาดใหญ่ใน Ollamaโดยมีเงื่อนไขว่าคุณต้องมี RAM ที่เพียงพอและ CPU ที่ดีพอสมควรด้วย

โมเดลขนาดใหญ่ (เช่น ลามะ ขนาด 3:70B และรุ่นใกล้เคียง)

การพยายามรันโมเดล ลามะ 3 ขนาด 70KBบน Windows ด้วย CPU ที่ทรงพลังมาก (เช่น i9 เจนเนอเรชั่นที่ 11) และRAM 64GB แต่ใช้การ์ดจออย่าง RTX 2060 SUPER ที่มี RAM เพียง 8GB นั้นเป็นตัวอย่างที่สมบูรณ์แบบของคำว่า "ได้ แต่ก็ไม่ได้" โมเดลอาจโหลดได้ในที่สุด แต่:

• ส่วนหนึ่งของโมเดลไม่สามารถใช้ VRAM ได้ และต้องพึ่งพา RAM เป็นอย่างมาก
• ซีพียูต้องรับภาระงานประมวลผลอนุมานจำนวนมาก
• เวลาที่ใช้ต่อโทเค็นเพิ่มขึ้นอย่างมาก และประสบการณ์การใช้งานก็แทบจะใช้ไม่ได้เลย.

เพื่อให้เครื่องปรับอากาศรุ่น 70B เหมาะสมกับการใช้งานในบ้านหรือในสภาพแวดล้อมกึ่งมืออาชีพคุณต้องมีคุณสมบัติอย่างน้อยดังต่อไปนี้:

• แรม 32 GB เป็นค่าเริ่มต้น และ 64 GB หากต้องการพื้นที่ใช้งานเพิ่มเติม.
• การ์ดจอที่มี VRAM อย่างน้อย 24-32 GB เพื่อโหลดโมเดลส่วนใหญ่ด้วยค่าควอนไทเซชันที่เหมาะสม (Q4_K_M หรือค่าที่คล้ายกัน)
• ซีพียูประสิทธิภาพสูงระดับไฮเอนด์ที่มี 8-16 คอร์

หากคุณไม่ตรงตามตัวเลขเหล่านี้การใช้โมเดล 7B-13B ที่มีการควอนไทซ์อย่างดีจะเหมาะสมกว่ามากหรือหากคุณต้องการ 70B เพื่อคุณภาพจริงๆ ควรพิจารณาใช้เซิร์ฟเวอร์เฉพาะทาง (ในพื้นที่หรือบนคลาวด์) เครื่อง Mac ที่ทรงพลังมาก หรือ GPU หลายตัวที่ทำงานพร้อมกัน

ข้อกำหนดในการติดตั้ง Ollama บน VPS หรือเซิร์ฟเวอร์

อีกทางเลือกหนึ่งที่นิยมใช้คือการติดตั้ง Ollama บนVPS หรือเซิร์ฟเวอร์เฉพาะและเข้าถึงผ่าน API หรือเว็บอินเทอร์เฟซ (เช่น Open WebUI) ซึ่งไม่เพียงแต่เกี่ยวข้องกับทรัพยากรเท่านั้น แต่ยังรวมถึงระบบปฏิบัติการและสิทธิ์การเข้าถึงด้วย

ในคู่มือจากผู้ให้บริการอย่าง Hostinger ได้แนะนำข้อกำหนดขั้นต่ำต่อไปนี้สำหรับ VPS ที่ออกแบบมาเพื่อใช้งานกับ Ollama:

• RAM: ขั้นต่ำ 16 GB เพื่อไม่ให้โมเดลขนาดเล็ก/ขนาดกลางทำงานหนักเกินไปจนระบบรับมือไม่ไหว
• ซีพียู: 4-8 วีคอร์ขึ้นอยู่กับขนาดของโมเดลและจำนวนผู้ใช้งานพร้อมกัน
• พื้นที่เก็บข้อมูล: อย่างน้อย 12 GBอย่างไรก็ตาม ในทางปฏิบัติแล้ว แนะนำให้เลือกความจุที่สูงกว่า (50-100 GB) หากคุณจะทดลองใช้หลายรุ่น
• Sistema Operativo: เหนือสิ่งอื่นใด ลินุกซ์โดยให้ความสำคัญเป็นพิเศษ Ubuntu เวอร์ชัน 22.04 หรือสูงกว่า หรือ Debian เวอร์ชันเสถียรล่าสุด.
• สิทธิ์การเข้าถึงระดับรูทหรือสิทธิ์ sudo เพื่อติดตั้งส่วนประกอบที่จำเป็น กำหนดค่า systemd และอื่นๆ

หาก VPS ของคุณมี GPU ของ NVIDIA คุณจะต้องติดตั้งและกำหนดค่า CUDA หรือชุดเครื่องมือคอนเทนเนอร์ของ NVIDIAหากคุณใช้ Docker สำหรับ AMD โดยทั่วไปจะใช้ ROCm บน Linux และไดรเวอร์ Adrenalin ที่เหมาะสมบน Windows ในสภาพแวดล้อมที่ไม่มี GPU เซิร์ฟเวอร์จะใช้ CPU และ RAM ดังนั้นอย่าประหยัดทรัพยากรเหล่านั้น คุณยังสามารถจัดการจากระยะไกลผ่านเดสก์ท็อประยะไกลได้หากคุณต้องการอินเทอร์เฟซแบบกราฟิก

สถานการณ์การใช้งานฮาร์ดแวร์เฉพาะ และรุ่นที่ควรใช้

เพื่อให้แน่ใจว่าสิ่งที่กล่าวมาทั้งหมดไม่ได้เป็นเพียงทฤษฎีเท่านั้น อาจเป็นประโยชน์ที่จะพิจารณาถึงการผสมผสานฮาร์ดแวร์ทั่วไปบางแบบและประเภทของโมเดลที่เหมาะสมกับแต่ละกรณีโดยใช้ Ollama

คอมพิวเตอร์ตั้งโต๊ะธรรมดาหรือแล็ปท็อปขนาดกลาง

ลองนึกภาพทีมทั่วไปทีมหนึ่งดู :

• ซีพียู i5 หรือ Ryzen 5 จากเมื่อไม่กี่ปีที่ผ่านมา (4-6 คอร์)
• 16 GB of RAM.
• การ์ดจอแบบรวมหรือแบบแยก 4 GB
• SSD ขนาด 512 GB

ในสถานการณ์นี้ สิ่งที่ควรทำอย่างมีเหตุผลคือการตั้งเป้าหมายไปที่ :

• โมเดลควอนตัม 1B-3B (Gemma 2B, Phi-4 Mini, Llama 3.x 1B) เพื่อความลื่นไหลสูงสุด
• รุ่น 7B ในไตรมาสที่ 4 หากคุณยอมรับได้ว่าอาจต้องใช้เวลาตอบกลับนานขึ้นเล็กน้อย
• การใช้งาน Ollama ร่วมกับเทอร์มินัล และหากต้องการใช้งานผ่านเว็บอินเทอร์เฟซ ให้เปิด WebUI อย่างระมัดระวัง เพื่อไม่ให้หน่วยความจำหลักทำงานหนักเกินไป

คุณสามารถใช้ผู้ช่วยด้านข้อความในเครื่องของคุณ สร้างบทสรุป วิเคราะห์ข้อมูล และทำงานเขียนโปรแกรมเบาๆ ได้ แต่ไม่ใช่สภาพแวดล้อมที่เหมาะสมที่สุดสำหรับรุ่น 13B ขึ้นไป

อุปกรณ์ระดับกลางถึงระดับสูงที่เน้นการประมวลผล AI ในระดับท้องถิ่น

ในที่นี้เรากำลังพูดถึงพีซีประเภทหนึ่ง :

• ซีพียูรุ่นใหม่ i7/i9 หรือ Ryzen 7/9 จำนวน 8-16 คอร์
• 32 GB of RAM.
• การ์ดจอที่มี VRAM 12-24 GB (RTX 4070/4080, 3090, 4090, หรือเทียบเท่าของ AMD หรือรุ่นใกล้เคียง)
• SSD ขนาด 1-2 TB

การกำหนดค่านี้ช่วยขยายขอบเขตความเป็นไปได้ให้กว้างขึ้นอย่างมาก :

• รุ่น 7B-13B ในไตรมาสที่ 4/5 สำหรับการแชท การเขียนโค้ด การวิเคราะห์ข้อมูล... ด้วยเวลาตอบสนองที่รวดเร็วมาก
• รุ่น 30B และบางส่วน 70B ควอนไทซ์ หากคุณยอมรับความล่าช้าที่เพิ่มขึ้นเล็กน้อยได้
• รุ่นของ วิชั่น/โอซีอาร์ ขนาดกลางที่ใช้ GPU อย่างมาก

นี่คือเครื่องมือที่จะช่วยให้คุณสร้างสภาพแวดล้อม AI ระดับท้องถิ่นที่จริงจังได้ โดยมีโมเดลหลายตัว อินเทอร์เฟซบนเว็บ การเชื่อมต่อผ่าน REST API และเวิร์กโฟลว์ระดับมืออาชีพโดยไม่ต้องพึ่งพาบริการภายนอก

เซิร์ฟเวอร์หรือเวิร์กสเตชัน "สุดยอด"

ในระดับสูงสุดคือสภาพแวดล้อมที่มีลักษณะดังต่อไปนี้:

• การ์ดจอหลายตัวที่มี VRAM 24-48 GB ต่อตัว หรือการ์ดจอระดับไฮเอนด์ตัวเดียวก็ได้
• แรม 64-128GB.
• ซีพียูที่มีคอร์จำนวนมาก เช่น รุ่น Threadripper หรือ Xeon รุ่นใหม่ๆ

นี่คือจุดที่โมเดลขนาดใหญ่ (>70B, MoE, การประมวลผลภาพขั้นสูง ฯลฯ) เริ่มมีความเป็นไปได้แม้จะมีผู้ใช้งานพร้อมกันหลายคนหรือการบูรณาการที่ซับซ้อนก็ตาม เห็นได้ชัดว่าเป็นสถานการณ์ที่มีต้นทุนสูง แต่ก็ช่วยให้คุณมีขีดความสามารถที่คล้ายกับ API เชิงพาณิชย์บางตัว พร้อมการควบคุมข้อมูลอย่างสมบูรณ์ภายในโครงสร้างพื้นฐานของคุณเอง

เคล็ดลับที่ใช้งานได้จริงเพื่อใช้ประโยชน์จากอุปกรณ์ Ollama ของคุณให้ได้มากที่สุด

นอกเหนือจากการซื้อ RAM เพิ่มหรือการ์ดจอที่ดีกว่าแล้ว ยังมีแนวทางปฏิบัติหลายอย่างที่จะช่วยให้คุณใช้ประโยชน์จากสิ่งที่คุณมีอยู่แล้วได้อย่างเต็มที่ และหลีกเลี่ยงปัญหาที่ไม่คาดคิดเมื่อรันโมเดลขนาดใหญ่ด้วย Ollama

ก่อนอื่นเลย สิ่งสำคัญคือต้องเลือกโมเดลที่เหมาะสมตามการใช้งานที่คุณตั้งใจไว้ไม่มีประโยชน์อะไรที่จะใช้ 70B ในการเขียนอีเมลธรรมดาๆ ในเมื่อ 7B ที่ปรับแต่งมาอย่างดีก็เพียงพอแล้ว เช่นเดียวกัน 30B ก็ไม่มีประโยชน์หาก GPU ของคุณมี VRAM เพียง 6GB 7B จะเป็นตัวเลือกที่ดีกว่าในไตรมาสที่ 4

มาตรการสำคัญอีกประการหนึ่งคือการทดลองกับพารามิเตอร์ขณะรันไทม์ (อุณหภูมิ, num_ctx, num_predict เป็นต้น) ทั้งในไฟล์โมเดลหรือผ่าน CLI/API การใช้คอนเท็กซ์ขนาดใหญ่เกินไป ( num_ctx 32k ขึ้นไป ) ร่วมกับ RAM หรือ VRAM น้อย จะทำให้ระบบโดยรวมช้าลงโดยไม่ก่อให้เกิดประโยชน์มากนักในหลายกรณี

ขอแนะนำด้วยครับ ตรวจสอบว่ามีการโหลดโมเดลใดบ้างและใช้งานบนโปรเซสเซอร์ใด การใช้ ollama psตรงนั้นคุณจะเห็นว่าโมเดลกำลังทำงานบน GPU หรือ CPU และโหลดข้อมูลขนาดเท่าใด ปรับค่าตัวแปรนั้น OLLAMA_KEEP_ALIVE มันช่วยให้โมเดลต่างๆ ปลดโหลดหน่วยความจำเมื่อไม่ได้ใช้งาน ซึ่งจะช่วยให้มีทรัพยากรเหลือใช้มากขึ้น

สุดท้ายนี้ โปรดจำไว้ว่าการควอนไทเซชันคือพันธมิตรของคุณ : การสร้างตัวแปร Q4_K_M หรือ Q5_K_M จากโมเดล FP16 ดั้งเดิมจะช่วยให้คุณสามารถใช้ประโยชน์จากฮาร์ดแวร์ที่มีประสิทธิภาพต่ำกว่าได้มาก โดยคุณภาพที่ลดลงนั้นมักจะแทบมองไม่เห็นในการใช้งานจริง

หลังจากพิจารณาทั้งหมดนี้แล้ว สิ่งที่ชัดเจนที่สุดก็คือOllama ไม่ใช่ส่วนที่ต้องการประสิทธิภาพสูง แต่เป็นโมเดลต่าง ๆ ต่างหากการเข้าใจความสัมพันธ์ระหว่างขนาด การแปลงสัญญาณดิจิทัล RAM และ VRAM จะช่วยให้คุณเลือกฮาร์ดแวร์และ LLM ที่เหมาะสมกับความต้องการของคุณได้ ตั้งแต่แล็ปท็อปที่มี RAM 16 GB ที่ใช้งานโมเดล 7B ขนาดเล็ก ไปจนถึงเวิร์กสเตชันที่มี GPU 24 GB ที่จัดการกับโมเดลประมวลผลภาพและ OCR ที่ซับซ้อน การปรับความคาดหวังและพารามิเตอร์อย่างรอบคอบ จะทำให้คุณสามารถใช้งาน AI ส่วนตัวที่มีประสิทธิภาพสูงบนเครื่องของคุณเองได้โดยไม่ต้องเสียค่าใช้จ่ายรายเดือน