- Daya tahan Ollama bergantung terutamanya pada RAM, GPU dan kuantisasi model, bukan pada aplikasi itu sendiri.
- Dengan RAM 16 GB dan GPU 8–12 GB, model terkuantum 7B–13B boleh dikendalikan dengan baik untuk kegunaan harian.
- Model 30B–70B memerlukan GPU dengan VRAM 16–32 GB dan sekurang-kurangnya 32 GB RAM untuk benar-benar boleh digunakan.
- Memilih saiz dan format model yang betul untuk perkakasan anda menghalang ranap sistem dan membolehkan AI setempat yang lancar dan peribadi.
Jika anda sedang mempertimbangkan untuk menjalankan model kecerdasan buatan pada komputer anda sendiri, anda pasti akan menemui Ollama lambat laun. Dan di situlah persoalan besar timbul: apakah keperluan perkakasan yang saya perlukan agar model berjalan lancar dan tanpa gagap? Tidak cukup untuk ia hanya dimulakan; kuncinya ialah ia boleh digunakan dengan selesa dalam tugasan seharian, dan memahami pelbagai jenis perkakasan komputer adalah penting.
Sepanjang artikel ini, kita akan melihat secara terperinci apa yang dilakukan oleh Llama, apa yang diperlukan oleh pelbagai jenis model (7B, 13B, 70B, dll.), bagaimana CPU, GPU, RAM dan cakera mempengaruhi prestasi, dan konfigurasi yang munasabah bergantung pada kes anda , sama ada anda mahukan pembantu teks mudah atau berhasrat untuk menjalankan raksasa seperti Llama 3 dengan berpuluh-puluh bilion parameter atau model visi dan OCR.
Apakah itu Ollama dan mengapa perkakasannya membuat perbezaan sedemikian?
Ollama pada asasnya merupakan klien model bahasa yang membolehkan anda menjalankan LLM secara setempat pada mesin anda, tanpa bergantung pada awan. Ia menggunakan enjin seperti llama.cpp untuk inferens dan membungkus semua kerumitan dalam alat mudah, dengan CLI dan REST API, yang turut membantu anda memahami konsep rangkaian saraf tiruan di sebalik model.
Peranannya adalah untuk menjadi "pusat arahan" tempat anda memuat turun, mengurus dan menjalankan model seperti Llama 3, Mistral, Gemma, Phi, Qwen, DeepSeek atau model multimodal seperti Llava . Keindahannya ialah anda boleh menggunakannya sepenuhnya di luar talian, menyimpan data anda di premis dan tanpa membayar untuk setiap token seperti yang berlaku dengan API awan.
Walaupun Ollama sendiri ringan dan tidak memerlukan banyak sumber, model yang dijalankannya sangat intensif sumber . Setiap LLM terdiri daripada berjuta-juta atau berbilion parameter, yang diterjemahkan kepada gigabait memori dan storan, serta beban berat pada CPU dan, jika anda mempunyai satu, GPU.
Itulah sebabnya, apabila seseorang cuba menjalankan model yang besar (contohnya, 70B Llama) pada sistem dengan CPU yang berkuasa tetapi GPU diskret dan RAM yang mencukupi, hasilnya biasanya "ia berfungsi", tetapi ia sangat perlahan sehingga praktikalnya tidak berguna . Kuncinya adalah untuk mengimbangi CPU, GPU, RAM, cakera keras dan jenis model dengan betul.
Jenis-jenis model dalam Ollama dan bagaimana ia mempengaruhi keperluan
Dalam pustaka Ollama, anda akan melihat model yang disusun mengikut keluarga dan saiz: 1B, 2B, 4B, 7B, 13B, 30B, 65B, 70B, 405B… . Nombor tersebut (B untuk bilion) menunjukkan anggaran bilangan parameter dan merupakan salah satu faktor yang paling menentukan perkakasan yang diperlukan.
Kita boleh mengumpulkannya secara umum kepada empat kategori , yang sangat membantu untuk menganggarkan mesin yang anda perlukan untuk selesa dengan setiap kumpulan model dan kuantifikasi:
- Model mini (270M – 4B): direka untuk peranti sederhana (komputer riba mudah, malah beberapa telefon bimbit atau mini-PC). Pantas, tetapi dengan kurang kebolehan menaakul.
- Model kecil (4B – 14B): ideal sebagai model "domestik" yang seimbangSesuai untuk sembang umum, tugas pejabat, bantuan pengekodan ringan, dsb.
- Model sederhana (14B – 70B)Mereka sudah bermain dalam liga yang berbeza; Mereka memerlukan perkakasan yang berkuasa., banyak RAM dan, jika boleh, GPU dengan banyak VRAM.
- Model besar (> 70B)Mereka adalah binatang yang direka untuk infrastruktur yang sangat serius (GPU mewah, berbilang kad grafik, pelayan khusus, Mac mewah yang digunakan dengan baik, dsb.).
Selain saiz, kuantisasi juga memainkan peranan : dalam Ollama anda akan melihat akhiran seperti q4_K_M, q5_1, q3_K_S, q8_0, f16 , dan sebagainya. Format ini menunjukkan betapa mampatan pemberat model.
- FP16 / FP32 (f16, f32): hampir tidak dimampatkan, berkualiti tinggi tetapi penggunaan memori yang kejam7B dalam FP16 boleh menggunakan lebih daripada 20 GB VRAM.
- S4 (s4_0,s4_K_M…): kuantisasi 4-bit, pengurangan saiz besar dengan impak sederhana terhadap kualitiMereka biasanya "tempat yang sesuai".
- S3, S2 (q3_K_S, q2_K…): kuantisasi yang lebih agresif, saiz yang sangat kecil sebagai pertukaran untuk sedikit kehilangan ketepatanBerguna pada perkakasan yang sangat terhad.
- S5, S6, S8: langkah pertengahan antara mampatan kuat dan FP16; Kualiti lebih tinggi, penggunaan lebih tinggi.
Akibat praktikalnya adalah jelas: model 7B yang sama boleh menempati kira-kira 26 GB dalam FP16 atau kira-kira 4 GB pada Suku Keempat . Ini diterjemahkan terus kepada VRAM GPU yang anda perlukan dan jumlah RAM yang mesti menyokong beban kerja.
Keperluan perkakasan minimum dan disyorkan untuk Ollama pada rangkaian tempatan
Jika anda bimbang sama ada komputer anda boleh mengendalikan Ollama, jawapannya biasanya ya; persoalannya ialah model mana yang boleh anda jalankan dengan lancar . Mari kita pecahkannya mengikut komponen: RAM, CPU, GPU dan cakera keras, dengan cadangan yang realistik berdasarkan pengalaman praktikal dan dokumentasi daripada beberapa panduan khusus.
RAM: sumber kritikal utama
RAM merupakan halangan utama apabila membincangkan LLM tempatan. Secara amnya, kita boleh mempertimbangkan julat ini:
- GB RAM 8: kawasan praktikal. Ia membenarkan model kecil (1B, 3B, beberapa varian 7B yang sangat terkuantiti)Walau bagaimanapun, anda akan perasan terdapat batasan, terutamanya jika sistem dan pelayar sudah menggunakan banyak memori. Kemungkinan besar semuanya akan berjalan agak perlahan dan lebih banyak lag.
- GB RAM 16: piawaian yang munasabah pada hari ini. Ideal untuk model 7B dan juga 13B yang dikuantitikan pada Suku KeempatTerutamanya jika anda menggunakan GPU. Anda boleh mengendalikan sembang yang kompleks tanpa sistem menjadi perlahan.
- RAM 32 GB atau lebihDisyorkan jika anda mahu model sederhana (30B, 40B, 70B) atau melakukan perkara yang lebih berat seperti konteks yang sangat panjang, beberapa model secara selari, pelayan berbilang pengguna atau alat grafik jenis Open WebUI pada Ollama.
Perlu diingat bahawa RAM bukan sahaja digunakan oleh peranti itu sendiri: sistem pengendalian, pelayar, IDE, Docker, Open WebUI dan aplikasi lain juga menggunakannya . Jika anda ingin mengosongkan memori dalam senario tertentu, anda boleh mempelajari cara mengurangkan penggunaan RAM dalam aplikasi seperti pelayar anda. Untuk penggunaan intensif, 16 GB pada masa ini adalah minimum yang disyorkan, dan 32 GB sudah lebih daripada mencukupi.
CPU: Arahan moden dan bilangan teras
Ollama boleh berjalan pada CPU sahaja, tetapi pengalamannya sangat berbeza bergantung pada pemproses. Lebih penting daripada bilangan teras ialah sokongan untuk arahan lanjutan seperti AVX2 dan, lebih baik lagi, AVX-512 , yang mempercepatkan operasi matriks dan vektor yang digunakan secara meluas dalam LLM.
Garis panduan yang munasabah ialah:
- Minimum yang boleh diterimaCPU quad-core moden (contohnya, Intel i5 generasi terkini atau pemproses Ryzen yang setara) dengan sokongan AVX2. Anda akan dapat Jalankan model 7B dengan sabar, terutamanya jika ia dikuantitikan dengan baik.
- Recomendado: jenis pemproses terkini Intel generasi ke-11 atau lebih baharu atau AMD Zen4, Dengan 8 teras atau lebih dan sokongan AVX-512 jika boleh. Dengan cara ini anda dapat masa tindak balas yang lebih baik dan kurang kesesakan, walaupun dengan GPU.
Jika rancangan anda adalah untuk menggunakan model yang sangat besar (contohnya, mencuba 70B Llama 3 dengan CPU dan GPU yang sederhana), CPU akan menghadapi masalah dan anda akan melihat masa penjanaan token yang sangat tinggi . Dalam senario ini, pendekatan yang paling bijak adalah memilih model yang lebih kecil atau melabur dalam GPU yang sesuai.
GPU dan VRAM: bilakah ia penting dan berapa banyak yang diperlukan
GPU tidak wajib, tetapi ia membawa perbezaan yang besar. GPU yang baik dengan VRAM yang mencukupi boleh mengubah pengalaman yang perlahan menjadi sesuatu yang boleh digunakan dengan sempurna , terutamanya dengan model terkuantum 7B hingga 13B.
Sebagai rujukan yang sangat berguna , untuk model terkuantum (kira-kira S4) sesuatu seperti ini boleh dianggarkan:
- 7B → ~4 GB VRAM
- 13B → ~8 GB VRAM
- 30B → ~16 GB VRAM
- 65-70B → ~32 GB VRAM
Ini adalah nilai anggaran, tetapi ia jelas menunjukkan bahawa GPU RTX 2060 SUPER dengan VRAM 8 GB lebih daripada mampu mengendalikan 7B dan boleh mengendalikan 13B, tetapi kurang pada 70B walaupun dengan i9 dan RAM 64 GB. Dalam kes itu, sistem akan terpaksa mengagihkan banyak beban antara RAM dan CPU, dan latensi akan melambung tinggi.
Secara praktikalnya :
- dengan 4-6 GB VRAM: fokus pada model 7B yang dikuantitikan dengan baikIa berfungsi dengan baik untuk berbual, menulis dan tugas umum.
- dengan 8-12 GB VRAMAnda boleh bekerja dengan selesa 7B dan 13B dan juga sekitar 30B jika anda sanggup pergi lebih perlahan sedikit.
- dengan 20-24 GB VRAMAnda kini memasuki wilayah Model 30B-40B dengan maruah yang tinggi, dan beberapa 70B yang sangat terkuantiti, terutamanya jika anda menyokongnya dengan RAM yang baik.
- dengan 32 GB VRAM atau lebih: ialah apabila 70B benar-benar mula kelihatan munasabah untuk kegunaan interaktif, dengan syarat ahli pasukan yang lain ditemani.
Bagi model OCR atau model khusus lain (cth., visi), GPU dengan 20-24 GB VRAM merupakan asas yang sangat kukuh untuk prestasi yang lancar , terutamanya jika model tersebut melibatkan berpuluh-puluh bilion parameter. Bagi varian OCR atau visi yang lebih ringan (2B-7B), 8-12 GB sepatutnya mencukupi.
Storan cakera: berapa banyak ruang yang digunakan oleh model
Bagi ruang cakera, aplikasi Ollama itu sendiri hanya mengambil sedikit ruang; apa yang benar-benar mengambil ruang ialah model. Dalam persekitaran asas atau ujian, kira-kira 50 GB sudah mencukupi , tetapi jika anda mula mengumpul model, ruang itu akan bertambah dengan cepat.
Sebagai panduan kasar untuk model terkuantum:
- Model kecil (1B-4B) → sekitar 2 GB mengikut model.
- Model bersaiz sederhana (7B-13B) → biasanya 4 8-GB mengikut model mengikut kuantifikasi.
- Model besar (30B-70B) → dengan mudah 16 40-GB setiap satu.
- Model yang sangat besar (> 100B) → boleh melebihi 200 GB mengikut model dan juga melebihi terabait dalam beberapa kes yang ekstrem.
Sebaik-baiknya, gunakan SSD yang pantas (NVMe jika boleh) untuk pemuatan model awal yang lebih pantas. Selain itu, Ollama membolehkan anda menukar lokasi storan model menggunakan pembolehubah persekitaran OLLAMA_MODELS , supaya anda boleh menggunakan pemacu sekunder yang besar dan mengosongkan ruang pada pemacu utama anda. Untuk maklumat lanjut tentang kapasiti storan dan jenis pemacu, lihat panduan perkakasan storan.
Keperluan khusus untuk menjalankan model tertentu dengan Ollama
Walaupun setiap model mempunyai nuansa tersendiri, dengan ekosistem Ollama semasa, beberapa garis panduan yang jelas boleh diberikan untuk kategori penggunaan biasa: sembang umum, pengekodan, model visi/OCR dan model jenis 70B gergasi.
Templat sembang umum (Llama, Mistral, Gemma, Qwen…)
Untuk kegunaan "ChatGPT tempatan" biasa dengan model bersaiz sederhana seperti Llama 3.x 7B/8B, Mistral 7B, Gemma 2B/7B atau Qwen , sesuatu seperti ini adalah munasabah pada hari ini:
- Minimum yang disyorkan:
- CPU empat teras moden dengan AVX2.
- GB RAM 16.
- Tiada GPU atau GPU asas dengan VRAM 4-6 GB.
- Sekurang-kurangnya 50 GB SSD untuk sistem + satu atau dua model.
- Konfigurasi optimum untuk mempunyai banyak ruang kepala dengan 7B-13B:
- CPU dengan 8 teras atau lebih (i7/i9 moden atau Ryzen 7/9).
- GB RAM 32 jika anda ingin memastikan banyak perkara terbuka.
- GPU dengan 8-12 GB VRAM (RTX 3060/3070 atau setaraf, AMD RX 6700 atau lebih tinggi, atau Mac dengan M1/M2/M3 yang digunakan dengan baik).
- SSD 1 TB jika anda ingin mengumpul model.
Dalam senario ini, model 7B dengan kuantisasi Q4_K_M atau Q5_K_M berfungsi dengan sangat baik dan menawarkan kualiti yang lebih daripada mencukupi untuk kegunaan peribadi, dokumentasi teknikal, tugasan belajar atau sokongan penulisan.
Model pengekodan (DeepSeek, CodeLlama, Phi berorientasikan kod)
Model yang khusus dalam pengaturcaraan biasanya mempunyai keperluan yang serupa dengan model sembang umum yang sama saiznya , tetapi adalah dinasihatkan untuk menyimpan sedikit lebih banyak margin dalam RAM dan VRAM jika anda akan menggunakannya bersama-sama dengan IDE yang berat dan banyak projek terbuka.
Contohnya, untuk menggunakan sesuatu seperti DeepSeek-Coder (7B-8B) atau CodeLlama yang sama saiz di bawah keadaan yang betul , kombinasi yang sangat munasabah ialah:
- CPU 6-8 teras moden.
- GB RAM 32 jika anda bekerja dengan berbilang alat pada masa yang sama (IDE, pelayar tab, Docker, dll.).
- GPU dengan sekurang-kurangnya 8 GB VRAM untuk menggerakkan model dengan lancar.
Ia juga berfungsi pada perkakasan yang kurang berkuasa, tetapi anda akan melihat masa tindak balas yang lebih perlahan apabila menjana blok kod yang panjang atau melakukan analisis yang kompleks . Untuk model padat seperti Phi-4 Mini, keperluannya jauh lebih rendah dan ia berfungsi dengan baik walaupun pada sistem dengan RAM 16 GB dan GPU yang ringan.
Model Visi dan OCR (Kekunci, model OCR, multimodal)
Model dengan keupayaan pemprosesan imej (visi/OCR) seperti Llama atau varian multimodal Llama 3.x, serta model OCR tertentu, menambahkan lapisan kerumitan selanjutnya. Pada peringkat perkakasan, ia memenuhi keperluan model teks dengan saiz yang sama, tetapi dengan manfaat yang lebih besar daripada menggunakan GPU.
Jika kita bercakap tentang model OCR bersaiz sederhana (katakan dalam julat 7B-13B) dan anda ingin menggunakannya dengan selesa di kawasan setempat untuk pengecaman dokumen, imej yang diimbas, dsb., adalah masuk akal untuk mempertimbangkan sesuatu seperti:
- GPU dengan VRAM 20-24 GB sama ada model itu benar-benar besar atau jika anda mahu membiarkan hampir semua pemprosesan pada kad.
- GPU dengan VRAM 8-12 GB Jika anda memilih varian yang lebih ringan dan terkuantiti dengan baik, ia akan terus berfungsi dengan baik selagi anda tidak menggunakan saiz imej atau konteks yang terlalu besar.
- RAM minimum 16 GB, walaupun 32 GB menawarkan margin yang sangat selesa untuk penggunaan intensif.
- CPU moden supaya ia tidak mengalami kesesakan apabila GPU dimuatkan.
Jawapan langsung kepada soalan biasa "bolehkah saya menjalankan model OCR pada GPU dengan 20-24 GB VRAM?" adalah ya, ia merupakan julat yang sangat baik untuk model visi/OCR sederhana hingga besar dalam Ollama , dengan syarat anda juga mempunyai RAM yang mencukupi dan CPU yang baik.
Model gergasi (Llama 3:70B dan yang serupa)
Cuba menjalankan Llama 3 70KB pada Windows dengan CPU yang sangat berkuasa (contohnya, i9 generasi ke-11) dan RAM 64GB tetapi GPU seperti RTX 2060 SUPER 8GB adalah contoh sempurna untuk "ya, tetapi tidak." Model mungkin akhirnya dimuatkan, tetapi:
- Sebahagian daripada model ini tidak muat dalam VRAM dan banyak bergantung pada RAM.
- CPU perlu melakukan banyak kerja inferens.
- Masa setiap token meningkat mendadak dan pengalaman itu menjadi hampir tidak dapat digunakan..
Agar 70B masuk akal di rumah atau persekitaran separa profesional, anda memerlukan, sekurang-kurangnya , sesuatu seperti berikut:
- 32 GB RAM sebagai asas, 64 GB jika anda mahukan ruang tambahan.
- GPU dengan sekurang-kurangnya 24-32 GB VRAM untuk memuatkan kebanyakan model dengan kuantisasi yang munasabah (Q4_K_M atau yang serupa).
- CPU canggih yang berkuasa dengan 8-16 teras.
Jika anda tidak memenuhi angka ini, adalah lebih praktikal untuk menggunakan model 7B-13B yang terkuantiti dengan baik atau, jika anda benar-benar memerlukan 70B untuk kualiti, pertimbangkan pelayan khusus (tempatan atau dalam awan), Mac yang sangat berkuasa atau beberapa GPU yang berfungsi secara selari.
Keperluan untuk memasang Ollama pada VPS atau pelayan
Satu lagi pilihan biasa ialah memasang Ollama pada VPS atau pelayan khusus dan mengaksesnya melalui API atau antara muka web (contohnya, dengan Open WebUI). Ini bukan sahaja melibatkan sumber tetapi juga sistem pengendalian dan kebenaran.
Dalam panduan daripada penyedia seperti Hostinger, keperluan minimum berikut disyorkan untuk VPS yang ditujukan kepada Ollama:
- RAM: minimum 16 GB supaya model kecil/sederhana tidak membebankan sistem.
- CPU: 4-8 vCoresbergantung pada saiz model dan bilangan pengguna serentak.
- Storan: Minimum 12 GBWalau bagaimanapun, dalam praktiknya, adalah dinasihatkan untuk menyasarkan yang lebih tinggi (50-100 GB) jika anda akan mencuba beberapa model.
- Sistema operativo: di atas semua Linux, dengan keutamaan untuk Ubuntu 22.04 atau lebih tinggi, atau Debian stabil terkini.
- Akses root atau kebenaran sudo untuk memasang dependencies, mengkonfigurasi systemd, dsb.
Jika VPS anda menyertakan GPU NVIDIA, anda perlu memasang dan mengkonfigurasi CUDA atau toolkit kontena NVIDIA jika anda menggunakan Docker. Dengan AMD, ROCm biasanya digunakan pada Linux dan pemacu Adrenalin yang sesuai pada Windows. Dalam persekitaran tanpa GPU, pelayan akan bergantung pada CPU dan RAM, jadi jangan berjimat cermat pada sumber tersebut; anda juga boleh mengurusnya dari jauh melalui desktop jauh jika anda memerlukan antara muka grafik.
Senario perkakasan khusus dan model yang hendak digunakan
Untuk memastikan semua perkara di atas tidak kekal sebagai teori semata-mata, adalah berguna untuk melihat beberapa kombinasi perkakasan biasa dan jenis model yang sesuai dengan setiap kes menggunakan Ollama.
Komputer desktop atau komputer riba sederhana
Mari kita bayangkan sebuah pasukan tipikal :
- CPU i5 atau Ryzen 5 dari beberapa tahun yang lalu (4-6 teras).
- GB RAM 16.
- GPU 4 GB bersepadu atau khusus.
- SSD 512GB.
Dalam senario ini, perkara yang wajar dilakukan adalah dengan menyasarkan :
- Model 1B-3B yang dikuantitikan (Gemma 2B, Phi-4 Mini, Llama 3.x 1B) untuk kelancaran maksimum.
- Model 7B pada Suku Keempat jika anda menerima masa respons yang sedikit lebih lama.
- Menggunakan Ollama dengan terminal dan, jika anda mahukan antara muka web, Buka WebUI dengan berhati-hati agar tidak membebankan RAM.
Anda boleh mempunyai pembantu teks tempatan anda, membuat ringkasan, melakukan beberapa analisis dan tugas pengaturcaraan ringan, tetapi ia bukanlah persekitaran yang ideal untuk model 13B dan ke atas.
Peralatan kelas pertengahan hingga tinggi yang tertumpu pada AI tempatan
Di sini kita bercakap tentang jenis PC :
- CPU i7/i9 atau Ryzen 7/9 moden, 8-16 teras.
- GB RAM 32.
- GPU dengan VRAM 12-24 GB (RTX 4070/4080, 3090, 4090, setara AMD atau yang serupa).
- SSD 1-2 TB.
Konfigurasi ini meluaskan pelbagai kemungkinan dengan ketara :
- Model 7B-13B pada Suku Keempat/Suku Kelima untuk sembang, kod, analisis data… dengan masa respons yang sangat baik.
- Model 30B dan beberapa 70B dikuantumkan jika anda menerima sedikit lagi kependaman.
- Model daripada penglihatan/OCR bersaiz sederhana menggunakan GPU secara meluas.
Ia merupakan jenis mesin yang membolehkan anda menyediakan persekitaran AI tempatan yang serius, dengan pelbagai model, antara muka web, integrasi melalui REST API dan aliran kerja profesional tanpa bergantung pada perkhidmatan luaran.
Pelayan atau stesen kerja "Binatang"
Di bahagian atas terdapat persekitaran dengan:
- Beberapa GPU dengan 24-48 GB VRAM setiap satu, atau satu GPU mewah.
- 64-128 GB RAM.
- CPU dengan banyak teras, seperti model Threadripper atau Xeon terkini.
Di sinilah model gergasi (>70B, MoE, vision heavy, dll.) mula menjadi realistik, walaupun dengan berbilang pengguna serentak atau integrasi yang kompleks. Ini jelas merupakan senario kos tinggi, tetapi ia juga membolehkan anda mempunyai keupayaan yang serupa dengan beberapa API komersial, dengan kawalan data lengkap dalam infrastruktur anda sendiri.
Petua praktikal untuk memanfaatkan sepenuhnya perkakasan Ollama anda
Selain membeli lebih banyak RAM atau GPU yang lebih baik, terdapat beberapa amalan yang membantu anda memanfaatkan sepenuhnya apa yang telah anda miliki dan mengelakkan kejutan apabila menjalankan model besar dengan Ollama.
Sebagai permulaan, adalah penting untuk memilih model yang betul berdasarkan tujuan penggunaan anda : tidak ada gunanya menggunakan 70B untuk menulis e-mel ringkas apabila 7B yang ditala dengan baik sudah memadai. Begitu juga, 30B tidak masuk akal jika GPU anda hanya mempunyai 6GB VRAM; 7B akan menjadi pilihan yang lebih baik pada Suku Keempat.
Satu lagi langkah utama adalah untuk bereksperimen dengan parameter runtime (suhu, num_ctx, num_predict, dll.), sama ada dalam Modelfile atau melalui CLI/API. Menggunakan konteks yang sangat besar ( num_ctx 32k atau lebih ) dengan RAM atau VRAM yang sedikit akan memperlahankan keseluruhan sistem tanpa memberikan banyak manfaat dalam banyak kes.
Ia juga disyorkan pantau model mana yang dimuatkan dan pada pemproses yang mana menggunakan ollama psDi sana anda akan melihat sama ada model tersebut benar-benar berjalan pada GPU atau CPU, dan saiz yang telah dimuatkannya. Laraskan pembolehubah OLLAMA_KEEP_LIVE Ia membantu model untuk memunggah memori apabila ia tidak digunakan, sekali gus membebaskan sumber.
Akhir sekali, ingat bahawa kuantisasi adalah sekutu anda : mencipta varian Q4_K_M atau Q5_K_M bagi model FP16 asal membolehkan anda memanfaatkan perkakasan yang lebih sederhana dengan kehilangan kualiti yang selalunya hampir tidak dapat dilihat untuk kegunaan dunia sebenar.
Setelah mempertimbangkan semua ini, kesimpulan yang paling jelas ialah Ollama bukanlah bahagian yang mencabar; modelnya adalah . Memahami bagaimana saiz, kuantisasi, RAM dan VRAM berkaitan antara satu sama lain membolehkan anda memilih kombinasi perkakasan dan LLM yang tepat untuk keperluan anda: daripada komputer riba dengan 16 GB yang menjalankan 7B ringan kepada stesen kerja dengan GPU 24 GB yang mengendalikan model visi dan OCR yang mantap. Dengan melaraskan jangkaan dan parameter dengan teliti, adalah sangat sesuai untuk mempunyai AI peribadi yang berkuasa yang berjalan pada mesin anda sendiri tanpa yuran bulanan.
Indeks
- 1 Apakah itu Ollama dan mengapa perkakasannya membuat perbezaan sedemikian?
- 2 Jenis-jenis model dalam Ollama dan bagaimana ia mempengaruhi keperluan
- 3 Keperluan perkakasan minimum dan disyorkan untuk Ollama pada rangkaian tempatan
- 4 Keperluan khusus untuk menjalankan model tertentu dengan Ollama
- 5 Keperluan untuk memasang Ollama pada VPS atau pelayan
- 6 Senario perkakasan khusus dan model yang hendak digunakan
- 7 Petua praktikal untuk memanfaatkan sepenuhnya perkakasan Ollama anda