Anda mungkin sudah familiar dengan alat-alat seperti ChatGPT, Claude, atau Gemini. Meskipun alat-alat tersebut luar biasa, ada kekurangannya: alat-alat tersebut berjalan di cloud. Ini berarti setiap kata yang Anda ketik akan dikirim ke server perusahaan, yang dapat menimbulkan risiko privasi serius jika Anda menangani data sensitif atau bekerja di sektor-sektor di mana hukum melarang informasi keluar dari kantor.
Di sinilah Ollama berperan, sebuah aplikasi yang pada dasarnya mengubah komputer Anda menjadi pusat kendali AI . Lupakan langganan bulanan dan ketergantungan pada koneksi internet yang stabil; dengan alat ini, Anda dapat mengunduh model sumber terbuka dan menjalankannya langsung di perangkat keras Anda sendiri, mempertahankan kendali penuh atas data Anda.
Apa sebenarnya Ollama dan apa saja keuntungannya?
Ollama adalah perangkat lunak sumber terbuka yang berfungsi sebagai klien untuk mengelola model bahasa besar (LLM). Keunggulan utamanya adalah menyederhanakan kompleksitas teknis , menangani optimasi GPU dan manajemen memori sehingga Anda hanya perlu menjalankan perintah dan mulai mengobrol.
Keuntungannya jelas. Pertama, privasi benar-benar terjaga karena tidak ada data yang keluar dari mesin Anda. Kedua, Anda menghemat biaya token API atau biaya bulanan untuk paket Plus. Dan ketiga, setelah templat berada di hard drive Anda, Anda dapat menggunakannya sepenuhnya secara offline , ideal saat Anda berada di pesawat atau di tempat-tempat dengan jangkauan jaringan yang buruk.
Namun, tidak semuanya berjalan mulus. Kelemahan utamanya adalah Anda membutuhkan perangkat keras yang mumpuni . Jika Anda mencoba menjalankan model besar pada PC dengan RAM yang sedikit, responsnya akan sangat lambat sehingga Anda punya waktu untuk membuat kopi sebelum model tersebut menyelesaikan kalimatnya. Selain itu, AI hanya mengetahui apa yang telah dipelajarinya hingga tanggal pelatihannya, sehingga tidak memiliki akses ke berita terkini secara real-time.
Persyaratan sistem dan perangkat keras yang direkomendasikan
Untuk menghindari pengalaman yang mengecewakan, Anda sebaiknya memeriksa komponen-komponen Anda. Sumber daya yang paling penting adalah RAM dan VRAM kartu grafis Anda . Secara umum, model 1.5B membutuhkan sekitar 1GB ruang, tetapi memerlukan lebih banyak memori agar dapat beroperasi dengan lancar.
- Model Mini (270M hingga 4B): Ideal untuk peralatan berukuran kecil atau yang mudah dipindahkan.
- Model Kecil (4B hingga 14B): Pilihan yang seimbang untuk pengguna rumahan.
- Model Medium (14B hingga 70B): Di sini Anda membutuhkan perangkat keras yang mumpuni.
- Model Besar (lebih dari 70 miliar): Hanya untuk mesin dengan sumber daya yang sangat besar.
Sedangkan untuk GPU, memiliki kartu NVIDIA dengan CUDA, kartu AMD dengan ROCm, atau Mac dengan Apple Metal akan membuat perbedaan besar, mempercepat pembuatan teks hingga 5 sampai 10 kali lipat dibandingkan hanya menggunakan CPU. Jika Anda akan membeli peralatan, carilah kartu grafis dengan setidaknya 16GB VRAM agar Anda tidak cepat kehabisan memori.
Panduan instalasi langkah demi langkah
Menginstal Ollama sangat mudah dan dapat dilakukan dalam hitungan menit tergantung pada sistem operasi yang Anda gunakan:
Di Windows , cukup unduh file .exe dari situs web resmi. Biasanya akan terinstal di folder AppData pengguna. Bagi yang lebih menyukai kontainer, aplikasi ini juga dapat diinstal menggunakan Docker Desktop dengan menjalankan perintah instalasi resmi di terminal.
Untuk pengguna LinuxCara tercepat adalah menggunakan terminal dengan perintah tersebut. curl -fsSL https://ollama.com/install.sh | shSetelah terinstal, layanan biasanya berjalan di latar belakang. Jika Anda perlu mengubah lokasi penyimpanan model untuk menghindari penuhnya disk utama, Anda dapat mengedit variabel lingkungan. MODEL OVEN dalam file konfigurasi layanan systemd.
En MacOSInstalasinya mudah dilakukan dengan menggunakan installer yang sudah diunduh atau bahkan dengan menggunakan brew install ollamaSistem akan secara otomatis memanfaatkan hal tersebut. Percepatan logam dari chip Apple Silicon.
Cara mengelola dan menjalankan model AI
Setelah server Ollama aktif (Anda akan melihatnya di ikon taskbar), Anda dapat mulai mengunduh model. Perintah dasarnya adalah ollama pull [nombre-del-modelo]meskipun jika Anda menggunakan ollama run, sistem akan mengunduh model secara otomatis jika Anda belum memilikinya.
Tersedia berbagai kategori model tergantung pada kebutuhan Anda:
- Percakapan: Llama 3 atau Mistral adalah rajanya di sini karena keseimbangan antara kualitas dan kecepatannya.
- Pemrograman: CodeLlama atau DeepSeek-Coder sangat ideal untuk men-debug kode atau menghasilkan fungsi.
- Multimodal (Penglihatan): Model seperti LLaVA memungkinkan Anda mengunggah gambar dan meminta AI untuk mendeskripsikannya.
- Penalaran (Berpikir): Model yang dirancang untuk menjelaskan proses langkah demi langkah.
Untuk berinteraksi, cukup gunakan ollama run llama3 dan Anda akan memasuki prompt interaktif. Dalam sesi ini, Anda dapat menggunakan perintah seperti /? untuk bantuan atau /bye Untuk keluar. Jika Anda ingin melihat apa yang telah Anda instal, ollama list Ini akan memberi Anda daftar lengkap, dan dengan ollama ps Anda dapat memeriksa apakah model tersebut dimuat ke GPU atau CPU.
Pengaturan dan penyesuaian lanjutan
Jika Anda seorang pengembang, Ollama adalah tambang emas karena menyediakan API REST pada port 11434. Ini memungkinkan Anda untuk menghubungkan AI lokal ke aplikasi apa pun. Ollama kompatibel dengan format OpenAI, sehingga Anda dapat mengintegrasikannya ke VS Code melalui GitHub Copilot (menggunakan opsi BYOK) atau menggunakan agen seperti OpenCode.
Fitur hebat lainnya adalah Modelfile . Ini mirip dengan Dockerfile tetapi untuk AI. Fitur ini memungkinkan Anda membuat versi model yang disesuaikan dengan mendefinisikan Perintah Sistem tertentu (misalnya, mengubah Llama menjadi ahli hukum Spanyol), menyesuaikan suhu untuk membuatnya lebih kreatif atau lebih tepat, dan menyimpan konfigurasi tersebut dengan nama khusus.
Bagi mereka yang mencari antarmuka visual yang lebih mirip dengan ChatGPT, kami merekomendasikan untuk menginstal Open WebUI . Aplikasi ini terhubung ke Ollama sebagai backend dan menyediakan pengalaman web lengkap dengan riwayat obrolan dan manajemen dokumen, semuanya berjalan di jaringan lokal Anda sendiri.
Tips optimasi dan peningkatan kinerja
Ketika Anda menyadari bahwa AI berjalan lambat, langkah pertama adalah memeriksa kuantisasi . Proses ini mengurangi presisi bobot model (dari 16 bit menjadi 4 atau 8 bit, misalnya), yang secara drastis mengurangi RAM yang dibutuhkan tanpa mengorbankan terlalu banyak kualitas. Model Q4_K_M biasanya merupakan titik optimal antara kinerja dan presisi.
Untuk mencegah Ollama mengonsumsi sumber daya saat tidak digunakan, Anda dapat menonaktifkan startup otomatis di Pengelola Tugas Windows. Memantau penggunaan VRAM secara real-time juga bermanfaat untuk menentukan apakah model tersebut menggunakan RAM sistem, yang secara signifikan memperlambat kinerja.
Mengendalikan infrastruktur lokal mendemokratisasi penggunaan kecerdasan buatan, menghilangkan hambatan ekonomi berupa langganan dan risiko keamanan cloud. Dengan menggabungkan kekuatan model seperti Llama 3 atau Mistral dengan kemudahan pengelolaan Ollama, setiap penggemar atau perusahaan dapat membangun ekosistem AI pribadi mereka sendiri , mengoptimalkan perangkat keras yang tersedia dan menyesuaikan perilaku model melalui Modelfile dan API terintegrasi.