- Analisis kemampuan perangkat keras dari Raspberry Pi 4 dan Model 5 yang canggih.
- Eksplorasi akselerator eksternal seperti AI HAT+ 2 untuk mengoptimalkan inferensi generatif.
- Perbandingan antara penggunaan model kuantisasi lokal dan dukungan pada infrastruktur API eksternal.
- Metodologi implementasi menggunakan alat-alat seperti Ollama, llama.cpp, dan lingkungan Python.
Jika Anda pernah bermimpi memiliki asisten pintar ala JARVIS yang berjalan di rumah Anda sendiri, tanpa bergantung pada cloud dan dengan privasi lengkap, Anda mungkin bertanya-tanya apakah papan kecil seperti Raspberry Pi dapat menanganinya. Jawaban singkatnya adalah ya, meskipun pengalamannya sangat bervariasi tergantung pada apakah Anda menggunakan perangkat keras dasar atau memutuskan untuk menambahkan daya ekstra dengan akselerator khusus.
Menjalankan model bahasa ekstensif (LLM) pada komputasi tepi memungkinkan pemrosesan terjadi langsung pada perangkat. Ini tidak hanya menghilangkan biaya layanan cloud bulanan tetapi juga memastikan data Anda tetap berada di rumah Anda — sangat penting bagi mereka yang menghargai keamanan jaringan rumah dan IoT serta ingin bereksperimen dengan AI tanpa batasan eksternal.
Perangkat keras dan kemampuan: Dari Pi 4 ke Pi 5
Sebagai permulaan, penting untuk memahami bahwa tidak semua papan pengembangan diciptakan sama. Pada Raspberry Pi 4, dimungkinkan untuk menjalankan model ringan, tetapi performanya sederhana. Dengan menggunakan alat seperti Ollama , Anda dapat memuat model seperti tinydolphin , yang memungkinkan Anda untuk mengobrol melalui terminal. Meskipun proses booting awal dapat memakan waktu beberapa menit dan mesin mungkin membutuhkan waktu untuk "berpikir" sebelum merespons, begitu mulai mengetik, ia melakukannya dengan kecepatan yang dapat diterima untuk tugas-tugas sederhana.
Beralih ke Raspberry Pi 5, situasinya membaik berkat arsitektur ARM yang lebih bertenaga. Di sini, RAM menjadi faktor kritis; versi RAM 8GB sangat direkomendasikan . Untuk mengoptimalkan ruang, teknik kuantisasi (seperti int4 atau 4-bit) digunakan , yang mengurangi ukuran model, sehingga dapat masuk ke memori tanpa mengorbankan terlalu banyak akurasi.
Bagi pengguna yang paling menuntut, Raspberry Pi AI HAT+ 2 telah hadir . Add-on ini merupakan terobosan baru, dengan mengintegrasikan akselerator Hailo-10H . Sementara HAT sebelumnya berfokus pada visi komputer (deteksi objek atau segmentasi adegan), model baru ini dirancang khusus untuk menjembatani kesenjangan dalam AI generatif, menawarkan kinerja inferensi 40 TOPS dan RAM 8 GB yang didedikasikan khusus untuk akselerator.
Implementasi teknis dan perangkat lunak
Jika Anda memutuskan untuk menggunakan jalur perangkat lunak murni pada Pi 5, panggilan.cpp Ini adalah alat standar. Melalui binding Python, model dalam format GGUF (seperti Orca-Mini-3B) dapat dimuat. Alur kerjanya melibatkan pembuatan lingkungan virtual dan instalasi. llama-cpp-python dan mengkonfigurasi skrip untuk mengelola thread prosesor dan perintah pengguna. Untuk memantau agar papan tidak mengalami crash, sangat berguna untuk menggunakan mprofyang memungkinkan Anda menganalisis penggunaan memori RAM puncak selama eksekusi.
Bagi mereka yang membeli AI HAT+ 2, arsitekturnya menjadi lebih tangguh. Pendekatan ideal adalah menginstal driver kernel Hailo dan runtime yang sesuai. Untuk kepraktisan, disarankan untuk mengkonfigurasi hailo-ollama sebagai layanan sistem (systemd) yang berjalan otomatis saat board dinyalakan, dengan mengekspos API yang kompatibel dengan Ollama pada port 8000.
Untuk menghindari selalu berurusan dengan baris perintah, Anda dapat menginstal Buka WebUIAntarmuka web ini mengubah Raspberry Pi menjadi server obrolan profesional, yang dapat diakses dari browser mana pun di jaringan lokal. Mengkonfigurasi OLLAMA_BASE_URL Tepatnya, kami memiliki antarmuka fluida yang berkomunikasi dengan perangkat keras Hailo, memungkinkan penggunaan model seperti... Qwen2 atau Qwen2.5-Coder untuk tugas pemrograman dan penerjemahan lokal.
Model dan optimasi yang direkomendasikan
Penting untuk bersikap realistis: model dengan 1 hingga 7 miliar parameter yang berjalan di Raspberry Pi tidak akan mampu bersaing dalam pengetahuan umum dengan GPT-4 atau Claude, yang memiliki miliaran parameter. Namun, model kecil sangat baik jika disetel dengan baik . AI HAT+ 2 memungkinkan penggunaan LoRA (Low-Rank Adaptation) , yang berarti Anda dapat menyesuaikan model untuk tugas yang sangat spesifik tanpa harus melatih ulang seluruh sistem.
- TinyDolphin: Ideal untuk Raspberry Pi 4 karena konsumsi dayanya yang sangat rendah.
- Orca-Mini-3B: Keseimbangan yang solid untuk Pi 5 menggunakan llama.cpp.
- Qwen2 / Qwen2.5: Dioptimalkan untuk ekosistem Hailo-10H, ideal untuk penulisan kode dan obrolan.
- VLM (Model Visi-Bahasa): Mampu mendeskripsikan gambar yang diambil oleh kamera Pi secara real-time.
Jika performa lokal masih belum memadai untuk aplikasi produksi, ada alternatif hibrida. Anda dapat mengembangkan secara lokal tetapi mendelegasikan inferensi ke API eksternal seperti SiliconFlow . Ini memungkinkan Anda untuk tetap menjalankan logika di Raspberry Pi tetapi mendapatkan respons instan melalui cloud, dengan biaya yang sangat rendah per juta token, sehingga mencegah perangkat dari panas berlebih atau melambat.
Membangun node AI di edge membutuhkan kesabaran, terutama dengan dependensi kernel pada distribusi seperti Ubuntu Server. Menggunakan repositori resmi Raspberry Pi seringkali lebih stabil daripada mengkompilasi semuanya dari awal. Meskipun ekosistemnya masih terasa agak belum matang dan terdapat perbedaan antara versi paket GenAI dan dokumentasi resmi, hasil akhirnya adalah sistem yang tenang, privat, dan sangat serbaguna yang mengubah papan tersebut menjadi otak mandiri untuk otomatisasi rumah.
