AI dan otomatisasi lokal: agen, keamanan, dan studi kasus dunia nyata

Informatec Digital » Sumber daya » AI dan otomatisasi lokal: agen, keamanan, dan studi kasus dunia nyata

La otomatisasi dengan AI lokal Teknologi ini kini tidak lagi hanya diperuntukkan bagi penggemar teknologi dengan server rumahan, tetapi juga menjadi pilihan nyata bagi siapa pun yang menginginkan kontrol, privasi, dan fleksibilitas yang lebih besar. Saat ini, Anda tidak lagi sepenuhnya bergantung pada cloud perusahaan besar untuk memiliki agen yang mampu membaca layar Anda, menggerakkan mouse Anda, bekerja dengan file Anda, atau menjalankan alur kerja kompleks di latar belakang.

Situasinya telah meledak: dari tumpukan lengkap seperti NemoClaw dari NVIDIA Mulai dari agen otonom yang berjalan di perangkat keras Anda sendiri hingga aplikasi seluler seperti PocketBot yang mengubah bahasa alami menjadi otomatisasi telepon, dan termasuk platform terbuka seperti OpenClaw, asisten seperti Jan AI, dan panduan praktis untuk menyiapkan "ChatGPT buatan sendiri" Anda dengan Ollama dan Open WebUI, tujuannya sama: membangun ekosistem di mana AI hidup di komputer Anda, berinteraksi dengan program Anda, dan mengotomatiskan tugas harian Anda tanpa mengambil data Anda dari sistem Anda.

Apa itu otomatisasi AI lokal dan mengapa hal itu penting?

Saat kita bicarakan AI lokal untuk otomatisasiYang kami maksud adalah model dan agen yang berjalan di perangkat Anda sendiri (PC, server, DGX, ponsel) tanpa mengirimkan data sensitif ke server eksternal. Model tersebut membuat keputusan, mengeksekusi kode, membaca file, memanggil API, dan mengkoordinasikan alat, tetapi semuanya terjadi di dalam lingkungan yang Anda kendalikan.

Evolusinya sangat dramatis: dari chatbot sederhana yang hanya menjawab pertanyaan, kita telah berkembang ke... Agen AI yang mampu mengeksekusi rangkaian tugas.untuk mengatur berbagai langkah, berkonsultasi dengan berbagai sumber data, dan membuat keputusan secara mandiri. Hal ini telah sepenuhnya mengubah cara kita memahami otomatisasi: modelnya bukan lagi hanya "orang yang menjawab," tetapi "orang yang bertindak."

Perubahan ini memiliki satu konsekuensi yang jelas: Otonomi yang lebih besar berarti risiko yang lebih besar.Jika Anda memberikan akses agen ke sistem file, kredensial Anda, browser Anda, atau alat pengembangan Anda, Anda memerlukan desain keamanan yang kuat. Di sinilah pendekatan lokal unggul, karena Anda dapat membatasi izin, mengisolasi proses, dan memantau dengan cermat apa yang dilakukan model pada waktu tertentu.

Selain itu, model terbuka dengan lisensi gratis seperti Apache-2.0 atau MIT (Seperti banyak solusi Falcon, Bark, Jan, dll.), solusi ini memungkinkan Anda membangun solusi tanpa terikat kontrak atau kebijakan penggunaan yang tidak transparan. Anda dapat mengaudit kode, menyesuaikan model, menerapkan penyempurnaan, dan bahkan mengintegrasikannya dengan perangkat keras tertentu seperti GPU A100 atau workstation NVIDIA DGX.

Untuk banyak sektor (perawatan kesehatan, perbankan, hukum, administrasi publik), di mana Privasi dan penyimpanan yang aman Ini suci, perpaduan antara AI lokal + agen otonom + model terbuka Ini membuat perbedaan: Anda melakukan otomatisasi, tetapi data tidak keluar dari perimeter Anda.

Platform AI lokal untuk otomatisasi tingkat lanjut: NemoClaw, OpenShell, dan OpenClaw

NVIDIA telah memasuki permainan ini dengan sangat kuat dengan NemoClawIni adalah tumpukan sumber terbuka yang dirancang untuk menyebarkan agen otonom secara lokal dengan aman dan memastikan agen tersebut selalu aktif. Tumpukan ini dirancang untuk berjalan pada mesin yang andal seperti NVIDIA DGX Spark, tetapi filosofinya dapat diterapkan pada lingkungan bersertifikasi lainnya.

NemoClaw bertindak sebagai capa de orquestación: Menginstal dan mengkoordinasikan OpenShell (runtime keamanan) dan OpenClaw (kerangka kerja agen multi-saluran), mengkonfigurasi inferensi model (melalui Ollama atau NVIDIA NIM) dan menerapkan kebijakan keamanan sejak awal, bukan sebagai tambalan di menit-menit terakhir.

Inti dari tumpukan tersebut biasanya adalah... NVIDIA Nemotron 3 Super 120BSebuah model dengan 120.000 miliar parameter yang dioptimalkan untuk agen: sangat baik dalam mengikuti instruksi kompleks, menangani alat, dan penalaran multi-langkah. Namun, untuk menjalankan sesuatu sebesar ini, Anda membutuhkan GPU yang mumpuni dan banyak memori; sekitar 87 GB disebutkan hanya untuk model itu sendiri.

Inferensi biasanya disajikan dengan Ollama sebagai runtime lokalyang mengekspos API REST pada mesin itu sendiri. NemoClaw berkomunikasi dengan API ini untuk mengirimkan perintah, menerima respons, dan mengoordinasikan panggilan alat menggunakan pola pemanggilan alat.

Komponen OpenShell sangat penting dalam aspek keamanan.Sistem ini menerapkan sandboxing, mengontrol kredensial, bertindak sebagai proxy jaringan, dan menerapkan prinsip hak akses minimal. Sistem ini memantau koneksi yang dicoba oleh agen dan memungkinkan Anda untuk menyetujui atau memblokir endpoint dari antarmuka mirip TUI (Table-User Interface). Dengan cara ini, jika model mencoba mengakses layanan baru, tidak akan terjadi apa pun tanpa persetujuan Anda.

Di dalam kotak pasir terdapat OpenClaw, lapisan agen multi-saluranKomponen ini menangani komunikasi dengan platform seperti Telegram, Slack, dan Discord, mengelola memori agen, menghubungkan berbagai alat (skrip, API, peramban), dan mempertahankan percakapan dalam jangka panjang. Jika Anda menginginkan asisten yang selalu aktif, dapat diakses melalui pesan, dan dengan memori yang persisten, inilah komponen yang memungkinkan hal tersebut.

Keamanan, sandboxing, dan penerapan lokal langkah demi langkah

Salah satu kekuatan besar dari tumpukan ini adalah bahwa Aspek keselamatan dipertimbangkan sejak tahap perancangan.Tidak ditambahkan kemudian. Kesalahan umum dalam proyek agen adalah membangun semua fungsionalitas terlebih dahulu, lalu mencoba "melindungi" apa yang sudah dibangun, sehingga menciptakan celah di mana-mana.

Mekanisme utamanya adalah sandbox eksekusiSemua kode yang ingin dieksekusi oleh agen berjalan dalam lingkungan yang terisolasi: kode tersebut tidak memiliki akses langsung ke sistem file host, tidak dapat melakukan panggilan jaringan sembarangan, dan tidak dapat meningkatkan hak akses melebihi apa yang telah ditentukan dalam konfigurasi.

Hal ini sangat mengurangi dampak dari serangan injeksi cepat atau instruksi berbahaya. Jika model tersebut melakukan sesuatu yang tidak biasa, kerusakan tetap terbatas di dalam sandbox. Meskipun demikian, NVIDIA sendiri mengakui bahwa tidak ada sandbox yang sempurna, jadi mereka merekomendasikan untuk selalu menguji alat baru pada sistem yang terisolasi.

Selain itu, NemoClaw menerapkan kontrol terperinci atas alat dan kebijakan secara waktu nyataSecara default, agen hanya dapat berkomunikasi dengan sejumlah terbatas titik akhir jaringan. Ketika mencoba sesuatu yang baru, OpenShell akan memblokirnya, dan Anda dapat melihat dengan tepat apa yang coba dilakukannya (host, port, proses). Anda kemudian dapat menyetujuinya untuk sesi tersebut atau menambahkan kebijakan permanen pada host.

Alur penerapan di DGX Spark biasanya mengikuti langkah-langkah berikut: konfigurasi Ubuntu 24.04 LTS dengan driver NVIDIA mengikuti panduan perakitan komputerInstal Docker 28.xo atau yang lebih tinggi dengan runtime GPU, instal Ollama dan unduh model Nemotron 3 Super 120B, dan terakhir luncurkan instalasi NemoClaw dengan satu perintah yang memicu wizard konfigurasi.

Panduan orientasi ini akan memandu Anda melalui nama sandbox, penyedia inferensi, model yang dipilih, preset keamanan Dan, jika Anda mau, integrasi Telegram. Waktu penyiapan aktif diperkirakan 20-30 menit, ditambah 15-30 menit lagi untuk mengunduh templat, tergantung pada bandwidth.

Dari segi performa, kita harus realistis: respons dengan model parameter 120B dapat memakan waktu antara 30 dan 90 detik dalam konteks lokal. Ini bukan masalah tersendiri, tetapi perlu diperhitungkan saat merancang alur penggunaan dan jenis tugas yang Anda berikan kepada agen.

Akses jarak jauh, antarmuka web, dan perangkat keras yang dirancang untuk AI lokal.

Setelah semuanya disiapkan, Anda dapat berinteraksi dengan agen tersebut dengan beberapa cara. Cara yang paling umum adalah melalui TelegramMenggunakan bot yang dibuat dengan @BotFather adalah pilihan praktis: API yang tangguh, enkripsi, aplikasi untuk semua jenis perangkat, dan tidak perlu mengekspos port server Anda ke dunia luar.

Bot tersebut menerima pesan Anda, meneruskannya ke agen di DGX, dan mengirimkan balasan kepada Anda. Yang menarik adalah, meskipun percakapan tersebut melalui infrastruktur Telegram, Pengambilan kesimpulan dan akses ke data sensitif tetap 100% lokal. di mesin Anda.

Selain itu, NemoClaw menawarkan antarmuka web pribadi Dapat diakses melalui URL tokenisasi yang hanya dibuat sekali di akhir proses onboarding. Sangat penting untuk segera menyimpan URL ini, karena tidak akan ditampilkan lagi. Untuk melihatnya dari mesin lain di jaringan, Anda harus mengkonfigurasi terowongan SSH dan penerusan port menggunakan OpenShell.

Satu detail kecil namun penting adalah bahwa URL harus dibuka dengan 127.0.0.1 sebagai pengganti localhostMenggunakan localhost dapat menyebabkan kesalahan asal yang tidak sah (CORS), yang dapat membuang waktu Anda jika Anda tidak menyadarinya.

Untuk operasional sehari-hari ada beberapa Perintah CLI yang berguna: membuka shell di dalam sandbox, melihat status, mengikuti log secara real-time, mencantumkan sandbox, memulai atau menghentikan bridge Telegram, mengaktifkan port forwarding, atau menjalankan skrip uninstall bersih yang menghapus seluruh stack.

Adapun perangkat kerasnya, NVIDIA DGX Spark Jelas sekali sistem ini dirancang untuk kasus penggunaan tersebut. Ini adalah sistem yang ringkas dengan GPU NVIDIA dan memori terpadu berbandwidth tinggi, ideal untuk menjalankan model berukuran sedang dan besar dengan latensi rendah tanpa harus menyiapkan pusat data lengkap.

La memori terpadu Hal ini sangat membantu mengatasi salah satu hambatan klasik: memindahkan data antara CPU dan GPU. Dengan berbagi ruang memori, model mengakses data jauh lebih efisien, memungkinkan model dengan puluhan miliar parameter untuk dimuat dalam waktu (hampir) nyata—hal yang tidak terpikirkan hingga baru-baru ini pada perangkat keras konsumen.

Agen AI lokal populer: contoh dan kasus penggunaan

Di luar ekosistem NVIDIA, ada cukup banyak pilihan lainnya. Agen AI dan platform berorientasi otomatisasi di tim Anda sendiri yang patut diketahui. Masing-masing menargetkan tipe pengguna yang berbeda dan serangkaian tugas yang berbeda.

OpenClaw, misalnya, menjadi populer karena platform agen sumber terbuka yang berfungsi sebagai asisten pribadi. Aplikasi ini memungkinkan Anda membuat agen khusus untuk membersihkan kotak masuk, mengirim pesan, mengelola kalender, mengatur perjalanan, atau mengotomatiskan tugas-tugas berulang dalam kehidupan digital Anda.

Dapat dipasang di Windows, macOS dan LinuxSelain itu, sistem ini juga dirancang untuk bekerja dengan model LLM secara lokal, yang meningkatkan privasi dan mengurangi ketergantungan pada cloud. Lebih jauh lagi, sistem ini terintegrasi dengan aplikasi perpesanan seperti WhatsApp, Telegram, Discord, Slack, Signal, dan Apple Messages, sehingga agen Anda berjalan "di balik layar" obrolan yang sudah Anda gunakan.

Melalui plugin, Anda dapat memberikannya akses ke browser, jejaring sosial, klien email, dan aplikasi lain, serta mengizinkannya Berinteraksi dengan sistem file, menjalankan perintah dan skrip.atau mengotomatiskan tugas-tugas perkantoran dan produktivitas yang umum. Semua ini dengan fokus yang jelas untuk memungkinkan pengguna memilih folder, aplikasi, dan layanan mana yang tersedia untuk agen.

Dalam ekosistem yang lebih umum, platform seperti Komputer PerplexityIni mengubah Perplexity dari mesin pencari percakapan sederhana menjadi asisten yang mampu menjalankan alur kerja kompleks. Mode Komputer ini memungkinkan Anda untuk menjelajahi web, membuat dan mengelola dokumen, menulis kode, memproses data, dan berkoordinasi dengan layanan seperti Gmail, Slack, GitHub, dan Notion.

Kekuatannya terletak pada pemanfaatan model seperti Claude, GPT, Gemini, atau Sonar milik Perplexity sendiri untuk mengelola volume data yang besar dan membagi tugas-tugas kompleks menjadi subtugas yang dapat dieksekusi secara serial atau paralel. Meskipun tidak selalu sepenuhnya lokal, pola agen dan integrasi dengan alat-alatnya sangat mirip dengan agen yang berjalan di mesin Anda.

Dalam ranah sumber terbuka dan lokal sepenuhnya, Jan AI Aplikasi ini dipresentasikan sebagai pengganti ChatGPT yang dapat diinstal pada Windows, Mac, dan Linux. Aplikasi ini memungkinkan Anda untuk menggunakan model lokal seperti Llama (Meta) atau Gemma (Google), atau terhubung ke model online seperti ChatGPT, Claude, Gemini, Mistral, Qwen, atau DeepSeek jika Anda tertarik dengan kombinasi keduanya.

Jan AI bekerja sebagai asisten percakapan klasik (bertanya, menyusun draf, meringkas, menerjemahkan, menulis ulang, menjelaskan) sebagai agen yang mampu memproses file dan dokumen, mengeksekusi perintah, dan menghasilkan kode dalam berbagai bahasa. Selain itu, fokus kustomisasinya memudahkan pembuatan agen Anda sendiri dengan instruksi spesifik dan beralih di antara "profil" yang berbeda tergantung pada apa yang Anda lakukan.

Agen pada perangkat: PocketBot dan otomatisasi seluler

Konsep AI lokal tidak hanya terbatas pada PC.Hal ini juga memberikan dampak yang signifikan pada telepon seluler, di mana semakin banyak proyek yang memilih model kecil namun khusus untuk mengotomatisasi telepon tanpa melalui komputasi awan.

Contoh yang jelas adalah PocketBot, sebuah agen yang berjalan langsung di iPhone menggunakan flame.cpp pada Metal.Misinya adalah mengubah bahasa alami menjadi otomatisasi telepon: alih-alih mengetuk ribuan menu atau pintasan, Anda menjelaskan apa yang Anda inginkan dan agen tersebut akan menerjemahkannya menjadi tindakan.

PocketBot menggunakan model terkuantisasi dari 3.000 miliar parameterBerjalan sepenuhnya secara lokal dan tanpa mengirim data ke server eksternal. Memori yang tersedia pada iPhone 15 Pro biasanya 3-4 GB yang dapat digunakan sebelum iOS mulai menghentikan proses, sehingga ukuran model dan kuantisasi sangat penting.

Salah satu tantangan yang disebutkan oleh para penciptanya adalah menemukan Model kecil yang andal untuk pemanggilan alat dan keluaran terstruktur dalam format JSON. Misalnya, saat menggunakan Qwen3, mereka menghadapi masalah seperti nama parameter yang dibuat-buat, JSON yang salah format (tanda kurung hilang), dan ketidaksesuaian skema, yang memaksa implementasi lapisan koreksi mandiri dan percobaan ulang.

Ada juga banyak perdebatan mengenai hal tersebut. titik kuantisasi optimum Untuk mencapai rasio kualitas/memori terbaik, pertimbangkan opsi seperti q4_K_M atau q5_K_S tergantung pada generasi chip dan memori yang tersedia. Setiap bit yang lebih sedikit dalam kuantisasi berarti model yang lebih mudah dikelola, tetapi dapat berdampak negatif pada penalaran dan akurasi dalam panggilan alat.

Aspek lain adalah penyesuaian parameter pengambilan sampel tergantung pada tugasnya. Konfigurasi tipikal meliputi suhu 0,7, top_p 0,8, top_k 20 dan repeat_penalty 1,1, tetapi ada minat untuk memisahkan strategi pembangkitan untuk percakapan bebas versus penggunaan alat, di mana determinisme yang lebih besar dan kreativitas yang lebih sedikit lebih menarik.

Terakhir, di telepon seluler manajemen konteks Hal ini sangat rumit: perintah sistem biasanya disimpan dalam cache KV untuk menghindari pemrosesan ulang, dan jendela geser digunakan untuk menghindari kelebihan kapasitas; itulah mengapa penting untuk mengetahui caranya. Simpan dan atur petunjuk Anda..

Di luar itu, masih ada ruang untuk trik peringkasan bertahap, memori selektif, atau skema hibrida yang menggabungkan riwayat terkompresi dan konteks langsung.

Buat "ChatGPT lokal" Anda sendiri dengan Ollama dan Open WebUI.

Bagi mereka yang tidak membutuhkan susunan kartu serumit NemoClaw, tetapi menginginkan Asisten tipe ChatGPT yang berjalan di komputer AndaPendekatan yang sangat praktis berdasarkan Ollama dan Open WebUI telah menjadi populer.

Idenya sederhana: Ollama Tugasnya adalah mengunduh dan menyajikan model. (Llama, Gemma, Qwen, dll.) di mesin Anda melalui API lokal, dan Open WebUI menawarkan antarmuka web yang sangat mirip dengan ChatGPT tetapi berjalan sepenuhnya di mesin Anda. Semua lalu lintas antara UI dan model berjalan melalui localhost.

Panduan langkah demi langkah yang sangat mudah dipahami menjelaskan bagaimana, dengan beberapa 15 perintah terminalAnda dapat menyiapkan dan menjalankan sistem ini dalam waktu kurang dari satu jam. Paket ini mencakup instalasi Python 3.11, konfigurasi sistem dasar, instalasi Ollama, dan penerapan Open WebUI, beserta tangkapan layar dan kiat pemecahan masalah.

Hasilnya adalah lingkungan di mana Anda menikmati langganan tanpa biayaPrivasi total (data tidak pernah meninggalkan komputer Anda), waktu respons yang kompetitif (tidak ada antrian server bersama), dan kebebasan penuh untuk menyesuaikan asisten khusus agar sesuai dengan kebutuhan Anda.

Selain itu, Open WebUI mengintegrasikan fitur-fitur canggih seperti Pencarian web, penerjemah kode, pembuatan model kustom. Berdasarkan konfigurasi spesifik, sistem ini sedang mempersiapkan kemampuan RAG tingkat lanjut untuk membangun basis pengetahuan pribadi. Idenya adalah Anda dapat memiliki "asisten" terlatih yang memahami dokumen dan alur kerja Anda tanpa bergantung pada pihak ketiga.

Setelah beberapa bulan digunakan, banyak pengguna melaporkan bahwa kombinasi ini telah sepenuhnya menggantikan [produk/layanan sebelumnya]. langganan berbayar mereka untuk solusi cloudsambil meningkatkan integrasi dengan data dan alat lokal mereka sendiri. Langkah alami selanjutnya adalah menghubungkan "ChatGPT buatan sendiri" ini dengan agen, skrip, dan layanan untuk mengoordinasikan otomatisasi yang lebih kompleks.

Otomatiskan kehidupan digital Anda: contoh praktis dengan AI lokal.

Semua ini terdengar hebat dari segi teknis, tetapi apa yang sebenarnya dapat Anda lakukan dalam kehidupan sehari-hari dengan hal itu? agen lokal yang terlatih dengan baikKemungkinannya cukup luas jika Anda menggabungkan model multimodal, akses layar, alat, dan penyimpanan terstruktur.

Ada proposal yang dirancang untuk otomatiskan penggunaan komputer Anda sendiri dengan agen yang menerima tangkapan layar dan menindaklanjutinya. Alurnya akan seperti ini: sistem mengambil tangkapan layar, agen memprosesnya dengan model yang mampu bekerja dengan gambar, memahami aplikasi apa yang terbuka, tombol apa yang ada, teks apa yang muncul, dan berdasarkan perintah Anda, memutuskan apa yang harus dilakukan selanjutnya.

Dengan ide ini, Anda bisa, misalnya, mendirikan agen penerjemahan khususSistem ini menangkap bagian layar yang ingin Anda terjemahkan, memperbesarnya dalam jendela "penerjemah kaca pembesar", dan menghasilkan terjemahan yang hampir instan menggunakan model kecil (misalnya, 4B parameter) yang disempurnakan untuk penerjemahan, seperti varian PHI yang disempurnakan.

Sisi menarik lainnya adalah sisi Model visual yang mengubah tangkapan layar menjadi PDFBayangkan sebuah alat yang, dari tangkapan layar presentasi, dasbor, atau dokumen, menghasilkan PDF yang diformat dengan baik yang kemudian dapat Anda perbaiki atau gunakan langsung dalam presentasi Anda. Dengan mengintegrasikan Python dengan Acrobat, Anda dapat mengotomatiskan seluruh alur kerja.

Untuk bekerja dengan web tanpa bergantung pada layanan eksternal, teknologi lama seperti... BeautifulSoup masih sangat berguna.Anda dapat menyiapkan scraper ringan yang merayapi beberapa halaman dan hanya menyimpan HTML yang diperlukan (misalnya, hanya mengekstrak