Vietinis dirbtinis intelektas ir automatizavimas: agentai, saugumas ir realaus pasaulio atvejai

Informatec Digital » Ištekliai » Vietinis dirbtinis intelektas ir automatizavimas: agentai, saugumas ir realaus pasaulio atvejai

Vietinė dirbtinio intelekto automatizacija tampa ne tik technologijų entuziastų, turinčių namų serverius, priemone, bet ir perspektyvia galimybe visiems, siekiantiems didesnės kontrolės, privatumo ir lankstumo. Šiandien jums nebereikia pasikliauti didelės įmonės debesimi, kad agentai galėtų skaityti jūsų ekraną, judinti pelę, dirbti su jūsų failais ar vykdyti sudėtingas darbo eigas fone.

Kraštovaizdis smarkiai išaugo: nuo ​​išsamių sistemų, tokių kaip NVIDIA „NemoClaw“, skirtų autonominiams agentams jūsų aparatinėje įrangoje, iki mobiliųjų programėlių, tokių kaip „PocketBot“, kurios natūralią kalbą paverčia telefono automatizavimu, iki atvirų platformų, tokių kaip „OpenClaw“, asistentų, tokių kaip „Jan AI“, ir praktinių vadovų, kaip sukurti savo „naminį ChatGPT“ su „Ollama“ ir „Open WebUI“. Tikslas tas pats: sukurti ekosistemą, kurioje dirbtinis intelektas gyvena jūsų kompiuteryje, sąveikauja su jūsų programomis ir automatizuoja jūsų kasdienes užduotis neišimdamas jūsų duomenų iš sistemos.

Kas yra vietinė dirbtinio intelekto automatizacija ir kodėl ji svarbi?

Kalbėdami apie vietinį dirbtinį intelektą automatizavimui , turime omenyje modelius ir agentus, kurie veikia jūsų įrenginyje (asmeniniame kompiuteryje, serveryje, DGX, mobiliajame įrenginyje) nesiunčiant jautrių duomenų į išorinius serverius. Modelis priima sprendimus, vykdo kodą, skaito failus, iškviečia API ir koordinuoja įrankius, tačiau viskas vyksta jūsų kontroliuojamoje aplinkoje.

Evoliucija buvo dramatiška: nuo paprastų pokalbių robotų, kurie atsakydavo tik į klausimus, perėjome prie dirbtinio intelekto agentų, galinčių vykdyti užduočių sekas , koordinuoti kelis veiksmus, konsultuotis su skirtingais duomenų šaltiniais ir priimti autonominius sprendimus. Tai visiškai pakeitė mūsų supratimą apie automatizavimą: modelis nebėra tik „tas, kuris atsako“, jis yra „tas, kuris veikia“.

Šis pakeitimas turi akivaizdžią pasekmę: daugiau autonomijos reiškia daugiau rizikos . Jei suteikiate agentui prieigą prie failų sistemos, savo kredencialų, naršyklės ar kūrimo įrankių, jums reikia patikimo saugumo dizaino. Čia ir suveikia vietiniai metodai, nes galite apriboti teises, izoliuoti procesus ir atidžiai stebėti, ką modelis veikia bet kuriuo momentu.

Be to, atvirojo kodo modeliai su nemokamomis licencijomis, pvz., „Apache 2.0“ arba MIT (pvz., daugelis „Falcon“, „Bark“, „Jan“ ir kt.), leidžia kurti sprendimus neprisirišant prie sutarčių ar neskaidrių naudojimo politikų. Galite tikrinti kodą, koreguoti modelį, taikyti tikslius derinimus ir netgi integruoti jį su konkrečia aparatine įranga, pvz., A100 GPU arba NVIDIA DGX darbo stotyse.

Daugelyje sektorių (sveikatos priežiūros, bankininkystės, teisės, viešojo administravimo), kur privatumas ir saugus duomenų saugojimas yra svarbūs, vietinio dirbtinio intelekto, autonominių agentų ir atvirųjų modelių derinys yra esminis: jūs automatizuojate, bet duomenys nepalieka jūsų perimetro.

Vietiniai dirbtinio intelekto paketai pažangiai automatizacijai: „NemoClaw“, „OpenShell“ ir „OpenClaw“

„NVIDIA“ sėkmingai įžengė į šią rinką su „NemoClaw“ – atvirojo kodo paketu, skirtu saugiai diegti autonominius agentus vietoje ir užtikrinti, kad jie visada būtų įjungti. Jis sukurtas veikti galinguose kompiuteriuose, tokiuose kaip „NVIDIA DGX Spark“, tačiau ši filosofija taikoma ir kitoms sertifikuotoms aplinkoms.

„NemoClaw“ veikia kaip orkestravimo sluoksnis : jis įdiegia ir koordinuoja „OpenShell“ (saugumo vykdymo aplinką) ir „OpenClaw“ (daugiakanalio agento sistemą), konfigūruoja modelio išvadas (per „Ollama“ arba „NVIDIA NIM“) ir taiko saugumo politikas nuo pat pradžių, o ne kaip paskutinės minutės pataisą.

Šio rinkinio centre paprastai yra „NVIDIA Nemotron 3 Super 120B“ – 120.000 milijardų parametrų modelis, optimizuotas agentams: labai gerai sekasi vykdyti sudėtingas instrukcijas, valdyti įrankius ir samprotauti keliais etapais. Tačiau norint paleisti tokio dydžio sistemą, reikia rimtos GPU ir daug atminties; vien šiam modeliui numatoma apie 87 GB.

Išvados paprastai pateikiamos naudojant „Ollama“ kaip vietinę vykdymo aplinką , kuri vietiniame kompiuteryje atveria REST API. „NemoClaw“ bendrauja su šia API, kad siųstų raginimus, gautų atsakymus ir koordinuotų įrankių iškvietimus naudodama įrankių iškvietimo šabloną.

„OpenShell“ komponentas yra labai svarbus saugumui : jis įgyvendina „smėlio dėžės“ principą, kontroliuoja prisijungimo duomenis, veikia kaip tinklo tarpinis serveris ir taiko mažiausių privilegijų principą. Jis stebi agento bandomus prisijungti ryšius ir leidžia patvirtinti arba blokuoti galinius taškus iš TUI tipo sąsajos. Tokiu būdu, jei modelis bandys prisijungti prie naujos paslaugos, be jūsų patvirtinimo niekas neįvyks.

Smėlio dėžėje yra „OpenClaw“ – daugiakanalis agento sluoksnis . Jis tvarko komunikaciją su tokiomis platformomis kaip „Telegram“, „Slack“ ir „Discord“, valdo agento atmintį, jungia įrankius (scenarijus, API, naršykles) ir palaiko ilgalaikius pokalbius. Jei norite visada įjungto asistento, pasiekiamo per žinutes ir turinčio nuolatinę atmintį, šis komponentas tai leidžia.

Saugumas, smėlio dėžės aplinka ir vietinis diegimas žingsnis po žingsnio

Vienas didžiausių šio paketo privalumų yra tas, kad saugumas yra integruotas nuo pat projektavimo etapo , o ne pridedamas vėliau. Tipiška agentų projektų klaida yra pirmiausia įdiegti visas funkcijas, o tada bandyti „sustiprinti“ tai, kas jau sukurta, taip sukuriant pažeidžiamumus visur.

Pagrindinis mechanizmas yra vykdymo smėlio dėžės principu veikiantis kodas. Visas agento norimas vykdyti kodas vykdomas izoliuotoje aplinkoje: jis neturi tiesioginės prieigos prie pagrindinio kompiuterio failų sistemos, negali atlikti savavališkų tinklo skambučių ir negali suteikti daugiau privilegijų, nei apibrėžta konfigūracijoje.

Tai labai sumažina tiesioginių injekcijų atakų ar kenkėjiškų instrukcijų poveikį . Jei modelis nusprendžia atlikti ką nors neįprasto, žala lieka tik „smėlio dėžėje“. Nepaisant to, pati NVIDIA pripažįsta, kad nėra tobulos „smėlio dėžės“, todėl rekomenduoja visada išbandyti naujus įrankius izoliuotose sistemose.

Be to, „NemoClaw“ įgyvendina detalų, realiuoju laiku valdomų įrankių ir politikų valdymą . Pagal numatytuosius nustatymus agentas gali bendrauti tik su ribotu skaičiumi tinklo galinių taškų. Kai jis bando atlikti ką nors naujo, „OpenShell“ jį blokuoja, ir jūs galite tiksliai matyti, ką jis bando daryti (pagrindinis kompiuteris, prievadas, procesas). Tada galite jį patvirtinti tam seansui arba pridėti nuolatinę politiką pagrindiniame kompiuteryje.

Diegimo procesas DGX Spark aplinkoje paprastai vyksta šiais veiksmais: sukonfigūruokite „Ubuntu 24.04 LTS“ su NVIDIA tvarkyklėmis vadovaudamiesi kompiuterio surinkimo vadovu , įdiekite „Docker 28.xo“ arba naujesnę versiją su GPU vykdymo aplinka, įdiekite „Ollama“ ir atsisiųskite „Nemotron 3 Super 120B“ modelį ir galiausiai paleiskite „NemoClaw“ diegimą viena komanda, kuri aktyvuoja konfigūravimo vedlį.

Šis įdiegimo procesas padės jums nustatyti smėlio dėžės pavadinimą, išvadų teikėją, pasirinktą modelį, saugos išankstinius nustatymus ir, jei pageidaujate, „Telegram“ integraciją. Aktyvus diegimo laikas yra maždaug 20–30 minučių, plius dar 15–30 minučių modelio atsisiuntimui, priklausomai nuo pralaidumo.

Kalbant apie našumą, turime būti realistai: atsakymas su 120B parametrų modeliu vietiniame kontekste gali užtrukti nuo 30 iki 90 sekundžių . Tai savaime nėra problema, tačiau į tai reikia atsižvelgti kuriant naudojimo srautus ir agentui priskiriamų užduočių tipus.

Nuotolinė prieiga, žiniatinklio sąsaja ir aparatinė įranga, sukurta vietiniam dirbtiniam intelektui

Kai viskas bus nustatyta, galėsite bendrauti su agentu keliais būdais. Dažniausiai tai daroma per „Telegram“ , naudojant robotą, sukurtą naudojant @BotFather. Tai praktiškas pasirinkimas: patikima API, šifravimas, programėlės visų tipų įrenginiams ir nereikia atskleisti serverio prievadų išoriniam pasauliui.

Robotas gauna jūsų žinutes, persiunčia jas agentui DGX tinkle ir atsiunčia jums atsakymą. Įdomu tai, kad nors pokalbis vyksta per „Telegram“ infrastruktūrą, išvados ir prieiga prie jautrių duomenų išlieka 100 % lokalūs jūsų kompiuteryje.

Be to, „NemoClaw“ siūlo privačią žiniatinklio sąsają, pasiekiamą per tokenizuotą URL, sugeneruotą tik vieną kartą diegimo proceso pabaigoje. Labai svarbu nedelsiant išsaugoti šį URL, nes jis nebus rodomas dar kartą. Norėdami jį peržiūrėti iš kito tinklo kompiuterio, turite sukonfigūruoti SSH tunelį ir prievadų peradresavimą naudodami „OpenShell“.

Viena maža, bet svarbi detalė yra ta, kad URL turi atsidaryti su 127.0.0.1, o ne „localhost“ . Naudojant „localhost“, gali kilti „neautorizuotos kilmės“ (CORS) klaidų, kurios, jei to nežinote, gali sugaišti jūsų laiką.

Kasdieniam darbui yra kelios naudingos CLI komandos : atidaryti apvalkalą smėlio dėžėje, peržiūrėti būseną, realiuoju laiku sekti žurnalus, pateikti smėlio dėžių sąrašą, paleisti arba sustabdyti „Telegram“ tiltą, įjungti prievadų peradresavimą arba paleisti švarų pašalinimo scenarijų, kuris pašalina visą steko.

Kalbant apie aparatinę įrangą, „NVIDIA DGX Spark“ yra aiškiai sukurta tokiems naudojimo atvejams. Tai kompaktiška sistema su „NVIDIA“ grafikos procesoriais ir didelio pralaidumo vieninga atmintimi, idealiai tinkanti vidutinio ir didelio dydžio modeliams su mažu delsos laiku, nereikalaujant pilnos duomenų centro sąrankos.

Vieninga atmintis ypač naudinga sprendžiant vieną iš klasikinių kliūčių: duomenų perkėlimą tarp procesoriaus ir grafikos procesoriaus. Bendrindamas atminties erdvę, modelis daug efektyviau pasiekia duomenis, leisdamas modelius su dešimtimis milijardų parametrų įkelti (beveik) realiuoju laiku – tai iki šiol buvo neįsivaizduojama vartotojų įrangoje.

Populiarūs vietiniai dirbtinio intelekto agentai: pavyzdžiai ir naudojimo atvejai

Be NVIDIA ekosistemos, jūsų kompiuteryje yra daug dirbtinio intelekto agentų ir automatizavimo platformų , kurias verta ištirti. Kiekviena iš jų skirta skirtingo tipo vartotojams ir skirtingam užduočių rinkiniui.

Pavyzdžiui, „OpenClaw“ išpopuliarėjo kaip atvirojo kodo agentų platforma , veikianti kaip asmeninis asistentas. Ji leidžia vartotojams kurti pasirinktinius agentus, kad jie išvalytų gautuosius, siųstų pranešimus, tvarkytų kalendorių, organizuotų keliones ar automatizuotų pasikartojančias užduotis skaitmeniniame gyvenime.

Jį galima įdiegti „Windows“, „macOS“ ir „Linux“ sistemose ir jis sukurtas veikti lokaliai su LLM modeliais, o tai pagerina privatumą ir sumažina priklausomybę nuo debesies. Be to, jis integruojasi su pranešimų siuntimo programomis, tokiomis kaip „WhatsApp“, „Telegram“, „Discord“, „Slack“, „Signal“ ir „Apple Messages“, todėl jūsų agentas veikia „užkulisiuose“ jau naudojamuose pokalbiuose.

Naudodami papildinius galite suteikti prieigą prie naršyklės, socialinių tinklų, el. pašto klientų ir kitų programų, taip pat leisti jai sąveikauti su failų sistema, vykdyti komandas ir scenarijus arba automatizuoti įprastas biuro ir produktyvumo užduotis. Visa tai daroma aiškiai sutelkiant dėmesį į tai, kad vartotojas galėtų pasirinkti, kuriuos aplankus, programas ir paslaugas agentas gali pasiekti.

Bendresnėje ekosistemoje išsiskiria tokios platformos kaip „Perplexity Computer“ , paverčiančios „Perplexity“ iš paprastos pokalbių paieškos sistemos asistentu, galinčiu vykdyti sudėtingus darbo eigą. Šis kompiuterio režimas leidžia vartotojams naršyti internete, kurti ir tvarkyti dokumentus, rašyti kodą, apdoroti duomenis ir koordinuoti veiksmus su tokiomis paslaugomis kaip „Gmail“, „Slack“, „GitHub“ ir „Notion“.

Jo stiprybė slypi tame, kad jis gali panaudoti tokius modelius kaip „Claude“, „GPT“, „Gemini“ ar paties „Perplexity“ sukurtas „Sonar“, kad būtų galima valdyti didelius duomenų kiekius ir suskirstyti sudėtingas užduotis į dalines užduotis, kurias galima vykdyti nuosekliai arba lygiagrečiai. Nors ne visada visiškai lokaliai, agento modelis ir integracija su įrankiais yra labai panašūs į jūsų kompiuteryje veikiančių agentų modelį ir integraciją.

Grynai atvirojo kodo ir vietinėje srityje „Jan AI“ pristatomas kaip „ChatGPT“ pakaitalas, kurį galima įdiegti „Windows“, „Mac“ ir „Linux“. Jis leidžia naudoti vietinius modelius, tokius kaip „Llama“ („Meta“) arba „Gemma“ („Google“), arba prisijungti prie internetinių modelių, tokių kaip „ChatGPT“, „Claude“, „Gemini“, „Mistral“, „Qwen“ arba „DeepSeek“, jei jus domina jų derinys.

„Jan AI“ veikia ir kaip klasikinis pokalbių asistentas (klausia, rengia tekstus, apibendrina, verčia, perrašo, paaiškina), ir kaip agentas, galintis apdoroti failus ir dokumentus, vykdyti komandas ir generuoti kodą įvairiomis kalbomis. Be to, dėmesys pritaikymui leidžia lengvai sukurti savo agentą su konkrečiomis instrukcijomis ir perjungti skirtingus „profilius“, priklausomai nuo atliekamos užduoties.

Įrenginyje esantys agentai: „PocketBot“ ir mobilioji automatizacija

Vietinio dirbtinio intelekto koncepcija neapsiriboja kompiuteriais . Ji taip pat daro didelę įtaką mobiliesiems įrenginiams, kur vis daugiau projektų sutelkia dėmesį į mažus, bet specializuotus modelius, skirtus automatizuoti telefoną, nesiremiant debesijos paslaugomis.

Ryškus pavyzdys yra „PocketBot“ – agentas, veikiantis tiesiogiai „iPhone“ telefone, naudojant „llama.cpp“ ir „Metal“ operacinę sistemą . Jo misija – natūralią kalbą paversti telefono automatizavimu: užuot naršius nesuskaičiuojamą daugybę meniu ar sparčiųjų klavišų, jūs apibūdinate, ko norite, o agentas tai paverčia veiksmais.

„PocketBot“ naudoja kvantuotą modelį su 3 milijardais parametrų , veikiantį visiškai lokaliai ir nesiunčiant duomenų į išorinius serverius. „iPhone 15 Pro“ telefone paprastai yra tik 3.000–4 GB atminties, kol „iOS“ pradeda nutraukti procesus, todėl modelio dydis ir kvantavimas yra labai svarbūs.

Vienas iš iššūkių, kurį mini kūrėjai, yra patikimų, mažų modelių, skirtų įrankių iškvietimui ir struktūrizuotai JSON išvesčiai, paieška. Pavyzdžiui, naudodami „Qwen3“, jie susiduria su tokiomis problemomis kaip išgalvoti parametrų pavadinimai, netinkamai suformuotas JSON (trūkstami skliaustai) ir nenuoseklus schemos laikymasis, todėl reikia įdiegti automatinio taisymo ir pakartotinio bandymo sluoksnius.

Taip pat daug diskutuojama apie optimalų kvantavimo tašką , norint pasiekti geriausią kokybės ir atminties santykį, o tokios parinktys kaip q4_K_M arba q5_K_S svarstomos priklausomai nuo lusto kartos ir turimos atminties. Kiekvienas mažesnis bitas kvantizavime lemia lengviau valdomus modelius, tačiau tai gali neigiamai paveikti įrankių iškvietimų samprotavimus ir tikslumą.

Kita dėmesio sritis – atrankos parametrų koregavimas pagal užduotį. Tipinės konfigūracijos apima temperatūrą 0,7, top_p 0,8, top_k 20 ir repeat_penalty 1,1, tačiau kyla susidomėjimas atskirti generavimo strategijas laisvam pokalbiui nuo įrankių iškvietimo, kur determinizmas yra svarbesnis nei kūrybiškumas.

Galiausiai, mobiliuosiuose įrenginiuose konteksto valdymas yra ypač subtilus: sistemos raginimas paprastai kaupiamas KV talpykloje, kad nebūtų pakartotinai apdorojamas, o stumdomi langai naudojami siekiant neviršyti talpos; todėl svarbu žinoti, kaip išsaugoti ir tvarkyti raginimus.

Be to, yra vietos laipsniško apibendrinimo gudrybėms, selektyviai atminčiai arba hibridinėms schemoms, kurios sujungia suspaustą istoriją ir tiesioginį kontekstą.

Sukurkite savo „vietinį ChatGPT“ su „Ollama“ ir „Open WebUI“

Tiems, kuriems nereikia tokio sudėtingo steko kaip „NemoClaw“, bet nori, kad jų kompiuteryje veiktų „ChatGPT“ tipo asistentas , išpopuliarėjo labai praktiškas metodas, pagrįstas „Ollama“ ir „Open WebUI“.

Idėja paprasta: „Ollama“ atsisiunčia modelius („Llama“, „Gemma“, „Qwen“ ir kt.) ir pateikia juos jūsų kompiuteryje per vietinę API, o „Open WebUI“ teikia žiniatinklio sąsają, labai panašią į „ChatGPT“, bet veikiančią tik jūsų kompiuteryje. Visas srautas tarp vartotojo sąsajos ir modelio vyksta per vietinį serverį.

Paprastame, nuosekliame vadove išsamiai aprašoma, kaip, naudojant maždaug 15 terminalo komandų , galite paruošti šią konfigūraciją ir paleisti ją per mažiau nei valandą. Jame pateikiamas „Python 3.11“ diegimas, pagrindinė sistemos konfigūracija, „Ollama“ diegimas ir „Open WebUI“ diegimas, taip pat ekrano kopijos ir trikčių šalinimo patarimai.

Rezultatas – aplinka, kurioje jums nereikia mokėti prenumeratos , yra visiškas privatumas (duomenys niekada nepalieka jūsų kompiuterio), konkurencingas reagavimo laikas (nėra bendrų serverių eilių) ir visiška laisvė pritaikyti specializuotus asistentus pagal savo poreikius.

Be to, „Open WebUI“ integruoja pažangias funkcijas, tokias kaip žiniatinklio paieška, kodo interpretatorius, pasirinktinių modelių kūrimas pagal konkrečias konfigūracijas, ir ruošia pažangias RAG galimybes asmeninėms žinių bazėms kurti. Idėja yra ta, kad galite turėti apmokytą „bendrąjį pilotą“ savo dokumentams ir darbo eigoms, nepasikliaujant trečiosiomis šalimis.

Po kelių mėnesių naudojimo daugelis naudotojų teigia, kad šis derinys visiškai pakeitė jų mokamas debesijos sprendimų prenumeratas ir pagerino integraciją su jų pačių vietiniais duomenimis ir įrankiais. Kitas logiškas žingsnis – sujungti šį „vietinį „ChatGPT““ su agentais, scenarijais ir paslaugomis, kad būtų galima koordinuoti sudėtingesnes automatizacijas.

Automatizuokite savo skaitmeninį gyvenimą: praktiniai pavyzdžiai su vietiniu dirbtiniu intelektu

Techniniu požiūriu visa tai skamba puikiai, bet ką iš tikrųjų galite padaryti kasdienėse operacijose su gerai sukonfigūruotais vietiniais agentais ? Galimybės yra gana plačios, jei derinate multimodalinius modelius, prieigą prie ekrano, įrankius ir struktūrizuotą saugyklą.

Yra pasiūlymų, skirtų automatizuoti jūsų kompiuterio naudojimą su agentais, kurie gauna ekrano kopijas ir su jomis reaguoja. Darbo eiga būtų maždaug tokia: sistema padaro ekrano kopiją, agentas ją apdoroja naudodamas modelį, galintį dirbti su vaizdais, supranta, kuri programa yra atidaryta, kokie mygtukai yra, koks tekstas rodomas, ir, remdamasis jūsų raginimu, nusprendžia, ką daryti toliau.

Remdamiesi šia idėja, galėtumėte, pavyzdžiui, sukurti specializuotus vertimo agentus : sistema užfiksuoja ekrano dalį, kurią norite versti, padidina ją „didinamojo stiklo vertėjo“ lange ir beveik akimirksniu sugeneruoja vertimą, naudodama nedidelį modelį (pavyzdžiui, 4B parametrų), tiksliai suderintą vertimui, kaip tiksliai suderintą PHI variantą.

Kita įdomi sritis – vizualiniai modeliai, kurie ekrano kopijas transformuoja į PDF failus . Įsivaizduokite įrankį, kuris iš pristatymų, ataskaitų suvestinių ar dokumentų ekrano kopijų generuoja tinkamai suformatuotus PDF failus, kuriuos vėliau galite patobulinti arba naudoti tiesiogiai savo pristatymuose. Integravę „Python“ su „Acrobat“, galėtumėte automatizuoti visą procesą.

Norint dirbti su žiniatinkliu nepasikliaujant išorinėmis paslaugomis, reikalingos senesnės technologijos, pvz. „BeautifulSoup“ vis dar labai naudingosGalite nustatyti lengvą skreperį, kuris nuskaito kelis puslapius ir saugo tik būtiną HTML (pavyzdžiui, išskirdamas tik