Vietinis dirbtinis intelektas ir automatizavimas: agentai, saugumas ir realaus pasaulio atvejai

Informatec Digital » Ištekliai » Vietinis dirbtinis intelektas ir automatizavimas: agentai, saugumas ir realaus pasaulio atvejai

La automatizavimas naudojant vietinį dirbtinį intelektą Tai nebe tik technologijų entuziastų, turinčių namų serverius, pasirinkimas, o reali galimybė visiems, norintiems daugiau kontrolės, privatumo ir lankstumo. Šiandien nebereikia visiškai priklausyti nuo didelės įmonės debesijos, kad agentai galėtų skaityti jūsų ekraną, judinti pelę, dirbti su jūsų failais ar vykdyti sudėtingas darbo eigas fone.

Padėtis sprogo: nuo pilni rinkiniai, tokie kaip NVIDIA „NemoClaw“ Nuo autonominių agentų, veikiančių jūsų pačių aparatinėje įrangoje, iki mobiliųjų programėlių, tokių kaip „PocketBot“, kurios natūralią kalbą konvertuoja į telefono automatizavimą, įskaitant atviras platformas, tokias kaip „OpenClaw“, asistentus, tokius kaip „Jan AI“, ir praktinius vadovus, kaip nustatyti savo „naminį ChatGPT“ naudojant „Ollama“ ir „Open WebUI“, tikslas yra tas pats: sukurti ekosistemą, kurioje dirbtinis intelektas gyvena jūsų kompiuteryje, sąveikauja su jūsų programomis ir automatizuoja jūsų kasdienes užduotis neišimdamas jūsų duomenų iš sistemos.

Kas yra vietinė dirbtinio intelekto automatizacija ir kodėl ji svarbi?

Kai mes kalbame apie Vietinis dirbtinis intelektas automatizavimuiKalbame apie modelius ir agentus, kurie veikia jūsų įrenginyje (asmeniniame kompiuteryje, serveryje, DGX, mobiliajame telefone) nesiunčiant jautrių duomenų į išorinius serverius. Modelis priima sprendimus, vykdo kodą, skaito failus, iškviečia API ir koordinuoja įrankius, tačiau viskas vyksta jūsų kontroliuojamoje aplinkoje.

Evoliucija buvo dramatiška: nuo paprastų pokalbių robotų, kurie atsakinėjo tik į klausimus, perėjome prie Dirbtinio intelekto agentai, galintys vykdyti užduočių grandinesorganizuoti kelis veiksmus, konsultuotis su skirtingais duomenų šaltiniais ir priimti autonominius sprendimus. Tai visiškai pakeitė mūsų supratimą apie automatizavimą: modelis nebėra tik „tas, kuris atsako“, jis yra „tas, kuris veikia“.

Šis pakeitimas turi vieną akivaizdžią pasekmę: Didesnė autonomija reiškia didesnę rizikąJei suteikiate agentui prieigą prie failų sistemos, savo kredencialų, naršyklės ar kūrimo įrankių, jums reikia patikimo saugumo dizaino. Čia praverčia vietiniai metodai, nes galite apriboti teises, izoliuoti procesus ir atidžiai stebėti, ką modelis veikia bet kuriuo metu.

Papildomai, atviri modeliai su nemokamomis licencijomis, tokiomis kaip „Apache-2.0“ arba MIT (Kaip ir daugelis „Falcon“, „Bark“, „Jan“ ir kt.) sprendimų, jie leidžia kurti sprendimus neprisirišant prie sutarčių ar neskaidrių naudojimo politikų. Galite tikrinti kodą, koreguoti modelį, taikyti tikslius derinimus ir netgi integruoti jį su konkrečia aparatine įranga, pvz., A100 GPU arba NVIDIA DGX darbo stotyse.

Daugelyje sektorių (sveikatos priežiūros, bankininkystės, teisės, viešojo administravimo), kur Privatumas ir saugus saugojimas Tai šventa, derinys Vietinis dirbtinis intelektas + autonominiai agentai + atviri modeliai Tai keičia situaciją: jūs automatizuojate, bet duomenys nepalieka jūsų ribų.

Vietiniai dirbtinio intelekto paketai pažangiai automatizacijai: „NemoClaw“, „OpenShell“ ir „OpenClaw“

NVIDIA į šį žaidimą įsitraukė tvirtai su NemoClawTai atvirojo kodo paketas, skirtas saugiai diegti autonominius agentus vietoje ir užtikrinti, kad jie visada būtų įjungti. Jis sukurtas veikti galinguose kompiuteriuose, tokiuose kaip „NVIDIA DGX Spark“, tačiau ši filosofija taikoma ir kitoms sertifikuotoms aplinkoms.

NemoClaw veikia kaip orkestravimo pajėgumas: įdiegia ir koordinuoja „OpenShell“ (saugos vykdymo aplinką) ir „OpenClaw“ (daugiakanalio agento sistemą), konfigūruoja modelio išvadas (per „Ollama“ arba „NVIDIA NIM“) ir taiko saugumo politikas nuo pat pradžių, o ne kaip paskutinės minutės pataisą.

Krūvos centre paprastai yra NVIDIA Nemotron 3 Super 120BModelis su 120.000 milijardų parametrų, optimizuotas agentams: labai gerai seka sudėtingas instrukcijas, valdo įrankius ir samprotauja keliais etapais. Tačiau norint paleisti tokio dydžio sistemą, reikia rimtos grafikos procesoriaus ir daug atminties; vien modeliui minima apie 87 GB.

Išvada paprastai pateikiama kartu su Ollama kaip vietinė vykdymo aplinkakuri pačiame kompiuteryje atveria REST API. „NemoClaw“ bendrauja su šia API, kad siųstų raginimus, gautų atsakymus ir koordinuotų įrankių iškvietimus naudodama įrankių iškvietimo šabloną.

Komponentas „OpenShell“ yra pagrindinis saugumo aspektasJis įgyvendina „smėlio dėžės“ principą, kontroliuoja prisijungimo duomenis, veikia kaip tinklo tarpinis serveris ir taiko mažiausių privilegijų principą. Jis stebi agento bandomus prisijungti ryšius ir leidžia patvirtinti arba blokuoti galinius taškus iš TUI tipo sąsajos. Tokiu būdu, jei modelis bandys prisijungti prie naujos paslaugos, be jūsų patvirtinimo niekas neįvyks.

Smėlio dėžės viduje gyvena „OpenClaw“ – daugiakanalė agento sritisJis tvarko bendravimą su tokiomis platformomis kaip „Telegram“, „Slack“ ir „Discord“, valdo agento atmintį, jungia įrankius (scenarijus, API, naršykles) ir palaiko pokalbį ilgą laiką. Jei norite visada įjungto asistento, pasiekiamo per žinutes ir turinčio nuolatinę atmintį, šis komponentas tai leidžia.

Saugumas, smėlio dėžės aplinka ir vietinis diegimas žingsnis po žingsnio

Vienas didžiausių šio krūvos privalumų yra tas, kad Saugumas vertinamas nuo pat projektavimo etaponepridėta vėliau. Tipinė agentų projektų klaida yra pirmiausia sukurti visas funkcijas, o tada bandyti „apsaugoti“ tai, kas jau sukurta, sukuriant skyles visur.

Centrinis mechanizmas yra vykdymo smėlio dėžėVisas kodas, kurį agentas nori vykdyti, vykdomas izoliuotoje aplinkoje: jis neturi tiesioginės prieigos prie pagrindinio kompiuterio failų sistemos, negali atlikti savavališkų tinklo skambučių ir negali suteikti daugiau privilegijų, nei apibrėžta konfigūracijoje.

Tai labai sušvelnina poveikį greiti injekcijų atakos arba kenkėjiškų nurodymų. Jei modelis nusprendžia padaryti ką nors neįprasto, žala lieka tik smėlio dėžėje. Nepaisant to, pati NVIDIA pripažįsta, kad nėra tobulos smėlio dėžės, todėl rekomenduoja visada išbandyti naujus įrankius izoliuotose sistemose.

Be to, „NemoClaw“ įrankiai detali įrankių ir politikų kontrolė realiuoju laikuPagal numatytuosius nustatymus agentas gali bendrauti tik su ribotu skaičiumi tinklo galinių taškų. Kai jis bando atlikti ką nors naujo, „OpenShell“ jį blokuoja ir jūs galite tiksliai matyti, ką jis bando daryti (pagrindinis kompiuteris, prievadas, procesas). Tada galite jį patvirtinti tam seansui arba pridėti nuolatinę politiką pagrindiniame kompiuteryje.

„DGX Spark“ diegimo procesas paprastai atliekamas šiais veiksmais: konfigūravimas Ubuntu 24.04 LTS su NVIDIA tvarkyklėmis po kompiuterio surinkimo vadovasĮdiekite „Docker 28.xo“ arba naujesnę versiją su GPU vykdymo aplinka, įdiekite „Ollama“ ir atsisiųskite „Nemotron 3 Super 120B“ modelį, tada paleiskite „NemoClaw“ diegimą viena komanda, kuri aktyvuoja konfigūravimo vedlį.

Šis įvadinis vadovas padės jums smėlio dėžės pavadinimas, išvados teikėjas, pasirinktas modelis, saugos išankstiniai nustatymai Ir, jei norite, „Telegram“ integracija. Aktyvus nustatymo laikas yra apie 20–30 minučių, plius dar 15–30 minučių šablono atsisiuntimui, priklausomai nuo pralaidumo.

Kalbant apie našumą, turime būti realistai: atsakas su 120B parametrų modeliu gali užtrukti nuo 30 ir 90 sekundžių vietiniame kontekste. Tai savaime nėra problema, tačiau į tai reikia atsižvelgti kuriant naudojimo srautus ir agentui priskiriamų užduočių tipą.

Nuotolinė prieiga, žiniatinklio sąsaja ir aparatinė įranga, sukurta vietiniam dirbtiniam intelektui

Kai viskas bus paruošta, galėsite bendrauti su agentu keliais būdais. Dažniausiai tai yra per „Telegram“Naudojant robotą, sukurtą naudojant @BotFather, tai praktiškas pasirinkimas: patikima API, šifravimas, programėlės visų tipų įrenginiams ir nereikia atskleisti serverio prievadų išoriniam pasauliui.

Robotas gauna jūsų žinutes, persiunčia jas agentui DGX tinkle ir atsiunčia jums atsakymą. Įdomu tai, kad nors pokalbis vyksta per „Telegram“ infrastruktūrą, Išvados ir prieiga prie jautrių duomenų išlieka 100 % vietinės savo mašinoje.

Be to, „NemoClaw“ siūlo privati ​​žiniatinklio sąsaja Pasiekiama per tokenizuotą URL, sugeneruotą tik vieną kartą diegimo pabaigoje. Labai svarbu šį URL nedelsiant išsaugoti, nes jis nebus rodomas dar kartą. Norėdami jį peržiūrėti iš kito tinklo kompiuterio, turite sukonfigūruoti SSH tunelį ir prievadų peradresavimą naudodami „OpenShell“.

Viena maža, bet svarbi detalė yra ta, kad URL turi būti atidarytas su 127.0.0.1 vietoj localhostNaudojant „localhost“, gali kilti neautorizuotos kilmės (CORS) klaidų, kurios, jei apie tai nežinote, gali sugaišti jūsų laiką.

Kasdienėms operacijoms yra keletas Naudingos CLI komandos: atidarykite apvalkalą smėlio dėžėje, peržiūrėkite būseną, realiuoju laiku sekite žurnalus, sudarykite smėlio dėžių sąrašą, paleiskite arba sustabdykite „Telegram“ tiltą, įjunkite prievadų peradresavimą arba paleiskite švarų pašalinimo scenarijų, kuris pašalina visą steko.

Kalbant apie aparatūrą, NVIDIA DGX Spark Jis aiškiai sukurtas tokiems naudojimo atvejams. Tai kompaktiška sistema su NVIDIA GPU ir didelio pralaidumo vieninga atmintimi, idealiai tinkanti vidutinio ir didelio dydžio modeliams su mažu delsos laiku, nereikalaujant įrengti viso duomenų centro.

La vieninga atmintis Tai ypač padeda išspręsti vieną iš klasikinių kliūčių: duomenų perkėlimą tarp procesoriaus ir grafikos procesoriaus. Bendrindamas atminties erdvę, modelis daug efektyviau pasiekia duomenis, leisdamas modelius su dešimtimis milijardų parametrų įkelti (beveik) realiuoju laiku – tai iki šiol buvo neįsivaizduojama vartotojų įrangoje.

Populiarūs vietiniai dirbtinio intelekto agentai: pavyzdžiai ir naudojimo atvejai

Be NVIDIA ekosistemos, yra nemažai Dirbtinio intelekto agentai ir automatizavimo platformos jūsų komandoje kuriuos verta žinoti. Kiekvienas iš jų skirtas skirtingo tipo vartotojams ir skirtingoms užduotims.

Pavyzdžiui, „OpenClaw“ išpopuliarėjo kaip atvirojo kodo agentų platforma kuris veikia kaip asmeninis asistentas. Jis leidžia jums kurti pasirinktinius agentus, kurie išvalys jūsų pašto dėžutę, siųs laiškus, tvarkys kalendorių, tvarkys keliones arba automatizuos pasikartojančias užduotis jūsų skaitmeniniame gyvenime.

Galima įdiegti „Windows“, „MacOS“ ir „Linux“Jis taip pat sukurtas veikti lokaliai su LLM modeliais, o tai pagerina privatumą ir sumažina priklausomybę nuo debesies. Be to, jis integruojamas su pranešimų siuntimo programėlėmis, tokiomis kaip „WhatsApp“, „Telegram“, „Discord“, „Slack“, „Signal“ ir „Apple Messages“, todėl jūsų agentas veikia „užkulisiuose“ jau naudojamuose pokalbiuose.

Naudodami papildinius galite suteikti jam prieigą prie naršyklės, socialinių tinklų, el. pašto klientų ir kitų programų, taip pat leisti jam sąveikauti su failų sistema, vykdyti komandas ir scenarijusarba automatizuoti įprastas biuro ir produktyvumo užduotis. Visa tai aiškiai sutelkiant dėmesį į tai, kad vartotojas galėtų pasirinkti, kurie aplankai, programos ir paslaugos yra prieinamos agentui.

Bendresnėje ekosistemoje tokios platformos kaip Painiavos kompiuterisTai „Perplexity“ iš paprastos pokalbių paieškos sistemos paverčia asistentu, galinčiu vykdyti sudėtingus darbo eigą. Šis kompiuterio režimas leidžia naršyti internete, kurti ir tvarkyti dokumentus, rašyti kodą, apdoroti duomenis ir koordinuoti veiksmus su tokiomis paslaugomis kaip „Gmail“, „Slack“, „GitHub“ ir „Notion“.

Jo stiprybė slypi tame, kad jis gali panaudoti tokius modelius kaip „Claude“, „GPT“, „Gemini“ ar paties „Perplexity“ sukurtas „Sonar“, kad būtų galima valdyti didelius duomenų kiekius ir suskirstyti sudėtingas užduotis į dalines užduotis, kurias galima vykdyti nuosekliai arba lygiagrečiai. Nors ne visada visiškai lokaliai, agento modelis ir integracija su įrankiais yra labai panašūs į jūsų kompiuteryje veikiančių agentų modelį ir integraciją.

Grynai atvirojo kodo ir vietinėje srityje Janas AI Jis pateikiamas kaip „ChatGPT“ pakaitalas, kurį galima įdiegti „Windows“, „Mac“ ir „Linux“ sistemose. Jis leidžia naudoti vietinius modelius, tokius kaip „Llama“ („Meta“) arba „Gemma“ („Google“), arba prisijungti prie internetinių modelių, tokių kaip „ChatGPT“, „Claude“, „Gemini“, „Mistral“, „Qwen“ arba „DeepSeek“, jei jus domina jų derinys.

Jan AI veikia ir kaip klasikinis pokalbių asistentas (klausti, rengti juodraštį, apibendrinti, versti, perrašyti, paaiškinti) kaip agentą, galintį apdoroti failus ir dokumentus, vykdyti komandas ir generuoti kodą įvairiomis kalbomis. Be to, dėmesys jo pritaikymui leidžia lengvai sukurti savo agentą su konkrečiomis instrukcijomis ir perjungti skirtingus „profilius“, priklausomai nuo to, ką darote.

Įrenginyje esantys agentai: „PocketBot“ ir mobilioji automatizacija

Sąvoka Vietinis dirbtinis intelektas nelieka kompiuteryjeTai taip pat daro didelę įtaką mobiliesiems telefonams, kur vis daugiau projektų renkasi mažus, bet specializuotus modelius, kad automatizuotų telefoną nenaudojant debesijos.

Ryškus pavyzdys yra „PocketBot“ – agentas, veikiantis tiesiogiai „iPhone“ naudojant „flame.cpp“ sistemoje „Metal“Jos misija – natūralią kalbą paversti telefono automatizavimu: užuot naršę po tūkstantį meniu ar sparčiųjų klavišų, jūs aprašote tai, ko norite, o agentas pasirūpina, kad tai būtų paversta veiksmais.

„PocketBot“ naudoja kvantinį modelį 3.000 milijardų parametrųVeikia visiškai lokaliai ir nesiunčiant duomenų į išorinius serverius. „iPhone 15 Pro“ įrenginyje paprastai yra 3–4 GB laisvos atminties, kol „iOS“ nepradeda stabdyti procesų, todėl modelio dydis ir kvantavimas yra labai svarbūs.

Vienas iš iššūkių, kuriuos mini kūrėjai, yra rasti Patikimi maži modeliai įrankių iškvietimui ir struktūrizuotiems rezultatams JSON kalba. Pavyzdžiui, naudodami „Qwen3“, jie susiduria su tokiomis problemomis kaip išgalvoti parametrų pavadinimai, netinkamai suformuotas JSON (trūkstami skliaustai) ir nenuoseklus schemos laikymasis, todėl tenka diegti savitaisymo ir pakartotinio bandymo sluoksnius.

Taip pat daug diskutuojama apie optimalus kvantavimo taškas Norint pasiekti geriausią kokybės ir atminties santykį, apsvarstykite tokias parinktis kaip q4_K_M arba q5_K_S, priklausomai nuo lusto kartos ir turimos atminties. Kiekvienas mažesnis bitas kvantizacijoje reiškia lengviau valdomus modelius, tačiau tai gali neigiamai paveikti įrankių iškvietimų samprotavimus ir tikslumą.

Kitas aspektas yra koregavimas atrankos parametrai priklausomai nuo užduoties. Tipinės konfigūracijos apima temperatūrą 0,7, top_p 0,8, top_k 20 ir repeat_penalty 1,1, tačiau yra įdomu atskirti generavimo strategijas laisvam pokalbiui ir įrankių iškvietimui, kur domina daugiau determinizmo ir mažiau kūrybiškumo.

Galiausiai, mobiliajame telefone konteksto valdymas Tai ypač subtilu: sistemos raginimas paprastai kaupiamas KV talpykloje, kad nebūtų pakartotinai apdorojamas, o stumdomi langai naudojami siekiant neviršyti talpos; todėl naudinga žinoti, kaip tai padaryti. išsaugoti ir tvarkyti savo raginimus.

Be to, yra vietos laipsniško apibendrinimo gudrybėms, selektyviai atminčiai arba hibridinėms schemoms, kurios sujungia suspaustą istoriją ir tiesioginį kontekstą.

Sukurkite savo „vietinį ChatGPT“ su „Ollama“ ir „Open WebUI“

Tiems, kuriems nereikia tokio sudėtingo rinkinio kaip „NemoClaw“, bet nori „ChatGPT“ tipo asistentas, veikiantis jūsų kompiuteryjeIšpopuliarėjo labai praktiškas požiūris, pagrįstas „Ollama“ ir „Open WebUI“.

Idėja paprasta: Ollama Jis yra atsakingas už modelių atsisiuntimą ir pateikimą (pvz., „Llama“, „Gemma“, „Qwen“ ir kt.) jūsų kompiuteryje per vietinę API, o „Open WebUI“ siūlo žiniatinklio sąsają, labai panašią į „ChatGPT“, bet veikiančią tik jūsų kompiuteryje. Visas srautas tarp vartotojo sąsajos ir modelio vyksta per „localhost“.

Labai aiškiame, žingsnis po žingsnio vadove išsamiai aprašoma, kaip, pateikiant keletą patarimų 15 terminalo komandųŠią sąranką galite pradėti naudoti per mažiau nei valandą. Į ją įeina „Python 3.11“ diegimas, pagrindinė sistemos konfigūracija, „Ollama“ diegimas ir „Open WebUI“ diegimas, taip pat ekrano kopijos ir trikčių šalinimo patarimai.

Rezultatas – aplinka, kurioje mėgausitės nulinės prenumeratosVisiškas privatumas (duomenys niekada nepalieka jūsų kompiuterio), konkurencingas reagavimo laikas (nėra bendrų serverių eilių) ir visiška laisvė pritaikyti specializuotus asistentus pagal savo poreikius.

Be to, „Open WebUI“ integruoja pažangias funkcijas, tokias kaip Žiniatinklio paieška, kodo interpretatorius, pasirinktinio modelio kūrimas Remiantis konkrečiomis konfigūracijomis, ji rengia pažangias RAG galimybes asmeninėms žinių bazėms kurti. Idėja yra ta, kad galite turėti apmokytą „bendrąjį pilotą“, susipažinusį su jūsų dokumentais ir darbo eigomis, nepasikliaujant trečiosiomis šalimis.

Po kelių mėnesių naudojimo daugelis naudotojų praneša, kad šis derinys visiškai pakeitė [ankstesnį produktą / paslaugą]. jų mokamos debesijos sprendimų prenumeratostuo pačiu gerinant integraciją su jų pačių vietiniais duomenimis ir įrankiais. Kitas natūralus žingsnis – sujungti šį „naminį ChatGPT“ su agentais, scenarijais ir paslaugomis, kad būtų galima koordinuoti sudėtingesnes automatizacijas.

Automatizuokite savo skaitmeninį gyvenimą: praktiniai pavyzdžiai su vietiniu dirbtiniu intelektu

Techniškai visa tai skamba puikiai, bet ką iš tikrųjų su tuo galima nuveikti kasdieniame gyvenime? gerai apmokyti vietiniai agentaiGalimybės yra gana plačios, jei derinate multimodalinius modelius, prieigą prie ekrano, įrankius ir struktūrizuotą saugyklą.

Yra pasiūlymų, skirtų automatizuoti savo kompiuterio naudojimą su agentais, kurie gauna ekrano kopijas ir su jomis reaguoja. Procesas būtų maždaug toks: sistema padaro ekrano kopiją, agentas ją apdoroja naudodamas modelį, galintį dirbti su vaizdais, supranta, kuri programa yra atidaryta, kokie mygtukai yra, koks tekstas rodomas, ir, remdamasis jūsų raginimu, nusprendžia, ką daryti toliau.

Su šia idėja galėtumėte, pavyzdžiui, įsteigti specializuotas vertimo agentūrasSistema fiksuoja ekrano dalį, kurią norite versti, padidina ją „didinamojo stiklo vertėjo“ lange ir beveik akimirksniu sugeneruoja vertimą, naudodama nedidelį modelį (pvz., 4B parametrus), tiksliai suderintą vertimui, kaip tiksliai suderintą PHI variantą.

Kitas įdomus frontas yra tas, Vizualiniai modeliai, kurie ekrano kopijas paverčia PDF failaisĮsivaizduokite įrankį, kuris iš pristatymų ekrano kopijų, ataskaitų suvestinių ar dokumentų generuoja tinkamai suformatuotus PDF failus, kuriuos vėliau galite patobulinti arba naudoti tiesiogiai savo pristatymuose. Integravę „Python“ su „Acrobat“, galėtumėte automatizuoti visą procesą.

Norint dirbti su žiniatinkliu nepasikliaujant išorinėmis paslaugomis, reikalingos senesnės technologijos, pvz. „BeautifulSoup“ vis dar labai naudingosGalite nustatyti lengvą skreperį, kuris nuskaito kelis puslapius ir saugo tik būtiną HTML (pavyzdžiui, išskirdamas tik