Kohalik tehisintellekt ja automatiseerimine: agendid, turvalisus ja reaalsed juhtumid

Informatec Digital » Ressursid » Kohalik tehisintellekt ja automatiseerimine: agendid, turvalisus ja reaalsed juhtumid

La automatiseerimine kohaliku tehisintellektiga See ei ole enam pelgalt koduserveritega tehnikahuvilistele mõeldud ja muutub reaalseks valikuks kõigile, kes soovivad suuremat kontrolli, privaatsust ja paindlikkust. Tänapäeval ei sõltu te enam täielikult suurettevõtte pilvest, et saada agente, kes suudavad teie ekraani lugeda, hiirt liigutada, teie failidega töötada või taustal keerulisi töövooge käitada.

Olukord on plahvatanud: alates täispakid nagu NVIDIA NemoClaw Alates teie enda riistvaral töötavatest autonoomsetest agentidest kuni mobiilirakendusteni nagu PocketBot, mis teisendavad loomuliku keele telefoniautomaatideks, ning sealhulgas avatud platvormid nagu OpenClaw, assistendid nagu Jan AI ja praktilised juhendid omaenda "omatehtud ChatGPT" seadistamiseks Ollama ja Open WebUI abil – eesmärk on sama: luua ökosüsteem, kus tehisintellekt elab teie arvutis, suhtleb teie programmidega ja automatiseerib teie igapäevaseid ülesandeid ilma teie andmeid süsteemist välja võtmata.

Mis on kohalik tehisintellekti automatiseerimine ja miks see on oluline?

Kui me räägime Kohalik tehisintellekt automatiseerimiseksPeame silmas mudeleid ja agente, mis töötavad teie enda seadmes (arvuti, server, DGX, mobiilseade) ilma tundlikke andmeid välistele serveritele saatmata. Mudel teeb otsuseid, käivitab koodi, loeb faile, kutsub API-sid ja koordineerib tööriistu, kuid kõik toimub teie kontrollitud keskkonnas.

Areng on olnud dramaatiline: lihtsatest vestlusrobotitest, mis vastasid ainult küsimustele, oleme liikunud edasi Tehisintellekti agendid, kes on võimelised täitma ülesannete ahelaidmitme sammu orkestreerimiseks, erinevate andmeallikatega konsulteerimiseks ja autonoomsete otsuste langetamiseks. See on täielikult muutnud meie arusaama automatiseerimisest: mudel ei ole enam ainult „see, kes vastab“, vaid „see, kes tegutseb“.

Sellel muudatusel on üks ilmne tagajärg: Suurem autonoomia tähendab suuremat riskiKui annate agendile juurdepääsu failisüsteemile, oma volitustele, brauserile või arendustööriistadele, vajate tugevat turvadisaini. Siin tulevadki esile lokaalsed lähenemisviisid, kuna saate piirata õigusi, isoleerida protsesse ja jälgida tähelepanelikult, mida mudel igal ajahetkel teeb.

Lisaks avatud mudelid tasuta litsentsidega nagu Apache-2.0 või MIT (Nagu paljud Falconi, Barki, Jani jne lahendused, võimaldavad need luua lahendusi ilma lepingute või läbipaistmatute kasutuspoliitikateta. Saate koodi auditeerida, mudelit kohandada, peenhäälestada ja isegi integreerida seda konkreetse riistvaraga, näiteks A100 GPU-de või NVIDIA DGX tööjaamadega.

Paljude sektorite (tervishoid, pangandus, õigus, avalik haldus) puhul, kus Privaatsus ja turvaline salvestusruum See on püha, kombinatsioon Kohalik tehisintellekt + autonoomsed agendid + avatud mudelid See muudab olukorda: te automatiseerite, aga andmed ei välju teie piiridest.

Kohalikud tehisintellekti paketilahendused täiustatud automatiseerimiseks: NemoClaw, OpenShell ja OpenClaw

NVIDIA on sellesse mängu tugevalt sisenenud NemoClawSee on avatud lähtekoodiga tarkvarapakett, mis on loodud autonoomsete agentide turvaliseks lokaalseks juurutamiseks ja nende pideva sisselülitamise tagamiseks. See on loodud töötama võimsatel masinatel nagu NVIDIA DGX Spark, kuid sama filosoofia on rakendatav ka teistele sertifitseeritud keskkondadele.

NemoClaw toimib kui orkestrivõime: installib ja koordineerib OpenShelli (turvakeskkonna) ja OpenClawi (mitmekanalilise agendi raamistik), konfigureerib mudeli järelduse (Ollama või NVIDIA NIM-i kaudu) ja rakendab turvapoliitikaid algusest peale, mitte viimase hetke parandusena.

Virna keskmes on tavaliselt NVIDIA Nemotron 3 Super 120B120.000 miljardi parameetriga mudel, mis on optimeeritud agentide jaoks: väga hea keerukate juhiste järgimisel, tööriistade käsitsemisel ja mitmeastmelisel arutluskäigul. Sellise suurusega asja käitamiseks on aga vaja tõsist graafikaprotsessorit ja palju mälu; ainuüksi mudeli kohta mainitakse umbes 87 GB.

Järeldust pakutakse tavaliselt koos Ollama kohaliku käituskeskkonnanamis avab masinal endal REST API. NemoClaw suhtleb selle API-ga, et saata juhiseid, võtta vastu vastuseid ja koordineerida tööriistakõnesid tööriistakõnede mustri abil.

Komponent OpenShell on turvalisuse seisukohast võtmetähtsusegaSee jõustab liivakasti keskkonna, kontrollib volitusi, toimib võrguproksina ja rakendab minimaalsete õiguste põhimõtet. See jälgib agendi katseid luua ühendusi ja võimaldab teil TUI-laadse liidese kaudu lõpp-punkte heaks kiita või blokeerida. Nii ei juhtu ilma teie nõusolekuta midagi, kui mudel proovib uuele teenusele juurde pääseda.

Liivakasti sees elab OpenClaw, mitmekanaliline agendi kihtSee suhtleb platvormidega nagu Telegram, Slack ja Discord, haldab agendi mälu, ühendab tööriistu (skripte, API-sid, brausereid) ja hoiab vestlust pikaajaliselt üleval. Kui soovid alati sisse lülitatud abilist, millele pääseb ligi sõnumside kaudu ja millel on püsiv mälu, siis see komponent teeb selle võimalikuks.

Turvalisus, liivakastikeskkond ja kohalik juurutamine samm-sammult

Selle virna üks suuri tugevusi on see, et Ohutust arvestatakse juba projekteerimisetapisei lisata hiljem. Agentiprojektide tüüpiline viga on kõigepealt luua kõik funktsionaalsused ja seejärel proovida juba loodud "kaitsta", luues kõikjale auke.

Keskne mehhanism on teostusliivakastisKogu agenti käivitatav kood töötab isoleeritud keskkonnas: sellel puudub otsene juurdepääs hosti failisüsteemile, see ei saa teha suvalisi võrgukõnesid ega saa õigusi konfiguratsioonis määratletust kaugemale laiendada.

See leevendab oluliselt mõju, kiired süstimisrünnakud või pahatahtlikke juhiseid. Kui mudel otsustab teha midagi ebatavalist, jääb kahju liivakasti piiresse. Sellegipoolest tunnistab NVIDIA ise, et ükski liivakast pole täiuslik, seega soovitavad nad uusi tööriistu alati isoleeritud süsteemides testida.

Lisaks rakendab NemoClaw tööriistade ja poliitikate detailne kontroll reaalajasVaikimisi saab agent suhelda ainult piiratud arvu võrgu lõpp-punktidega. Kui see proovib midagi uut, blokeerib OpenShell selle ja te näete täpselt, mida see üritab teha (host, port, protsess). Seejärel saate selle seansi jaoks heaks kiita või hostile püsiva poliitika lisada.

DGX Sparki juurutamise voog järgib tavaliselt järgmisi samme: konfigureerimine Ubuntu 24.04 LTS NVIDIA draiveritega pärast a arvuti kokkupaneku juhendPaigalda Docker 28.xo või uuem versioon koos GPU käituskeskkonnaga, paigalda Ollama ja lae alla Nemotron 3 Super 120B mudel ning lõpuks käivita NemoClawi install ühe käsuga, mis käivitab konfiguratsiooniviisardi.

See sisseelamisjuhend juhendab teid liivakasti nimi, järelduste pakkuja, valitud mudel, turvalisuse eelseadistused Ja kui soovite, Telegrami integratsioon. Aktiivse seadistamise aeg on hinnanguliselt 20–30 minutit, millele lisandub veel 15–30 minutit malli allalaadimiseks, olenevalt ribalaiusest.

Jõudluse osas peame olema realistlikud: 120B parameetriga mudeliga vastus võib võtta aega vahemikus 30 ja 90 sekundit kohalikus kontekstis. See iseenesest ei ole probleem, kuid seda tuleb arvestada kasutusvoogude ja agendile määratavate ülesannete tüüpide kujundamisel.

Kaugjuurdepääs, veebiliides ja riistvara, mis on loodud kohaliku tehisintellekti jaoks

Kui kõik on seadistatud, saate agendiga suhelda mitmel viisil. Kõige levinum on Telegrami kaudu@BotFatheriga loodud boti kasutamine on praktiline valik: võimas API, krüptimine, rakendused igat tüüpi seadmetele ja pole vaja oma serveriporte välismaailmale paljastada.

Bot võtab teie sõnumid vastu, edastab need DGX-i agendile ja saadab teile vastuse. Huvitav on see, et kuigi vestlus toimub Telegrami infrastruktuuri kaudu, Järeldused ja juurdepääs tundlikele andmetele jäävad 100% lokaalseks teie masinal.

Lisaks pakub NemoClaw privaatne veebiliides Ligipääsetav tokeniseeritud URL-i kaudu, mis genereeritakse ainult üks kord kasutuselevõtu lõpus. On oluline see URL kohe salvestada, kuna seda ei kuvata uuesti. Selle vaatamiseks teisest võrgus olevast masinast peate konfigureerima SSH-tunneli ja pordi edastamise OpenShelli abil.

Üks väike, aga oluline detail on see, et URL tuleb avada 127.0.0.1 asemel localhostLocalhosti kasutamine võib põhjustada autoriseerimata päritolu (CORS) vigu, mis võivad teie aega raisata, kui te pole sellest teadlik.

Igapäevaste toimingute jaoks on mitu kasulikud CLI-käsud: ava liivakastis kest, vaata olekut, jälgi logisid reaalajas, loetle liivakastid, käivita või peata Telegrami sild, aktiveeri pordi edastamine või käivita puhas desinstallimisskript, mis eemaldab kogu pinu.

Mis puutub riistvarasse, NVIDIA DGX Spark See on selgelt loodud just selliste kasutusjuhtude jaoks. See on kompaktne süsteem NVIDIA GPU-de ja suure ribalaiusega ühendatud mäluga, mis sobib ideaalselt keskmise ja suure suurusega mudelite käitamiseks madala latentsusega ilma täielikku andmekeskust üles seadmata.

La ühtne mälu See aitab eriti ühe klassikalise kitsaskoha puhul: andmete liigutamine protsessori ja graafikaprotsessori vahel. Mälu jagamise abil pääseb mudel andmetele ligi palju tõhusamalt, võimaldades kümnete miljardite parameetritega mudeleid laadida (peaaegu) reaalajas – see oli tarbijariistvaras kuni viimase ajani mõeldamatu.

Populaarsed kohalikud tehisintellekti agendid: näited ja kasutusjuhud

Lisaks NVIDIA ökosüsteemile on veel üsna palju Tehisintellekti agendid ja automatiseerimisele orienteeritud platvormid teie enda meeskonnas mida tasub teada. Igaüks neist on suunatud erinevat tüüpi kasutajatele ja erinevatele ülesannetele.

Näiteks OpenClaw on populaarseks saanud avatud lähtekoodiga agentide platvorm mis toimib isikliku assistendina. See võimaldab teil luua kohandatud agente postkasti puhastamiseks, sõnumite saatmiseks, kalendri haldamiseks, reiside korraldamiseks või digitaalses elus korduvate ülesannete automatiseerimiseks.

Saab paigaldada sisse Windows, macOS ja LinuxSee on loodud ka töötama LLM-mudelitega lokaalselt, mis parandab privaatsust ja vähendab sõltuvust pilvest. Lisaks integreerub see sõnumsiderakendustega nagu WhatsApp, Telegram, Discord, Slack, Signal ja Apple Messages, nii et teie agent töötab teie juba kasutatavate vestluste "kulisside taga".

Pluginate kaudu saate anda sellele juurdepääsu brauserile, sotsiaalvõrgustikele, e-posti klientidele ja teistele rakendustele ning lubada sellel suhelda failisüsteemiga, käivitada käske ja skriptevõi automatiseerida tüüpilisi kontori- ja tootlikkusülesandeid. Kõik see toimub selge rõhuasetusega sellele, et kasutaja saaks valida, millised kaustad, rakendused ja teenused on agendile kättesaadavad.

Üldisemas ökosüsteemis platvormid nagu HämmingusarvutiSee muudab Perplexity lihtsast vestluspõhisest otsingumootorist abiliseks, mis on võimeline täitma keerukaid töövooge. See arvutirežiim võimaldab teil veebis sirvida, dokumente luua ja hallata, koodi kirjutada, andmeid töödelda ja koordineerida tegevust selliste teenustega nagu Gmail, Slack, GitHub ja Notion.

Selle tugevus seisneb selliste mudelite nagu Claude, GPT, Gemini või Perplexity enda Sonar ärakasutamises, et hallata suuri andmemahtusid ja jagada keerukaid ülesandeid alamülesanneteks, mida saab täita järjestikku või paralleelselt. Kuigi need ei ole alati täiesti lokaalsed, on agendi muster ja integreerimine tööriistadega väga sarnased teie arvutis töötavate agentide omadega.

Puhtalt avatud lähtekoodiga ja kohalikus valdkonnas Jaan AI Seda esitletakse ChatGPT asendajana, mida saab installida Windowsi, Maci ja Linuxi operatsioonisüsteemidele. See võimaldab teil kasutada kohalikke mudeleid nagu Llama (Meta) või Gemma (Google) või luua ühenduse veebimudelitega nagu ChatGPT, Claude, Gemini, Mistral, Qwen või DeepSeek, kui olete huvitatud nende kombinatsioonist.

Jan AI töötab nii klassikaline vestlusassistent (küsi, koosta mustandit, kokkuvõtet, tõlkimist, ümberkirjutamist, selgitamist) agendina, mis on võimeline töötlema faile ja dokumente, täitma käske ja genereerima koodi erinevates keeltes. Lisaks muudab selle kohandamiskesksus lihtsaks oma agendi loomise konkreetsete juhistega ja erinevate "profiilide" vahel vahetamise olenevalt sellest, mida teete.

Seadme agendid: PocketBot ja mobiilne automatiseerimine

Mõiste Kohalik tehisintellekt ei jää arvutisseSee avaldab tugevat mõju ka mobiiltelefonidele, kus üha rohkem projekte valib väikeseid, kuid spetsiaalseid mudeleid, et automatiseerida telefoni ilma pilve kaudu minemata.

Selge näide on PocketBot, agent, mis töötab otse iPhone kasutab Metalil flame.cpp-dSelle missioon on muuta loomulik keel telefoniautomaatideks: tuhandete menüüde või otseteede vahel klõpsamise asemel kirjeldate teie, mida soovite, ja agent hoolitseb selle toiminguteks tõlkimise eest.

PocketBot kasutab kvantiseeritud mudelit 3.000 miljardit parameetritTöötab täielikult lokaalselt ja ilma andmeid välistele serveritele saatmata. iPhone 15 Pro-l on tavaliselt 3–4 GB vaba mälu, mida saab kasutada enne, kui iOS hakkab protsesse lõpetama, seega on mudeli suurus ja kvantiseerimine kriitilise tähtsusega.

Üks väljakutsetest, mida selle loojad mainivad, on leidmine Usaldusväärsed väikesed mudelid tööriistade kutsumiseks ja struktureeritud väljundite jaoks JSON-is. Näiteks Qwen3 kasutamisel tekivad neil probleemid nagu väljamõeldud parameetrite nimed, valesti vormindatud JSON (puuduvad sulud) ja ebajärjekindel skeemi järgimine, mis sundis rakendama enesekorrektsiooni ja uuesti proovimise kihte.

Samuti on palju vaidlusi selle üle, optimaalne kvantimispunkt Parima kvaliteedi/mälu suhte saavutamiseks kaaluge valikuid nagu q4_K_M või q5_K_S, olenevalt kiibi põlvkonnast ja saadaolevast mälust. Iga väiksem bitt kvantiseerimises tähendab paremini hallatavaid mudeleid, kuid see võib negatiivselt mõjutada arutluskäiku ja täpsust tööriistakutsetes.

Teine ​​valdkond on kohandamine valimiparameetrid olenevalt ülesandest. Tüüpilised konfiguratsioonid hõlmavad temperatuuri 0,7, top_p 0,8, top_k 20 ja repeat_penalty 1,1, kuid huvi pakub vaba vestluse ja tööriista kutsumise genereerimisstrateegiate eraldamine, kus huvi pakub rohkem determinismi ja vähem loovust.

Lõpuks ometi mobiiltelefonis konteksti haldamine See on eriti delikaatne: süsteemiviip salvestatakse tavaliselt KV vahemällu, et vältida selle uuesti töötlemist, ja libisevaid aknaid kasutatakse mahutavuse ületamise vältimiseks; seepärast on kasulik teada, kuidas salvesta ja korralda oma ülesandeid.

Lisaks sellele on ruumi järkjärgulistele kokkuvõtvatele nippidele, valikulisele mälule või hübriidskeemidele, mis ühendavad kokkusurutud ajaloo ja vahetu konteksti.

Looge oma „kohalik ChatGPT” Ollama ja Open WebUI abil

Neile, kes ei vaja nii keerulist virna nagu NemoClaw, aga tahavad teie arvutis töötav ChatGPT-tüüpi assistentOllamal ja Open WebUI-l põhinev väga praktiline lähenemine on populaarseks muutunud.

Idee on lihtne: Ollama See vastutab mudelite allalaadimise ja serveerimise eest. (Llama, Gemma, Qwen jne) teie arvutis kohaliku API kaudu ja Open WebUI pakub veebiliidest, mis on väga sarnane ChatGPT-ga, kuid töötab täielikult teie arvutis. Kogu liiklus kasutajaliidese ja mudeli vahel toimub localhosti kaudu.

Väga lihtne samm-sammult juhend annab üksikasjaliku ülevaate, kuidas ja mõne nüansiga 15 terminali käskuSelle seadistuse saate tööle panna vähem kui tunniga. See hõlmab Python 3.11 installimist, süsteemi põhikonfiguratsiooni, Ollama installimist ja Open WebUI juurutamist koos ekraanipiltide ja tõrkeotsingu näpunäidetega.

Tulemuseks on keskkond, kus naudid tasuta tellimusedTäielik privaatsus (andmed ei lahku kunagi teie arvutist), konkurentsivõimelised reageerimisajad (jagatud serverijärjekordi pole) ja täielik vabadus kohandada spetsiaalseid assistente vastavalt teie vajadustele.

Lisaks integreerib Open WebUI täiustatud funktsioone, näiteks Veebiotsing, kooditõlk, kohandatud mudeli loomine Spetsiifiliste konfiguratsioonide põhjal valmistab see ette täiustatud RAG-võimalusi isiklike teadmusbaaside loomiseks. Idee seisneb selles, et teil on koolitatud "kaaspiloot", kes on tuttav teie dokumentide ja töövoogudega, ilma et peaksite kolmandatele osapooltele lootma.

Pärast mõnekuulist kasutamist teatavad paljud kasutajad, et see kombinatsioon on [eelmise toote/teenuse] täielikult asendanud. nende tasulised pilvelahenduste tellimusedsamal ajal parandades integratsiooni oma kohalike andmete ja tööriistadega. Järgmine loomulik samm on ühendada see "omatehtud ChatGPT" agentide, skriptide ja teenustega, et koordineerida keerukamaid automatiseeringuid.

Automatiseeri oma digielu: praktilised näited kohaliku tehisintellekti abil

Kõik see kõlab tehnilisel tasandil suurepäraselt, aga mida sellega igapäevaelus teha saab? hästi koolitatud kohalikud agendidVõimalused on üsna laiad, kui kombineerida multimodaalseid mudeleid, ekraanile juurdepääsu, tööriistu ja struktureeritud salvestusruumi.

On olemas ettepanekud, mis on mõeldud automatiseerida oma arvuti kasutamist agentidega, kes saavad ekraanipilte ja tegutsevad nende põhjal. Töövoog näeks välja umbes selline: süsteem teeb ekraanipildi, agent töötleb seda mudeli abil, mis on võimeline piltidega töötama, saab aru, milline rakendus on avatud, millised nupud on olemas, milline tekst kuvatakse ja teie käsu põhjal otsustab, mida edasi teha.

Selle ideega saaksid näiteks luua spetsialiseerunud tõlkebüroosidSüsteem jäädvustab ekraani osa, mida soovite tõlkida, suurendab seda "luubi-tõlkija" aknas ja genereerib peaaegu kohese tõlke, kasutades väikest mudelit (nt 4B parameetrid), mis on tõlkimiseks peenhäälestatud, nagu PHI peenhäälestatud variant.

Teine huvitav rinne on see, Visuaalsed mudelid, mis teisendavad ekraanipildid PDF-failideksKujutage ette tööriista, mis esitluste, armatuurlaudade või dokumentide ekraanipiltidest genereerib hästi vormindatud PDF-faile, mida saate seejärel oma esitlustes täiustada või otse kasutada. Pythoni Acrobatiga integreerides saaksite kogu töövoo automatiseerida.

Veebiga töötamiseks ilma välistest teenustest sõltumata on vaja selliseid kogenud tehnoloogiaid nagu BeautifulSoup on endiselt väga kasulikSaate seadistada kerge skreeperi, mis indekseerib mitu lehte ja säilitab ainult vajaliku HTML-i (näiteks ekstraheerib ainult