Tinklo srauto stebėjimas naudojant atvirojo kodo įrankius

„Informatec Digital“ » Ištekliai » Tinklo srauto stebėjimas naudojant atvirojo kodo įrankius

Kai įmonės tinklas pradeda lėtėti, nutrūksta „Wi-Fi“ ryšys arba netinkamiausiu metu sugenda svarbus serveris, nebeužtenka tiesiog „perkrauti maršrutizatorių ir sukryžiuoti pirštus“. Šiandien labai svarbu turėti atvirojo kodo tinklo srauto stebėjimo įrankius , kurie leistų matyti, kas vyksta realiuoju laiku, numatyti problemas ir išvengti brangių prastovų.

Jei dirbate IT, tinklų srityje arba kada nors buvote savo įmonės techniniu vadovu , tikriausiai esate girdėję apie tokius sprendimus kaip PRTG ar „SolarWinds“... ir jų licencijas. Geros žinios yra tai, kad egzistuoja labai brandi atvirojo kodo platformų ekosistema, skirta įrenginių, paslaugų ir tinklo srauto (maršrutizatorių, komutatorių, „Wi-Fi“ prieigos taškų, serverių, konteinerių, viešųjų debesų ir daug daugiau) stebėjimui be pernelyg didelių mokesčių ir su neįtikėtinu lankstumu.

Kas yra tinklo srauto stebėjimas realiuoju laiku ir kodėl jis toks svarbus?

Kalbėdami apie tinklo stebėjimą realiuoju laiku, turime omenyje nuolatinę IT ir ryšių infrastruktūros būsenos, našumo ir saugumo priežiūrą , incidentų aptikimą jiems įvykstant. Programinė įranga nuolat renka ir analizuoja įrenginių, sistemų ir programų metriką, kad IT komanda galėtų reaguoti prieš problemai paveikiant verslą.

Šio tipo sprendimai remiasi tokiais protokolais kaip SNMP, NetFlow/sFlow, ICMP , API ir specialiais agentais, kad rinktų duomenis iš maršrutizatorių, komutatorių, užkardų, prieigos taškų, fizinių ir virtualių serverių, konteinerių, debesijos paslaugų, žiniatinklio programų, duomenų bazių ir praktiškai bet kurio infrastruktūros elemento.

Pagrindinis tikslas – visapusiškai matyti srautą, pralaidumo naudojimą, prieinamumą ir kiekvieno komponento būklę . Tai leidžia aptikti kliūtis , atakas, aparatinės įrangos gedimus ar paslaugų perkrovas, kol jos nesukelia sutrikimų, didelio masto sulėtėjimo ar duomenų praradimo.

Be tiesioginių duomenų, daugelis įrankių leidžia saugoti istorinius rodiklius tendencijų analizei , pajėgumų planavimui, SLA/OLA atitikties tikrinimui, saugumo auditui ir investavimo sprendimų dėl naujos įrangos ar jungčių palaikymui.

Pagrindiniai realaus laiko stebėjimo panaudojimo būdai ir privalumai

Vienas didžiausių privalumų yra prevencinė IT ir tinklo infrastruktūros priežiūra . Nuolatinė procesoriaus, atminties, temperatūros, maitinimo šaltinio būsenos, sąsajos klaidų ar paketų praradimo metrika padeda aptikti ankstyvus gedimo požymius, kol neįvyko rimtas gedimas ar paslaugos nutrūkimas.

Ankstyvas reagavimas į incidentus yra dar vienas svarbus ramstis. Stebėjimo platformos generuoja pritaikomus įspėjimus (el. paštu, SMS, „Slack“, „Teams“, žiniatinklio kabliukuose ir kt.), kai vertė viršija ribą, paslauga nebereaguoja arba atsiranda įtartinas srauto modelis. Tai žymiai sumažina prastovas ir saugumo incidentų ar našumo sutrikimų poveikį.

Kasdienėse operacijose stebėjimas padeda optimizuoti bendrą tinklų, serverių ir programų našumą. Galimybė matyti, kurios jungtys yra perpildytos, kurios paslaugos sunaudoja daugiausia išteklių arba kurios laiko juostos sukelia didžiausias apkrovas, padeda koreguoti konfigūracijas, subalansuoti apkrovas, iš naujo apibrėžti QoS politiką ir apskritai pagerinti įdiegtos technologijos našumą.

Kitas vis svarbesnis aspektas yra atitiktis reglamentams. Gera stebėjimo sistema palengvina prieigos kontrolę, jautrių duomenų stebėjimą ir neteisėtos prieigos aptikimą , teikdama žurnalus ir metriką, naudingus auditams ir atitikties reglamentų ar sutartiniams reikalavimams įrodymui.

Galiausiai, verslo požiūriu, šie sprendimai tampa sprendimų priėmimo įrankiais : periodinėmis ataskaitomis, vadovų ataskaitų suvestinėmis, incidentų ir prieinamumo istorine analize, svetainių ar debesijos paslaugų teikėjų palyginimais... visa tai padeda pateisinti investicijas, derėtis su trečiosiomis šalimis ir nustatyti IT projektų prioritetus.

Konkretūs atvirojo kodo stebėjimo programinės įrangos privalumai

Pirmas akivaizdus atvirojo kodo įrankių privalumas yra jų ekonomiškumas: nėra uždarų licencijų ar agresyvių įrenginių kainų, kaip daugelyje komercinių platformų. Tai nereiškia, kad viskas yra nemokama (visada yra infrastruktūros, palaikymo ir mokymo išlaidų), tačiau sutaupytos lėšos licencijoms atlaisvina vietos investicijoms į kitas svarbias sritis.

Antras didelis privalumas – bendruomenės palaikymas ir inovacijos . Tokie projektai kaip „Nagios“, „Zabbix“, „Prometheus“, „LibreNMS“ ir „Netdata“ turi labai aktyvias bendruomenes, kurios kuria papildinius, integracijas, ataskaitų suvestines ir nuolat tobulina, taip pat greitai taiso klaidas ir šalina pažeidžiamumus.

Ji taip pat išsiskiria kodo skaidrumu ir patikimumu : kadangi tai atvirojo kodo programinė įranga, kiekvienas gali tikrinti, kaip tvarkomi ir saugomi duomenys, peržiūrėti sistemos saugumą ir pritaikyti šaltinio kodą konkretiems poreikiams. Tai sumažina paslėptų spragų riziką ir palengvina vidaus saugumo politikos laikymąsi.

Kitas svarbus aspektas – vengti priklausomybės nuo tiekėjo. Naudojant atvirus sprendimus, lengviau migruoti tarp įrankių arba juos derinti (pavyzdžiui, naudojant „Prometheus“ programų metrikoms, „Zabbix“ tinklo įrenginiams ir „Grafana“ kaip vieningą vizualizacijos sluoksnį), neprisirišant prie vienos įmonės veiksmų plano visam gyvenimui.

Akivaizdu, kad atvirojo kodo įrankiai paprastai reikalauja tam tikrų techninių įgūdžių diegimui, konfigūravimui ir priežiūrai , tačiau mainais jie siūlo lankstumą ir galią, kuri gali konkuruoti su daugeliu komercinių sprendimų, ypač aplinkose, kuriose vertinamas pritaikymas ir integravimas su esamomis sistemomis.

Geriausi atvirojo kodo tinklų ir infrastruktūros stebėjimo įrankiai

Yra dešimtys brandžių projektų, skirtų tinklų, serverių, programų ir debesijos aplinkų stebėjimui. Žemiau pateikiama svarbiausių atvirojo kodo tinklo srauto ir stebimumo įrankių apžvalga , pagrįsta įvairiomis techninėmis analizėmis ir specializuotais palyginimais.

Vienas iš klasikinių pavyzdžių yra „Nagios Core“ – itin patikimas stebėjimo ir įspėjimų variklis. Jis yra daugelio „Nagios“ projektų pagrindas ir tvarko planavimo patikrinimus, rezultatų apdorojimą, įvykių valdymą ir įspėjimų generavimą. Jo modulinė architektūra leidžia išplėsti galimybes naudojant pasirinktinius API ir papildinius, o jo ekosistema yra plati, su integracijomis beveik bet kokio tipo įrenginiui ar paslaugai.

Dar vienas atvirojo kodo pasaulio milžinas yra „Zabbix“ , kuris daugiausia dėmesio skiria didelio masto IT infrastruktūros stebėjimui. Jis ypač galingas renkant ir analizuojant tinklo įrenginių metriką (pralaidumo naudojimą, sąsajos būseną, ryšius, paketų praradimą, temperatūrą, procesoriaus veikimą, atmintį ir kt.) per SNMP arba su savo agentais. Jis leidžia vartotojams apibrėžti slenksčius, įspėjimų eskalavimo srautus, tvarkaraščius, pranešimų kanalus ir labai detalią įvykių logiką.

Debesijos kompiuterijos programų ir laiko eilučių duomenų srityje išsiskiria „Prometheus“ . Šis sprendimas naudoja matmenų duomenų modelį, identifikuojamą pagal metrikų pavadinimus ir raktų-reikšmių žymas, ir, naudodamas „PromQL“ užklausų kalbą, kuria diagramas, lenteles, įspėjimų taisykles ir sudėtingas užklausas. Duomenys efektyviai saugomi atmintyje ir vietiniame diske, todėl atskiri egzemplioriai yra labai autonomiški, o vizualizacijai jis sklandžiai integruojasi su „Grafana“.

Ieškantiems lengvo sprendimo, orientuoto į labai trumpą realųjį laiką ir minimalų delsą, „Netdata“ yra labai įdomus pasirinkimas. Ji kaip agentas įdiegiama kiekviename „Linux“ serveryje ar įrenginyje, renka sistemos ir programų metriką, saugo duomenis pačiame mazge (trumpuoju laikotarpiu nesiremdama išorinėmis duomenų bazėmis) ir siūlo automatizuotas ataskaitų suvestines su labai išsamiomis našumo vizualizacijomis, netgi pasitelkdama mašininio mokymosi modelius anomalijoms aptikti.

Specializuoti įrankiai tinklų ir srauto vizualizavimui

Be bendrosios paskirties platformų, yra ir atvirojo kodo įrankių, kurie tiesiogiai skirti tinklo srauto stebėjimui ir našumo grafikams , ypač naudingi, kai dėmesys sutelkiamas į pralaidumo, srautų ir ryšio būklės peržiūrą.

Vienas populiariausių yra „Cacti“ , kuris daugiausia dėmesio skiria tinklo grafikų kūrimui ir gedimų valdymui veiklos stebėjimo tikslais. Jis naudoja „RRDTool“ duomenims saugoti ir grafikams generuoti, siūlo šablonus įrenginių registracijai automatizuoti ir palaiko kelis duomenų rinkimo metodus. Jo papildiniai (be kita ko, „THold“, „SysLog“, „MacTrack“) leidžia naudoti slenksčius, integruoti syslog, sekti MAC adresus ir stebėti įrenginius realiuoju laiku.

Kita labai galinga platforma yra „OpenNMS Horizon“ , laikoma vienu pirmųjų visiškai atvirojo kodo įmonės lygio tinklo paslaugų stebėjimo sprendimų. Ji palaiko vietinių ir paskirstytų tinklų stebėjimą, siūlydama inventorizaciją, gedimų valdymą, nuotolinį duomenų rinkimą, signalizacijos koreliaciją, verslo paslaugų stebėjimą ir srauto stebėjimą. Viskas valdoma per intuityvią žiniatinklio sąsają su pritaikomomis ataskaitų suvestinėmis.

Panašiai „Icinga“ save pozicionuoja kaip modernią „Nagios“ modelio evoliuciją, turinčią išpuoselėtą žiniatinklio sąsają ir didelį dėmesį skiriančią tinklo stebėjimui, sąsajos našumui, pralaidumo naudojimui, klaidoms, procesoriaus ir atminties apkrovai bei aparatinės įrangos būklei. „Icinga“ palaiko SNMP patikrinimus, tiekėjams būdingus rodiklius ir SNMP spąstų priėmimą, integruodamasi su „Logstash“, kad būtų galima valdyti įvykius iš kelių įrenginių.

Tiems, kuriems reikia labai išsamaus tinklo įrenginių, sąsajų ir srauto vaizdo, tokie projektai kaip „LibreNMS“ ir „Observium“ yra ypač naudingi. Abu jie labai priklauso nuo SNMP ir aptikimo protokolų (CDP, LLDP, OSPF, BGP, ARP ir kt.), kad automatiškai aptiktų tinklą, generuotų žemėlapius ir pateiktų našumo metriką aiškiais grafikais , konfigūruojamomis ribomis ir lanksčiomis įspėjimo sistemomis.

Išplėstinė vizualizacija naudojant „Grafana“ ir „Graphite“

Daugelyje sudėtingų diegimų metrikų rinkimo sluoksnis yra atskirtas nuo vizualizacijos sluoksnio. Du pagrindiniai šio metodo projektai yra „Grafana“ ir „Graphite“ – abu atvirojo kodo ir plačiai naudojami įmonių aplinkoje.

„Grafana“ yra kelių platformų, papildinių palaikantis įrankis, skirtas kurti visiškai pritaikytas duomenų vizualizacijos ataskaitų suvestines. Jis leidžia prijungti kelis duomenų šaltinius („Prometheus“, „Graphite“, „InfluxDB“, „MySQL“, debesijos paslaugų teikėjus ir kt.) ir rodyti metrikas histogramose, geografiniuose žemėlapiuose, šilumos žemėlapiuose, linijinėse diagramose, lentelėse ir daugelyje kitų tipų vizualizacijų. Jis palaiko realaus laiko anotacijas, dinaminius ataskaitų suvestines ir įspėjimų apibrėžimą su pranešimais įvairiems kanalams.

„Graphite“ daugiausia dėmesio skiria laiko eilučių metrikų fiksavimui ir grafiniam braižymui. Ją galima diegti paprastoje aparatinėje įrangoje arba debesyje ir ji idealiai tinka svetainių, įmonės paslaugų, serverių ir tinklo metrikų našumui stebėti . Daugelis komandų renkasi „Graphite“ pagrindu veikiančias valdomas paslaugas (pvz., „MetricFire“), kurios prideda klasterinę saugyklą, duomenų žymėjimą, papildomas integracijas ir kelių kanalų įspėjimus, tuo pačiu išnaudodamos „Graphite“ ir dažnai „Grafana“ galią priekinėje dalyje.

Įprastame diegime tinklo sistemos ir serveriai siunčia metriką į „Graphite“ arba suderinamą rinktuvą (pvz., naudodami tokius protokolus kaip „StatsD“), o tada „Grafana“ sukuriamos ataskaitų suvestinės, kad būtų galima vieningai matyti visos infrastruktūros būseną: nuo srauto kiekvienoje sąsajoje iki užklausos delsos ar procesoriaus naudojimo kiekvienai paslaugai.

Kiti svarbūs atvirojo kodo stebėjimo sprendimai

Atvirojo kodo stebėjimo ekosistema yra labai plati ir apima specifinius poreikius, tokius kaip automatinis aptikimas, procesų stebėjimas, stebimumo srautai arba metrikų rinkimas iš labai nevienalyčių aplinkų.

Pavyzdžiui, „Checkmk“ yra labai keičiamo dydžio platforma, galinti stebėti viską – nuo ​​mažų aplinkų iki didelių įmonių. Ji apima pažangų agentų valdymą, automatinį tinklo aptikimą, interaktyvias vizualizacijas, galingas įspėjimo sistemas, SLA ataskaitas, žurnalų ir įvykių analizę bei API, skirtas išplėsti jos funkcionalumą. Ji siūloma įvairiais leidimais (nemokama RAW, Enterprise, Cloud ir MSP), pritaikoma įvairiems dydžiams ir paslaugų modeliams.

„M/Monit“ daugiausia dėmesio skiria „Unix“ ir „Linux“ sistemų stebėjimui ir savarankiškam taisymui. Ji stebi procesus, procesoriaus ir atminties naudojimą bei tinklo sąsajas ir gali automatiškai reaguoti į klaidas atlikdama taisomuosius veiksmus. Ji taip pat leidžia stebėti paslaugos paleidimą, nuskaityti failus ir katalogus, ar nėra neleistinų pakeitimų, ir tikrinti tinklo ryšius su vietiniais arba nuotoliniais serveriais.

Tinklo topologijos ir metrikų analizės srityje „Pandora FMS“ išsiskiria kaip „viskas viename“ sprendimas, siūlantis tinklo, UX, debesijos, serverių ir programų stebėjimą, inventorių, žurnalų valdymą ir pritaikomas ataskaitų suvestines. Jis gali automatiškai aptikti tinklo sąsajas, kurti žemėlapius, rodyti realaus laiko statistiką apie kliūtis ir teikti išsamias ataskaitas.

Šiuolaikinėse mikropaslaugose ir kelių debesų architektūrose „Sensu“ veikia kaip centralizuotas stebėjimo kanalas , vienijantis įvairius stebėjimo įrankius. Jis siūlo sveikatos patikrinimus, pasirinktinius našumo rodiklius, žurnalų valdymą, tinklo problemų valdymą ir kelių kanalų įspėjimus su deduplikacija. Be to, jis palaiko savęs taisymą, vykdydamas paslaugų paleidimą iš naujo arba pasirinktinius scenarijus, kai aptinka problemų.

Agentai, kolekcionieriai ir pagalbiniai įrankiai

Be didelių platformų, yra ir lengvesnių įrankių, kurių pagrindinė funkcija yra rinkti ir siųsti metriką iš sistemų, jutiklių ir programų į duomenų bazes arba pagrindines stebėjimo sistemas.

Puikus pavyzdys yra „Telegraf“ – „Go“ pagrindu veikiantis agentas be išorinių priklausomybių, galintis veikti per plačią įskiepių sistemą. Turėdamas daugiau nei 300 įvesties / išvesties įskiepių, „Telegraf“ gali išgauti metrikas ir įvykius iš įvairių technologijų paketų ir siųsti duomenis į tokias sistemas kaip „InfluxDB“, „Graphite“, „OpenTSDB“, „Datadog“, „Librato“ ir kitas. Jo atminties buferiai užtikrina, kad metrikos nebūtų prarastos net jei pagrindinė serverio sistema laikinai neveikia.

Kitas svarbus daugelio architektūrų elementas yra specialių eksportuotojų ir rinkėjų naudojimas (pavyzdžiui, „Prometheus“ ekosistemoje, su duomenų bazių, žiniatinklio serverių, eilių sistemų ir kt. eksportuotojais), kurie leidžia pateikti metriką standartiniu formatu, nereikalaujant perrašyti kiekvienos programos.

Sujungus tokius agentus kaip „Telegraf“, specializuotus eksportuotojus ir laiko eilučių bei vizualizacijos platformas, galima sukurti labai išsamius tinklų, serverių, programų ir debesų stebėjimo sprendimus , visiškai pagrįstus nemokama programine įranga arba su minimaliais komerciniais komponentais, kai pageidaujama oficialios pagalbos.

Šis modulinis požiūris turi pranašumą, kad kiekviena organizacija gali pasirinkti tik jai reikalingas dalis , integruoti jas su esamomis sistemomis (bilietu pardavimu, CMDB, SIEM ir kt.) ir plėtoti architektūrą aplinkai augant arba keičiantis link konteinerių, „Kubernetes“ ar beserverių paslaugų.

Kaip išsirinkti geriausią atvirojo kodo tinklo stebėjimo įrankį

Prieš diegiant pirmąjį populiarų įrankį, svarbu aiškiai apibrėžti, ką norite stebėti : tik fizinį tinklą (maršrutizatorius, komutatorius, prieigos taškus), ar ir serverius, virtualias mašinas, konteinerius, programas ar net naudotojo patirtį ir debesijos paslaugas. Toks prioritetizavimas leidžia susiaurinti galimų variantų spektrą ir pasirinkti sprendimus, kurie gerai atitinka jūsų pagrindinį naudojimo atvejį.

Svarbu įvertinti pagrindines reikalingas funkcijas : ataskaitas, įspėjimus, duomenų vizualizaciją, istorinių duomenų saugojimą, integraciją su trečiųjų šalių sistemomis, API ir konkrečių protokolų (SNMP, „NetFlow“, WMI, debesijos API ir kt.) palaikymą. Pavyzdžiui, „Prometheus“ idealiai tinka, kai reikia pasirinktinės metrikos ir sudėtingų įspėjimų taisyklių; „Cacti“ puikiai rodo tinklo srauto grafikus; o „Checkmk“ teikia interaktyvią vizualizaciją ir išsamias SLA ataskaitas.

Naudojimo ir konfigūravimo paprastumas yra dar vienas svarbus veiksnys. Tokios priemonės kaip „Zabbix“, „Netdata“ ar „Checkmk“ paprastai siūlo patogius sąrankos vedlius ir ataskaitų suvestines, o labai lankstiems sprendimams gali prireikti daugiau pradinės sąrankos. Prieš priimant sprendimą patartina išbandyti tinklo aptikimo sąsają, pagrindinio kompiuterio ir paslaugos kūrimą bei įspėjimų konfigūraciją.

Kalbant apie saugumą, labai svarbu, kad platforma palaikytų šifravimą, stiprią autentifikaciją ir vaidmenimis pagrįstą prieigos kontrolę . Kai kurios platformos, pavyzdžiui, „OpenNMS“, „Icinga“ ar „Prometheus“, leidžia pridėti pažangių modulių ar konfigūracijų, siekiant sustiprinti saugumą, segmentuoti prieigą prie duomenų ir atitikti vidinius ar norminius standartus; be to, patartina tai papildyti geriausia praktika, susijusia su pažangia užkardos konfigūracija serveriuose.

Galiausiai, labai rekomenduojama atlikti koncepcijos įrodymą (POC) su 2 ar 3 finalistiniais įrankiais , juos įdiegti kontroliuojamoje aplinkoje, stebėti reprezentatyvų infrastruktūros pogrupį ir įvertinti našumą, naudojimo paprastumą, įspėjimų kokybę ir integravimo su esamais įrankiais (bilieto sistemomis, CI/CD, pranešimų siuntimu ir kt.) galimybes.

Geriausia efektyvaus tinklo stebėjimo praktika

Pasirinkus platformą, sėkmė labai priklauso nuo to, kaip bus suplanuotas diegimas. Svarbiausias pirmas žingsnis yra dokumentuoti ir sudaryti tinklo žemėlapį : kokie įrenginiai yra, kur jie yra, kokius ryšius jie naudoja, kokias svarbias paslaugas jie palaiko ir kokios yra tarp jų priklausomybės. Tai leis lengviau apibrėžti, ką ir kaip stebėti. Norėdami geriau suprasti tinklo topologijas ir tipus, žr. Kompiuterių tinklai: tipai ir pavyzdžiai.

Patartina pasirinkti vieną ar kelis standartinius ryšio protokolus įrenginiams, kurie siunčia informaciją į įrankį: SNMP tinklo įrangai, agentus serveriams, „Prometheus“ eksportuotojus konkrečioms paslaugoms, syslog įvykiams ir kt. Kuo homogeniškesnis metodas, tuo lengviau jį išlaikyti ilgalaikėje perspektyvoje.

Taip pat svarbu apibrėžti bazinį elgesį : normalias delsos, pralaidumo, procesoriaus, atminties, lygiagrečių jungčių ir kt. vertes. Tai leidžia konfigūruoti realias ribas ir tiksliau aptikti anomalijas, išvengiant tiek klaidingų aliarmų, tiek praleistų įspėjimų apie realius incidentus.

Aiškių, konkrečiam vaidmeniui skirtų ataskaitų suvestinių (visą parą veikiančių operacijų, tinklo, sistemų, valdymo ir kt.) nustatymas padeda sutrumpinti diagnostikos laiką. Tinklo operacijų centrui (NOC) reikės suvestinių rodinių ir realaus laiko įspėjimų; tinklo administratoriaus, išsamios sąsajos, klaidų ir eilių informacijos; ir IT vadovo, prieinamumo ir SLA informacijos apie svarbias paslaugas.

Galiausiai, labai svarbu apibrėžti įspėjimų eskalavimo politiką : kas gauna kokio tipo įspėjimą, kokiu kanalu ir kokiu prioritetu; kas daroma ne darbo valandomis; kas laikoma dideliu incidentu; ir kaip atsakas koordinuojamas tarp komandų. Net ir geriausios pasaulyje priemonės praranda efektyvumą, jei niekas nereaguoja į įspėjimus arba jei nėra aiškaus veiksmų plano.

Atsižvelgiant į visus šiuos aspektus, atvirojo kodo tinklo srauto stebėjimo sprendimai leidžia sukurti itin patikimas aplinkas, užtikrinančias visapusišką matomumą, sprendimų palaikymą ir tvirtą pagrindą bet kurios infrastruktūros, nuo mažo verslo iki didelės paskirstytos korporacijos, saugumui, prieinamumui ir našumui gerinti.