- MELT telemetrija (metrika, notikumi, žurnāli un izsekošanas dati) veido jebkuras digitālās infrastruktūras nervu sistēmu, nodrošinot pilnīgu pārredzamību no aparatūras līdz programmatūrai.
- Telemetrijas cauruļvadu ieviešana optimizē datu uzņemšanu, samazinot ekspluatācijas izmaksas un novēršot troksni, pirms informācija sasniedz analīzes sistēmas.
- Pāreja uz pilnas steka novērojamību ļauj organizācijām pāriet no reaktīvās uzraudzības uz proaktīvu un automatizētu incidentu atklāšanu.
Runājot par telemetriju, mēs būtībā domājam datu plūsmu, ko sistēmas atstāj aiz sevis darbības laikā. Tā būtībā ir digitāla informācija, kas ļauj mums zināt, kas reāllaikā notiek mūsu lietojumprogrammās, serveros vai pat fiziskajos sensoros, bez nepieciešamības fiziski atrasties pie iekārtas. Jebkuram uzņēmumam, kas sevi uzskata par digitālu, šo datu plūsmu apgūšana ir atšķirība starp problēmas atrisināšanu dažu sekunžu laikā un stundu pavadīšanu, meklējot adatu tehnoloģiskā siena kaudzē.
Interesanti ir tas, ka, lai gan daudzi cilvēki jauc telemetriju ar uzraudzību, tās nav viens un tas pats. Lai gan telemetrija ir neapstrādāta signāla uztveršanas un nosūtīšanas process, uzraudzība ir tas, ko mēs ar to darām, lai to saprastu, piemēram, izveidojot brīdinājumus vai informācijas paneļus. Tas ir tā, it kā telemetrija būtu nervu sistēma, kas apkopo impulsus, un uzraudzība būtu smadzenes, kas interpretē šos signālus , lai izlemtu, vai izsludināt trauksmi vai arī viss darbojas nevainojami.
Datu visums: MELT modelis
- Metrika: Tās ir skaitliskas vērtības, kas izmērītas laika gaitā. Padomājiet par to. CPU veiktspējas regulēšana, vietnes latentumu vai istabas temperatūru. Tie ir ideāli piemēroti atklāt anomālijas ātri.
- Notikumi: Tie ir konkrēti atskaites punkti. Piemēram, kad lietotājs piesakās vai tiek pabeigts pirkums. Šie dati ir tīrs zelts, jo tie savieno tehniskos aspektus ar... biznesa mērķi.
- Žurnāli: Tie ir detalizēti ieraksti ar datumiem un laikiem. Tie precīzi pastāsta, kas notika un kas to izdarīja, padarot tos par galveno instrumentu problēmu novēršana un auditi drošības jomā.
- Pēdas: Tie ļauj mums izsekot pieprasījuma ceļam no ienākošā līdz izejošajam, izejot cauri visiem mikropakalpojumiem. Tas ir būtiski, lai izprastu kur rodas sastrēgumi sarežģītās sistēmās.
Papildus tam ļoti specifiskās vidēs, piemēram, Azure Logic Apps, mēs varam atrast uzlabotu telemetriju, kas sadala informāciju pieprasījumu, atkarību un izņēmumu tabulās, ļaujot detalizēti izsekot atkārtotiem mēģinājumiem un izmantot API savienotājus.
Kā izveidot telemetrijas sistēmu no nulles
Ja vēlaties to visu ieviest un darbināt, nevarat vienkārši ķerties pie lietas akli. Pirmais solis ir definēt savus mērķus : vai vēlaties uzlabot lietotāja pieredzi, novērst drošības apdraudējumus vai vienkārši samazināt krātuves rēķinus? Kad esat skaidri noskaidrojis, kāpēc, jums ir jāsaskaņo šie KPI ar produktu domāšanu mākoņdatošanas inženieriem un, kas ir ļoti svarīgi, jānodrošina atbilstība tādiem noteikumiem kā GDPR, lai aizsargātu datu privātumu .
Nākamais solis ir rīku izvietošana. Šeit noder programmatūras aģenti vai fiziskie sensori. Ļoti jaudīga un neitrāla iespēja ir OpenTelemetry, kas neļauj jums pieķerties vienam piegādātājam. Iestatot datu vākšanu, ir jāpielāgo izlases frekvence ; ja mainīgais mainās lēni, nepārslogojiet tīklu, bet, ja ir jānosaka asas svārstības, palieliniet frekvenci.
Kad dati ir sākuši plūst, tie ir jānosūta, izmantojot tādus protokolus kā HTTPS, MQTT lietu internetam (IoT) vai OTLP. Lai novērstu sistēmas avāriju tīkla pārtraukumu laikā, ir svarīgi konfigurēt lokālos buferus un atkārtotas mēģināšanas loģiku . Pēc tam dati nonāk repozitorijā, kas var būt laika rindu datubāze, datu ezers vai izkliedēti risinājumi, piemēram, Elasticsearch, lai optimizētu meklēšanu, izmantojot uz laiku balstītu indeksēšanu.
Telemetrijas cauruļvadu revolūcija
Pienāk brīdis, kad mums ir tik daudz datu, ka sistēma kļūst nepārvaldāma un SIEM rēķins strauji pieaug. Šeit noder telemetrijas cauruļvadi, kas darbojas kā inteliģents filtrs starp avotu un galamērķi. Tā vietā, lai visu troksni nosūtītu uz aizmugursistēmu, cauruļvads normalizē un bagātina pārsūtāmo informāciju.
- Ieplūde: Signāli tiek apkopoti no visurienes: mākoņiem, konteineriem, galapunktiem un tīkliem.
- Apstrāde: Šeit notiek burvība. Dublikāti tiek noņemti, sensitīvi dati tiek rediģēti un nevajadzīgā informācija tiek atmesta. Šajā posmā telemetrija vairs nav vienkāršs pārraides līdzeklis un kļūst par kontroles mehānisms.
- Maršrutēšana: Dati tiek nosūtīti atbilstoši to vērtībai. Kritiski svarīgi dati tiek nosūtīti uz SIEM tūlītējai analīzei, bet vēsturiskie dati tiek nosūtīti uz lētu krātuvi, lai nodrošinātu atbilstību likumam.
Ir pat tādi uzlaboti risinājumi kā DetectFlow, kas sper soli tālāk, integrējot noteikšanu tieši plūsmā, izmantojot Sigma noteikumus un Apache Flink. Tas ļauj noteikšanu nobīdīt pa kreisi , identificējot uzbrukumus reāllaikā pat pirms žurnālu saglabāšanas.
No teorijas līdz praksei: tehniskais dizains
Tiem, kas mācās, tehniskās shēmas izstrāde ietver visas ķēdes izpratni: sensors $\rightarrow$ pārveidotājs $\rightarrow$ iegūšana $\rightarrow$ pārraide $\rightarrow$ uztvērējs. Runa nav par kaut kā rūpnieciski perfekta radīšanu, bet gan par izpratni, ka katra detaļa ir svarīga. Piemēram, ja pārraidāt pa radio vidē ar traucējumiem, jums ir nepieciešamas integritātes pārbaudes un automātiski atkārtoti mēģinājumi.
Pēdējā fāzē viss saplūst kopā vizualizācijā. Informācijas paneļu izveide, kas attēlo tendences, un brīdinājumu konfigurēšana, pamatojoties uz robežvērtībām, nozīmē, ka komandai nav visu dienu jāskatās ekrānos; tā vietā sistēma brīdina, ja kaut kas noiet greizi . Mašīnmācīšanās palīdz identificēt modeļus, ko cilvēks varētu nepamanīt, pārveidojot neapstrādātus datus gudros biznesa lēmumos.
Inteliģenta telemetrijas pārvaldība, ko atbalsta trokšņu filtrēšanas cauruļvadi un precīzi definēta MELT datu stratēģija, ļauj uzņēmumiem sasniegt pilnīgu novērojamību. Integrējot precīzu datu vākšanu, apstrādi reāllaikā un vizualizāciju, kas koncentrējas uz reāliem KPI, darbības izmaksas tiek ievērojami samazinātas un incidentu reaģēšana tiek paātrināta, pārveidojot datu plūsmu par stratēģisku aktīvu uzņēmējdarbības drošībai un efektivitātei.