- Ang MELT telemetry (mga sukatan, kaganapan, log, at bakas) ay bumubuo sa sistemang nerbiyos ng anumang digital na imprastraktura, na nagbibigay-daan sa kabuuang kakayahang makita mula sa hardware hanggang sa software.
- Ang pagpapatupad ng mga pipeline ng telemetry ay nag-o-optimize sa paggamit ng data, binabawasan ang mga gastos sa pagpapatakbo, at inaalis ang ingay bago pa man makarating ang impormasyon sa mga sistema ng pagsusuri.
- Ang paglipat sa full stack observability ay nagbibigay-daan sa mga organisasyon na lumipat mula sa reactive monitoring patungo sa proactive at automated incident detection.
Kapag pinag-uusapan natin ang telemetry, ang tinutukoy natin ay ang bakas ng datos na iniiwan ng mga sistema habang tumatakbo ang mga ito. Ito ay mahalagang digital na ebidensya na nagbibigay-daan sa atin na malaman kung ano ang nangyayari sa totoong oras sa ating mga aplikasyon, server, o kahit na mga pisikal na sensor, nang hindi kinakailangang pisikal na naroroon sa makina. Para sa anumang kumpanyang itinuturing ang sarili nitong digital, ang pagiging dalubhasa sa mga daloy ng datos na ito ang pagkakaiba sa pagitan ng paglutas ng isang problema sa loob ng ilang segundo at paggugol ng maraming oras sa paghahanap ng karayom sa isang teknolohikal na tambak ng dayami.
Ang interesante ay, bagama't maraming tao ang napagkakamalang ang telemetry ay monitoring, hindi pareho ang mga ito. Bagama't ang telemetry ay ang proseso ng pagkuha at pagpapadala ng raw signal, ang monitoring ay ang ginagawa natin dito upang maunawaan ito, tulad ng paglikha ng mga alerto o dashboard. Para bang ang telemetry ang nervous system na nangongolekta ng mga impulse at ang monitoring ang utak na nagbibigay-kahulugan sa mga signal na iyon upang magdesisyon kung magpapa-alarma o kung maayos ba ang lahat.
Ang sansinukob ng datos: ang modelo ng MELT
- Mga sukatan: Ito ay mga numerikal na halaga na sinusukat sa paglipas ng panahon. Isipin ang Pag-tune ng pagganap ng CPU, latency ng website o temperatura ng silid. Ang mga ito ay mainam para sa tuklasin ang mga anomalya mabilis.
- Mga Kaganapan: Ito ay mga konkretong milestone. Halimbawa, kapag nag-log in ang isang user o nakumpleto ang isang pagbili. Ang datos na ito ay purong ginto dahil iniuugnay nito ang mga teknikal na aspeto sa... mga layunin sa negosyo.
- Mga tala: Ito ay mga detalyadong talaan na may mga petsa at oras. Sinasabi nito sa atin nang eksakto kung ano ang nangyari at kung sino ang gumawa nito, kaya't sila ang pangunahing kagamitan para sa pag-troubleshoot at mga audit ng seguridad.
- Bakas: Pinapayagan tayo ng mga ito na subaybayan ang paglalakbay ng isang kahilingan mula sa papasok hanggang sa palabas, na dumadaan sa lahat ng microservices. Ito ay mahalaga sa pag-unawa kung saan nangyayari ang mga bottleneck sa mga kumplikadong sistema.
Bukod pa rito, sa mga partikular na kapaligiran tulad ng Azure Logic Apps, makakahanap tayo ng pinahusay na telemetry na naghihiwalay ng impormasyon sa mga talahanayan ng mga kahilingan, dependency, at mga eksepsiyon, na nagbibigay-daan sa detalyadong pagsubaybay sa mga muling pagsubok at paggamit ng mga API connector.
Paano mag-set up ng isang telemetry system mula sa simula
Kung gusto mong patakbuhin ito, hindi ka maaaring basta-basta sumubok. Ang unang hakbang ay tukuyin ang iyong mga layunin : gusto mo bang pagbutihin ang karanasan ng gumagamit, tuklasin ang mga banta sa seguridad, o bawasan na lang ang iyong singil sa storage? Kapag malinaw na sa iyo ang "bakit," kailangan mong iayon ang mga KPI na ito sa product thinking para sa mga cloud-native engineer at, pinakamahalaga, tiyaking sumusunod ka sa mga regulasyon tulad ng GDPR upang protektahan ang privacy ng data .
Ang susunod na hakbang ay ang pag-deploy ng mga tool. Dito pumapasok ang mga software agent o mga pisikal na sensor. Isang napakalakas at neutral na opsyon ang OpenTelemetry, na pumipigil sa iyo na ma-lock sa iisang vendor. Kapag nagse-set up ng data collection, kailangan mong ayusin ang sampling rate ; kung mabagal magbago ang variable, huwag i-overload ang network, ngunit kung kailangan mong makakita ng matutulis na spike, dagdagan ang rate.
Kapag dumadaloy na ang data, dapat itong ipadala gamit ang mga protocol tulad ng HTTPS, MQTT para sa IoT, o OTLP. Upang maiwasan ang pag-crash ng system habang nagkakaroon ng network outages, mahalagang i-configure ang mga lokal na buffer at subukan muli ang logic . Pagkatapos, ang data ay mapupunta sa isang repository, na maaaring isang time-series database, isang data lake, o mga distributed solution tulad ng Elasticsearch upang ma-optimize ang mga paghahanap sa pamamagitan ng time-based indexing.
Ang Rebolusyon ng mga Pipeline ng Telemetry
Dumarating ang punto na napakarami na nating datos kaya nagiging mahirap nang pamahalaan ang sistema at tumataas nang husto ang singil sa SIEM. Dito pumapasok ang mga telemetry pipeline, na nagsisilbing matalinong pansala sa pagitan ng pinagmulan at ng destinasyon. Sa halip na ipadala ang lahat ng ingay sa backend, nio-normalize at pinayayaman ng pipeline ang impormasyon habang dinadala.
- Pagtanggap: Ang mga signal ay kinokolekta mula sa lahat ng dako: mga ulap, lalagyan, mga endpoint, at mga network.
- Pagproseso: Dito nangyayari ang mahika. Tinatanggal ang mga duplicate, binubura ang sensitibong data, at itinatapon ang mga hindi kinakailangang impormasyon. Ito ang yugto kung saan ang telemetry ay hindi na isang simpleng paraan ng pagpapadala at nagiging isang... mekanismo ng pagkontrol.
- Ruta: Ang datos ay ipinapadala ayon sa halaga nito. Ang mahahalagang datos ay pumupunta sa SIEM para sa agarang pagsusuri, at ang mga dating datos ay pumupunta sa murang imbakan upang sumunod sa batas.
Mayroon pang mga advanced na solusyon tulad ng DetectFlow na mas pinalalawak pa ito, isinasama ang detection nang direkta sa flow gamit ang Sigma rules at Apache Flink. Pinapayagan nito ang detection na ilipat pakaliwa , na tumutukoy sa mga pag-atake nang real time kahit bago pa man maiimbak ang mga log.
Mula sa teorya hanggang sa pagsasagawa: teknikal na disenyo
Para sa mga nag-aaral, ang pagdidisenyo ng isang teknikal na eskematiko ay kinabibilangan ng pag-unawa sa buong kadena: sensor $\rightarrow$ transducer $\rightarrow$ acquisition $\rightarrow$ transmission $\rightarrow$ receiver. Hindi ito tungkol sa paglikha ng isang bagay na perpekto sa industriya, kundi tungkol sa pag-unawa na mahalaga ang bawat piraso. Halimbawa, kung nagpapadala ka sa pamamagitan ng radyo sa isang kapaligirang may interference, kailangan mo ng mga pagsusuri sa integridad at awtomatikong pagsubok muli.
Sa huling yugto, ang visualization ang siyang pinagsasama-sama ang lahat. Ang paglikha ng mga dashboard na nagpapakita ng mga trend at pag-configure ng mga alerto batay sa mga threshold ay nangangahulugan na hindi na kailangang tumitig ang team sa mga screen buong araw; sa halip, inaalerto sila ng system kapag may nangyaring mali . Ang paggamit ng machine learning ay nakakatulong na matukoy ang mga pattern na maaaring hindi mapansin ng isang tao, na ginagawang matalinong mga desisyon sa negosyo ang raw data.
Ang matalinong pamamahala ng telemetry, na sinusuportahan ng mga pipeline ng pagsasala ng ingay at isang mahusay na natukoy na diskarte sa datos ng MELT, ay nagbibigay-daan sa mga kumpanya na makamit ang kabuuang kakayahang maobserbahan. Sa pamamagitan ng pagsasama ng tumpak na pagkolekta ng datos, real-time na pagproseso, at visualization na nakatuon sa mga totoong KPI, ang mga gastos sa pagpapatakbo ay lubhang nababawasan at ang tugon sa insidente ay pinabibilis, na ginagawang isang estratehikong asset ang daloy ng datos para sa seguridad at kahusayan ng negosyo.