- Paskirstytos sistemos paskirsto apdorojimą ir duomenis tarp kelių koordinuotų mazgų, taip pagerindamos našumą, atsparumą gedimams ir mastelio keitimą.
- Jos architektūra gali būti kliento-serverio, „peer-to-peer“, į paslaugas orientuota arba mikropaslaugų, apjungianti duomenų skaidymą ir replikaciją.
- Jie yra debesijos paslaugų, elektroninės prekybos, telekomunikacijų, bankininkystės, didžiųjų duomenų, dirbtinio intelekto ir daiktų interneto tinklų pagrindas pasauliniu mastu.
- Norint pasirinkti tinkamą paskirstytą sistemą, reikia išanalizuoti duomenų kiekį, didžiausią paklausą, biudžetą, reagavimo laiką ir augimo strategiją.
Paskirstytosios sistemos yra visur , nors dažnai lieka nepastebėtos: kiekvieną kartą, kai ko nors ieškote „Google“, mokate kortele, transliuojate serialą ar žaidžiate internetinį žaidimą, jūs pasikliaujate tokio tipo architektūra to nesuvokdami. Jos yra tylus šiuolaikinės skaitmeninės ekonomikos pagrindas ir leidžia milijonams vartotojų vienu metu pasiekti paslaugą, nesugedus visai sistemai.
Pastaraisiais dešimtmečiais skaičiavimas išsivystė iš atskirų serverių į didžiulius, koordinuotus mašinų tinklus, paskirstytus visame pasaulyje. Šiame straipsnyje bus išsamiai apžvelgta, kas yra paskirstyta sistema, kuo ji skiriasi nuo centralizuotos sistemos, jos privalumai ir trūkumai, kaip ji vystėsi, kokie yra skirtingi architektūros tipai, kur ji naudojama realaus pasaulio programose ir kokius iššūkius ji kelia komunikacijos, saugumo, valdymo ir duomenų saugojimo srityse.
Kas yra paskirstyta sistema?
Paskirstyta sistema iš esmės yra kompiuterių arba mazgų rinkinys, kuris bendradarbiauja, kad koordinuotai teiktų vieną paslaugą , tarsi jie būtų viena loginė mašina. Kiekvienas mazgas turi savo procesorių, atmintį ir saugyklą, tačiau visi jie bendrauja per tinklą (dažniausiai internetą arba įmonės tinklą), kad dalytųsi ištekliais ir paskirstytų darbo krūvį.
Užuot pasikliovus vienu gigantišku centriniu serveriu, apkrova paskirstoma daugeliui mažesnių mašinų . Ši idėja dažnai lyginama su orkestru: kiekvienas instrumentas (mazgas) turi savo partiją, bet tai, ką publika suvokia, yra vienas, darnus atlikimas (paskirstyta sistema).
Šis požiūris puikiai atitinka šiandienos didžiųjų duomenų pasaulį: milžiniškų informacijos kiekių saugojimas ir apdorojimas yra įmanomas tik paskirstant darbo krūvį tarp kelių mašinų. Todėl duomenų ir analizės bei didžiųjų duomenų aplinkose praktiškai viskas priklauso nuo paskirstytų sistemų: tokios platformos kaip „Hadoop“, „Spark“, „Databricks“, „Cloudera“ ir užklausų varikliai, tokie kaip „Presto“, yra pagrįsti šia filosofija.
Svarbiausias šių sistemų bruožas yra tas, kad jos nuo galutinio vartotojo paslepia vidinį sudėtingumą . Asmuo, besinaudojantis el. prekybos svetaine, internetine bankininkyste ar debesijos paslauga, nemato šimtų ar tūkstančių mazgų, o veikiau programą, kuri „tiesiog veikia“, nors po ja yra labai sudėtinga paskirstyta infrastruktūra.
Skirtumas tarp centralizuotos ir paskirstytos sistemos
Centralizuotoje sistemoje visa logika, duomenys ir apdorojimas sutelkti viename kompiuteryje arba pagrindiniame serveryje . Jei tas serveris sugenda, paslauga nepasiekiama, kol ji nebus atkurta. Didinimas paprastai reiškia brangesnės ir galingesnės įrangos įsigijimą, ir yra aiškus „vienas gedimo taškas“.
Priešingai, paskirstytoje sistemoje funkcijos yra dalijamasi tarp kelių tarpusavyje sujungtų mazgų . Nėra vieno būtino įrangos elemento: jei vienas sugenda, kiti gali toliau veikti ir kompensuoti tą nuostolį. Tai padidina atsparumą gedimams ir leidžia augti pridedant daugiau mazgų, o ne išpūsti vieną.
Šis skirtumas taip pat turi įtakos tam, kaip mes keičiame pajėgumus. Horizontalus mastelio keitimas , būdingas paskirstytoms sistemoms, apima daugiau mazgų pridėjimą prie klasterio, jų išdėstymą „lygiagrečiai“, kad būtų paskirstyta apkrova ir saugykla.
Sąnaudų požiūriu, paprastai ekonomiškiau turėti daug standartinių serverių, veikiančių kartu, nei vieną ar du itin brangius superserverius. Be to, mažo mazgo gedimas paprastai turi nežymią įtaką bendrai paslaugai, o didelio, centralizuoto serverio gedimas gali sutrikdyti viską.
Ar paskirstytos sistemos yra tas pats, kas mikropaslaugos?
Nors glaudžiai susiję, jie nėra visiškai tas pats . Paskirstyta sistema yra platesnė sąvoka: į šį apibrėžimą patenka bet koks mazgų rinkinys, bendradarbiaujantis per tinklą, kad teiktų bendrą paslaugą, neatsižvelgiant į tai, kaip jame organizuota programinė įranga.
Kita vertus, mikropaslaugų architektūra yra specifinis būdas kurti paskirstytas programas . Užuot sukūrus vieną „monolitą“, programa yra padalinta į mažas, nepriklausomas paslaugas, kurių kiekviena turi savo logiką ir dažnai savo duomenų bazę. Šios mikropaslaugos bendrauja tarpusavyje naudodamos API arba pranešimų siuntimą.
Todėl mikropaslaugomis pagrįsta platforma visada yra paskirstyta sistema, nes jos komponentai yra paskirstyti tinkle ir sujungti tinklu . Tačiau yra ir paskirstytų sistemų, kurios nesilaiko mikropaslaugų modelio, pavyzdžiui, lygiagrečių skaičiavimų klasteris, klasikinė paskirstyta duomenų bazė arba „ peer-to-peer“ failų bendrinimo tinklas.
Kaip vystėsi paskirstytos sistemos?
Verslo kompiuterijos pradžioje buvo įprasta turėti dideles, centralizuotas sistemas arba didžiuosius kompiuterius , kurie atlikdavo beveik viską: apdorojimą, saugojimą, ataskaitų teikimą ir kt. Laikui bėgant atsirado kliento-serverio architektūros ir centralizuotos duomenų saugyklos verslo analizei.
Problema buvo ta, kad augant duomenų kiekiui, šie centralizuoti sandėliai prarado tiek pajėgumus, tiek greitį . Išsamesnių, istorinių duomenų iš kelių šaltinių saugojimas darėsi pernelyg brangus ir lėtas. Nauji analitiniai poreikiai reikalavo greitesnio reagavimo laiko, didesnio detalumo ir lygiagretaus apdorojimo.
Čia ir praverčia šiuolaikinės paskirstytosios sistemos, ypač nuo 2000-ųjų išaugus didžiųjų duomenų apimtims . Nors paskirstytosios kompiuterijos idėja atsirado dar septintajame dešimtmetyje, tokie projektai kaip „Hadoop“, o vėliau „Spark“ (kuris buvo sukurtas 2009 m. būtent siekiant pagerinti našumą ir lankstumą) pavertė šią paradigmą duomenų analizės standartu.
Pereita nuo bandymo viską atlikti vienu bendrosios paskirties įrankiu prie darbo su technologijų paketais : specializuotų komponentų (paskirstytos saugyklos, paketinio ir srautinio apdorojimo varikliai, orkestratoriai, duomenų katalogai ir kt.) deriniais, kurie yra integruoti tarpusavyje, kad apimtų visą duomenų gyvavimo ciklą.
Kaip veikia paskirstyta sistema?
Bet kurią paskirstytą sistemą galima laikyti komponentų rinkiniu, kuris valdo saugojimą, apdorojimą ir ryšį . Kiekvienas mazgas gauna dalį duomenų arba darbo, atlieka savo užduotį ir tada koordinuoja savo rezultatus su likusia sistemos dalimi, kad pateiktų vieningą atsaką.
Daugeliu atvejų duomenys yra suskirstyti į blokus, o šie blokai yra paskirstyti skirtinguose mazguose. Kiekvieną failą ar įrašą galima fragmentuoti ir replikuoti , kad skirtinguose serveriuose būtų nereikalingos kopijos. Mazgui sugedus, sistema gali atkurti informaciją iš esamų kopijų.
Ši skaidymo ir replikavimo strategija smarkiai sutrumpina skaitymo ir apdorojimo laiką , nes leidžia lygiagrečiai apdoroti skirtingus fragmentus. Tuo pačiu metu ji užtikrina aukštą atsparumą gedimams: vieno mazgo praradimas sukelia tik nedidelį talpos sumažėjimą, o ne visuotinę katastrofą.
Tačiau visa ši magija kainuoja sudėtingumą: paskirstytų klasterių valdymas, konfigūravimas ir stebėjimas nėra trivialus procesas . Tam reikia koordinuoti atnaujinimus, stebėti mazgų būseną, valdyti duomenų perskirstymą, kai keičiasi klasterio dydis, ir spręsti replikų nuoseklumo problemas.
Paskirstytųjų sistemų architektūros
Yra keli paskirstytos sistemos organizavimo architektūriniai modeliai, kiekvienas iš jų turi savo privalumų ir naudojimo atvejų. Dažniausiai jie sujungia skirtingas ryšio topologijas ir atsakomybės paskirstymą tarp mazgų.
Viena iš klasikinių architektūrų yra kliento-serverio modelis. Šiame modelyje vienas ar keli serveriai teikia išteklius (duomenis, paslaugas, failus), o klientai teikia užklausas ir naudoja tuos išteklius. Tai panašu į biblioteką: bibliotekininkas (serveris) tvarko knygas, o vartotojai (klientai) jų prašo.
Kitas kraštutinumas yra „peer-to-peer“ architektūra , kurioje nėra centrinio mazgo, valdančio viską. Kiekvienas dalyvis veikia ir kaip klientas, ir kaip serveris, dalindamasis ištekliais su kitais. Tai tipiškas daugelio failų bendrinimo tinklų ir kai kurių kriptovaliutų modelis.
Taip pat verta paminėti paslaugomis pagrįstas ir mikropaslaugų architektūras , kuriose programa sudaryta iš kelių paskirstytų paslaugų, kurios turi aiškiai apibrėžtas sąsajas. Kiekvieną paslaugą galima diegti, keisti ir atnaujinti nepriklausomai, o tai suteikia didelį lankstumą sistemos evoliucijai.
Visais atvejais svarbiausia yra tai, kaip mazgai yra koordinuojami ir sinchronizuojami: reikia valdyti lygiagretumą, delsą, dalinius gedimus ir duomenų nuoseklumą , kartu išlaikant sklandžią ir nuoseklią naudotojo patirtį.
Paskirstytųjų sistemų privalumai
Tarp priežasčių, kodėl paskirstytos sistemos tapo standartu daugelyje sektorių, išsiskiria keli labai aiškūs pranašumai, susiję su našumu, prieinamumu ir augimu.
Vienas iš labiausiai matomų privalumų yra pagerėjęs našumas . Leidžiant daugeliui mašinų lygiagrečiai dirbti su skirtingomis užduoties dalimis, sutrumpėja reakcijos laikas ir palaikomi labai dideli darbo krūviai. Tai labai svarbu itin svarbiose programose, tokiose kaip internetinė bankininkystė, el. prekyba ir realaus laiko paslaugos.
Dar vienas svarbus privalumas yra didelis prieinamumas . Paskirstant darbo krūvį ir duomenis tarp kelių mazgų, jei vienas sugenda, sistema gali toliau veikti, pasikliaudama kitais. Šis atsparumas yra labai svarbus, kai prastovos tiesiogiai reiškia finansinius nuostolius arba prastą naudotojo patirtį.
Mastelio keitimas taip pat yra pagrindinis privalumas: paskirstytos sistemos gali augti pridedant mazgus prie tinklo nenutraukiant paslaugų teikimo. Tai leidžia joms prisitaikyti prie didžiausios paklausos, tvaraus verslo augimo ar duomenų kiekio pokyčių, išvengiant būtinybės nutraukti veiklą, kad būtų galima atnaujinti į galingesnį serverį.
Be to, jie siūlo didelį išteklių valdymo lankstumą . Tam tikroms užduotims galima suteikti prioritetą, skirti daugiau pajėgumų svarbiems procesams arba diegti naujas paslaugas konkrečiuose mazguose. Ši tiksliojo derinimo galimybė yra neįkainojama labai dinamiškoje aplinkoje.
Paskirstytųjų sistemų trūkumai ir rizika
Tai ne vien privalumai: paskirstymas sukelia naujų problemų , kurios centralizuotose sistemose nepasireiškia (arba pasitaiko rečiau). Šių architektūrų projektavimas ir valdymas reikalauja tam tikrų iššūkių.
Pirma, tai yra komunikacijos sudėtingumas . Dirbant tikruose tinkluose, tenka susidurti su kintamu delsos laiku, ribotu pralaidumu, paketų praradimu ir nevienalytiškumu tarp mazgų. Koordinuoti procesus, kurie dalijasi duomenimis tinkle neužblokuojant sistemos ir nesukeliant neatitikimų, nėra nereikšminga.
Kita kritinė problema yra gedimai ir klaidos . Paskirstytoje aplinkoje praktiškai neišvengiama, kad kuris nors mazgas, diskas ar tinklo jungtis tam tikru momentu suges. Todėl būtini patikimi gedimų aptikimo, automatinio atkūrimo, operacijų pakartojimo ir dinaminio užduočių bei duomenų perskirstymo mechanizmai.
Saugumas taip pat tampa sudėtingesnis: kuo daugiau mazgų, tuo didesnis atakų paviršius. Paskirstytos sistemos yra ypač pažeidžiamos tokių atakų kaip paslaugų teikimo trikdymas, kodo injekcija, ryšio perėmimas arba neteisėta prieiga prie prastai apsaugotų mazgų.
Galiausiai, valdymas ir administravimas yra daug sudėtingesni. Geografiškai paskirstyto klasterio, sudaryto iš heterogeninių technologijų, konfigūravimas, stebėjimas ir priežiūra reikalauja gerų įrankių, brandžių procesų ir techninių komandų, turinčių konkrečios patirties tokio tipo aplinkoje.
Paskirstytųjų sistemų taikymas realiame pasaulyje
Paskirstytųjų sistemų buvimas kasdieniame gyvenime yra toks paplitęs, kad sunku įsivaizduoti šiuolaikines skaitmenines paslaugas be jų. Daugelis svarbių sektorių patikimai veikia tik tada, kai ši architektūra veikia.
Pavyzdžiui, žiniatinklio pasaulyje didelės pasaulinės el. prekybos ir socialinės žiniasklaidos programos naudoja paskirstytas sistemas, kad aptarnautų milijonus vienu metu veikiančių vartotojų. Tokios platformos kaip „Amazon“ ir „Alibaba“ paskirsto užklausas duomenų centruose visame pasaulyje ir palaiko jų mastelio keitimą paskirstytomis duomenų bazėmis ir turinio pristatymo tinklais (CDN).
Telefono ir interneto telekomunikacijų tinklai remiasi paskirstyta infrastruktūra, kuri nukreipia skambučius, pranešimus ir duomenų paketus per daugybę tarpinių mazgų. Tai leidžia išlaikyti pagrįstą delsos ir patikimumo lygį net ir tada, kai dalis tinklo nutrūksta.
Finansų ir bankininkystės sektorius yra dar vienas geras pavyzdys: mokėjimo sistemos, bankomatai, prekyba ir internetinė bankininkystė priklauso nuo paskirstytų duomenų bazių ir paslaugų, kurios atkartoja informaciją skirtinguose regionuose, taiko stiprias šifravimo ir autentifikavimo priemones ir palaiko geografiškai išsklaidytus sandorius, kartu sumažindamos gedimo riziką.
Didelių duomenų ir pažangios analizės srityje paskirstytos apdorojimo sistemos leidžia dirbti su didžiuliais įrašų kiekiais: serverių žurnalais, jutiklių duomenimis, socialine žiniasklaida, operacijomis ir kt. Tokios technologijos kaip „Hadoop“ paskirstyta failų sistema (HDFS) arba „Spark“ paskirsto saugyklą ir skaičiavimus keliuose mazguose, kad būtų užtikrintas pagrįstas apdorojimo laikas.
Paskirstytos duomenų bazių sistemos
Paskirstytos duomenų bazės yra ypatingas ir labai svarbus atvejis paskirstytose sistemose. Užuot saugoję visus duomenis viename serveryje, jie paskirstomi keliuose mazguose , dažnai esančiuose skirtinguose geografiniuose regionuose, išlaikant vieningą loginį vaizdą užklausos pateikėjui.
Ši strategija leidžia keisti tiek saugojimo talpą, tiek skaitymo / rašymo našumą. Nauji mazgai ar regionai gali būti pridėti augant poreikiui , o skaidymo ir replikacijos mechanizmai daugiau ar mažiau automatiškai tvarko informacijos perskirstymą.
Vienas iš pagrindinių iššūkių yra duomenų sinchronizavimo ir nuoseklumo tarp replikų palaikymas. Tai pasiekiama naudojant konsensuso algoritmus, tokius kaip „Paxos“ arba „Raft“, kurie užtikrina, kad operacijos būtų taikomos suderinama tvarka visuose replikacijos grupės mazguose.
Priklausomai nuo programos tipo, kai kurios duomenų bazės teikia pirmenybę prieinamumui ir tolerancijai tinklo skaidiniams, o ne griežtam nuoseklumui, taikydamos tokius modelius kaip galutinis nuoseklumas . Kitais atvejais sinchroninis replikavimas naudojamas siekiant išlaikyti tvirtą nuoseklumą, aukojant tam tikrą delsą mainais už didesnį duomenų vientisumą.
Didelės el. prekybos platformos ir debesijos paslaugos derina paskirstytas duomenų bazes su talpyklos sistemomis , kad pateiktų turinį su mažu delsos laiku ir valdytų srauto šuolius. Klasikinis paskirstytos saugyklos, orientuotos į patikimumą ir atsparumą gedimams, pavyzdys yra „Amazon S3“, kuris replikuoja duomenis keliuose serveriuose regione.
Lygiagretus skaičiavimas ir didelis našumas paskirstytose sistemose
Kita sritis, kurioje paskirstytos sistemos sužiba, yra didelio našumo lygiagretusis skaičiavimas (HPC) . Užuot nuosekliai apdoroję didelius duomenų kiekius viename kompiuteryje, skaičiavimai paskirstomi šimtų ar tūkstančių mazgų klasteriuose.
Šiuose klasteriuose kiekvienas mazgas vykdo dalį problemos, o taikant tiksliai suderintus koordinavimo metodus, daliniai rezultatai sujungiami, kad būtų gautas galutinis rezultatas . Tai leidžia atlikti sudėtingas mokslines simuliacijas, klimato modeliavimą, pažangią finansinę analizę ar apdoroti didelius medicininius vaizdus tokiu greičiu, kuris neįsivaizduojamas vienai mašinai.
Siekiant šio efektyvumo, naudojami lygiagretūs algoritmai, specialiai sukurti apkrovai paskirstyti ir ryšiui tarp mazgų sumažinti . Tokios technikos kaip procesoriaus afinitetas arba NUMA architektūrų optimizavimas padeda pagerinti našumą, koreguojant procesų ir duomenų paskirstymą atminčiai ir procesoriams.
Dirbtinio intelekto ir gilaus mokymosi srityje paskirstytieji skaičiavimai leidžia apmokyti didelius neuroninius tinklus, paskirstant duomenis ir modelius tarp kelių GPU ir serverių . Sistema koordinuoja gradientus ir parametrų atnaujinimus taip, kad mokymas vyktų lygiagrečiai, nepažeidžiant modelio koherencijos.
Debesijos kompiuterija sustiprino šį požiūrį, siūlydama didelio našumo skaičiavimus kaip paslaugą (angl. HPCaaS) , kad mažos įmonės ir komandos galėtų laikinai išsinuomoti didelius klasterius modeliams mokyti arba intensyviems modeliavimams vykdyti, nereikalaudamos iš karto pirkti ir prižiūrėti visos šios infrastruktūros.
Paskirstytos sistemos kasdienėse technologijose
Be duomenų centrų, paskirstytos sistemos yra beveik kiekvieno, kas sąveikauja su technologijomis, kasdienio gyvenimo dalis . Jų buvimas yra toks įprastas, kad mes jų vos pastebime.
El. pašto paslaugos, momentinių pranešimų platformos ir socialiniai tinklai veikia paskirstytose infrastruktūrose, kurios kopijuoja naudotojų duomenis visame pasaulyje . Dėl to galime pasiekti savo žinutes iš bet kurio įrenginio su maža delsa ir paprastai be pastebimų trikdžių.
Kitas pavyzdys – tarpusavio failų bendrinimo tinklai: užuot atsisiuntus failus iš vieno serverio, jie yra fragmentuojami ir aptarnaujami iš kelių lygiaverčių serverių , kur kiekvienas dalyvaujantis asmuo vienu metu veikia kaip klientas ir serveris, taip pagerinant tinklo atsparumą ir našumą.
Daiktų interneto (IoT) ir išmaniųjų tinklų srityje milijonai jutiklių ir įrenginių siunčia duomenis į paskirstytas platformas, kurios realiuoju laiku apdoroja informaciją , kad optimizuotų energijos suvartojimą, automatizuotų pastatus arba koordinuotų prijungtų transporto priemonių parkus.
Ir, žinoma, didelės debesų kompiuterijos platformos, tokios kaip AWS, „Microsoft Azure“ ar „Google Cloud“, yra akivaizdžiausias paskirstytos sistemos pavyzdys: jos grupuoja duomenų centrus skirtinguose regionuose, siūlo išteklius pagal poreikį ir leidžia įmonėms diegti savo programas pasauliniu mastu vos keliais paspaudimais ir kreditine kortele.
Kaip sužinoti, kokio tipo paskirstytos sistemos man reikia?
Renkantis konkretų sprendimą, nėra vieno recepto: paskirstytos sistemos dizainas turi būti pritaikytas prie organizacijos konteksto , jos tikslų ir technologinės brandos.
Geriausia pradėti nuo dabartinio ir numatomo duomenų kiekio analizės . Kelių milijonų įrašų apdorojimas per dieną nėra tas pats, kas nuolatinių, realaus laiko duomenų srautų iš visame pasaulyje paskirstytų daiktų interneto įrenginių tvarkymas.
Taip pat labai svarbu atsižvelgti į turimą biudžetą ir plėtros strategiją . Kai kurios įmonės gali sau leisti samdyti atskiras komandas ir specializuotus darbuotojus, o kitos beveik visiškai pasikliaus valdomomis debesijos paslaugomis, kad sumažintų veiklos sudėtingumą.
Taip pat svarbu atsižvelgti į didžiausią paklausą, mažo aktyvumo laikotarpius ir apdorojimo laiko apribojimus . Sistema, kuri turi reaguoti per milisekundes, turės kitokius reikalavimus nei sistema, skirta naktiniam paketiniam apdorojimui.
Šių aspektų apibrėžimas nuo pat pradžių padeda sukurti nuoseklią architektūrą, kurią lengviau valdyti ir kuri mažiau linkusi į netikėtumus. Šiandien net mažos organizacijos gali pasiekti paskirstytuosius skaičiavimo pajėgumus, kurie anksčiau buvo prieinami tik didelėms korporacijoms , jei jos turi reikiamų techninių žinių ir verslo nuovokos, kad galėtų juos panaudoti.
Paskirstytosios sistemos iš specializuoto sprendimo išsivystė į daugumos skaitmeninių paslaugų pagrindą. Jų gebėjimas paskirstyti apkrovą, toleruoti gedimus, horizontaliai plėstis ir apdoroti didžiulius duomenų kiekius daro jas esminiu komponentu bet kuriai organizacijai, norinčiai konkuruoti vis labiau sujungtoje, reiklesnėje ir nuo technologijų priklausomoje aplinkoje.
