- Izplatītās sistēmas izplata apstrādi un datus vairākos koordinētos mezglos, uzlabojot veiktspēju, kļūdu toleranci un mērogojamību.
- Tās arhitektūra var būt klienta-servera, vienādranga, uz pakalpojumiem orientēta vai mikropakalpojumi, apvienojot datu sadalīšanu un replikāciju.
- Tie ir mākoņpakalpojumu, e-komercijas, telekomunikāciju, banku, lielo datu, mākslīgā intelekta un lietu interneta tīklu pamats globālā mērogā.
- Lai izvēlētos pareizo izkliedēto sistēmu, ir jāanalizē datu apjoms, maksimālais pieprasījums, budžets, reakcijas laiki un izaugsmes stratēģija.
Izkliedētās sistēmas ir visur , lai gan tās bieži vien paliek nepamanītas: katru reizi, kad meklējat kaut ko pakalpojumā Google, maksājat ar karti, straumējat seriālu vai spēlējat tiešsaistes spēli, jūs neapzinoties to, paļaujaties uz šāda veida arhitektūru. Tās ir mūsdienu digitālās ekonomikas klusais pamats un ļauj miljoniem lietotāju vienlaikus piekļūt pakalpojumam, neradot visas sistēmas avāriju.
Pēdējās desmitgadēs skaitļošana ir attīstījusies no atsevišķiem serveriem līdz plašiem, koordinētiem mašīnu tīkliem, kas izvietoti visā pasaulē. Šajā rakstā tiks detalizēti aplūkota izkliedētā sistēma, kā tā atšķiras no centralizētas sistēmas, tās priekšrocības un trūkumi, kā tā ir attīstījusies, dažādie pastāvošie arhitektūras veidi, kur tā tiek izmantota reālās pasaules lietojumprogrammās un kādas problēmas tā rada komunikācijas, drošības, pārvaldības un datu glabāšanas ziņā.
Kas ir sadalīta sistēma?
Izkliedēta sistēma būtībā ir datoru vai mezglu kopums, kas sadarbojas, lai koordinētā veidā nodrošinātu vienu pakalpojumu , it kā tie būtu viena loģiska mašīna. Katram mezglam ir savs procesors, atmiņa un krātuve, bet tie visi sazinās, izmantojot tīklu (parasti internetu vai korporatīvo tīklu), lai koplietotu resursus un sadalītu darba slodzi.
Tā vietā, lai paļautos uz vienu gigantisku centrālo serveri, slodze tiek sadalīta starp daudzām mazākām iekārtām . Šo ideju bieži salīdzina ar orķestri: katram instrumentam (mezglam) ir sava loma, bet auditorija uztver vienu, saskaņotu priekšnesumu (izkliedētā sistēma).
Šī pieeja lieliski atbilst mūsdienu lielo datu pasaulei: milzīgu informācijas apjomu glabāšana un apstrāde ir iespējama tikai tad, ja darba slodzi sadala vairākās iekārtās. Tāpēc datu un analītikas, kā arī lielo datu vidē praktiski viss balstās uz izkliedētām sistēmām: tādas platformas kā Hadoop, Spark, Databricks, Cloudera un vaicājumu dzinēji, piemēram, Presto, ir balstīti uz šo filozofiju.
Šo sistēmu galvenā iezīme ir tā, ka tās slēpj iekšējo sarežģītību no gala lietotāja . Persona, kas izmanto e-komercijas vietni, tiešsaistes banku vai mākoņpakalpojumu, neredz simtiem vai tūkstošiem mezglu, bet gan lietojumprogrammu, kas "vienkārši darbojas", pat ja zem tās atrodas ļoti sarežģīta izkliedēta infrastruktūra.
Atšķirība starp centralizētu sistēmu un izkliedētu sistēmu
Centralizētā sistēmā visa loģika, dati un apstrāde ir koncentrēta vienā datorā vai galvenajā serverī . Ja šis serveris nedarbojas, pakalpojums nav pieejams, kamēr tas netiek atjaunots. Mērogošana parasti ietver dārgāka un jaudīgāka aprīkojuma iegādi, un pastāv skaidrs "viens kļūmes punkts".
Turpretī izkliedētā sistēmā funkcijas tiek koplietotas starp vairākiem savstarpēji savienotiem mezgliem . Nav vienas neaizstājamas iekārtas: ja viena neizdodas, pārējās var turpināt darboties un kompensēt šos zaudējumus. Tas palielina kļūdu toleranci un ļauj augt, pievienojot vairāk mezglu, nevis palielinot viena mezgla skaitu.
Šī atšķirība ietekmē arī to, kā mēs mērogojam jaudu. Horizontālā mērogojamība , kas raksturīga izkliedētām sistēmām, ietver vairāk mezglu pievienošanu klasterim, novietojot tos "paralēli", lai sadalītu slodzi un krātuvi.
No izmaksu viedokļa parasti ir izdevīgāk, ja daudzi standarta serveri darbojas kopā, nekā viens vai divi ārkārtīgi dārgi superserveri. Turklāt neliela mezgla kļūme parasti tikai nedaudz ietekmē kopējo pakalpojumu, savukārt liela, centralizēta servera kļūme var visu sabojāt.
Vai izkliedētās sistēmas ir tas pats, kas mikropakalpojumi?
Lai gan tie ir cieši saistīti, tie nav gluži viens un tas pats . Izkliedētā sistēma ir plašāks jēdziens: jebkurš mezglu kopums, kas sadarbojas tīklā, lai piedāvātu koplietotu pakalpojumu, ietilpst šajā definīcijā neatkarīgi no tā, kā tajā ir organizēta programmatūra.
Savukārt mikropakalpojumu arhitektūra ir specifisks veids, kā izstrādāt izkliedētas lietojumprogrammas . Tā vietā, lai izveidotu vienu "monolītu", lietojumprogramma tiek sadalīta mazos, neatkarīgos pakalpojumos, katram ar savu loģiku un bieži vien savu datubāzi. Šie mikropakalpojumi sazinās savā starpā, izmantojot API vai ziņojumapmaiņu.
Tāpēc uz mikropakalpojumiem balstīta platforma vienmēr ir izkliedēta sistēma, jo tās komponenti ir izkliedēti pa tīklu un savienoti ar tīklu . Tomēr pastāv arī izkliedētas sistēmas, kas neievēro mikropakalpojumu modeli, piemēram, paralēlās skaitļošanas klasteris, klasiskā izkliedētā datubāze vai vienādranga failu koplietošanas tīkls.
Kā ir attīstījušās izkliedētās sistēmas?
Uzņēmējdarbības skaitļošanas pirmsākumos bija ierasts, ka pastāv lielas, centralizētas sistēmas vai lieldatori , kas darīja gandrīz visu: apstrādi, glabāšanu, atskaišu veidošanu utt. Laika gaitā parādījās klienta-servera arhitektūras un centralizētas datu noliktavas biznesa analītikai.
Problēma bija tā, ka, pieaugot datu apjomam, šīs centralizētās noliktavas zaudēja gan ietilpību, gan ātrumu . Detalizētāku, vēsturisku datu glabāšana no vairākiem avotiem kļuva pārmērīgi dārga un lēna. Jaunās analītiskās vajadzības prasīja ātrāku reakcijas laiku, lielāku detalizāciju un paralēlu apstrādi.
Šeit noder mūsdienu izkliedētās sistēmas, īpaši līdz ar lielo datu pieaugumu, sākot ar 2000. gadiem . Lai gan izkliedētās skaitļošanas ideja aizsākās 20. gadsimta 60. gados, tādi projekti kā vispirms Hadoop un pēc tam Spark (kas tika izveidots 2009. gadā tieši veiktspējas un elastības uzlabošanai) padarīja šo paradigmu par datu analītikas standartu.
Pāreja no mēģinājuma visu paveikt ar vienu universālu rīku uz darbu ar tehnoloģiju komplektiem : specializētu komponentu kombinācijām (izkliedēta krātuve, pakešu un straumes apstrādes dzinēji, orķestratori, datu katalogi utt.), kas ir integrētas viena ar otru, lai aptvertu visu datu dzīves ciklu.
Kā darbojas sadalītā sistēma?
Jebkuru izkliedētu sistēmu var uzskatīt par komponentu kopumu, kas pārvalda datu glabāšanu, apstrādi un komunikāciju . Katrs mezgls saņem daļu datu vai darba, izpilda savu uzdevumu un pēc tam koordinē rezultātus ar pārējo sistēmu, lai nodrošinātu vienotu atbildi.
Daudzos gadījumos dati tiek sadalīti blokos, un šie bloki tiek izplatīti pa dažādiem mezgliem. Katru failu vai ierakstu var fragmentēt un replicēt, lai dažādos serveros būtu dublētas kopijas. Ja mezgls neizdodas, sistēma var rekonstruēt informāciju no esošajām kopijām.
Šī sadalīšanas un replikācijas stratēģija ievērojami samazina lasīšanas un apstrādes laiku , jo tā ļauj paralēli apstrādāt dažādus fragmentus. Vienlaikus tā nodrošina augstu kļūdu toleranci: viena mezgla zudums rada tikai nelielu jaudas samazinājumu, nevis globālu katastrofu.
Tomēr visa šī maģija ir sarežģīta: izkliedēto klasteru pārvaldība, konfigurēšana un uzraudzība nav triviāla . Tas prasa atjauninājumu koordinēšanu, mezglu stāvokļa uzraudzību, datu pārdales pārvaldību, mainoties klastera lielumam, un konsekvences problēmu risināšanu starp replikām.
Izplatīto sistēmu arhitektūras
Izplatītas sistēmas organizēšanai ir vairāki arhitektūras modeļi, katram ar savām priekšrocībām un lietošanas gadījumiem. Visizplatītākie apvieno dažādas komunikācijas topoloģijas un atbildības sadalījumu starp mezgliem.
Viena no klasiskākajām arhitektūrām ir klienta-servera modelis. Šajā modelī viens vai vairāki serveri nodrošina resursus (datus, pakalpojumus, failus), un klienti veic pieprasījumus un patērē šos resursus. Tas ir līdzīgi kā bibliotēka: bibliotekārs (serveris) pārvalda grāmatas, un lietotāji (klienti) tās pieprasa.
Otra galējība ir vienādranga arhitektūra , kurā nav centrālā mezgla, kas visu kontrolētu. Katrs dalībnieks darbojas gan kā klients, gan kā serveris, koplietojot resursus ar citiem. Šis ir tipisks modelis daudziem failu koplietošanas tīkliem un dažām kriptovalūtām.
Jāatzīmē arī uz pakalpojumiem orientētas un mikropakalpojumu arhitektūras , kurās lietojumprogramma sastāv no vairākiem izkliedētiem pakalpojumiem, kas nodrošina precīzi definētas saskarnes. Katru pakalpojumu var izvietot, mērogot un atjaunināt neatkarīgi, nodrošinot ievērojamu sistēmas attīstības elastību.
Visos gadījumos galvenais ir tas, kā mezgli tiek koordinēti un sinhronizēti: ir jāpārvalda vienlaicība, latentums, daļējas kļūmes un datu konsekvence , vienlaikus saglabājot vienmērīgu un konsekventu lietotāja pieredzi.
Sadalīto sistēmu priekšrocības
Starp iemesliem, kāpēc izkliedētās sistēmas ir kļuvušas par standartu tik daudzās nozarēs, izceļas vairākas ļoti skaidras priekšrocības, kas saistītas ar veiktspēju, pieejamību un izaugsmi.
Viens no redzamākajiem ieguvumiem ir uzlabota veiktspēja . Ļaujot daudzām iekārtām strādāt paralēli pie dažādām uzdevuma daļām, tiek samazināts reakcijas laiks un tiek atbalstīta ļoti liela darba slodze. Tas ir ļoti svarīgi kritiski svarīgās lietojumprogrammās, piemēram, tiešsaistes banku darbībā, e-komercijā un reāllaika pakalpojumos.
Vēl viena būtiska priekšrocība ir augsta pieejamība . Sadalot gan darba slodzi, gan datus vairākos mezglos, ja viens mezgls neizdodas, sistēma var turpināt darboties, paļaujoties uz citiem. Šī noturība ir ļoti svarīga, ja dīkstāve tieši rada finansiālus zaudējumus vai sliktu lietotāja pieredzi.
Mērogojamība ir arī galvenā priekšrocība: izkliedētās sistēmas var augt, pievienojot tīklam mezglus, nepārtraucot pakalpojumu sniegšanu. Tas ļauj tām pielāgoties maksimālajam pieprasījumam, ilgstošai uzņēmējdarbības izaugsmei vai datu apjoma izmaiņām, izvairoties no nepieciešamības pārtraukt darbību, lai jauninātu uz jaudīgāku serveri.
Turklāt tie piedāvā lielu elastību resursu pārvaldībā . Var noteikt prioritātes noteiktiem uzdevumiem, kritiski svarīgiem procesiem var piešķirt lielāku jaudu vai noteiktos mezglos var izvietot jaunus pakalpojumus. Šī precizēšanas iespēja ir nenovērtējama ļoti dinamiskā vidē.
Izkliedēto sistēmu trūkumi un riski
Tās nav tikai priekšrocības: izplatīšana rada jaunas problēmas , kas centralizētās sistēmās neparādās (vai rodas retāk). Šo arhitektūru projektēšana un darbība ietver noteiktu izaicinājumu uzņemšanos.
Pirmkārt, tā ir komunikācijas sarežģītība . Strādājot reālos tīklos, ir jātiek galā ar mainīgu latentumu, ierobežotu joslas platumu, pakešu zudumu un neviendabīgumu starp mezgliem. Datu apmaiņas procesu koordinēšana tīklā, nebloķējot sistēmu vai neradot neatbilstības, nav triviāla.
Vēl viena kritiska problēma ir kļūmes un kļūdas . Izkliedētā vidē ir praktiski neizbēgami, ka kāds mezgls, disks vai tīkla saite kādā brīdī pārtrauks darboties. Tāpēc ir svarīgi nodrošināt stabilus mehānismus kļūmju noteikšanai, automātiskai atkopšanai, darbību atkārtošanai un uzdevumu un datu dinamiskai pārdalei.
Arī drošība kļūst sarežģītāka: jo vairāk mezglu, jo lielāka uzbrukuma virsma. Izkliedētās sistēmas ir īpaši neaizsargātas pret tādiem uzbrukumiem kā pakalpojuma atteikums, koda injekcija, saziņas pārtveršana vai nesankcionēta piekļuve slikti aizsargātiem mezgliem.
Visbeidzot, pārvaldība un administrēšana ir daudz prasīgākas. Ģeogrāfiski izkliedēta klastera, kas sastāv no heterogēnām tehnoloģijām, konfigurēšanai, uzraudzībai un uzturēšanai ir nepieciešami labi rīki, nobrieduši procesi un tehniskās komandas ar īpašu pieredzi šāda veida vidēs.
Izkliedēto sistēmu reālās pasaules pielietojumi
Izkliedēto sistēmu klātbūtne ikdienas dzīvē ir tik plaši izplatīta, ka ir grūti iedomāties mūsdienu digitālos pakalpojumus bez tām. Daudzas kritiski svarīgas nozares paļaujas uz šo arhitektūru, lai nodrošinātu uzticamu darbību.
Piemēram, tīmekļa pasaulē lielas globālas e-komercijas un sociālo mediju lietojumprogrammas izmanto izkliedētas sistēmas, lai apkalpotu miljoniem vienlaicīgu lietotāju. Tādas platformas kā Amazon un Alibaba izplata pieprasījumus datu centros visā pasaulē un atbalsta to mērogojamību ar izkliedētām datubāzēm un satura piegādes tīkliem (CDN).
Telefona un interneta telekomunikāciju tīkli balstās uz izkliedētām infrastruktūrām, kas maršrutē zvanus, ziņojumus un datu paketes caur daudziem starpmezgliem. Tas ļauj saziņai saglabāt saprātīgu latentuma un uzticamības līmeni pat tad, ja daļa tīkla piedzīvo darbības pārtraukumus.
Vēl viens labs piemērs ir finanšu un banku sektors: maksājumu sistēmas, bankomāti, tirdzniecība un tiešsaistes banku pakalpojumi ir atkarīgi no izkliedētām datubāzēm un pakalpojumiem, kas replicē informāciju dažādos reģionos, piemēro spēcīgus šifrēšanas un autentifikācijas pasākumus un atbalsta ģeogrāfiski izkliedētus darījumus, vienlaikus samazinot kļūmes risku.
Lielo datu un progresīvas analītikas jomā izkliedētās apstrādes sistēmas ļauj strādāt ar milzīgu ierakstu apjomu: serveru žurnāliem, sensoru datiem, sociālajiem medijiem, darījumiem utt. Tādas tehnoloģijas kā Hadoop izkliedētā failu sistēma (HDFS) vai Spark izkliedē krātuvi un skaitļošanu vairākos mezglos, lai nodrošinātu saprātīgu apstrādes laiku.
Izplatītas datubāzu sistēmas
Izkliedētās datubāzes ir īpašs un ļoti svarīgs gadījums izkliedētās sistēmās. Tā vietā, lai visi dati tiktu glabāti vienā serverī, tie tiek izplatīti vairākos mezglos , kas bieži vien atrodas dažādos ģeogrāfiskos reģionos, saglabājot vienotu loģisko skatu vaicātāja vajadzībām.
Šī stratēģija nodrošina mērogojamību gan krātuves ietilpībā, gan lasīšanas/rakstīšanas veiktspējā. Jaunus mezglus vai reģionus var pievienot, pieaugot pieprasījumam , un sadalīšanas un replikācijas mehānismi informācijas pārdali veic vairāk vai mazāk automātiski.
Viens no galvenajiem izaicinājumiem ir datu sinhronizācijas un konsekvences uzturēšana starp replikām. Tas tiek panākts, izmantojot konsensa algoritmus, piemēram, Paxos vai Raft, kas nodrošina, ka darbības tiek piemērotas saderīgā secībā visos replikācijas grupas mezglos.
Atkarībā no lietojumprogrammas veida dažas datubāzes prioritāri nosaka pieejamību un toleranci pret tīkla nodalījumiem, nevis stingru konsekvenci, izmantojot tādus modeļus kā galīgā konsekvence . Citos gadījumos sinhronā replikācija tiek izmantota, lai saglabātu spēcīgu konsekvenci, upurējot zināmu latentumu apmaiņā pret lielāku datu integritāti.
Lielas e-komercijas platformas un mākoņpakalpojumi apvieno izkliedētas datubāzes ar kešatmiņas sistēmām , lai apkalpotu saturu ar zemu latentumu un apstrādātu datplūsmas maksimumu. Klasisks izkliedētas krātuves piemērs, kas koncentrējas uz uzticamību un kļūdu toleranci, ir Amazon S3, kas replicē datus vairākos serveros viena reģiona ietvaros.
Paralēlā skaitļošana un augsta veiktspēja izkliedētās sistēmās
Vēl viena joma, kurā izkliedētās sistēmas izceļas, ir augstas veiktspējas paralēlā skaitļošana (HPC) . Tā vietā, lai secīgi apstrādātu lielus datu apjomus vienā iekārtā, aprēķini tiek sadalīti pa simtiem vai tūkstošiem mezglu kopām.
Šajos klasteros katrs mezgls izpilda daļu no problēmas, un, izmantojot precīzi noregulētas koordinācijas metodes, daļējie rezultāti tiek apvienoti, lai iegūtu gala rezultātu . Tas ļauj veikt sarežģītas zinātniskas simulācijas, klimata modelēšanu, progresīvu finanšu analīzi vai lielu medicīnisko attēlu apstrādi ar ātrumu, kas nav iedomājams ar vienu iekārtu.
Lai sasniegtu šo efektivitāti, tiek izmantoti paralēli algoritmi, kas īpaši izstrādāti , lai sadalītu slodzi un samazinātu komunikāciju starp mezgliem . Tādas metodes kā CPU afinitāte vai NUMA arhitektūru optimizācija palīdz uzlabot veiktspēju, pielāgojot procesu un datu piešķiršanu atmiņai un procesoriem.
Mākslīgā intelekta un dziļās mācīšanās jomā izkliedētā skaitļošana ļauj apmācīt masīvus neironu tīklus, izplatot datus un modeļus vairākos grafiskajos procesoros un serveros . Sistēma koordinē gradientus un parametru atjauninājumus, lai apmācība noritētu paralēli, neizjaucot modeļa koherenci.
Mākonis ir veicinājis šo pieeju, piedāvājot augstas veiktspējas skaitļošanas (HPCaaS) pakalpojumu , kas ļauj mazajiem uzņēmumiem un komandām īslaicīgi nomāt lielus klasterus modeļu apmācībai vai intensīvu simulāciju veikšanai, bez nepieciešamības iegādāties un uzturēt visu šo infrastruktūru.
Izplatītās sistēmas ikdienas tehnoloģijās
Papildus datu centriem, izkliedētās sistēmas ir daļa no gandrīz ikviena cilvēka ikdienas dzīves, kurš mijiedarbojas ar tehnoloģijām. To klātbūtne ir tik ikdienišķa, ka mēs tās tikpat kā nepamanām.
E-pasta pakalpojumi, tūlītējās ziņojumapmaiņas platformas un sociālie tīkli darbojas izkliedētās infrastruktūrās, kas replicē lietotāju datus visā pasaulē . Pateicoties tam, mēs varam piekļūt saviem ziņojumiem no jebkuras ierīces ar zemu latentumu un parasti bez ievērojamiem pārtraukumiem.
Vēl viens piemērs ir vienādranga failu koplietošanas tīkli: tā vietā, lai lejupielādētu failu no viena servera, tas tiek fragmentēts un tiek apkalpots no vairākiem vienādranga serveriem , kur katra iesaistītā persona vienlaikus darbojas kā klients un serveris, uzlabojot tīkla noturību un veiktspēju.
Lietveida interneta (IoT) un viedtīklu jomā miljoniem sensoru un ierīču nosūta datus uz izkliedētām platformām, kas reāllaikā apstrādā informāciju , lai optimizētu enerģijas patēriņu, automatizētu ēkas vai koordinētu savienoto transportlīdzekļu parkus.
Un, protams, lielas mākoņdatošanas platformas, piemēram, AWS, Microsoft Azure vai Google Cloud, ir visacīmredzamākais izkliedētas sistēmas piemērs: tās grupē datu centrus dažādos reģionos, piedāvā resursus pēc pieprasījuma un ļauj uzņēmumiem izvietot savas lietojumprogrammas globālā mērogā tikai ar dažiem klikšķiem un kredītkarti.
Kā es varu zināt, kāda veida izkliedētā sistēma man ir nepieciešama?
Izvēloties konkrētu risinājumu, nav vienas receptes: izkliedētās sistēmas dizainam jābūt pielāgotam organizācijas kontekstam , tās mērķiem un tehnoloģiskajai briedumam.
Vislabāk ir sākt ar pašreizējā un paredzamā datu apjoma analīzi . Dažu miljonu ierakstu apstrāde dienā nav tas pats, kas nepārtrauktu, reāllaika datu plūsmu apstrāde no lietu interneta ierīcēm, kas izvietotas visā pasaulē.
Ir arī svarīgi ņemt vērā pieejamo budžetu un mērogošanas stratēģiju . Daži uzņēmumi var atļauties īpašas komandas un specializētu personālu, savukārt citi gandrīz pilnībā paļausies uz pārvaldītiem mākoņpakalpojumiem, lai samazinātu darbības sarežģītību.
Ir svarīgi ņemt vērā arī maksimālo pieprasījumu, zemas aktivitātes periodus un apstrādes laika ierobežojumus . Sistēmai, kurai jāreaģē milisekundēs, būs atšķirīgas prasības nekā sistēmai, kas paredzēta nakts pakešapstrādei.
Šo aspektu definēšana jau no paša sākuma palīdz izstrādāt saskaņotu arhitektūru, ko ir vieglāk pārvaldīt un kas ir mazāk pakļauta pārsteigumiem. Mūsdienās pat mazas organizācijas var piekļūt izkliedētās skaitļošanas jaudai, kas iepriekš bija pieejama tikai lieliem uzņēmumiem , ja vien tām ir nepieciešamās tehniskās zināšanas un uzņēmējdarbības prasmes, lai to izmantotu.
Izkliedētās sistēmas ir attīstījušās no specializēta risinājuma līdz vairuma digitālo pakalpojumu mugurkaulam. To spēja sadalīt slodzi, pieļaut kļūmes, mērogoties horizontāli un apstrādāt milzīgus datu apjomus padara tās par būtisku sastāvdaļu jebkurai organizācijai, kas vēlas konkurēt arvien savienotākā, prasīgākā un no tehnoloģijām atkarīgākā vidē.
