Distribuerede systemer: hvad de er, hvordan de fungerer, og hvad de bruges til

Informatic Digital » Recursos » Distribuerede systemer: hvad de er, hvordan de fungerer, og hvad de bruges til

Distribuerede systemer findes overalt , selvom de ofte går ubemærket hen: hver gang du søger efter noget på Google, betaler med kort, streamer en serie eller spiller et onlinespil, er du afhængig af denne type arkitektur uden at indse det. De er det stille fundament for den moderne digitale økonomi og giver millioner af brugere adgang til en tjeneste samtidigt uden at hele systemet går ned.

I de seneste årtier har databehandling udviklet sig fra enkelte servere til enorme, koordinerede netværk af maskiner fordelt over hele kloden. Denne artikel vil se nærmere på, hvad et distribueret system er, hvordan det adskiller sig fra et centraliseret system, dets fordele og ulemper, hvordan det har udviklet sig, de forskellige typer arkitekturer, der findes, hvor det bruges i virkelige applikationer, og de udfordringer, det præsenterer med hensyn til kommunikation, sikkerhed, administration og datalagring.

Hvad er et distribueret system?

Et distribueret system er i bund og grund et sæt computere eller noder, der samarbejder om at levere en enkelt tjeneste på en koordineret måde, som om de var en enkelt logisk maskine. Hver node har sin egen processor, hukommelse og lagerplads, men de kommunikerer alle via et netværk (normalt internettet eller et virksomhedsnetværk) for at dele ressourcer og opdele arbejdsbyrden.

I stedet for at være afhængig af en enkelt, gigantisk central server, fordeles belastningen mellem mange mindre maskiner . Ideen sammenlignes ofte med et orkester: hvert instrument (node) har sin del, men det, publikum opfatter, er en enkelt, sammenhængende præstation (det distribuerede system).

Denne tilgang passer perfekt til nutidens verden af ​​big data: lagring og behandling af enorme mængder information er kun mulig ved at fordele arbejdsbyrden på tværs af flere maskiner. Derfor er stort set alt i data- og analyse- og big data-miljøer afhængigt af distribuerede systemer: platforme som Hadoop, Spark, Databricks, Cloudera og forespørgselsmotorer som Presto er baseret på denne filosofi.

Et centralt træk ved disse systemer er, at de skjuler den interne kompleksitet for slutbrugeren . Den person, der bruger en e-handelshjemmeside, en netbank eller en cloudtjeneste, ser ikke hundredvis eller tusindvis af noder, men snarere en applikation, der "bare fungerer", selvom der er en meget kompleks distribueret infrastruktur nedenunder.

Forskellen mellem et centraliseret system og et distribueret system

I et centraliseret system er al logik, data og behandling koncentreret på en enkelt maskine eller hovedserver . Hvis serveren går ned, er tjenesten ikke tilgængelig, før den er genoprettet. Skalering involverer typisk køb af dyrere og mere kraftfuldt udstyr, og der er et klart "single point of failure".

I modsætning hertil deles funktioner i et distribueret system mellem flere sammenkoblede noder . Der er ikke ét uundværligt stykke udstyr: hvis én fejler, kan resten fortsætte med at arbejde og kompensere for tabet. Dette øger fejltolerancen og giver mulighed for vækst ved at tilføje flere noder i stedet for at puste en enkelt op.

Denne forskel påvirker også, hvordan vi skalerer kapacitet. Horisontal skalerbarhed , typisk for distribuerede systemer, involverer at tilføje flere noder til klyngen og placere dem "parallelt" for at fordele belastning og lagerplads.

Fra et omkostningsperspektiv er det normalt mere omkostningseffektivt at have mange standardservere, der arbejder sammen, end en eller to ekstremt dyre superservere. Desuden har fejl på en lille node typisk en marginal indflydelse på den samlede service, hvorimod fejl på en stor, centraliseret server kan ødelægge alt.

Er distribuerede systemer det samme som mikrotjenester?

Selvom de er tæt beslægtede, er de ikke helt ens . Et distribueret system er et bredere koncept: ethvert sæt af noder, der samarbejder via et netværk for at tilbyde en delt tjeneste, falder ind under denne definition, uanset hvordan softwaren er organiseret i den.

Mikroservicearkitektur er derimod en specifik måde at designe distribuerede applikationer på . I stedet for at skabe en enkelt "monolit" er applikationen opdelt i små, uafhængige tjenester, hver med sin egen logik og ofte sin egen database. Disse mikrotjenester kommunikerer med hinanden ved hjælp af API'er eller messaging.

Derfor er en mikroservices-baseret platform altid et distribueret system, fordi dens komponenter er spredt over et netværk og forbundet af et netværk . Der findes dog også distribuerede systemer, der ikke følger mikroservices-mønsteret, såsom en parallel databehandlingsklynge, en klassisk distribueret database eller et peer-to-peer fildelingsnetværk.

Hvordan har distribuerede systemer udviklet sig?

I de tidlige dage af forretningsdatabehandling var det almindeligt at have store, centraliserede systemer eller mainframes , der gjorde næsten alt: behandling, lagring, rapportering osv. Med tiden opstod klient-server-arkitekturer og centraliserede datalagre til forretningsanalyse.

Problemet var, at disse centraliserede lagre, efterhånden som dataene voksede, manglede både kapacitet og hastighed . Lagring af mere detaljerede, historiske data fra flere kilder blev uoverkommeligt dyrt og langsomt. Nye analytiske behov krævede hurtigere svartider, større granularitet og parallel behandling.

Det er her, moderne distribuerede systemer kommer ind i billedet, især med fremkomsten af ​​Big Data fra 2000'erne og fremefter . Selvom ideen om distribueret databehandling stammer fra 1960'erne, gjorde projekter som først Hadoop og derefter Spark (som blev skabt i 2009 netop for at forbedre ydeevne og fleksibilitet) dette paradigme til en standard inden for dataanalyse.

Skiftet gik fra at forsøge at gøre alt med et enkelt generel værktøj til at arbejde med teknologistakke : kombinationer af specialiserede komponenter (distribueret lagring, batch- og streambehandlingsmotorer, orkestratorer, datakataloger osv.), der er integreret med hinanden for at dække hele datalivscyklussen.

Hvordan fungerer et distribueret system?

Ethvert distribueret system kan ses som et sæt komponenter, der administrerer lagring, behandling og kommunikation . Hver node modtager en del af dataene eller arbejdet, udfører sin opgave og koordinerer derefter sine resultater med resten af ​​systemet for at give et samlet svar.

I mange scenarier opdeles data i blokke, og disse blokke fordeles på tværs af forskellige noder. Hver fil eller post kan fragmenteres og replikeres, så der er redundante kopier på forskellige servere. Hvis en node fejler, kan systemet rekonstruere informationen fra de eksisterende replikaer.

Denne partitionerings- og replikeringsstrategi reducerer drastisk læse- og behandlingstiderne , da den muliggør parallel behandling af forskellige fragmenter. Samtidig giver den høj fejltolerance: tabet af en enkelt node resulterer kun i en lille kapacitetsreduktion, ikke en global katastrofe.

Al denne magi kommer dog med en pris i form af kompleksitet: administration, konfiguration og overvågning af distribuerede klynger er ikke trivielt . Det kræver koordinering af opdateringer, overvågning af noders tilstand, administration af dataomfordeling, når klyngestørrelsen ændres, og løsning af konsistensproblemer mellem replikaer.

Distribuerede systemarkitekturer

Der findes adskillige arkitektoniske mønstre til organisering af et distribueret system, hver med sine egne fordele og anvendelsesscenarier. De mest almindelige kombinerer forskellige kommunikationstopologier og ansvarsfordeling mellem noder.

En af de mest klassiske arkitekturer er klient-server- modellen. I denne model leverer en eller flere servere ressourcer (data, tjenester, filer), og klienter foretager anmodninger og forbruger disse ressourcer. Det er ligesom et bibliotek: bibliotekaren (serveren) administrerer bøgerne, og brugerne (klienter) anmoder om dem.

I den anden ende af verden er der peer-to-peer -arkitektur , hvor der ikke er en central node, der styrer alt. Hver deltager fungerer som både klient og server og deler ressourcer med de andre. Dette er den typiske model for mange fildelingsnetværk og nogle kryptovalutaer.

Det er også værd at bemærke serviceorienterede arkitekturer og mikroservicearkitekturer , hvor applikationen er sammensat af flere distribuerede tjenester, der eksponerer veldefinerede grænseflader. Hver tjeneste kan implementeres, skaleres og opdateres uafhængigt, hvilket giver betydelig fleksibilitet til systemudvikling.

I alle tilfælde ligger nøglen i, hvordan noderne koordineres og synkroniseres: samtidighed, latenstid, delvise fejl og datakonsistens skal håndteres , samtidig med at en gnidningsløs og ensartet brugeroplevelse opretholdes.

Fordele ved distribuerede systemer

Blandt grundene til, at distribuerede systemer er blevet standarden i så mange sektorer, er der flere meget klare fordele i forhold til ydeevne, tilgængelighed og vækst.

En af de mest synlige fordele er forbedret ydeevne . Ved at tillade mange maskiner at arbejde parallelt på forskellige dele af en opgave reduceres svartiderne, og meget høje arbejdsbyrder understøttes. Dette er afgørende i missionskritiske applikationer såsom netbank, e-handel og realtidstjenester.

En anden stor fordel er høj tilgængelighed . Ved at fordele både arbejdsbyrden og dataene på tværs af flere noder, kan systemet fortsætte driften ved at stole på de andre, hvis én fejler. Denne robusthed er afgørende, hvor nedetid direkte resulterer i økonomiske tab eller en dårlig brugeroplevelse.

Skalerbarhed er også en central styrke: distribuerede systemer kan vokse ved at tilføje noder til netværket uden at afbryde tjenesten. Dette giver dem mulighed for at tilpasse sig spidsbelastning, vedvarende forretningsvækst eller ændringer i datamængden, hvilket undgår behovet for at lukke driften ned for at opgradere til en mere kraftfuld server.

Derudover tilbyder de stor fleksibilitet i ressourcestyring . Visse opgaver kan prioriteres, mere kapacitet kan allokeres til kritiske processer, eller nye tjenester kan implementeres på specifikke noder. Denne finjusteringsfunktion er uvurderlig i meget dynamiske miljøer.

Ulemper og risici ved distribuerede systemer

Det er ikke kun fordele: distribution introducerer nye problemer , der ikke optræder (eller optræder sjældnere) i centraliserede systemer. Design og drift af disse arkitekturer indebærer at tage visse udfordringer op.

For det første er der kommunikationens kompleksitet . Når man arbejder på rigtige netværk, skal man håndtere variable latenstider, begrænset båndbredde, pakketab og heterogenitet mellem noder. Koordinering af processer, der deler data på tværs af netværket uden at blokere systemet eller generere uoverensstemmelser, er ikke trivielt.

Et andet kritisk problem er fejl og fejl . I et distribueret miljø er det praktisk talt uundgåeligt, at en node, disk eller netværksforbindelse vil svigte på et tidspunkt. Derfor er robuste mekanismer til fejldetektion, automatisk gendannelse, genforsøg og dynamisk omfordeling af opgaver og data afgørende.

Sikkerhed bliver også mere kompleks: jo flere noder, desto større angrebsflade. Distribuerede systemer er særligt sårbare over for angreb som denial-of-service, kodeinjektion, aflytning af kommunikation eller uautoriseret adgang til dårligt beskyttede noder.

Endelig er ledelse og administration langt mere krævende. Konfiguration, overvågning og vedligeholdelse af en geografisk distribueret klynge bestående af heterogene teknologier kræver gode værktøjer, modne processer og tekniske teams med specifik erfaring i disse typer miljøer.

Virkelige anvendelser af distribuerede systemer

Tilstedeværelsen af ​​distribuerede systemer i dagligdagen er så udbredt, at det er svært at forestille sig moderne digitale tjenester uden dem. Mange kritiske sektorer er afhængige af denne arkitektur for at fungere pålideligt.

I webverdenen bruger store globale e-handels- og sociale medieapplikationer for eksempel distribuerede systemer til at betjene millioner af samtidige brugere. Platforme som Amazon og Alibaba distribuerer anmodninger på tværs af datacentre over hele verden og understøtter deres skalerbarhed med distribuerede databaser og indholdsleveringsnetværk (CDN'er).

Telefon- og internettelekommunikationsnetværk er afhængige af distribuerede infrastrukturer, der sender opkald, beskeder og datapakker gennem adskillige mellemliggende noder. Dette gør det muligt for kommunikationen at opretholde et rimeligt niveau af latenstid og pålidelighed, selv når dele af netværket oplever afbrydelser.

Finans- og banksektoren er et andet godt eksempel: Betalingssystemer, hæveautomater, handel og netbank er afhængige af distribuerede databaser og tjenester, der replikerer information på tværs af regioner, anvender stærke krypterings- og godkendelsesforanstaltninger og understøtter geografisk spredte transaktioner, samtidig med at risikoen for fejl minimeres.

Inden for Big Data og avanceret analyse muliggør distribuerede behandlingssystemer arbejde med enorme mængder af data: serverlogfiler, sensordata, sociale medier, transaktioner osv. Teknologier som Hadoop Distributed File System (HDFS) eller Spark distribuerer lagring og databehandling på tværs af flere noder for at sikre rimelige behandlingstider.

Distribuerede databasesystemer

Distribuerede databaser er et særligt og meget vigtigt eksempel inden for distribuerede systemer. I stedet for at lagre alle data på en enkelt server, distribueres de på tværs af flere noder , ofte placeret i forskellige geografiske områder, hvilket opretholder et samlet logisk overblik for den, der spørger.

Denne strategi muliggør skalerbarhed i både lagerkapacitet og læse-/skriveydelse. Nye noder eller regioner kan tilføjes, efterhånden som efterspørgslen vokser , og partitionerings- og replikeringsmekanismer håndterer omfordelingen af ​​information mere eller mindre automatisk.

En af de største udfordringer er at opretholde datasynkronisering og konsistens mellem replikaer. Dette opnås ved hjælp af konsensusalgoritmer som Paxos eller Raft, der sikrer, at operationer udføres i en kompatibel rækkefølge på tværs af alle noder inden for en replikationsgruppe.

Afhængigt af applikationstypen prioriterer nogle databaser tilgængelighed og tolerance over for netværkspartitioner frem for streng konsistens og anvender modeller som f.eks. eventual consistens . I andre tilfælde bruges synkron replikering til at opretholde stærk konsistens, hvilket ofrer en vis latenstid til gengæld for større dataintegritet.

Store e-handelsplatforme og cloud-tjenester kombinerer distribuerede databaser med caching-systemer for at levere indhold med lav latenstid og håndtere trafikspidser. Et klassisk eksempel på distribueret lagring med fokus på pålidelighed og fejltolerance er Amazon S3, som replikerer data på tværs af flere servere inden for en region.

Parallel databehandling og høj ydeevne i distribuerede systemer

Et andet område, hvor distribuerede systemer er fremragende, er højtydende parallel databehandling (HPC) . I stedet for at behandle store mængder data sekventielt på en enkelt maskine, distribueres beregningerne på tværs af klynger af hundredvis eller tusindvis af noder.

I disse klynger udfører hver node en del af problemet, og gennem finjusterede koordineringsteknikker kombineres de delvise resultater for at opnå det endelige resultat . Dette gør det muligt at håndtere komplekse videnskabelige simuleringer, klimamodellering, avanceret finansiel analyse eller behandling af store medicinske billeder med en hastighed, der er utænkelig med en enkelt maskine.

For at opnå denne effektivitet anvendes parallelle algoritmer, der er specifikt designet til at fordele belastningen og minimere kommunikationen mellem noder . Teknikker som CPU-affinitet eller optimering til NUMA-arkitekturer hjælper med at forbedre ydeevnen ved at justere, hvordan processer og data allokeres til hukommelse og processorer.

Inden for kunstig intelligens og deep learning muliggør distribueret databehandling træning af massive neurale netværk ved at distribuere data og modeller på tværs af flere GPU'er og servere . Systemet koordinerer gradienter og parameteropdateringer, så træningen skrider frem parallelt uden at bryde modellens sammenhæng.

Skyen har styrket denne tilgang ved at tilbyde HPC som en service (HPCaaS) , så små virksomheder og teams midlertidigt kan leje store klynger til at træne modeller eller køre intensive simuleringer uden at skulle købe og vedligeholde al den infrastruktur direkte.

Distribuerede systemer i hverdagsteknologi

Ud over datacentre er distribuerede systemer en del af hverdagen for næsten alle, der interagerer med teknologi. Deres tilstedeværelse er så almindelig, at vi knap nok bemærker dem.

E-mailtjenester, instant messaging-platforme og sociale netværk opererer på distribuerede infrastrukturer, der replikerer brugerdata over hele verden . Takket være dette kan vi få adgang til vores beskeder fra enhver enhed med lav latenstid og generelt uden mærkbare afbrydelser.

Peer-to-peer fildelingsnetværk er et andet eksempel: i stedet for at downloade fra en enkelt server fragmenteres filen og serveres fra flere peers , hvor hver deltagende person fungerer samtidigt som klient og server, hvilket forbedrer netværkets robusthed og ydeevne.

Inden for Tingenes Internet (IoT) og smarte net sender millioner af sensorer og enheder data til distribuerede platforme, der behandler information i realtid for at optimere energiforbruget, automatisere bygninger eller koordinere flåder af forbundne køretøjer.

Og selvfølgelig er store cloud computing-platforme som AWS, Microsoft Azure eller Google Cloud det mest oplagte eksempel på et distribueret system: de grupperer datacentre i forskellige regioner, tilbyder on-demand-ressourcer og giver virksomheder mulighed for at implementere deres applikationer på global skala med blot et par klik og et kreditkort.

Hvordan ved jeg, hvilken type distribueret system jeg har brug for?

Når man vælger en specifik løsning, er der ingen enkelt opskrift: designet af det distribuerede system skal skræddersys til organisationens kontekst , dens mål og dens teknologiske modenhed.

Det er bedst at starte med at analysere den nuværende og forventede datamængde . At behandle et par millioner poster om dagen er ikke det samme som at håndtere kontinuerlige datastrømme i realtid fra IoT-enheder distribueret over hele verden.

Det er også afgørende at overveje det tilgængelige budget og skaleringsstrategien . Nogle virksomheder har råd til dedikerede teams og specialiseret personale, mens andre næsten udelukkende vil være afhængige af administrerede cloudtjenester for at reducere driftskompleksiteten.

Det er også vigtigt at overveje spidsbelastning, perioder med lav aktivitet og begrænsninger i behandlingstid . Et system, der skal reagere på millisekunder, vil have andre krav end et, der er designet til natlig batchbehandling.

At definere disse aspekter fra starten hjælper med at designe en sammenhængende arkitektur, der er lettere at administrere og mindre tilbøjelig til overraskelser. I dag kan selv små organisationer få adgang til distribueret computerkapacitet, der tidligere kun var tilgængelig for store virksomheder , forudsat at de har den nødvendige tekniske viden og forretningsforståelse til at udnytte den.

Distribuerede systemer har udviklet sig fra at være en specialiseret løsning til at blive rygraden i de fleste digitale tjenester. Deres evne til at fordele belastning, tolerere fejl, skalere horisontalt og håndtere enorme datamængder gør dem til en essentiel komponent for enhver organisation, der ønsker at konkurrere i et stadig mere forbundet, krævende og teknologiafhængigt miljø.