Distribuerade system: vad de är, hur de fungerar och vad de används till

Informatec Digital » Resurser » Distribuerade system: vad de är, hur de fungerar och vad de används till

Distribuerade system finns överallt , även om de ofta går obemärkt förbi: varje gång du söker efter något på Google, betalar med kort, streamar en serie eller spelar ett onlinespel, förlitar du dig på den här typen av arkitektur utan att inse det. De är den tysta grunden för den moderna digitala ekonomin och gör det möjligt för miljontals användare att få tillgång till en tjänst samtidigt utan att hela systemet kraschar.

Under de senaste decennierna har databehandling utvecklats från enskilda servrar till stora, samordnade nätverk av maskiner distribuerade över hela världen. Den här artikeln kommer att titta närmare på vad ett distribuerat system är, hur det skiljer sig från ett centraliserat system, dess fördelar och nackdelar, hur det har utvecklats, de olika typerna av arkitekturer som finns, var det används i verkliga applikationer och de utmaningar det medför när det gäller kommunikation, säkerhet, hantering och datalagring.

Vad är ett distribuerat system?

Ett distribuerat system är i huvudsak en uppsättning datorer eller noder som samarbetar för att tillhandahålla en enda tjänst på ett koordinerat sätt, som om de vore en enda logisk maskin. Varje nod har sin egen processor, sitt eget minne och sin egen lagring, men de kommunicerar alla via ett nätverk (vanligtvis internet eller ett företagsnätverk) för att dela resurser och fördela arbetsbelastningen.

Istället för att förlita sig på en enda, gigantisk central server, fördelas belastningen mellan många mindre maskiner . Idén jämförs ofta med en orkester: varje instrument (nod) har sin stämma, men det publiken uppfattar är en enda, sammanhängande föreställning (det distribuerade systemet).

Denna metod passar perfekt in i dagens värld av big data: lagring och bearbetning av enorma mängder information är endast genomförbart genom att fördela arbetsbelastningen över flera maskiner. Därför är praktiskt taget allt i data- och analys- och big data-miljöer beroende av distribuerade system: plattformar som Hadoop, Spark, Databricks, Cloudera och frågemotorer som Presto är baserade på denna filosofi.

En viktig egenskap hos dessa system är att de döljer den interna komplexiteten för slutanvändaren . Personen som använder en e-handelswebbplats, en internetbank eller en molntjänst ser inte hundratals eller tusentals noder, utan snarare en applikation som "bara fungerar", trots att det finns en mycket komplex distribuerad infrastruktur under.

Skillnaden mellan ett centraliserat system och ett distribuerat system

I ett centraliserat system är all logik, data och bearbetning koncentrerad till en enda maskin eller huvudserver . Om servern går ner är tjänsten inte tillgänglig förrän den är återställd. Skalning innebär vanligtvis att man köper dyrare och kraftfullare utrustning, och det finns en tydlig "enskild felpunkt".

I ett distribuerat system delas däremot funktioner mellan flera sammankopplade noder . Det finns ingen enskild oundgänglig utrustningsdel: om en går sönder kan resten fortsätta att arbeta och kompensera för den förlusten. Detta ökar feltoleransen och möjliggör tillväxt genom att lägga till fler noder istället för att blåsa upp en enda.

Denna skillnad påverkar också hur vi skalar kapacitet. Horisontell skalbarhet , typisk för distribuerade system, innebär att man lägger till fler noder i klustret och placerar dem "parallellt" för att fördela last och lagring.

Ur ett kostnadsperspektiv är det oftast mer kostnadseffektivt att ha många standardservrar som arbetar tillsammans än en eller två extremt dyra superservrar. Dessutom har ett fel på en liten nod vanligtvis en marginell inverkan på den totala tjänsten, medan ett fel på en stor, centraliserad server kan få allt att rasa.

Är distribuerade system samma sak som mikrotjänster?

Även om de är nära besläktade är de inte exakt samma sak . Ett distribuerat system är ett bredare koncept: alla noder som samarbetar via ett nätverk för att erbjuda en delad tjänst faller under denna definition, oavsett hur programvaran är organiserad inom den.

Mikrotjänstarkitektur, å andra sidan, är ett specifikt sätt att designa distribuerade applikationer . Istället för att skapa en enda "monolit" är applikationen uppdelad i små, oberoende tjänster, var och en med sin egen logik och ofta sin egen databas. Dessa mikrotjänster kommunicerar med varandra med hjälp av API:er eller meddelanden.

Därför är en mikrotjänstbaserad plattform alltid ett distribuerat system eftersom dess komponenter är spridda över ett nätverk och anslutna av ett nätverk . Det finns dock också distribuerade system som inte följer mikrotjänstmönstret, såsom ett parallellt beräkningskluster, en klassisk distribuerad databas eller ett peer-to-peer -fildelningsnätverk.

Hur har distribuerade system utvecklats?

I början av affärsdatabehandling var det vanligt att ha stora, centraliserade system eller stordatorer som gjorde nästan allt: bearbetning, lagring, rapportering etc. Med tiden uppstod klient-server-arkitekturer och centraliserade datalager för affärsanalys.

Problemet var att i takt med att datamängden växte, blev dessa centraliserade lager bristfälliga i både kapacitet och hastighet . Att lagra mer detaljerad, historisk data från flera källor blev oöverkomligt dyrt och långsamt. Nya analysbehov krävde snabbare svarstider, större granularitet och parallell bearbetning.

Det är här moderna distribuerade system kommer in i bilden, särskilt med uppkomsten av Big Data från 2000-talet och framåt . Även om idén om distribuerad databehandling går tillbaka till 1960-talet, gjorde projekt som först Hadoop och sedan Spark (som skapades 2009 just för att förbättra prestanda och flexibilitet) detta paradigm till en standard inom dataanalys.

Skiftet gick från att försöka göra allt med ett enda generellt verktyg till att arbeta med teknikstackar : kombinationer av specialiserade komponenter (distribuerad lagring, batch- och strömbehandlingsmotorer, orkestratorer, datakataloger etc.) som är integrerade med varandra för att täcka hela datalivscykeln.

Hur fungerar ett distribuerat system?

Alla distribuerade system kan ses som en uppsättning komponenter som hanterar lagring, bearbetning och kommunikation . Varje nod tar emot en del av data eller arbete, utför sin uppgift och koordinerar sedan sina resultat med resten av systemet för att ge ett enhetligt svar.

I många scenarier delas data upp i block, och dessa block distribueras över olika noder. Varje fil eller post kan fragmenteras och replikeras så att det finns redundanta kopior på olika servrar. Om en nod slutar fungera kan systemet rekonstruera informationen från de befintliga replikerna.

Denna partitionerings- och replikeringsstrategi minskar drastiskt läs- och bearbetningstiderna , eftersom den möjliggör parallell bearbetning av olika fragment. Samtidigt ger den hög feltolerans: förlusten av en enda nod resulterar endast i en liten kapacitetsminskning, inte en global katastrof.

All denna magi kommer dock till ett pris i komplexitet: att hantera, konfigurera och övervaka distribuerade kluster är inte trivialt . Det kräver att koordinera uppdateringar, övervaka nodernas tillstånd, hantera dataomdistribution när klusterstorleken ändras och lösa konsekvensproblem mellan repliker.

Distribuerade systemarkitekturer

Det finns flera arkitekturmönster för att organisera ett distribuerat system, vart och ett med sina egna fördelar och användningsområden. De vanligaste kombinerar olika kommunikationstopologier och ansvarsfördelning mellan noder.

En av de mest klassiska arkitekturerna är klient-server- modellen. I den här modellen tillhandahåller en eller flera servrar resurser (data, tjänster, filer), och klienter gör förfrågningar och konsumerar dessa resurser. Det är som ett bibliotek: bibliotekarien (servern) hanterar böckerna, och användarna (klienterna) begär dem.

I den andra extremen finns peer-to-peer- arkitekturen , där det inte finns någon central nod som styr allt. Varje deltagare fungerar som både klient och server och delar resurser med de andra. Detta är den typiska modellen för många fildelningsnätverk och vissa kryptovalutor.

Det är också anmärkningsvärt att använda tjänsteorienterade arkitekturer och mikrotjänstarkitekturer , där applikationen består av flera distribuerade tjänster som exponerar väldefinierade gränssnitt. Varje tjänst kan distribueras, skalas och uppdateras oberoende, vilket ger betydande flexibilitet för systemutveckling.

I samtliga fall ligger nyckeln i hur noderna är koordinerade och synkroniserade: samtidighet, latens, partiella fel och datakonsistens måste hanteras , samtidigt som en smidig och konsekvent användarupplevelse upprätthålls.

Fördelar med distribuerade system

Bland anledningarna till att distribuerade system har blivit standard i så många sektorer framträder flera mycket tydliga fördelar relaterade till prestanda, tillgänglighet och tillväxt.

En av de mest synliga fördelarna är förbättrad prestanda . Genom att låta många maskiner arbeta parallellt med olika delar av en uppgift minskas svarstiderna och mycket höga arbetsbelastningar stöds. Detta är avgörande i verksamhetskritiska applikationer som internetbank, e-handel och realtidstjänster.

En annan stor fördel är hög tillgänglighet . Genom att distribuera både arbetsbelastning och data över flera noder kan systemet fortsätta att fungera genom att förlita sig på de andra om en av dem går sönder. Denna motståndskraft är avgörande där driftstopp leder direkt till ekonomiska förluster eller en dålig användarupplevelse.

Skalbarhet är också en viktig styrka: distribuerade system kan växa genom att lägga till noder i nätverket utan att avbryta tjänsten. Detta gör att de kan anpassa sig till toppar, ihållande affärstillväxt eller förändringar i datavolym, vilket undviker behovet av att stänga ner verksamheten för att uppgradera till en kraftfullare server.

Dessutom erbjuder de stor flexibilitet i resurshantering . Vissa uppgifter kan prioriteras, mer kapacitet kan allokeras till kritiska processer eller nya tjänster kan driftsättas på specifika noder. Denna finjusteringsförmåga är ovärderlig i mycket dynamiska miljöer.

Nackdelar och risker med distribuerade system

Det är inte bara fördelar: distribution introducerar nya problem som inte uppstår (eller uppstår mer sällan) i centraliserade system. Att designa och driva dessa arkitekturer innebär att man tar sig an vissa utmaningar.

För det första finns det kommunikationens komplexitet . När man arbetar i verkliga nätverk måste man hantera varierande latenser, begränsad bandbredd, paketförlust och heterogenitet mellan noder. Att koordinera processer som delar data över nätverket utan att blockera systemet eller generera inkonsekvenser är inte trivialt.

En annan kritisk fråga är fel och fel . I en distribuerad miljö är det praktiskt taget oundvikligt att någon nod, disk eller nätverkslänk kommer att misslyckas någon gång. Därför är robusta mekanismer för feldetektering, automatisk återställning, omförsök och dynamisk omfördelning av uppgifter och data avgörande.

Säkerheten blir också mer komplex: ju fler noder, desto större attackyta. Distribuerade system är särskilt sårbara för attacker som överbelastning, kodinjektion, avlyssning av kommunikation eller obehörig åtkomst till dåligt skyddade noder.

Slutligen är hantering och administration mycket mer krävande. Att konfigurera, övervaka och underhålla ett geografiskt distribuerat kluster bestående av heterogena teknologier kräver bra verktyg, mogna processer och tekniska team med specifik erfarenhet av den här typen av miljöer.

Verkliga tillämpningar av distribuerade system

Närvaron av distribuerade system i det dagliga livet är så utbredd att det är svårt att föreställa sig moderna digitala tjänster utan dem. Många kritiska sektorer är beroende av denna arkitektur för att fungera tillförlitligt.

I webbvärlden använder till exempel stora globala e-handels- och sociala medieapplikationer distribuerade system för att betjäna miljontals samtidiga användare. Plattformar som Amazon och Alibaba distribuerar förfrågningar över datacenter runt om i världen och stöder deras skalbarhet med distribuerade databaser och innehållsleveransnätverk (CDN).

Telefon- och internetbaserade telekommunikationsnätverk är beroende av distribuerade infrastrukturer som dirigerar samtal, meddelanden och datapaket genom ett flertal mellanliggande noder. Detta gör att kommunikationen kan upprätthålla rimliga nivåer av latens och tillförlitlighet även när delar av nätverket drabbas av avbrott.

Finans- och banksektorn är ett annat bra exempel: betalningssystem, bankomater, handel och internetbanker är beroende av distribuerade databaser och tjänster som replikerar information över regioner, tillämpar starka krypterings- och autentiseringsåtgärder och stöder geografiskt spridda transaktioner samtidigt som risken för fel minimeras.

Inom området stordata och avancerad analys möjliggör distribuerade bearbetningssystem arbete med enorma volymer av data: serverloggar, sensordata, sociala medier, transaktioner etc. Tekniker som Hadoop Distributed File System (HDFS) eller Spark distribuerar lagring och beräkning över flera noder för att säkerställa rimliga bearbetningstider.

Distribuerade databassystem

Distribuerade databaser är ett speciellt och mycket viktigt fall inom distribuerade system. Istället för att lagra all data på en enda server distribueras den över flera noder , ofta belägna i olika geografiska regioner, vilket upprätthåller en enhetlig logisk vy för den som frågar.

Denna strategi möjliggör skalbarhet både vad gäller lagringskapacitet och läs-/skrivprestanda. Nya noder eller regioner kan läggas till allt eftersom efterfrågan ökar , och partitionerings- och replikeringsmekanismer hanterar omfördelningen av information mer eller mindre automatiskt.

En av de största utmaningarna är att upprätthålla datasynkronisering och konsekvens mellan repliker. Detta uppnås med hjälp av konsensusalgoritmer som Paxos eller Raft, vilka säkerställer att operationer tillämpas i en kompatibel ordning över alla noder inom en replikeringsgrupp.

Beroende på applikationstyp prioriterar vissa databaser tillgänglighet och tolerans för nätverkspartitioner framför strikt konsekvens, och använder modeller som " eventual consistency ". I andra fall används synkron replikering för att upprätthålla stark konsekvens, vilket offrar viss latens i utbyte mot större dataintegritet.

Stora e-handelsplattformar och molntjänster kombinerar distribuerade databaser med cachningssystem för att leverera innehåll med låg latens och hantera trafiktoppar. Ett klassiskt exempel på distribuerad lagring med fokus på tillförlitlighet och feltolerans är Amazon S3, som replikerar data över flera servrar inom en region.

Parallell beräkning och hög prestanda i distribuerade system

Ett annat område där distribuerade system är framgångsrika är högpresterande parallell databehandling (HPC) . Istället för att bearbeta stora datamängder sekventiellt på en enda maskin distribueras beräkningarna över kluster av hundratals eller tusentals noder.

I dessa kluster utför varje nod en del av problemet, och genom finjusterade koordinationstekniker kombineras de delresultaten för att få fram det slutliga resultatet . Detta gör det möjligt att hantera komplexa vetenskapliga simuleringar, klimatmodellering, avancerad finansiell analys eller bearbetning av stora medicinska bilder i en hastighet som är otänkbar med en enda maskin.

För att uppnå denna effektivitet används parallella algoritmer som är specifikt utformade för att fördela belastningen och minimera kommunikationen mellan noder . Tekniker som CPU-affinitet eller optimering för NUMA-arkitekturer hjälper till att förbättra prestandan genom att justera hur processer och data allokeras till minne och processorer.

Inom artificiell intelligens och djupinlärning möjliggör distribuerad databehandling träning av massiva neurala nätverk genom att distribuera data och modeller över flera GPU:er och servrar . Systemet koordinerar gradienter och parameteruppdateringar så att träningen fortskrider parallellt utan att bryta modellens koherens.

Molnet har förstärkt detta tillvägagångssätt genom att erbjuda HPC som en tjänst (HPCaaS) , så att småföretag och team tillfälligt kan hyra stora kluster för att träna modeller eller köra intensiva simuleringar, utan att behöva köpa och underhålla all den infrastrukturen direkt.

Distribuerade system i vardagsteknik

Utöver datacenter är distribuerade system en del av vardagen för nästan alla som interagerar med teknik. Deras närvaro är så vanlig att vi knappt märker dem.

E-posttjänster, snabbmeddelandeplattformar och sociala nätverk fungerar på distribuerade infrastrukturer som replikerar användardata över hela världen . Tack vare detta kan vi komma åt våra meddelanden från vilken enhet som helst, med låg latens och i allmänhet utan märkbara avbrott.

Peer-to-peer-fildelningsnätverk är ett annat exempel: istället för att laddas ner från en enda server fragmenteras filen och serveras från flera peers , där varje deltagande person agerar samtidigt som klient och server, vilket förbättrar nätverkets motståndskraft och prestanda.

Inom området sakernas internet (IoT) och smarta elnät skickar miljontals sensorer och enheter data till distribuerade plattformar som bearbetar information i realtid för att optimera energiförbrukningen, automatisera byggnader eller koordinera flottor av uppkopplade fordon.

Och naturligtvis är stora molntjänstplattformar som AWS, Microsoft Azure eller Google Cloud det mest uppenbara exemplet på ett distribuerat system: de grupperar datacenter i olika regioner, erbjuder resurser på begäran och låter företag distribuera sina applikationer globalt med bara några få klick och ett kreditkort.

Hur vet jag vilken typ av distribuerat system jag behöver?

När man väljer en specifik lösning finns det inget enda recept: designen av det distribuerade systemet måste anpassas till organisationens sammanhang , dess mål och dess tekniska mognad.

Det är bäst att börja med att analysera den nuvarande och förväntade datavolymen . Att bearbeta några miljoner poster om dagen är inte samma sak som att hantera kontinuerliga dataströmmar i realtid från IoT-enheter distribuerade över hela världen.

Det är också avgörande att beakta tillgänglig budget och skalningsstrategi . Vissa företag har råd med dedikerade team och specialiserad personal, medan andra nästan helt förlitar sig på hanterade molntjänster för att minska den operativa komplexiteten.

Det är också viktigt att beakta toppar, perioder med låg aktivitet och tidsbegränsningar för bearbetning . Ett system som behöver svara på millisekunder kommer att ha andra krav än ett som är utformat för nattlig batchbearbetning.

Att definiera dessa aspekter från början hjälper till att utforma en sammanhängande arkitektur som är enklare att hantera och mindre benägen för överraskningar. Idag kan även små organisationer få tillgång till distribuerad datorkapacitet som tidigare bara var tillgänglig för stora företag , förutsatt att de har den nödvändiga tekniska kunskapen och affärsförmågan för att utnyttja den.

Distribuerade system har utvecklats från att vara en specialiserad lösning till att bli ryggraden i de flesta digitala tjänster. Deras förmåga att distribuera belastning, tolerera fel, skala horisontellt och hantera enorma datamängder gör dem till en viktig komponent för alla organisationer som vill konkurrera i en alltmer uppkopplad, krävande och teknikberoende miljö.