- Разпределените системи разпределят обработката и данните между множество координирани възли, подобрявайки производителността, отказоустойчивостта и мащабируемостта.
- Архитектурата му може да бъде клиент-сървър, peer-to-peer, сервизно-ориентирана или микросървисна, комбинираща разделяне на данни и репликация.
- Те са основата на облачните услуги, електронната търговия, телекомуникациите, банкирането, големите данни, изкуствения интелект и мрежите за интернет на нещата в глобален мащаб.
- Изборът на правилната разпределена система изисква анализ на обема на данните, пиковото търсене, бюджета, времето за реакция и стратегията за растеж.
Разпределените системи са навсякъде , макар че често остават незабелязани: всеки път, когато търсите нещо в Google, плащате с карта, стриймвате сериал или играете онлайн игра, вие разчитате на този тип архитектура, без да го осъзнавате. Те са тихата основа на съвременната дигитална икономика и позволяват на милиони потребители да имат достъп до услуга едновременно, без цялата система да се срива.
През последните десетилетия изчислителните технологии се развиха от единични сървъри до огромни, координирани мрежи от машини, разпределени по целия свят. Тази статия ще разгледа подробно какво представлява разпределената система, как се различава от централизираната система, нейните предимства и недостатъци, как се е развила, различните видове архитектури, които съществуват, къде се използва в реални приложения и предизвикателствата, които представлява по отношение на комуникацията, сигурността, управлението и съхранението на данни.
Какво е разпределена система?
Разпределената система е по същество набор от компютри или възли, които си сътрудничат, за да предоставят една услуга по координиран начин, сякаш са една логическа машина. Всеки възел има собствен процесор, памет и място за съхранение, но всички те комуникират чрез мрежа (обикновено интернет или корпоративна мрежа), за да споделят ресурси и да разделят работното натоварване.
Вместо да се разчита на един-единствен, гигантски централен сървър, натоварването се разпределя между много по-малки машини . Идеята често се сравнява с оркестър: всеки инструмент (възел) има своята партия, но това, което публиката възприема, е едно-единствено, съгласувано изпълнение (разпределената система).
Този подход се вписва идеално в днешния свят на големите данни: съхраняването и обработката на огромни обеми информация е осъществимо само чрез разпределяне на работното натоварване между множество машини. Следователно, в среди за данни и анализи и големи данни , почти всичко разчита на разпределени системи: платформи като Hadoop, Spark, Databricks, Cloudera и системи за заявки като Presto са базирани на тази философия.
Ключова характеристика на тези системи е, че те скриват вътрешната сложност от крайния потребител . Човекът, използващ уебсайт за електронна търговия, онлайн банка или облачна услуга, не вижда стотици или хиляди възли, а по-скоро приложение, което „просто работи“, въпреки че отдолу има много сложна разпределена инфраструктура.
Разлика между централизирана система и разпределена система
В централизирана система цялата логика, данни и обработка са концентрирани на една машина или главен сървър . Ако този сървър се повреди, услугата е недостъпна, докато не бъде възстановена. Мащабирането обикновено включва закупуване на по-скъпо и мощно оборудване и има ясна „единична точка на отказ“.
За разлика от това, в разпределената система функциите се споделят между няколко взаимосвързани възела . Няма един-единствен незаменим елемент от оборудването: ако един се повреди, останалите могат да продължат да работят и да компенсират тази загуба. Това увеличава отказоустойчивостта и позволява растеж чрез добавяне на повече възли, вместо преувеличаване на броя на един-единствен.
Тази разлика влияе и върху начина, по който мащабираме капацитета. Хоризонталната мащабируемост , типична за разпределените системи, включва добавяне на повече възли към клъстера, поставянето им „паралелно“, за да се разпредели натоварването и съхранението.
От гледна точка на разходите, обикновено е по-рентабилно да имате много стандартни сървъри, работещи заедно, отколкото един или два изключително скъпи суперсървъра. Освен това, повредата на малък възел обикновено има незначително въздействие върху цялостната услуга, докато повредата на голям, централизиран сървър може да доведе до срив на всичко.
Разпределените системи същото ли са като микросървисите?
Въпреки че са тясно свързани, те не са съвсем еднакви . Разпределената система е по-широко понятие: всеки набор от възли, които си сътрудничат чрез мрежа, за да предлагат споделена услуга, попада в това определение, независимо от това как е организиран софтуерът в нея.
Микросервизната архитектура, от друга страна, е специфичен начин за проектиране на разпределени приложения . Вместо да се създава единен „монолит“, приложението е разделено на малки, независими услуги, всяка със собствена логика и често собствена база данни. Тези микросервизи комуникират помежду си чрез API или съобщения.
Следователно, платформа, базирана на микросървиси, винаги е разпределена система, защото нейните компоненти са разпръснати в мрежа и са свързани чрез мрежа . Съществуват обаче и разпределени системи, които не следват модела на микросървисите, като например клъстер с паралелни изчисления, класическа разпределена база данни или мрежа за споделяне на файлове от типа „peer-to-peer“.
Как са се развили разпределените системи?
В ранните дни на бизнес изчисленията беше обичайно да има големи, централизирани системи или мейнфрейм компютри , които правеха почти всичко: обработка, съхранение, отчитане и т.н. С течение на времето се появиха клиент-сървър архитектури и централизирани хранилища за данни за бизнес анализи.
Проблемът беше, че с нарастването на данните, тези централизирани хранилища губеха както капацитет, така и скорост . Съхраняването на по-подробни исторически данни от множество източници ставаше непосилно скъпо и бавно. Новите аналитични нужди изискваха по-бързо време за реакция, по-голяма гранулираност и паралелна обработка.
Именно тук се намесват съвременните разпределени системи, особено с възхода на големите данни от 2000-те години нататък . Въпреки че идеята за разпределени изчисления датира от 60-те години на миналия век, проекти като първо Hadoop, а след това и Spark (който е създаден през 2009 г. именно за подобряване на производителността и гъвкавостта) превърнаха тази парадигма в стандарт в анализа на данни.
Преходът беше от опит да се прави всичко с един универсален инструмент към работа с технологични стекове : комбинации от специализирани компоненти (разпределено съхранение, двигатели за пакетна и поточна обработка, оркестратори, каталози на данни и др.), които са интегрирани помежду си, за да обхванат целия жизнен цикъл на данните.
Как работи една разпределена система?
Всяка разпределена система може да се разглежда като набор от компоненти, които управляват съхранението, обработката и комуникацията . Всеки възел получава част от данните или работата, изпълнява задачата си и след това координира резултатите си с останалата част от системата, за да осигури унифициран отговор.
В много сценарии данните се разделят на блокове и тези блокове се разпределят между различни възли. Всеки файл или запис може да бъде фрагментиран и репликиран, така че да има излишни копия на различни сървъри. Ако даден възел се повреди, системата може да реконструира информацията от съществуващите реплики.
Тази стратегия за разделяне и репликация драстично намалява времената за четене и обработка , тъй като позволява паралелна обработка на различни фрагменти. В същото време осигурява висока отказоустойчивост: загубата на един-единствен възел води само до малко намаляване на капацитета, а не до глобална катастрофа.
Цялата тази магия обаче идва с цената на сложността: управлението, конфигурирането и наблюдението на разпределените клъстери не е тривиално . То изисква координиране на актуализации, наблюдение на състоянието на възлите, управление на преразпределението на данни при промяна на размера на клъстера и разрешаване на проблеми с консистентността между репликите.
Архитектурите на разпределените системи
Съществуват няколко архитектурни модела за организиране на разпределена система, всеки със своите предимства и случаи на употреба. Най-често срещаните комбинират различни комуникационни топологии и разпределение на отговорностите между възлите.
Една от най-класическите архитектури е моделът клиент-сървър . В този модел един или повече сървъри предоставят ресурси (данни, услуги, файлове), а клиентите правят заявки и консумират тези ресурси. Това е като библиотека: библиотекарят (сървърът) управлява книгите, а потребителите (клиентите) ги заявяват.
В другия край е peer-to-peer архитектурата , където няма централен възел, който да контролира всичко. Всеки участник действа едновременно като клиент и сървър, споделяйки ресурси с останалите. Това е типичният модел за много мрежи за споделяне на файлове и някои криптовалути.
Заслужават да се отбележат и сервизно-ориентираните и микросървисните архитектури , при които приложението е съставено от множество разпределени услуги, които предоставят добре дефинирани интерфейси. Всяка услуга може да бъде внедрена, мащабирана и актуализирана независимо, което осигурява значителна гъвкавост за еволюция на системата.
Във всички случаи ключът се крие в това как възлите са координирани и синхронизирани: едновременността, латентността, частичните повреди и съгласуваността на данните трябва да се управляват , като същевременно се поддържа безпроблемно и последователно потребителско изживяване.
Предимства на разпределените системи
Сред причините, поради които разпределените системи са се превърнали в стандарт в толкова много сектори, се открояват няколко много ясни предимства, свързани с производителността, наличността и растежа.
Едно от най-видимите предимства е подобрената производителност . Като се позволи на много машини да работят паралелно върху различни части от дадена задача, времето за реакция се намалява и се поддържат много високи натоварвания. Това е от решаващо значение за критично важни приложения като онлайн банкиране, електронна търговия и услуги в реално време.
Друго основно предимство е високата достъпност . Чрез разпределяне както на работното натоварване, така и на данните между множество възли, ако един откаже, системата може да продължи да работи, разчитайки на останалите. Тази устойчивост е от решаващо значение, когато прекъсването води до финансови загуби или лошо потребителско изживяване.
Мащабируемостта също е ключова сила: разпределените системи могат да растат чрез добавяне на възли към мрежата, без да прекъсват услугата. Това им позволява да се адаптират към пиковото търсене, устойчивия растеж на бизнеса или промените в обема на данните, като се избягва необходимостта от спиране на операциите за надграждане до по-мощен сървър.
Освен това, те предлагат голяма гъвкавост в управлението на ресурсите . Определени задачи могат да бъдат приоритизирани, повече капацитет може да бъде разпределен на критични процеси или нови услуги могат да бъдат внедрени на специфични възли. Тази възможност за фина настройка е безценна в силно динамични среди.
Недостатъци и рискове на разпределените системи
Не става въпрос само за предимства: дистрибуцията въвежда нови проблеми , които не се появяват (или се появяват по-рядко) в централизираните системи. Проектирането и работата с тези архитектури включва поемане на определени предизвикателства.
Първо, това е сложността на комуникацията . Когато работите в реални мрежи, трябва да се справяте с променливи латентности, ограничена честотна лента, загуба на пакети и хетерогенност между възлите. Координирането на процеси, които споделят данни в мрежата, без да блокират системата или да генерират несъответствия, не е тривиално.
Друг критичен проблем са повреди и грешки . В разпределена среда е практически неизбежно някой възел, диск или мрежова връзка да се повреди в даден момент. Следователно, надеждните механизми за откриване на повреди, автоматично възстановяване, повторни опити за операции и динамично преразпределение на задачи и данни са от съществено значение.
Сигурността също става по-сложна: колкото повече възли, толкова по-голяма е повърхността за атака. Разпределените системи са особено уязвими към атаки като отказ на услуга, инжектиране на код, прихващане на комуникации или неоторизиран достъп до слабо защитени възли.
И накрая, управлението и администрирането са много по-взискателни. Конфигурирането, наблюдението и поддържането на географски разпределен клъстер, съставен от хетерогенни технологии, изисква добри инструменти, зрели процеси и технически екипи със специфичен опит в този тип среди.
Приложения на разпределени системи в реалния свят
Присъствието на разпределени системи в ежедневието е толкова широко разпространено, че е трудно да си представим съвременните цифрови услуги без тях. Много критични сектори разчитат на тази архитектура , за да функционират надеждно.
В света на интернет, например, големи глобални приложения за електронна търговия и социални медии използват разпределени системи, за да обслужват милиони едновременни потребители. Платформи като Amazon и Alibaba разпределят заявки между центрове за данни по целия свят и поддържат своята мащабируемост с разпределени бази данни и мрежи за доставяне на съдържание (CDN).
Телефонните и интернет телекомуникационни мрежи разчитат на разпределени инфраструктури, които маршрутизират повиквания, съобщения и пакети данни през множество междинни възли. Това позволява комуникацията да поддържа разумни нива на латентност и надеждност, дори когато част от мрежата претърпи прекъсвания.
Финансовият и банковият сектор е друг добър пример: платежните системи, банкоматите, търговията и онлайн банкирането зависят от разпределени бази данни и услуги, които възпроизвеждат информация в различни региони, прилагат силни мерки за криптиране и удостоверяване и поддържат географски разпръснати транзакции, като същевременно минимизират риска от неуспех.
В областта на големите данни и усъвършенствания анализ, разпределените системи за обработка позволяват работа с огромни обеми записи: сървърни логове, данни от сензори, социални медии, транзакции и др. Технологии като Hadoop Distributed File System (HDFS) или Spark разпределят съхранението и изчисленията между множество възли, за да осигурят разумно време за обработка.
Разпределени системи за бази данни
Разпределените бази данни са специален и много важен случай в рамките на разпределените системи. Вместо да съхраняват всички данни на един сървър, те се разпределят между няколко възела , често разположени в различни географски региони, поддържайки унифициран логически изглед за заявителя.
Тази стратегия позволява мащабируемост както по отношение на капацитета за съхранение, така и на производителността при четене/запис. Нови възли или региони могат да се добавят с нарастване на търсенето , а механизмите за разделяне и репликация обработват преразпределението на информацията повече или по-малко автоматично.
Едно от основните предизвикателства е поддържането на синхронизация на данните и съгласуваност между репликите. Това се постига с помощта на консенсусни алгоритми като Paxos или Raft, които гарантират, че операциите се прилагат в съвместим ред във всички възли в рамките на репликационна група.
В зависимост от типа на приложението, някои бази данни дават приоритет на наличността и толерантността към мрежовите дялове пред стриктната съгласуваност, като възприемат модели като евентуална съгласуваност . В други случаи се използва синхронна репликация за поддържане на силна съгласуваност, жертвайки известна латентност в замяна на по-голяма цялост на данните.
Големите платформи за електронна търговия и облачните услуги комбинират разпределени бази данни със системи за кеширане , за да обслужват съдържание с ниска латентност и да се справят с пиковете на трафика. Класически пример за разпределено съхранение, фокусирано върху надеждността и отказоустойчивостта, е Amazon S3, който репликира данни на множество сървъри в рамките на даден регион.
Паралелни изчисления и висока производителност в разпределени системи
Друга област, в която разпределените системи блестят, са високопроизводителните паралелни изчисления (HPC) . Вместо да се обработват големи обеми данни последователно на една машина, изчисленията се разпределят в клъстери от стотици или хиляди възли.
В тези клъстери всеки възел изпълнява част от проблема и чрез фино настроени техники за координация, частичните резултати се комбинират, за да се получи крайният резултат . Това прави възможно справянето със сложни научни симулации, климатично моделиране, усъвършенстван финансов анализ или обработката на големи медицински изображения със скорост, немислима за една машина.
За да се постигне тази ефективност, се използват паралелни алгоритми, специално проектирани да разпределят натоварването и да минимизират комуникацията между възлите . Техники като афинитет на процесора или оптимизация за NUMA архитектури помагат за подобряване на производителността чрез коригиране на начина, по който процесите и данните се разпределят към паметта и процесорите.
В областта на изкуствения интелект и дълбокото обучение, разпределените изчисления позволяват обучението на масивни невронни мрежи чрез разпределяне на данни и модели между множество графични процесори и сървъри . Системата координира градиенти и актуализации на параметрите, така че обучението да протича паралелно, без да се нарушава съгласуваността на модела.
Облакът засили този подход, като предложи HPC като услуга (HPCaaS) , така че малките предприятия и екипите могат временно да наемат големи клъстери за обучение на модели или провеждане на интензивни симулации, без да се налага да купуват и поддържат цялата тази инфраструктура директно.
Разпределени системи в ежедневните технологии
Отвъд центровете за данни, разпределените системи са част от ежедневието на почти всеки , който взаимодейства с технологиите. Тяхното присъствие е толкова често срещано, че едва го забелязваме.
Имейл услугите, платформите за незабавни съобщения и социалните мрежи работят върху разпределени инфраструктури, които репликират потребителски данни по целия свят . Благодарение на това можем да осъществяваме достъп до съобщенията си от всяко устройство, с ниска латентност и като цяло без забележими прекъсвания.
Мрежите за споделяне на файлове от типа „peer-to-peer“ са друг пример: вместо да се изтегля от един сървър, файлът се фрагментира и се обслужва от множество peer-и , където всеки участващ човек действа едновременно като клиент и сървър, подобрявайки устойчивостта и производителността на мрежата.
В областта на Интернет на нещата (IoT) и интелигентните мрежи, милиони сензори и устройства изпращат данни към разпределени платформи, които обработват информация в реално време , за да оптимизират потреблението на енергия, да автоматизират сгради или да координират автопаркове от свързани превозни средства.
И, разбира се, големи платформи за облачни изчисления като AWS, Microsoft Azure или Google Cloud са най-очевидният пример за разпределена система: те групират центрове за данни в различни региони, предлагат ресурси при поискване и позволяват на компаниите да внедряват своите приложения в глобален мащаб само с няколко кликвания и кредитна карта.
Как да разбера какъв тип разпределена система ми е необходима?
При избора на конкретно решение няма единна рецепта: дизайнът на разпределената система трябва да бъде съобразен с контекста на организацията , нейните цели и нейната технологична зрялост.
Най-добре е да започнете с анализ на текущия и очаквания обем данни . Обработката на няколко милиона записа на ден не е същото като обработката на непрекъснати потоци от данни в реално време от IoT устройства, разпространени по целия свят.
Също така е изключително важно да се вземе предвид наличният бюджет и стратегията за мащабиране . Някои компании могат да си позволят специализирани екипи и персонал, докато други ще разчитат почти изцяло на управлявани облачни услуги, за да намалят оперативната сложност.
Важно е също да се вземат предвид пиковото натоварване, периодите на ниска активност и ограниченията във времето за обработка . Система, която трябва да реагира в милисекунди, ще има различни изисквания от тази, проектирана за нощна пакетна обработка.
Дефинирането на тези аспекти от самото начало помага за проектирането на съгласувана архитектура, която е по-лесна за управление и по-малко податлива на изненади. Днес дори малки организации могат да имат достъп до разпределен изчислителен капацитет, който преди е бил достъпен само за големи корпорации , стига да притежават необходимите технически познания и бизнес нюх, за да го използват.
Разпределените системи са се развили от специализирано решение до гръбнака на повечето цифрови услуги. Способността им да разпределят натоварването, да толерират грешки, да се мащабират хоризонтално и да обработват огромни обеми от данни ги прави съществен компонент за всяка организация, която иска да се конкурира във все по-свързана, взискателна и технологично зависима среда.
