Dështimet e RAID: simptomat, shkaqet dhe si të shmangni humbjen e të dhënave tuaja

Informatec Digital » Burime » Dështimet e RAID: simptomat, shkaqet dhe si të shmangni humbjen e të dhënave tuaja

Sistemet RAID janë bërë të zakonshme në servera, pajisje NAS dhe grupe ruajtjeje sepse premtojnë performancë të shtuar dhe tolerancë ndaj defekteve . Megjithatë, ndërsa ofrojnë qetësi mendore, ato nuk janë një plumb magjik: një dështim i menaxhuar dobët mund të çojë në katastrofë dhe t'ju lërë pa të dhëna brenda pak minutash.

Kur një sistem RAID fillon të shfaqë simptoma të pazakonta, çelësi nuk është të jesh më i shpejti në ndërhyrje, por më tepër të jesh më i kujdesshëm. Zbulimi i shenjave të dështimit dhe të dish se çfarë NUK duhet bërë bën diferencën midis një zëvendësimi të thjeshtë të diskut dhe një humbjeje totale dhe të pakthyeshme të të dhënave, madje edhe për një laborator profesional.

Çfarë është një dështim i RAID dhe pse nuk është i njëjtë me një kopje rezervë?

Një RAID (Redundant Array of Independent Disks) grupon disqe të shumta për të ofruar disponueshmëri, performancë dhe/ose redundancë më të madhe , varësisht nga niveli i përdorur. Nga RAID 1 klasik i pasqyruar deri te konfigurimet më komplekse si RAID 5, RAID 6 ose RAID 10, ideja është që sistemi të vazhdojë të funksionojë edhe nëse një (ose më shumë) disqe fizike dështojnë.

Problemi është se shumë njerëz supozojnë, "Unë kam RAID, pra kam një kopje rezervë", dhe ky është një gabim themelor. RAID nuk i zëvendëson kopjet rezervë : ai mbron nga dështimi i një ose më shumë disqeve (në varësi të nivelit RAID), por nuk parandalon korruptimin logjik, gabimin njerëzor, ransomware-in, fshirjet aksidentale ose dështimet e kontrolluesit ose serverit.

Për më tepër, mënyra se si kontrolluesi — duke përfshirë firmware-in e kontrolluesit — shpërndan të dhënat (renditja e diskut, madhësia e shiritit, algoritmet e paritetit, meta të dhënat, etj.) do të thotë që çdo manipulim i pasaktë i vargut mund të prishë strukturën dhe ta bëjë rikuperimin jashtëzakonisht të komplikuar, edhe kur disqet "duken" të jenë në rregull.

Nivelet kryesore të RAID dhe ndikimi i tyre në rikuperim

Çdo nivel RAID sillet ndryshe në rast të dështimeve, dhe kjo ndikon ndjeshëm në opsionet e rikuperimit të të dhënave. Të kuptuarit e këtyre ndryshimeve ndihmon në shmangien e marrjes së vendimeve të rrezikshme kur diçka shkon keq.

Në një matricë RAID 0, të dhënat shpërndahen në disqe të shumëfishta pa paritet ose pasqyrim. Nuk ka asnjë lloj redundance : nëse një disk i vetëm dështon ose degradohet mjaftueshëm, humbja logjike është totale sepse mungon një pjesë thelbësore e secilit skedar. Të flasësh për "rindërtimin" këtu ka pak kuptim; përparësia është të përpiqemi të rikuperojmë atë që mund të rikuperohet nga disqet e dëmtuara fizikisht.

Në një matricë RAID 1, disqet pasqyrohen: çdo disk përmban një kopje të plotë të të dhënave . Ky konfigurim është zakonisht mjaft i besueshëm për rikuperimin e të dhënave, me kusht që të mos bëhen gabime gjatë trajtimit (për shembull, inicializimi i njërit prej disqeve në një sistem të ndryshëm ose përzierja e tyre në kontrollues të papajtueshëm).

RAID 5 shpërndan të dhënat nëpër disqe të shumëfishta dhe llogarit paritetin e shpërndarë, duke e lejuar atë të përballojë dështimin e një disku . Problemi lind kur një disk i dytë fillon të mos funksionojë mirë gjatë rindërtimit: ngarkesa e punës rritet ndjeshëm, shfaqen gabime leximi dhe vargu mund të rrëzohet pa paralajmërim.

RAID 6 funksionon në mënyrë të ngjashme me RAID 5, por shton një paritet të dytë, duke i lejuar atij të tolerojë dështimin e deri në dy disqeve . Nga ana tjetër, arkitektura është më komplekse, rindërtimet zgjasin më shumë dhe çdo gabim logjik ose konfigurimi i ndërlikon më tej përpjekjet e rikuperimit.

RAID 10 kombinon pasqyra dhe vija: çiftet e disqeve që pasqyrohen "gërvishten". Për qëllime rikuperimi, rendi i disqeve dhe marrëdhënia midis pasqyrave dhe vijave është kritike; përzierja e pozicioneve ose rindërtimi i verbër mund ta prishë grupin edhe nëse të gjithë disqet janë fizikisht të shëndetshëm.

Shenja të qarta që RAID-i juaj po fillon të dështojë

Përpara se një sistem të dështojë plotësisht, ai zakonisht lë një sërë shenjash. Të mësuarit për t'i njohur ato ju lejon të ndaloni në kohë dhe të parandaloni dëmtime të mëtejshme.

Një nga shenjat më të dukshme janë zhurmat e çuditshme që vijnë nga disqet: klikime të përsëritura, kërcitje, gumëzhitje me ndërprerje ose tinguj metalikë që nuk ishin aty më parë. Këto zhurma zakonisht tregojnë defekte mekanike në kokat ose pllakat e leximit/shkrimit , ose probleme me motorin. Nëse i injoroni ato dhe vazhdoni të detyroni leximin, gjendja e diskut zakonisht do të përkeqësohet shumë shpejt.

Një tjetër shenjë tipike është shfaqja e mesazheve "Degraduar", "Dështoi" ose "Kritik" në konsolën e menaxhimit të kontrolluesit NAS ose RAID. Ky mesazh do të thotë që një ose më shumë disqe janë shënuar si problematikë dhe grupi po funksionon pa redundancën e synuar. Në këtë pikë, veçanërisht me RAID 5, një dështim i dytë mund të jetë pika e fundit.

Kushtojini vëmendje simptomave më pak të dukshme, por po aq të rrezikshme, siç është një rënie e papritur dhe e pashpjegueshme e performancës . Nëse kohët e leximit dhe shkrimit rriten ndjeshëm, veçanërisht kur qaseni në vëllime ose dosje të caktuara, kontrolluesi mund të ketë probleme me sektorë të vështirë për t'u lexuar ose të përjetojë përpjekje të vazhdueshme që e mbingarkojnë sistemin.

Regjistrat e sistemit ose të kontrolluesit shpesh tregojnë gabime I/O, mesazhe të pasakta pariteti, "Gabim Leximi i Parikuperueshëm", "Kontrolli i Paritetit Dështoi" ose "U Zbulua Vijë e Keq". Një rritje e vazhdueshme e gabimeve të leximit/shkrimit , edhe nëse sistemi është ende funksional, është një flamur i kuq që nuk duhet injoruar.

Një tjetër sinjal paralajmërues është se vëllimi duket i degraduar edhe pse asnjë disk nuk duket se ka dështuar plotësisht . Kjo zakonisht tregon korruptim logjik në meta të dhënat RAID ose blloqet e shpërndara, dhe detyrimi i një rindërtimi automatik në këtë gjendje mund ta përhapë korruptimin në të gjithë vargun.

Simptomat e korruptimit logjik dhe problemeve të heshtura në RAID

Jo të gjitha dështimet e RAID rezultojnë në një disk të "vdekur" menjëherë. Shpesh, problemi është një korruptim gradual i të dhënave që hyn në heshtje derisa situata të bëhet shumë e vështirë për t'u ndryshuar.

Një shembull tipik janë skedarët që duket se janë aty, kanë madhësinë dhe emrin e saktë, por nuk hapen, kanë gabime formatimi ose duken të cunguar . Bazat e të dhënave që nuk montohen, makinat virtuale që nuk fillojnë ose imazhet që shikuesi i refuzon zakonisht janë tregues të mospërputhjeve në blloqet e shpërndara nëpër disqe.

Është gjithashtu e zakonshme që sistemi operativ ose aplikacionet të shfaqin ngadalësi të lokalizuar në vëllime të caktuara RAID, edhe pse CPU dhe RAM nuk duken veçanërisht të stresuara. Nëse ngadalësimi përqendrohet në operacionet e leximit/shkrimit në të njëjtin vëllim, ka shumë të ngjarë që të keni të bëni me korruptim ose sektorë të paqëndrueshëm.

Një tjetër simptomë e rrezikshme është se rindërtimet që fillojnë pas një ndryshimi në disk ndalojnë gjithmonë në të njëjtën pikë , japin gabime të çuditshme ose thjesht e shënojnë procesin si të dështuar. Kjo zakonisht tregon se blloqet burimore janë tashmë të dëmtuara dhe kontrolluesi nuk është në gjendje të gjenerojë një kopje koherente në diskun e ri.

Ndonjëherë vetëm një disk shfaq alarme SMART (sektorë të rialokuar, kohë të larta aksesi, etj.), por sjellja e pazakontë është e dukshme në të gjithë vargun RAID. Në raste të tilla, një disk i vetëm me sektorë të dëmtuar mund të kompromentojë qëndrueshmërinë e të gjithë vargut, veçanërisht kur fillohet një kontroll pariteti ose rindërtim.

Injorimi i këtyre paralajmërimeve dhe vazhdimi i funksionimit normal, ose më keq akoma, detyrimi i detyrave intensive si verifikimet, kopjet rezervë masive ose rindërtimet automatike, mund të përhapë korruptimin dhe të mbishkruajë blloqe të vlefshme me të dhëna të dëmtuara . Nga ai moment e tutje, as mjetet profesionale nuk mund të garantojnë një rikuperim të plotë.

Dështime tipike në kontrollues, servera dhe motherboard-e

Nuk ka të bëjë vetëm me disqet. Kontrolluesi RAID, pllaka amë, apo edhe i gjithë serveri mund të bëhen hallka e dobët në zinxhir dhe të shkaktojnë dështime të vargjeve edhe nëse disqet janë të shëndetshme.

Kontrolluesi RAID, qoftë harduer i dedikuar apo i integruar në pllakën amë, është përgjegjës për të vendosur se ku shkruhet secili bllok, si llogaritet pariteti dhe si mblidhen vëllimet . Një defekt, firmware i dëmtuar ose një rritje e energjisë mund ta çaktivizojë atë, duke bërë që vargu të zhduket ose të shfaqet si "I huaj", "Jashtë linje" ose të ngjashme.

Në rastin e kontrolluesve të dedikuar të harduerit, ekziston një problem shtesë: mungesa pothuajse e plotë e përputhshmërisë midis modeleve dhe prodhuesve . Nëse një kontrollues specifik Supermicro prishet, për shembull, nuk mjafton thjesht ta zëvendësosh atë me një "të ngjashëm": shpesh, i njëjti model, me një version të ngjashëm firmware, është i nevojshëm që ai të lexojë saktë metadatat RAID.

Me zgjidhjet e integruara RAID (të ashtuquajturat "RAID të rreme"), siç janë disa RAID të softuerëve të çipsetit AMD ose Intel, rreziku është që një zëvendësim i motherboard-it, një rivendosje e BIOS-it ose humbja e konfigurimit CMOS mund ta bëjë grupin të paoperueshëm. Në shumë kompjuterë desktop dhe stacione pune, një dështim i motherboard-it ose i baterisë CMOS mund të fshijë konfigurimin RAID, duke i lënë disqet si njësi të izoluara.

Për më tepër, vetë serveri ( furnizimi me energji , memoria, pllaka amë, pllaka e pasme, etj.) mund të dështojë për shkak të problemeve elektrike, mbinxehjes ose defekteve të harduerit. Në shumë nga këto raste, rezultati praktik është se RAID bëhet i paarritshëm , megjithëse në realitet, disqet, të lidhura me një sistem tjetër me strategjinë e duhur, mund të rikuperojnë të dhënat e tyre.

Për ta përkeqësuar edhe më shumë situatën, sistemi duhet ta "rimontojë" matricën RAID sa herë që riniset ose ndizet. Nëse gjatë këtij procesi ndodhin ndërprerje të energjisë, rritje të tensionit ose gabime në skedarët e konfigurimit (si p.sh. mdadm.conf në Linux), sistemi mund ta montojë gabimisht matricën, ta lërë të paplotë ose thjesht të mos e njohë atë, duke e bërë vëllimin të papërdorshëm.

Shkaqet e zakonshme të humbjes së të dhënave në vargjet RAID

Duke marrë parasysh të gjitha sa më sipër, është e qartë se vargjet RAID, ndonëse shumë të dobishme, janë ende të ekspozuara ndaj rreziqeve të konsiderueshme. Shkaqet kryesore të humbjes së të dhënave në këto mjedise janë zakonisht një kombinim i faktorëve fizikë, logjikë dhe njerëzorë.

Shkaku më i dukshëm është dështimi i një ose më shumë disqeve për shkak të konsumimit, defekteve të prodhimit, dridhjeve, temperaturës ose ndikimeve. Edhe pse RAID është projektuar për t'i bërë ballë disa prej këtyre situatave, ai nuk ka gjithmonë sukses pa dëme anësore : një disk që fillon të kthejë sektorë të dëmtuar mund ta zvarrisë fqinjin e tij, veçanërisht gjatë proceseve të verifikimit ose rindërtimit.

Një burim tjetër i zakonshëm problemesh janë gabimet e montimit ose rindërtimit . Nëse sistemi e monton vargun me parametra të pasaktë, disqe në renditje të gabuar, nivele RAID të ndryshme nga origjinalet ose pas një migrimi të dështuar, të dhënat mund të çrregullohen lehtësisht. Në terma praktikë, vëllimi mund të shfaqet si RAW, të kërkojë formatim ose të shfaqë struktura skedarësh jokonsistente.

Dështimet e serverit (pllaka amë, firmware-i, pllaka e prapme, kontrolluesi SAS/SATA, etj.) luajnë gjithashtu një rol të rëndësishëm. Në një përqindje shumë të lartë të incidenteve, kur serveri dështon papritur, grupi RAID bëhet i paarritshëm dhe të dhënat nuk janë të dukshme për sistemin, edhe pse ato ende ekzistojnë fizikisht në disqe.

Për të gjitha këto duhet të shtojmë faktorët njerëzorë: ndryshimet e konfigurimit pa dokumentacion, rirregullimi i disqeve "për testim", përditësimet e BIOS pa një kopje rezervë të mëparshme të konfigurimit, fshirja aksidentale e vëllimeve, riinstalimi i sistemit operativ në disqe që ishin pjesë e grupit, ose rivendosja e kopjeve rezervë të korruptuara ose të paplota në të njëjtin RAID të dëmtuar.

Së fundmi, ekzistojnë kërcënime të jashtme, të tilla si ransomware, të cilat mund të enkriptojnë si të dhënat ashtu edhe strukturat e vëllimeve të vendosura në vargjet RAID. Në këto skenarë, procesi i rikuperimit bëhet dyfish i ndërlikuar: së pari, duhet të trajtohet enkriptimi dhe më pas korruptimi i mundshëm i brendshëm i vetë RAID.

Çfarë NUK duhet të bëni kur RAID-i juaj fillon të dështojë

Kur një server bie nga puna gjatë fundjavës dhe të gjithë janë të shqetësuar, reagimi më i zakonshëm është që dikush të përpiqet ta rregullojë atë menjëherë. Kjo është e kuptueshme, por shumë nga këto përpjekje me qëllime të mira janë pikërisht ato që në fund të fundit i përkeqësojnë të dhënat.

Tundimi më i rrezikshëm është të detyrosh një rindërtim automatik pa analizuar më parë gjendjen aktuale të disqeve . Nëse njëri nga disqet ka të dhëna të dëmtuara ose sektorë të palexueshëm, rindërtimi do të kopjojë dhe përziejë të dhënat e panevojshme me të dhëna të mira derisa struktura e vëllimit të shkatërrohet plotësisht.

Një tjetër gabim i zakonshëm është zëvendësimi i rastësishëm i disqeve pa e ditur se cili është në të vërtetë i dëmtuar ose pa dokumentuar pozicionin origjinal të secilit disk . Zhvendosja e disqeve midis ndarjeve, përzierja e tyre midis kontrolluesve të ndryshëm ose zëvendësimi i disave menjëherë pa një plan mund ta ngatërrojë kontrolluesin dhe të bëjë që grupi RAID të humbasë gjurmët e konfigurimit të tij.

Ekzekutimi i mjeteve si CHKDSK në Windows ose fsck në Linux direkt në një vëllim RAID që tregon shenja korruptimi është gjithashtu shumë i rrezikshëm. Këto programe përpiqen të "rregullojnë" strukturën e skedarëve bazuar në tabela që mund të jenë të dëmtuara dhe rregullimet e tyre shpesh përfshijnë fshirjen e hyrjeve, zhvendosjen e blloqeve dhe rishkrimin e meta të dhënave. Në një mjedis tashmë të kompromentuar, kjo mund të rezultojë në humbjen e përhershme të mijëra skedarëve.

Po aq keq është mbështetja në softuerë gjenerikë të rikuperimit RAID që premtojnë të "konfigurojnë automatikisht çdo RAID ". Shumë nga këto mjete funksionojnë sipërfaqësisht, duke supozuar modele standarde të vijave, zhvendosjeve dhe paritetit që nuk plotësohen gjithmonë. Keqpërdorimi mund të mbishkruajë sektorët kryesorë ose t'i lërë disqet në gjendje më të keqe se kur u instaluan për herë të parë.

Së fundmi, rinisja e përsëritur e serverit, cikli i NAS-it ose vazhdimi i punës normalisht në një grup RAID të degraduar ose një me gabime pariteti vetëm sa shkakton dëme të mëtejshme në disqe, rialokon më shumë sektorë dhe përhap korruptimin . Sa më shumë shkrime të kryhen pas problemit të parë serioz, aq më pak hapësirë ​​për manovrim do të kenë specialistët.

Hapa të kujdesshëm që duhen ndërmarrë kur zbuloni një dështim të mundshëm të RAID-it

Përballë çdo simptome serioze (zhurmë, status i degraduar, gabime pariteti, ngadalësi ekstreme, rindërtime të dështuara, etj.), veprimi më i mençur është të ngadalësoni dhe të vazhdoni metodikisht . Ajo që nuk e shkruani ose ndryshoni tani mund të shpëtohet më vonë.

Gjëja e parë që duhet të bëni është të ndaloni menjëherë çdo operacion shkrimi në varg : nuk do të kopjohen të dhëna mbi të, nuk do të ketë makina të reja virtuale, nuk do të ketë përditësime masive. Nëse vëllimi është ende i arritshëm, është më mirë ta montoni atë si vetëm për lexim nëse sistemi e lejon.

Më pas, këshillohet që gjendja aktuale të dokumentohet me sa më shumë detaje të jetë e mundur: pamje të ekranit të ndërfaqes BIOS ose NAS, një listë të disqeve me vendndodhjen e tyre fizike, numrin serial, portat me të cilat janë të lidhur, mesazhet e sakta të gabimit që shfaqen në regjistra, etj. Ky informacion është i paçmuar për çdo laborator rikuperimi gjatë rindërtimit të skenarit origjinal.

Në rastet kur RAID nuk arrin të montohet ose serveri nuk niset, një mundësi teknike është heqja e disqeve dhe lidhja e tyre me një kompjuter tjetër për të krijuar kopje forenzike sektor për sektor të secilit disk . Këto kopje, të bëra në modalitetin vetëm për lexim, ju lejojnë të punoni në klone më pas pa dëmtuar më tej disqet origjinale.

Me njohuri të përparuara, mjete të specializuara dhe një mjedis të kontrolluar, mund të tentohet një rindërtim logjik i vargut nga këto klone, duke nxjerrë rendin e diskut, madhësinë e shiritit, modelet e paritetit, zhvendosjet dhe metadatat . Megjithatë, kjo është një detyrë delikate e inxhinierisë së kundërt: çdo provë dhe gabim që përfshin ndryshime të rastësishme të parametrave mund të çojë në keqinterpretim të të dhënave.

Për shumicën e bizneseve dhe mjediseve kritike, veprimi më i sigurt është të kontaktoni një shërbim profesional të rikuperimit RAID sa më shpejt të jetë e mundur dhe të ndiqni udhëzimet e tyre fillestare. Shkalla e suksesit zakonisht është e lidhur ngushtë me numrin e përpjekjeve të dështuara të bëra përpara se të arrini në laborator.

Si funksionojnë laboratorët profesionalë të rimëkëmbjes RAID

Shërbimet profesionale të rikuperimit të të dhënave që specializohen në mjediset RAID kombinojnë njohuri të thella të sistemeve të pajisjeve dhe skedarëve me mjete të patentuara dhe procedura rigoroze. Kjo është ajo që ata bëjnë zakonisht, në përgjithësi, kur marrin një rast të një RAID të dështuar.

Hapi i parë është të kryhet një diagnostikim individual në secilin hard disk : kontrollohet gjendja mekanike, elektronike dhe logjike e disqeve, identifikohen sektorët e dëmtuar, rishikohen tabelat SMART dhe vlerësohet rreziku i dështimit afatshkurtër. Nëse ndonjë disq ka dëmtime fizike, trajtimi i tyre në një dhomë të pastër ka përparësi.

Më pas, krijohen klone forenzike të të gjitha disqeve të përfshira . Në vend që të punohet me origjinalet, bëhet një kopje sektor pas sektori, duke përdorur mjete që lejojnë anashkalimin e sektorëve të dëmtuar rëndë ose riprovimin me modele të sigurta. Qëllimi është të ruhet gjendja origjinale në rast se bëhet e nevojshme të rikthehemi në një hap të mëparshëm në proces.

Me klonet gati, kryhet një rindërtim logjik manual i RAID-it : identifikohet niveli (0, 1, 5, 6, 10, etj.), rendi i diskut, madhësia e vijave, zhvendosjet, algoritmet e paritetit dhe çdo karakteristikë tjetër e kontrolluesit origjinal. Shpesh, vëllimi mund të rindërtohet edhe pa të njëjtin kontrollues ose NAS që e krijoi atë.

Pasi vëllimi virtual i rindërtuar të duket koherent, sistemi i skedarëve riparohet nëse është e nevojshme: NTFS, ReFS, ext4, XFS, Btrfs, ZFS, VMFS dhe të tjerë. Kjo punë është e ngjashme me atë të një kirurgu: strukturat korrigjohen, tabelat e inodeve, MFT-të, superblloqet ose ditarët rindërtohen, duke u përpjekur gjithmonë të ndryshojnë minimumin absolut.

Së fundmi, të dhënat nxirren dhe validohen sistematikisht. Kontrollohet konsistenca e bazave të të dhënave kryesore, makinave virtuale dhe dosjeve kritike, verifikohet që skedarët të hapen saktë dhe të dhënat dorëzohen në media të reja dhe të izoluara ruajtjeje , siç janë disqet e jashtme të forta ose një NAS i ri, në mënyrë që klienti të mund ta shqyrtojë rikuperimin përpara se ta pranojë atë.

Në skenarë veçanërisht kompleksë, siç janë RAID-et e prekura nga ransomware, rindërtimet e mëparshme të dështuara ose vëllimet virtuale brenda vargjeve tashmë të dëmtuara, teknikat e deshifrimit, analiza mjeko-ligjore dhe rindërtimi i RAID kombinohen, por gjithmonë sipas të njëjtit rregull: mos i prekni origjinalet më shumë seç është absolutisht e nevojshme.

Në fund të fundit, sistemet RAID janë një mjet i fuqishëm për përmirësimin e disponueshmërisë së të dhënave, por ato mbeten të ndjeshme ndaj gabimeve fizike, logjike dhe njerëzore. Të kuptuarit e dobësive të tyre, identifikimi i shenjave të paralajmërimit të hershëm dhe, mbi të gjitha, shmangia e vendimeve impulsive kur ndodh një dështim janë ato që bëjnë vërtet ndryshimin midis një frike të vogël dhe një katastrofe të dhënash.