Kvarovi RAID-a: simptomi, uzroci i kako izbjeći gubitak podataka

Informatec Digital » Sredstva » Kvarovi RAID-a: simptomi, uzroci i kako izbjeći gubitak podataka

RAID sustavi postali su uobičajeni u poslužiteljima, NAS uređajima i nizovima za pohranu podataka jer obećavaju povećane performanse i toleranciju na pogreške . Međutim, iako nude mir, nisu čarobni štapić: loše upravljan kvar može dovesti do katastrofe i ostaviti vas bez podataka u roku od nekoliko minuta.

Kada RAID sustav počne pokazivati ​​neobične simptome, ključ nije u tome da se što brže popravlja, već u najopreznijem pristupu. Otkrivanje znakova kvara i poznavanje onoga što NE treba raditi čini razliku između jednostavne zamjene diska i potpunog i nepovratnog gubitka podataka, čak i za profesionalni laboratorij.

Što je kvar RAID-a i zašto nije isto što i sigurnosna kopija?

RAID (redundantni niz neovisnih diskova) grupira više diskova kako bi ponudio veću dostupnost, performanse i/ili redundanciju , ovisno o korištenoj razini. Od klasičnog zrcaljenog RAID-a 1 do složenijih konfiguracija poput RAID-a 5, RAID-a 6 ili RAID-a 10, ideja je da sustav nastavlja funkcionirati čak i ako jedan (ili više) fizičkih diskova zakaže.

Problem je u tome što mnogi ljudi pretpostavljaju: "Imam RAID, dakle imam sigurnosnu kopiju", a to je temeljna pogreška. RAID ne zamjenjuje sigurnosne kopije : štiti od kvara jednog ili više diskova (ovisno o RAID razini), ali ne sprječava logičku korupciju, ljudsku pogrešku, ransomware, slučajna brisanja ili kvarove kontrolera ili poslužitelja.

Nadalje, način na koji kontroler - uključujući firmware kontrolera - distribuira podatke (redoslijed diskova, veličina traka, algoritmi pariteta, metapodaci itd.) znači da svaka netočna manipulacija nizom može narušiti strukturu i izuzetno komplicirati oporavak, čak i kada se diskovi "izgledaju" u redu.

Glavne RAID razine i njihov utjecaj na oporavak

Svaka RAID razina ponaša se drugačije u slučaju kvarova, što značajno utječe na mogućnosti oporavka podataka. Razumijevanje tih razlika pomaže u izbjegavanju donošenja rizičnih odluka kada nešto pođe po zlu.

U RAID 0 nizu, podaci se raspoređuju na više diskova bez pariteta ili zrcaljenja. Nema nikakve redundancije : ako jedan disk zakaže ili se dovoljno ošteti, logički gubitak je potpun jer nedostaje bitan dio svake datoteke. Govoriti o "rekonstrukciji" ovdje nema puno smisla; prioritet je pokušati oporaviti ono što se može oporaviti s fizički oštećenih diskova.

U RAID 1 nizu, diskovi su zrcaljeni: svaki pogon sadrži potpunu kopiju podataka . Ova konfiguracija je obično prilično pouzdana za oporavak podataka, pod uvjetom da se ne naprave pogreške u rukovanju (na primjer, inicijalizacija jednog od diskova na drugom sustavu ili njihovo miješanje na nekompatibilnim kontrolerima).

RAID 5 distribuira podatke na više diskova i izračunava distribuirani paritet, što mu omogućuje da izdrži kvar jednog diska . Problem nastaje kada drugi disk počne neispravno raditi tijekom ponovne izgradnje: opterećenje naglo raste, pojavljuju se pogreške čitanja i niz se može srušiti bez upozorenja.

RAID 6 radi slično kao RAID 5, ali dodaje drugu parnost, što mu omogućuje toleriranje kvara do dva diska . Zauzvrat, arhitektura je složenija, ponovna izgradnja traje dulje, a sve logičke ili konfiguracijske pogreške dodatno kompliciraju napore oporavka.

RAID 10 kombinira zrcaljenja i pruge: parovi diskova koji se zrcalje su "izgrebani". Za potrebe oporavka, redoslijed diskova i odnos između zrcaljenja i pruga su ključni; miješanje položaja ili naslijepo ponovno izgrađivanje može uništiti niz čak i ako su svi diskovi fizički ispravni.

Jasni znakovi da vaš RAID počinje otkazivati

Prije nego što sustav potpuno zakaže, obično ostavlja niz tragova. Učenje njihovog prepoznavanja omogućuje vam da se zaustavite na vrijeme i spriječite daljnju štetu.

Jedan od najočitijih znakova su čudni zvukovi koji dolaze s diskova: ponavljajući klikovi, škripanje, povremeno zujanje ili metalni zvukovi kojih prije nije bilo. Ovi zvukovi obično ukazuju na mehaničke kvarove u glavama za čitanje/pisanje ili pločama ili probleme s motorom. Ako ih zanemarite i nastavite prisilno čitati, stanje pogona će se obično vrlo brzo pogoršati.

Drugi tipičan znak je pojava poruka "Degradirano", "Neuspješno" ili "Kritično" u upravljačkoj konzoli NAS-a ili RAID kontrolera. Ova poruka znači da je jedan ili više diskova označeno kao problematično i da niz radi bez predviđene redundancije. U ovom trenutku, posebno s RAID 5, drugi kvar može biti kap koja je prelila čašu.

Obratite pozornost na manje uočljive, ali jednako opasne simptome, poput iznenadnog i neobjašnjivog pada performansi . Ako vrijeme čitanja i pisanja naglo poraste, posebno pri pristupu određenim volumenima ili mapama, kontroler možda ima problema s teško čitljivim sektorima ili ima stalne ponovne pokušaje koji preopterećuju sustav.

Zapisnici sustava ili kontrolera često prikazuju I/O pogreške, poruke o netočnoj parnosti, "Nepopravljiva pogreška čitanja", "Provjera parnosti nije uspjela" ili "Otkrivena loša pruga". Kontinuirano povećanje pogrešaka čitanja/pisanja , čak i ako sustav još uvijek funkcionira, crvena je zastavica koju ne treba ignorirati.

Još jedan znak upozorenja je da se volumen čini oštećenim iako nijedan disk očito nije potpuno otkazao . To obično ukazuje na logičku korupciju u metapodacima RAID-a ili distribuiranim blokovima, a prisiljavanje automatske ponovne izgradnje u ovom stanju može proširiti korupciju na cijeli niz.

Simptomi logičke korupcije i tihi problemi u RAID-u

Nisu svi kvarovi RAID-a uzrok trenutnog "mrtvog" diska. Često je problem postupno oštećenje podataka koje se tiho uvlači sve dok situacija ne postane vrlo teška za preokrenuti.

Tipičan primjer su datoteke koje se čine tamo, imaju ispravnu veličinu i naziv, ali se ne otvaraju, imaju pogreške u formatiranju ili izgledaju skraćeno . Baze podataka koje se ne mogu montirati, virtualni strojevi koji se ne mogu pokrenuti ili slike koje preglednik odbija obično su pokazatelji nedosljednosti u blokovima raspoređenim po diskovima.

Također je uobičajeno da operativni sustav ili aplikacije pokazuju lokaliziranu sporost na određenim RAID volumenima, iako se CPU i RAM ne čine posebno opterećenima. Ako je usporavanje koncentrirano na operacije čitanja/pisanja na istom volumenu, vrlo vjerojatno imate posla s oštećenjem ili nestabilnim sektorima.

Još jedan opasan simptom je da se ponovne izgradnje koje započinju nakon promjene diska uvijek zaustavljaju na istoj točki , izbacuju čudne pogreške ili jednostavno označavaju proces kao neuspješan. To obično ukazuje na to da su izvorni blokovi već oštećeni i da kontroler ne može generirati koherentnu kopiju na novom disku.

Ponekad samo jedan disk prikazuje SMART upozorenja (preraspodijeljeni sektori, visoka vremena pristupa itd.), ali neobično ponašanje je primjetno na cijelom RAID polju. U takvim slučajevima, jedan disk s lošim sektorima može ugroziti konzistentnost cijelog polja, posebno kada se pokrene provjera pariteta ili ponovna izgradnja.

Ignoriranje ovih upozorenja i nastavak normalnog rada, ili još gore, forsiranje intenzivnih zadataka poput provjera, masovnih sigurnosnih kopija ili automatske ponovne izgradnje, može proširiti oštećenje i prepisati valjane blokove oštećenim podacima . Od tog trenutka nadalje, čak ni profesionalni alati ne mogu jamčiti potpuni oporavak.

Tipični kvarovi u kontrolerima, serverima i matičnim pločama

Nije sve u diskovima. RAID kontroler, matična ploča ili čak cijeli poslužitelj mogu postati slaba karika u lancu i uzrokovati kvarove niza čak i ako su diskovi ispravni.

RAID kontroler, bilo da je namjenski hardverski ili integriran na matičnoj ploči, odgovoran je za odlučivanje gdje se svaki blok zapisuje, kako se izračunava paritet i kako se volumeni sastavljaju . Kvar, oštećeni firmver ili prenapon mogu ga onemogućiti, uzrokujući da niz nestane ili se prikaže kao "Strano", "Izvan mreže" ili slično.

U slučaju namjenskih hardverskih kontrolera, postoji dodatni problem: gotovo potpuni nedostatak kompatibilnosti između modela i proizvođača . Ako se, na primjer, određeni Supermicro kontroler pokvari, nije dovoljno jednostavno ga zamijeniti "sličnim": često je potreban potpuno isti model, sa sličnom verzijom firmvera, da bi ispravno pročitao RAID metapodatke.

S integriranim RAID rješenjima (tzv. "lažni RAID"), kao što su neki softverski RAID-ovi s AMD ili Intel čipsetom, postoji rizik da zamjena matične ploče, resetiranje BIOS-a ili gubitak CMOS konfiguracije mogu učiniti niz neupotrebljivim. U mnogim stolnim računalima i radnim stanicama, kvar matične ploče ili CMOS baterije može izbrisati RAID konfiguraciju, ostavljajući pogone kao izolirane jedinice.

Nadalje, sam poslužitelj ( napajanje , memorija, matična ploča, stražnja ploča itd.) može otkazati zbog električnih problema, pregrijavanja ili hardverskih nedostataka. U mnogim od ovih slučajeva, praktični rezultat je da RAID postaje nedostupan , iako bi u stvarnosti diskovi, spojeni na drugi sustav s odgovarajućom strategijom, mogli oporaviti svoje podatke.

Da stvar bude gora, sustav mora "ponovno sastaviti" RAID niz svaki put kada se ponovno pokrene ili podigne. Ako se tijekom ovog procesa dogode nestanci struje, skokovi napona ili pogreške u konfiguracijskim datotekama (kao što je mdadm.conf u Linuxu), sustav može neispravno sastaviti niz, ostaviti ga nepotpunim ili ga jednostavno ne prepoznati, što volumen čini neupotrebljivim.

Uobičajeni uzroci gubitka podataka u RAID nizovima

Uzimajući u obzir sve navedeno, jasno je da su RAID nizovi, iako vrlo korisni, i dalje izloženi znatnim rizicima. Glavni stvarni uzroci gubitka podataka u tim okruženjima obično su kombinacija fizičkih, logičkih i ljudskih čimbenika.

Najočitiji uzrok je kvar jednog ili više diskova zbog habanja, proizvodnih nedostataka, vibracija, temperature ili udaraca. Iako je RAID dizajniran da izdrži neke od ovih situacija, ne uspijeva uvijek bez kolateralne štete : disk koji počne vraćati oštećene sektore može povući za sobom susjednog, posebno tijekom procesa provjere ili ponovne izgradnje.

Drugi uobičajeni izvor problema su pogreške pri sastavljanju ili rekonstrukciji . Ako sustav montira niz s netočnim parametrima, diskovima u pogrešnom redoslijedu, RAID razinama različitim od originala ili nakon neuspjele migracije, podaci se lako mogu poravnati. U praksi, volumen se može pojaviti kao RAW, zahtijevati formatiranje ili prikazivati ​​nedosljedne strukture datoteka.

Kvarovi poslužitelja (matična ploča, firmware, backplane, SAS/SATA kontroler itd.) također igraju značajnu ulogu. U vrlo visokom postotku incidenata, kada poslužitelj iznenada zakaže, RAID niz postaje nedostupan i podaci nisu vidljivi sustavu, iako fizički još uvijek postoje na diskovima.

Svemu tome moramo dodati ljudske faktore: promjene konfiguracije bez dokumentacije, preraspoređivanje diskova "za testiranje", ažuriranja BIOS-a bez prethodne sigurnosne kopije konfiguracije, slučajno brisanje volumena, ponovnu instalaciju operativnog sustava na diskove koji su bili dio niza ili vraćanje oštećenih ili nepotpunih sigurnosnih kopija na istom oštećenom RAID-u.

Konačno, tu su i vanjske prijetnje poput ransomwarea, koji može šifrirati i podatke i strukture volumena smještenih na RAID nizovima. U tim scenarijima, proces oporavka postaje dvostruko kompliciran: prvo se mora riješiti šifriranje, a zatim potencijalna unutarnja korupcija samog RAID-a.

Što NE treba učiniti kada vaš RAID počne otkazivati

Kada server padne vikendom i svi su na rubu, najčešća reakcija je da netko pokuša popraviti problem u hodu. To je razumljivo, ali mnogi od tih dobronamjernih napora upravo su ono što u konačnici pogoršava podatke.

Najopasnije iskušenje je prisiliti automatsku obnovu bez prethodne analize stvarnog stanja diskova . Ako jedan od diskova ima oštećene podatke ili nečitljive sektore, obnova će kopirati i miješati neželjene podatke s ispravnim podacima sve dok se struktura volumena potpuno ne uništi.

Druga uobičajena pogreška je nasumično zamjenjivanje diskova bez znanja koji je zapravo oštećen ili dokumentiranja izvornog položaja svakog diska . Premještanje diskova između ležišta, njihovo miješanje između različitih kontrolera ili zamjena nekoliko odjednom bez plana može zbuniti kontroler i uzrokovati da RAID niz izgubi trag svoje konfiguracije.

Pokretanje alata poput CHKDSK-a na Windowsima ili fsck-a na Linuxu izravno na RAID volumenu koji pokazuje znakove oštećenja također je vrlo rizično. Ovi uslužni programi pokušavaju "popraviti" strukturu datoteka na temelju tablica koje mogu biti oštećene , a njihovi popravci često uključuju brisanje unosa, premještanje blokova i prepisivanje metapodataka. U već kompromitiranom okruženju to može rezultirati trajnim gubitkom tisuća datoteka.

Jednako loše je oslanjanje na generički softver za oporavak RAID-a koji obećava "automatsko postavljanje bilo kojeg RAID-a ". Mnogi od ovih alata rade površno, pretpostavljajući standardne obrasce pruganja, pomaka i pariteta koji nisu uvijek zadovoljeni. Zloupotreba može prebrisati ključne sektore ili ostaviti diskove u gorem stanju nego kada su prvi put instalirani.

Konačno, ponovljeno ponovno pokretanje poslužitelja, ponovno uključivanje i isključivanje NAS-a ili nastavak normalnog rada na degradiranom RAID polju ili polju s greškama pariteta samo uzrokuje daljnja oštećenja diskova, preraspodjelu više sektora i širenje korupcije . Što se više zapisa izvrši nakon prvog ozbiljnog problema, to će stručnjaci imati manje prostora za manevriranje.

Oprezni koraci koje treba poduzeti kada otkrijete mogući kvar RAID-a

U slučaju bilo kakvih ozbiljnih simptoma (šum, degradirano stanje, pogreške pariteta, ekstremna sporost, neuspješne obnove itd.), najmudrije je usporiti i postupiti metodično . Ono što ne napišete ili ne promijenite sada, moglo bi se spasiti kasnije.

Prvo što treba učiniti je odmah zaustaviti sve operacije pisanja na nizu : bez kopiranja podataka preko njega, bez novih virtualnih strojeva, bez masovnih ažuriranja. Ako je volumen još uvijek dostupan, najbolje ga je montirati samo za čitanje ako sustav to dopušta.

Zatim je preporučljivo što detaljnije dokumentirati trenutno stanje: snimke zaslona BIOS-a ili NAS sučelja, popis diskova s ​​njihovom fizičkom lokacijom, serijskim brojem, portovima na koje su spojeni, točne poruke o pogreškama koje se pojavljuju u zapisnicima itd. Ove informacije su neprocjenjive za svaki laboratorij za oporavak prilikom rekonstrukcije izvornog scenarija.

U slučajevima kada se RAID ne uspije montirati ili se poslužitelj ne pokreće, jedna tehnička opcija je uklanjanje diskova i njihovo spajanje na drugo računalo kako bi se stvorile forenzičke kopije svakog pogona sektor po sektor . Ove kopije, napravljene samo u načinu rada za čitanje, omogućuju vam naknadni rad na klonovima bez daljnjeg oštećenja originalnih diskova.

S naprednim znanjem, specijaliziranim alatima i kontroliranim okruženjem, logička rekonstrukcija niza može se pokušati iz ovih klonova, izvodeći redoslijed diska, veličinu pruga, obrasce parnosti, pomake i metapodatke . Međutim, ovo je delikatan zadatak obrnutog inženjeringa: svako pokušajno i pogreška koje uključuju nasumične promjene parametara mogu dovesti do pogrešnog tumačenja podataka.

Za većinu tvrtki i kritičnih okruženja, najsigurniji postupak je što prije kontaktirati profesionalnu uslugu oporavka RAID-a i slijediti njihove početne upute. Stopa uspjeha obično je usko povezana s brojem neuspjelih pokušaja prije dolaska u laboratorij.

Kako rade profesionalni laboratoriji za oporavak RAID-a

Profesionalne usluge oporavka podataka specijalizirane za RAID okruženja kombiniraju dubinsko poznavanje hardvera i datotečnih sustava s vlasničkim alatima i strogim postupcima. To je ono što obično rade, općenito govoreći, kada prime slučaj neuspjelog RAID-a.

Prvi korak je provođenje pojedinačne dijagnostike na svakom tvrdom disku : provjerava se mehaničko, elektroničko i logičko stanje diskova, identificiraju se loši sektori, pregledavaju se SMART tablice i procjenjuje se rizik od kratkotrajnog kvara. Ako bilo koji disk ima fizička oštećenja, prioritet se daje njihovom tretmanu u čistoj sobi.

Zatim se stvaraju forenzički klonovi svih uključenih diskova . Umjesto rada na originalima, izrađuje se kopija sektor po sektor, koristeći alate koji omogućuju preskakanje teško oštećenih sektora ili ponovni pokušaj sa sigurnim uzorcima. Cilj je sačuvati izvorno stanje u slučaju da bude potrebno vratiti se na prethodni korak u procesu.

Nakon što su klonovi spremni, izvodi se ručna logička rekonstrukcija RAID-a : identificira se razina (0, 1, 5, 6, 10, itd.), redoslijed diskova, veličina traka, pomaci, algoritmi pariteta i sve ostale karakteristike izvornog kontrolera. Često se volumen može rekonstruirati čak i bez istog kontrolera ili NAS-a koji ga je stvorio.

Nakon što rekonstruirani virtualni volumen izgleda koherentno, datotečni sustav se po potrebi popravlja: NTFS, ReFS, ext4, XFS, Btrfs, ZFS, VMFS i drugi. Ovaj je posao sličan radu kirurga: strukture se ispravljaju, inode tablice, MFT-ovi, superblokovi ili dnevnici se obnavljaju, uvijek pokušavajući promijeniti apsolutni minimum.

Konačno, podaci se izdvajaju i sustavno validiraju. Provjerava se konzistentnost glavnih baza podataka, virtualnih strojeva i kritičnih mapa, provjerava se ispravno otvaranje datoteka, a podaci se isporučuju na novim, izoliranim medijima za pohranu , kao što su vanjski tvrdi diskovi ili novi NAS, tako da klijent može pregledati oporavak prije nego što ga prihvati.

U posebno složenim scenarijima, poput RAID-ova pogođenih ransomwareom, neuspjelih prethodnih obnova ili virtualnih volumena unutar već oštećenih nizova, kombiniraju se tehnike dešifriranja, forenzička analiza i rekonstrukcija RAID-a, ali uvijek pod istim pravilom: ne dirajte originale više nego što je strogo potrebno.

U konačnici, RAID sustavi su moćan alat za poboljšanje dostupnosti podataka, ali ostaju ranjivi na fizičke, logičke i ljudske pogreške. Razumijevanje njihovih slabosti, prepoznavanje ranih znakova upozorenja i, prije svega, izbjegavanje impulzivnih odluka kada dođe do kvara ono je što zaista čini razliku između manjeg straha i katastrofe podataka.