RAID-gjenoppretting: Kritiske feil, løsninger og beste praksis

Informatec Digital » Ressurser » RAID-gjenoppretting: Kritiske feil, løsninger og beste praksis

Når et RAID-system svikter, er de første minuttene kritiske. I den samtalen «Gylden time» etter kjennelsen De fleste menneskelige feil som gjør et problem som kan repareres til en irreversibel katastrofe, skjer i disse situasjonene. Blind diskbytte, konstant omstart eller forsøk på å gjenoppbygge uten å vite hva som er galt, er ofte den raskeste veien til totalt datatap.

Hvorfor er RAID-gjenoppretting så delikat?

I mange kritiske hendelser er tapet av informasjon ikke forårsaket av den første maskinvarefeilen, men av påfølgende maskinvarefeil. forhastede handlinger i løpet av den første timenDen perioden er nøkkelen: en disk endrer posisjon, en initialisering startes ved en feiltakelse, en gjenoppbygging tvinges frem, eller systemet startes opp fra en ufullstendig sikkerhetskopi på samme lagringsarray, og det som en gang var et komplekst, men håndterbart problem, blir et nesten umulig puslespill.

De vanligste risikosituasjonene inkluderer bytte disker i feil rekkefølge (i RAID 0, 1, 5, 6, 10 osv.), erstatte kontrolleren med en annen modell uten å klone eller dokumentere konfigurasjonen, tvinge disker "online" uten å analysere den faktiske tilstanden, initialisere feil volumer eller starte gjenoppbygginger som ikke er ferdige og som ytterligere ødelegger den interne strukturen til arrayet.

Spesielt farlige er også sikkerhetskopiering gjenoppretter direkte på det skadede systemetVMware Storage vMotion-type lagringsmigreringer med en ustabil array, og enhver operasjon som skriver nye RAID-konfigurasjonsmetadata til disker med potensielt gjenopprettelig informasjon.

En RAID-matrise er grunnlaget for de fleste fysiske servere, NAS-enheter og SAN-er, og det er ikke alltid klart fra starten av at problemet stammer fra selve matrisen. Derfor, når du er i tvil, er det klokeste å gjøre det ... stopp all skriving til diskeneDokumenter hva som skjedde så detaljert som mulig, og søk råd fra spesialister på datagjenoppretting før du rører noe annet.

Typiske menneskelige feil og grunnleggende god praksis

Når en RAID går inn i en degradert tilstand, én eller flere disker feiler, eller NAS-en ikke starter opp, er den instinktive reaksjonen vanligvis å fortsette å prøve ting «til noe fungerer». Denne tilnærmingen ender nesten alltid opp med å forverre problemet fordi Hver handling etterlater et spor på diskene. og kan overskrive pariteter, metadata eller fortsatt intakte brukerdata.

Blant de vanligste feilene som kompliserer gjenoppretting er handlinger som Konfigurer en ny RAID med samme kontroller og samme diskerÅ prøve å sette diskene inn i en annen stasjonsbrønn for å «se om den gjenkjenner dem» eller å endre den fysiske rekkefølgen på skuffene er en annen taktikk. I en høy andel tilfeller omskriver disse handlingene den opprinnelige konfigurasjonen, ødelegger paritetsstripene og reduserer drastisk sjansene for suksess.

En annen vanlig dårlig praksis er å ikke registrere alt som skjer. I et komplekst havariscenario er dette viktig. registrere alle hendelser kronologiskstrømbrudd, systemmeldingerDiskendringer, gjenoppbyggingsforsøk, fastvareoppdateringer osv. Denne informasjonen hjelper deretter spesialiserte teknikere med å sette sammen puslespillet.

Det er like viktig å dokumentere og bevare den nøyaktige posisjonen til hver disk i matrisenÅ bytte diskbrønner «med øye» eller å kaste disker som angivelig er døde er hensynsløst: hvis du senere trenger å gjenoppbygge RAID-en i et laboratorium, kan det å vite hvilken disk som var i hvilket spor og ha alle de originale diskene (til og med de som er erstattet) utgjøre hele forskjellen.

Som en generell regel, i tilfelle en RAID-feil, bør følgende prosedyre følges: Stopp datamaskinen, ikke konfigurer noe på nytt, hold alle disker merketSamle så mye informasjon som mulig om hendelsen, og hvis dataene er viktige, kontakt en profesjonell bergingstjeneste før du fortsetter eksperimentet.

Hvordan fagfolk går frem for å gjenopprette RAID-systemer

Selskaper som spesialiserer seg på RAID-datagjenoppretting jobber med svært strukturerte prosedyrer fordi Enhver teknisk avgjørelse må minimere risikoen for ytterligere skadeI et typisk tilfelle med flere disker og terabyte med data på spill, kan ethvert improvisert trinn være kostbart.

Et svært illustrerende eksempel fra den virkelige verden er en RAID-matrise med tolv disker og omtrent 12 TB med data. Sikkerhetskopieringen hadde ikke blitt administrert riktig, så den eneste levedyktige løsningen var å ty til en Profesjonelt RAID-datagjenopprettingsfirmaSaken hastet; driften måtte gjenopptas så snart som mulig, og arrayet hadde allerede gått inn i en kritisk tilstand etter at to disker sviktet under en omkonfigurering.

I slike situasjoner starter spesialister vanligvis med klone alle disker som fortsatt svarer og jobber alltid med kopier, ikke originalene. Samtidig prøver de å reparere, så langt det er mulig, de fysisk skadede enhetene, enten gjennom laboratorieinngrep (rene kamre, hodeutskifting, donorelektronikk osv.) eller med avanserte delvise avlesningsteknikker.

Når det gjaldt 12 TB, var det største problemet at RAID-rekonfigurasjon hadde blitt startet før den andre feilenKontrolleren hadde allerede delvis beregnet de nye paritetene på nytt. Den relative fordelen var at den andre disken sviktet i de tidlige stadiene av prosessen, slik at mye av den gamle logiske strukturen forble rekonstruerbar.

Etter å ha gjenopprettet en av de skadede diskene og laget en komplett kopi, var utfordringen rekonstruer den logiske strukturen til arrayet manueltDiskrekkefølge, blokkstørrelse, paritetsfordeling, mulige endringer midt i prosessen… Dette arbeidet, som kan ta flere dager med analyse, tillot oss å gjenopprette rundt 90 % av dataene, noe som, gitt omstendighetene, anses som en høy suksessrate i RAID-gjenoppretting.

Profesjonelle tjenester: hva de vanligvis tilbyr og hvordan de jobber

Selskaper som spesialiserer seg på RAID-datagjenoppretting tilbyr vanligvis rask diagnose uten forhåndskostnaderspesielt når det gjelder kritiske servere eller NAS-enheter i produksjon. I noen tilfeller forplikter de seg til å vurdere problemet innen få timer, sende en mulighetsrapport og et fastpristilbud, og anvende en «ingen gjenoppretting, ingen gebyr»-policy.

En typisk tjeneste starter når kunden ber om en Gratis tilbud for å gjenopprette RAID-en dinI denne innledende fasen samles informasjon om typen array (RAID 0, 1, 5, 6, 10, JBOD osv.), antall disker, filsystemet (for eksempel ext4, Btrfs, XFS, HFS+, NTFS…), maskinvaren som er involvert (Synology NAS, QNAP, merkevareservere, SAN-arrayer…) og en detaljert beskrivelse av symptomene og tiltakene som er utført så langt.

Når studien er godkjent, administrerer selskapet vanligvis en Gratis henting av utstyr eller plater, med angivelse av nøyaktige emballasjeinstruksjoner: bruk antistatisk eller polstret innpakning, plasser enheten i en stiv eske med støtdempende materiale, forhindre at skivene beveger seg under transport og merk den godt med applikasjonsnummeret.

Når de er på laboratoriet, utfører teknikerne en fysisk og logisk diagnose av hver diskDe lager bit-for-bit-bilder når det er mulig, vurderer tilstanden til sektorene og bestemmer hvordan RAID-en skal rekonstrueres virtuelt. Først da presenteres et endelig tilbud med estimert prosentandel av gjenvinnbare data og veiledende tidslinjer for arbeidet.

Hvis klienten godkjenner, starter selve gjenopprettingsprosessen. Etter å ha stabilisert diskene og satt opp RAID-en i et kontrollert miljø, genererer spesialistene en liste over tilgjengelige filer. Frem til det tidspunktet har kunden vanligvis ikke betalt noe ennå.Bare hvis oppføringen er tilfredsstillende, kopieres dataene til et nytt medium (en ekstern disk, en erstatnings-NAS osv.) og sendes tilbake til kunden, nesten alltid inkludert frakt.

Grunnleggende: hvordan en RAID fungerer på innsiden

Et RAID-system er, enkelt sagt, et et sett med fysiske disker som presenteres for operativsystemet som én logisk enhetNøkkelen ligger i hvordan dataene distribueres og til slutt pariteten mellom diskene for å oppnå ytelse, kapasitet eller feiltoleranse, eller en kombinasjon av alle disse.

RAID-teknologi tillater fordel informasjonen i bånd eller blokker Disse dataene skrives parallelt på tvers av flere disker, noe som øker hastigheten på tilgangen ved å kombinere overføringer. I tillegg lagres redundante data (paritet) på bestemte nivåer for å beregne informasjonen på en sviktende disk på nytt uten avbrudd i tjenesten, forutsatt at feilgrensene som er spesifisert i arraydesignet ikke overskrides.

En annen viktig fordel er muligheten for bytte av varm disk I mange systemer kan en defekt disk fysisk fjernes og erstattes uten å slå av serveren eller lagringsarrayet, slik at kontrolleren kan rekonstruere de tapte dataene på den nye disken i bakgrunnen mens systemet fortsetter å operere.

Det finnes ikke et enkelt «perfekt RAID-nivå» for alle scenarier. Hvert nivå prioriterer en annen balanse mellom ytelse, sikkerhet og brukbar kapasitetDerfor er det så viktig å forstå hvilken type RAID som er konfigurert før du prøver noen reparasjons- eller gjenopprettingsoperasjon.

Når noe går galt, kan RAID-systemet vanligvis rekonstruere dataene hvis den planlagte feiltoleransen er oppfylt. Men når flere fysiske, logiske eller menneskelige problemer oppstår etter hverandre, kan arrayet miste koherens og ikke klare å gjenopprette seg selv, noe som krever ekspertinngripen.

Vanlige RAID-nivåer og deres egenskaper

Hvert RAID-nivå administrerer datapartisjonering og paritet mellom diskerDette fører til svært tydelige forskjeller i atferd ved feil. Å forstå disse forskjellene bidrar til å vurdere den faktiske risikoen for et havari og sannsynligheten for en vellykket gjenoppretting.

RAID 0, kjent for sin høye ytelse, distribuerer data i striper på tvers av minst to disker uten å lagre redundant informasjon. Dette betyr at Tap av en enkelt plate innebærer tap av hele volumetfordi deler av hver fil er spredt over alle stasjoner. Hovedfordelen er hastighet, men fra et datasikkerhetssynspunkt er den svært skjør.

RAID 1, eller speiling, vedlikeholder identiske kopier av informasjonen på to diskerHvis den ene feiler, fortsetter den andre å fungere sømløst. Den er enkel, pålitelig og tilbyr gode lesehastigheter, selv om den ofrer brukbar kapasitet, ettersom den tilgjengelige plassen tilsvarer plassen til en enkelt disk i paret. Ved gjenoppretting gjør det vanligvis mye enklere å ha minst én av diskene intakt.

Det finnes også nivåer som RAID 3 og RAID 4, mindre utbredt i dag, som kombinerer datadisker med en disk dedikert til butikkparitetI RAID 3 er tilgangen til datadiskene samtidig, og paritetsdisken blir en potensiell flaskehals, mens i RAID 4 er mer uavhengig tilgang til hver datadisk tillatt, noe som forbedrer ytelsen under visse arbeidsbelastninger.

RAID 5 er sannsynligvis den mest brukte i server- og NAS-miljøer. Den distribuerer data i striper på tvers av flere disker. blander inn paritetsblokker fordelt mellom alle enheteruten å dedikere en disk utelukkende til den funksjonen. Denne organiseringen tillater toleranse av en diskfeil og rekonstruering av informasjonen på en ny erstatningsdisk, forutsatt at det ikke oppstår en ny feil under rekonstrueringen.

RAID 6 tar sikkerhet et skritt videre. lagre to paritetsblokker for hvert datasettDette gjør at den kan motstå samtidig feil på opptil to disker uten datatap. Den krever mer diskkapasitet for paritet og mer datakraft, men gir til gjengjeld en mye større feilmargin i tilfelle kjedede feil, en høyt verdsatt funksjon i store arrayer.

I tillegg til disse «klassiske» nivåene finnes det kombinasjoner som RAID 10 (speiling + striping), RAID 50 eller 60, og lineære eller JBOD-konfigurasjoner, der Diskene er ganske enkelt sammenkoblet for å danne ett stort volumuten reell redundans. I ingen av disse tilfellene erstatter RAID et godt designet sikkerhetskopieringssystem.

Typiske RAID-systemfeil og når gjenoppretting blir komplisert

RAID-systemer har et rykte for robusthet, og med rette, men de er ikke immune mot problemer. I praksis oppstår det problemer. fysiske, logiske og menneskelige feilsom ofte blandes sammen og fører til delikate situasjoner fra et tilfriskningsperspektiv.

Fra et logisk synspunkt er en av de alvorligste hindringene tap eller korrupsjon av paritetsbåndNår metadataene som indikerer hvordan data distribueres og pariteten mellom disker forringes, kan ikke RAID-en lenger regenerere informasjonen på egenhånd, og ekstern inngripen er nødvendig for å finne og gjenoppbygge disse stripene manuelt eller halvautomatisk.

Når det gjelder maskinvare, viser statistikk at en liten prosentandel av disker i en gitt infrastruktur kan fysisk svikte hvert år, rundt 2–3 %. I en array med mange disker betyr dette at sjansene for at minst én svikter ikke er ubetydelige. Mekaniske feil, spenningstopper, feilaktig firmware, ekstreme temperaturer eller komponenter av dårlig kvalitet Dette er vanlige årsaker til fysiske hendelser.

Problemene forverres når det oppstår en ny feil under en gjenoppbygging, spesielt i RAID 5 eller konfigurasjoner med mange disker. Hvis en annen disk begynner å oppleve alvorlige feil mens systemet regenererer data fra en defekt disk, kan arrayet gå fra å være degradert til fullstendig utilgjengelig. Når mer enn forventet toleranse for skiver svikterDen interne logikken i RAID er ikke lenger tilstrekkelig, og avanserte gjenopprettingsteknikker må brukes.

Menneskelige feil fullfører miksen: utsettelse av utskifting av en harddisk som allerede ga advarsler, ignorering av kontrolleralarmer, Feilaktig avstengning av systemer under gjentatte strømbrudd, installere feil drivereÅ tvinge frem kontinuerlige omstarter eller bruke vedlikeholdsprosedyrer uten nylige sikkerhetskopier er praksiser som øker risikoen for datatap betraktelig.

Bruk av spesialisert programvare: et praktisk eksempel med R-Studio

Når RAID-en ikke lenger er tilgjengelig via den opprinnelige kontrolleren, er et av de tekniske alternativene rekonstruerer virtuelt matrisen med spesialisert programvareVerktøy som R-Studio lar deg oppdage RAID-er som fortsatt er konsistente som om de var normale volumer, og i mer alvorlige tilfeller, sette opp virtuelle RAID-er fra disker eller diskavbildninger.

Arbeidsprinsippet består i å lage en virtuell RAID basert på fysiske disker eller deres imagekopierDette gjøres ved å manuelt legge inn parametere som antall disker, blokkstørrelse, startforskyvning, RAID-type (0, 1, 4, 5, 6, 10, JBOD, ZFS RAIDZ, RAIDZ2, osv.) og diskrekkefølge. Når programvaren oppdager et gyldig filsystem, presenteres denne virtuelle RAID-en som et navigerbart volum hvorfra filer kan listes opp og gjenopprettes.

For eksempel, for en enkel RAID 5-matrise med tre disker med 64 KB-blokker og "asynkron venstre" paritetsrekkefølge, ville det være tilstrekkelig å velg de tre platene i riktig rekkefølgeAngi blokkstørrelsen, angi riktig forskyvning, og la verktøyet identifisere partisjonen. Derfra kan du åpne volumet, undersøke mappene, forhåndsvise filer (spesielt store) og bekrefte at strukturen er montert riktig.

I mer komplekse konfigurasjoner, som for eksempel en RAID 5 med 4KB-blokker og et tilpasset paritetsmønster, er det nødvendig definer en blokkordre-tabell manueltDette innebærer å legge inn, rad for rad, hvilken disk som inneholder hver datablokk eller paritetsverdi, og bekrefte at sekvensen er konsistent. Programvaren varsler deg når den oppdager uoverensstemmelser i denne tabellen, slik at de kan korrigeres før endringene implementeres.

En viktig forholdsregel er at disse virtuelle RAID-ene er rent logiske objekter i programvarenDe skriver ingenting til de originale diskene de ble laget fra. Dette tillater eksperimentering med forskjellige parameterkombinasjoner inntil den som gjenoppbygger filsystemet på riktig måte finnes uten risiko for å forverre skaden.

I tilfeller der en fysisk disk mangler, lar noen verktøy deg erstatte den med en "manglende disk" eller en tom blokk med plass, som simulerer oppførselen til en degradert RAID. Likevel, for at filgjenoppretting skal være pålitelig, må alle parametere være korrekte; en enkelt feil blokkstørrelse eller en feilberegnet offset kan ødelegge de utpakkede filene, derav viktigheten av teknisk ekspertise.

RAID-typer og deres oppførsel i møte med datatap

Utover de klassiske nivåene støtter dagens RAID-systemer et bredt utvalg av hybride og lineære konfigurasjonerHver av dem presenterer forskjellige utfordringer når det gjelder å gjenopprette informasjon etter en kritisk feil.

I en RAID 0-matrise (pure striping) fragmenteres data i små grupper som skrives sekvensielt til alle diskene i matrisen. Den totale kapasiteten er summen av alle diskene, men Det er ingen overflødighet av noe slagHvis en av diskene svikter, blir hele volumet ubrukelig, og det eneste gjenopprettingsalternativet involverer avanserte teknikker som forsøker å rekonstruere det som kan reddes fra de gjenværende diskene.

RAID 1 opprettholder alltid identiske kopier av alle data på hver disk i speiletDenne enkelheten er en stor fordel i gjenopprettingsprosesser, fordi hvis en av diskene forblir intakt, kan dataene nås direkte som om den var en uavhengig disk, eller innholdet kan kopieres til en ny stasjon og speilet kan lages på nytt senere.

I RAID-nivåer som RAID 4 og RAID 5, der paritet er fordelt forskjellig, er den brukbare kapasiteten vanligvis summen av alle diskene minus kapasiteten som tilsvarer én av dem. trenger å matematisk rekonstruere dataene på en disk fra paritet Dette er hva som kompliserer gjenoppretting når feil oppstår etter hverandre og flere disker går tapt enn designet tillater.

Lineære konfigurasjoner eller JBOD-konfigurasjoner (Just a Bunch Of Disks) grupperer flere disker av samme eller ulik størrelse for å danne én enkelt, større logisk enhet uten å distribuere data parallelt. De tilbyr ingen vesentlige ytelsesforbedringer eller redundans. Hvis en disk svikter, mister du tilgangen til hele volumet.I disse tilfellene innebærer gjenoppretting å jobbe på hver disk og manuelt rekonstruere innholdet fra segmentene som ikke har blitt påvirket.

Alle disse scenariene fremhever at uansett hvor avanserte lagringsteknologiene måtte være, Eksterne og verifiserte sikkerhetskopier er fortsatt viktige.RAID reduserer eller eliminerer nedetid i tilfelle visse feil, men det beskytter ikke mot utilsiktet sletting, logisk korrupsjon, skadelig programvare eller konfigurasjonsfeil som ødelegger informasjon på filsystemnivå.

Viktige tips for å minimere risikoer og beskytte dataene dine

Den første anbefalingen, uansett hvor opplagt den kan virke, er opprettholde en regelmessig sikkerhetskopieringspolicy som ikke er avhengig av selve RAID-en. Dette inkluderer servere, arbeidsstasjoner, smarttelefoner, NAS-systemer og alle andre enheter der verdifulle data er lagret. Bare på denne måten, i tilfelle en alvorlig feil, kan tjenesten gjenopprettes uten å være avhengig av at en rettsmedisinsk gjenoppretting lykkes.

Hvis en hendelse fortsatt inntreffer og det ikke finnes noen brukbar backup, er den mest fornuftige handlingen unngå ethvert forsøk på "hjemmelagde" reparasjoner Uten en klar forståelse av trinnene og konsekvensene av dem, anbefales det å konsultere spesialister på datagjenoppretting før du kjører verktøy for reparasjon av filsystemer, starter automatiske gjenoppbygginger eller bytter disker mellom brønner. Forklar situasjonen i detalj for dem.

Det er også essensielt vær oppmerksom på de tidlige tegnene på fiaskoDisker som begynner å vise omfordelte sektorer, kontrollere som genererer varsler, systemlogger med I/O-advarsler, lagringsarrayer som markerer en array som degradert ... Å ignorere disse symptomene på grunn av latskap eller frykt for å stoppe tjenesten er vanligvis opptakten til en mye mer alvorlig og kostbar feil.

Til slutt, når dataenes verdi er høy, er det verdt å ha identifisert på forhånd en pålitelig leverandør av datagjenopprettingNår tiden er inne, forkorter direkte kontakt reaksjonstiden, gir mulighet for å motta presise instruksjoner helt fra starten av, og øker sjansene for å lagre så mye informasjon som mulig.

Erfaringen som er samlet i utallige tilfeller viser at kombinasjonen av et passende RAID-design, pålitelige sikkerhetskopier, en rolig respons på feil og spesialstøtte når det er nødvendig, er det som virkelig utgjør forskjellen mellom en kontrollert skremsel og et katastrofalt datatap.