RAID arızaları: belirtileri, nedenleri ve veri kaybını önlemenin yolları

Informatec Dijital » Ücretsiz Destekler » RAID arızaları: belirtileri, nedenleri ve veri kaybını önlemenin yolları

RAID sistemleri, artırılmış performans ve hata toleransı vaat ettikleri için sunucularda, NAS cihazlarında ve depolama dizilerinde yaygın hale gelmiştir . Ancak, gönül rahatlığı sağlasalar da, sihirli bir çözüm değillerdir: Kötü yönetilen bir arıza felakete yol açabilir ve sizi birkaç dakika içinde verisiz bırakabilir.

Bir RAID sistemi olağandışı belirtiler göstermeye başladığında, önemli olan en hızlı şekilde müdahale etmek değil, en dikkatli olmaktır. Arıza belirtilerini tespit etmek ve ne yapılmaması gerektiğini bilmek, basit bir disk değişimi ile profesyonel bir laboratuvar için bile tamamen ve kurtarılamaz bir veri kaybı arasında fark yaratır.

RAID hatası nedir ve yedekleme ile aynı şey değildir?

RAID (Bağımsız Disklerin Yedekli Dizisi), kullanılan seviyeye bağlı olarak daha yüksek kullanılabilirlik, performans ve/veya yedeklilik sağlamak için birden fazla diski gruplandırır . Klasik aynalı RAID 1'den RAID 5, RAID 6 veya RAID 10 gibi daha karmaşık yapılandırmalara kadar, amaç bir (veya daha fazla) fiziksel disk arızalansa bile sistemin çalışmaya devam etmesidir.

Sorun şu ki, birçok insan "RAID'im var, dolayısıyla yedeğim de var" diye düşünüyor ve bu temel bir hata. RAID yedeklemelerin yerini almaz : bir veya daha fazla diskin arızasına karşı koruma sağlar (RAID seviyesine bağlı olarak), ancak mantıksal bozulmayı, insan hatasını, fidye yazılımını, yanlışlıkla silmeleri veya kontrolcü veya sunucu arızalarını önlemez.

Dahası, denetleyicinin ( denetleyici bellenimi de dahil olmak üzere) verileri dağıtma şekli (disk sırası, şerit boyutu, eşlik algoritmaları, meta veriler vb.), dizinin yanlış manipülasyonunun yapıyı bozabileceği ve diskler "iyi görünse" bile kurtarmayı son derece karmaşık hale getirebileceği anlamına gelir.

Ana RAID seviyeleri ve bunların kurtarma üzerindeki etkisi

Her RAID seviyesi, arıza durumunda farklı davranır ve bu durum veri kurtarma seçeneklerini önemli ölçüde etkiler. Bu farklılıkları anlamak, bir sorun yaşandığında riskli kararlar vermekten kaçınmanıza yardımcı olur.

RAID 0 dizisinde, veriler eşlik veya aynalama olmaksızın birden fazla diske dağıtılır. Herhangi bir yedeklilik yoktur : tek bir disk arızalanırsa veya yeterince bozulursa, her dosyanın önemli bir kısmı eksik olduğu için mantıksal kayıp tamamen olur. Burada "yeniden yapılandırma"dan bahsetmek pek mantıklı değil; öncelik, fiziksel olarak hasar görmüş disklerden kurtarılabilecek olanı kurtarmaya çalışmaktır.

RAID 1 dizisinde diskler aynalanmıştır: her sürücü verilerin eksiksiz bir kopyasını içerir . Bu yapılandırma, herhangi bir işlem hatası yapılmadığı sürece (örneğin, disklerden birini farklı bir sistemde başlatmak veya uyumsuz denetleyicilerde karıştırmak gibi) veri kurtarma için genellikle oldukça güvenilirdir.

RAID 5, verileri birden fazla sürücüye dağıtır ve dağıtılmış eşlik (parity) hesaplaması yaparak bir sürücünün arızasına dayanabilir . Sorun, yeniden oluşturma sırasında ikinci bir sürücünün arızalanmaya başlamasıyla ortaya çıkar: iş yükü hızla artar, okuma hataları oluşur ve dizi uyarı vermeden çökebilir.

RAID 6, RAID 5'e benzer şekilde çalışır ancak ikinci bir eşlik diski ekleyerek iki diske kadar arızayı tolere edebilme özelliğine sahiptir . Buna karşılık, mimarisi daha karmaşıktır, yeniden oluşturma işlemleri daha uzun sürer ve mantıksal veya yapılandırma hataları kurtarma çabalarını daha da zorlaştırır.

RAID 10, aynalama ve şeritleri birleştirir: aynalanmış disk çiftleri "çizik" olarak kabul edilir. Kurtarma amacıyla, disklerin sırası ve aynalama ile şeritler arasındaki ilişki kritik öneme sahiptir; konumları karıştırmak veya körü körüne yeniden oluşturmak, tüm diskler fiziksel olarak sağlıklı olsa bile diziyi bozabilir.

RAID sisteminizin arızalanmaya başladığına dair açık işaretler

Bir sistem tamamen çökmeden önce genellikle bir dizi ipucu bırakır. Bunları tanımayı öğrenmek, zamanında durmanıza ve daha fazla hasarı önlemenize olanak tanır.

En belirgin işaretlerden biri, disklerden gelen garip seslerdir: tekrarlayan tıklamalar, gıcırtılar, aralıklı vızıltılar veya daha önce olmayan metalik sesler. Bu sesler genellikle okuma/yazma kafalarında veya disk plakalarında mekanik arızaları veya motorla ilgili sorunları gösterir. Bunları görmezden gelip okuma işlemlerine devam ederseniz, sürücünün durumu genellikle çok hızlı bir şekilde kötüleşir.

Bir diğer tipik işaret ise NAS veya RAID denetleyicisinin yönetim konsolunda "Düşük Performanslı", "Arızalı" veya "Kritik" mesajlarının görünmesidir. Bu mesaj, bir veya daha fazla diskin sorunlu olarak işaretlendiği ve dizinin amaçlanan yedeklilik olmadan çalıştığı anlamına gelir. Bu noktada, özellikle RAID 5'te, ikinci bir arıza bardağı taşıran son damla olabilir.

Daha az fark edilen ancak aynı derecede tehlikeli olan belirtilere dikkat edin; örneğin, performansta ani ve açıklanamayan bir düşüş . Özellikle belirli birimlere veya klasörlere erişirken okuma ve yazma süreleri hızla artıyorsa, denetleyici okunması zor sektörlerle mücadele ediyor olabilir veya sistemi aşırı yükleyen sürekli yeniden denemeler yaşıyor olabilir.

Sistem veya kontrolcü günlüklerinde genellikle G/Ç hataları, yanlış eşlik mesajları, "Kurtarılamaz Okuma Hatası", "Eşlik Kontrolü Başarısız" veya "Hatalı Şerit Algılandı" gibi mesajlar görülür. Sistem çalışmaya devam etse bile, okuma/yazma hatalarında sürekli bir artış , göz ardı edilmemesi gereken bir uyarı işaretidir.

Bir diğer uyarı işareti ise, hiçbir diskin tamamen arızalanmamış olmasına rağmen disk biriminin bozulmuş görünmesidir . Bu genellikle RAID meta verilerinde veya dağıtılmış bloklarda mantıksal bozulmaya işaret eder ve bu durumda otomatik yeniden oluşturma işlemi, bozulmanın tüm diziye yayılmasına neden olabilir.

RAID'de mantıksal bozulma ve sessiz sorunların belirtileri

Tüm RAID arızaları diskin anında "ölü" hale gelmesiyle sonuçlanmaz. Çoğu zaman sorun, durumun geri döndürülmesi çok zor hale gelene kadar sessizce ilerleyen kademeli bir veri bozulmasıdır .

Tipik bir örnek, mevcut gibi görünen, doğru boyut ve isme sahip ancak açılmayan, biçimlendirme hataları içeren veya kısaltılmış görünen dosyalardır . Bağlanamayan veritabanları, başlatılamayan sanal makineler veya görüntüleyicinin reddettiği resimler genellikle diskler arasında dağıtılan bloklardaki tutarsızlıkların göstergesidir.

İşletim sisteminin veya uygulamaların , işlemci ve RAM'in özellikle zorlanmadığı durumlarda bile, belirli RAID birimlerinde yerel yavaşlama göstermesi de yaygındır . Yavaşlama aynı birimdeki okuma/yazma işlemlerinde yoğunlaşıyorsa, büyük olasılıkla bozulma veya kararsız sektörlerle karşı karşıyasınız demektir.

Bir diğer tehlikeli belirti ise, disk değişiminden sonra başlayan yeniden oluşturma işlemlerinin her zaman aynı noktada durması , garip hatalar vermesi veya işlemi başarısız olarak işaretlemesidir. Bu genellikle kaynak blokların zaten bozulmuş olduğunu ve denetleyicinin yeni diskte tutarlı bir kopya oluşturamadığını gösterir.

Bazen yalnızca bir disk SMART uyarıları (yeniden tahsis edilmiş sektörler, yüksek erişim süreleri vb.) gösterir, ancak olağandışı davranış tüm RAID dizisinde fark edilir. Bu gibi durumlarda, özellikle eşlik denetimi veya yeniden oluşturma başlatıldığında, bozuk sektörlere sahip tek bir disk tüm dizinin tutarlılığını tehlikeye atabilir.

Bu uyarıları görmezden gelip normal şekilde çalışmaya devam etmek veya daha da kötüsü, doğrulama, toplu yedekleme veya otomatik yeniden oluşturma gibi yoğun görevleri zorlamak, bozulmayı yayabilir ve geçerli blokların üzerine hasarlı veriler yazabilir . Bu noktadan sonra, profesyonel araçlar bile tam bir kurtarma garantisi veremez.

Kontrolcülerde, sunucularda ve anakartlarda görülen tipik arızalar

Sorun sadece disklerle ilgili değil. RAID denetleyicisi, anakart veya hatta tüm sunucu, zincirin zayıf halkası haline gelebilir ve diskler sağlıklı olsa bile dizi arızalarına neden olabilir.

RAID denetleyicisi, ister ayrı bir donanım olsun ister anakarta entegre edilmiş olsun, her bloğun nereye yazılacağına, eşlik (parity) hesaplamasının nasıl yapılacağına ve birimlerin nasıl birleştirileceğine karar vermekten sorumludur . Bir arıza, bozuk bellenim veya ani bir güç dalgalanması onu devre dışı bırakabilir ve dizinin kaybolmasına veya "Yabancı", "Çevrimdışı" veya benzeri şekilde görüntülenmesine neden olabilir.

Özel donanım denetleyicileri söz konusu olduğunda, ek bir sorun daha ortaya çıkıyor: modeller ve üreticiler arasında neredeyse tamamen uyumsuzluk . Örneğin, belirli bir Supermicro denetleyicisi arızalanırsa, onu "benzer bir tane" ile değiştirmek yeterli değildir: RAID meta verilerini doğru şekilde okuyabilmesi için genellikle aynı modelin, benzer bir bellenim sürümüne sahip olması gerekir.

Bazı AMD veya Intel yonga seti yazılım RAID'leri gibi entegre RAID çözümlerinde ("sahte RAID" olarak da adlandırılır), anakart değişimi, BIOS sıfırlaması veya CMOS yapılandırmasının kaybı, dizinin çalışmaz hale gelmesine neden olabilir. Birçok masaüstü bilgisayar ve iş istasyonunda, anakart veya CMOS pil arızası RAID yapılandırmasını silebilir ve sürücüleri izole birimler olarak bırakabilir.

Ayrıca, sunucunun kendisi ( güç kaynağı , bellek, anakart, arka panel vb.) elektriksel sorunlar, aşırı ısınma veya donanım arızaları nedeniyle arızalanabilir. Bu durumların çoğunda, pratik sonuç RAID'e erişilemez hale gelmesidir ; ancak gerçekte, uygun bir stratejiyle başka bir sisteme bağlanan diskler verilerini kurtarabilir.

Daha da kötüsü, sistem her yeniden başlatıldığında veya önyüklendiğinde RAID dizisini "yeniden oluşturmak" zorundadır. Bu işlem sırasında elektrik kesintileri, voltaj dalgalanmaları veya yapılandırma dosyalarında (örneğin Linux'ta mdadm.conf) hatalar meydana gelirse, sistem diziyi yanlış bir şekilde oluşturabilir, eksik bırakabilir veya basitçe tanımayabilir ve bu da birimin kullanılamaz hale gelmesine neden olabilir.

RAID dizilerinde veri kaybının yaygın nedenleri

Yukarıda belirtilenlerin tümünü göz önünde bulundurduğumuzda, RAID dizilerinin çok kullanışlı olmakla birlikte, önemli risklere maruz kaldığı açıktır. Bu ortamlarda veri kaybının asıl gerçek nedenleri genellikle fiziksel, mantıksal ve insani faktörlerin bir kombinasyonudur.

En belirgin neden, aşınma ve yıpranma, üretim hataları, titreşimler, sıcaklık veya darbeler nedeniyle bir veya daha fazla diskin arızalanmasıdır. RAID, bu durumların bazılarına dayanacak şekilde tasarlanmış olsa da, her zaman yan hasar olmadan başarılı olamaz : Bozuk sektörler döndürmeye başlayan bir disk, özellikle doğrulama veya yeniden oluşturma işlemleri sırasında komşusunu da olumsuz etkileyebilir.

Sık karşılaşılan bir diğer sorun kaynağı ise montaj veya yeniden yapılandırma hatalarıdır . Sistem, diziyi yanlış parametrelerle, diskleri yanlış sırada, orijinalinden farklı RAID seviyeleriyle veya başarısız bir geçişten sonra bağlarsa, veriler kolayca hizasız hale gelebilir. Pratik olarak, disk birimi RAW olarak görünebilir, biçimlendirme gerektirebilir veya tutarsız dosya yapıları gösterebilir.

Sunucu arızaları (anakart, bellenim, arka panel, SAS/SATA denetleyici vb.) da önemli bir rol oynar. Olayların çok yüksek bir yüzdesinde, sunucu aniden arızalandığında, RAID dizisine erişilemez hale gelir ve veriler fiziksel olarak disklerde mevcut olsa bile sistem tarafından görülemez .

Tüm bunlara insan faktörlerini de eklemeliyiz: belgelendirme olmadan yapılandırma değişiklikleri, "test etmek için" disklerin yeniden düzenlenmesi, yapılandırmanın önceden yedeği alınmadan BIOS güncellemeleri, yanlışlıkla disk birimlerinin silinmesi, dizinin parçası olan disklere işletim sisteminin yeniden yüklenmesi veya aynı hasarlı RAID üzerinde bozuk veya eksik yedeklemelerin geri yüklenmesi.

Son olarak, RAID dizilerinde barındırılan birimlerin hem verilerini hem de yapılarını şifreleyebilen fidye yazılımları gibi dış tehditler de mevcuttur . Bu senaryolarda, kurtarma süreci iki kat daha karmaşık hale gelir: önce şifreleme ile başa çıkılmalı, ardından RAID'in kendisinde oluşabilecek olası iç bozulmalar ele alınmalıdır.

RAID sisteminiz arızalanmaya başladığında NELER YAPMAMALISINIZ?

Hafta sonu bir sunucu çöktüğünde ve herkes gergin olduğunda, en yaygın tepki birilerinin sorunu anında çözmeye çalışmasıdır. Bu anlaşılabilir bir durum, ancak bu iyi niyetli çabaların çoğu, sonuçta verilerin daha da kötüleşmesine neden oluyor.

En tehlikeli hata, disklerin gerçek durumunu analiz etmeden otomatik yeniden oluşturma işlemini zorlamaktır . Disklerden birinde bozuk veri veya okunamaz sektörler varsa, yeniden oluşturma işlemi bozuk verileri sağlam verilerle kopyalayıp karıştırarak diskin yapısını tamamen yok edene kadar devam eder.

Sık yapılan bir diğer hata ise, hangi sürücünün gerçekten hasarlı olduğunu bilmeden veya her sürücünün orijinal konumunu belgelemeden sürücüleri rastgele değiştirmektir . Sürücüleri yuvalar arasında taşımak, farklı kontrolcüler arasında karıştırmak veya plansız bir şekilde birkaçını birden değiştirmek, kontrolcüyü karıştırabilir ve RAID dizisinin yapılandırmasını kaybetmesine neden olabilir.

Windows'ta CHKDSK veya Linux'ta fsck gibi araçları, bozulma belirtileri gösteren bir RAID biriminde doğrudan çalıştırmak da çok risklidir. Bu yardımcı programlar, hasar görmüş olabilecek tablolara dayanarak dosya yapısını "düzeltmeye" çalışır ve düzeltmeleri genellikle girdileri silmeyi, blokları yeniden konumlandırmayı ve meta verileri yeniden yazmayı içerir. Zaten tehlikeye girmiş bir ortamda, bu durum binlerce dosyanın kalıcı olarak kaybolmasına neden olabilir.

Aynı derecede kötü olan bir diğer şey ise "herhangi bir RAID'i otomatik olarak kurmayı " vaat eden genel RAID kurtarma yazılımlarına güvenmektir . Bu araçların çoğu, her zaman karşılanmayan standart şerit, ofset ve eşlik kalıplarını varsayarak yüzeysel olarak çalışır. Yanlış kullanım, önemli sektörlerin üzerine yazılmasına veya disklerin ilk takıldıkları zamankinden daha kötü durumda kalmasına neden olabilir.

Son olarak, sunucuyu tekrar tekrar yeniden başlatmak, NAS'ı kapatıp tekrar açmak veya bozulmuş bir RAID dizisinde veya eşlik hataları olan bir dizide normal şekilde çalışmaya devam etmek, disklere daha fazla zarar verir, daha fazla sektörü yeniden tahsis eder ve bozulmayı yayar . İlk ciddi sorundan sonra ne kadar çok yazma işlemi yapılırsa, uzmanların manevra alanı o kadar azalır.

Olası bir RAID arızası tespit edildiğinde alınması gereken dikkatli adımlar

Ciddi belirtilerle (gürültü, bozulmuş durum, eşlik hataları, aşırı yavaşlık, başarısız yeniden oluşturmalar vb.) karşılaşıldığında, en akıllıca hareket tarzı yavaşlamak ve metodik bir şekilde ilerlemektir . Şimdi yazmadığınız veya değiştirmediğiniz şeyler daha sonra kurtarılabilir.

Öncelikle dizideki tüm yazma işlemlerini derhal durdurmalısınız : üzerine veri kopyalamayın, yeni sanal makineler oluşturmayın, toplu güncellemeler yapmayın. Eğer disk birimine hala erişilebiliyorsa, sistem izin veriyorsa salt okunur olarak bağlamak en iyisidir.

Ardından, mevcut durumu olabildiğince ayrıntılı bir şekilde belgelemek tavsiye edilir: BIOS veya NAS arayüzünün ekran görüntüleri, disklerin fiziksel konumları, seri numaraları, bağlı oldukları portlar, günlüklerde görünen hata mesajları vb. Bu bilgiler, orijinal senaryoyu yeniden oluştururken herhangi bir kurtarma laboratuvarı için paha biçilmezdir.

RAID'in bağlanamadığı veya sunucunun başlatılamadığı durumlarda, teknik bir seçenek diskleri çıkarıp başka bir bilgisayara bağlayarak her sürücünün sektör sektör adli kopyalarını oluşturmaktır . Salt okunur modda oluşturulan bu kopyalar, orijinal disklere daha fazla zarar vermeden daha sonra klonlar üzerinde çalışmanıza olanak tanır.

Gelişmiş bilgi, özel araçlar ve kontrollü bir ortam ile, bu klonlardan yola çıkarak dizinin mantıksal bir yeniden yapılandırılması denenebilir ve disk sırası, şerit boyutu, eşlik desenleri, ofsetler ve meta veriler çıkarılabilir . Ancak bu, hassas bir tersine mühendislik görevidir: rastgele parametre değişikliklerini içeren herhangi bir deneme yanılma, verilerin yanlış yorumlanmasına yol açabilir.

Çoğu işletme ve kritik ortam için en güvenli yol, mümkün olan en kısa sürede profesyonel bir RAID kurtarma servisiyle iletişime geçmek ve ilk talimatlarını takip etmektir. Başarı oranı genellikle laboratuvara ulaşmadan önce yapılan başarısız deneme sayısıyla yakından ilişkilidir.

Profesyonel RAID kurtarma laboratuvarları nasıl çalışır?

RAID ortamlarında uzmanlaşmış profesyonel veri kurtarma hizmetleri, donanım ve dosya sistemleri hakkındaki derinlemesine bilgiyi, özel araçlar ve titiz prosedürlerle birleştirir. Genel olarak, arızalı bir RAID vakası aldıklarında yaptıkları şey budur.

İlk adım , her bir sabit sürücü üzerinde ayrı ayrı teşhis işlemi gerçekleştirmektir : sürücülerin mekanik, elektronik ve mantıksal durumu kontrol edilir, bozuk sektörler belirlenir, SMART tabloları incelenir ve kısa vadeli arıza riski değerlendirilir. Herhangi bir sürücüde fiziksel hasar varsa, bunların temiz oda ortamında onarılması önceliklendirilir.

Ardından, ilgili tüm disklerin adli kopyaları oluşturulur . Orijinaller üzerinde çalışmak yerine, ciddi şekilde hasar görmüş sektörleri atlamaya veya güvenli desenlerle yeniden denemeye olanak tanıyan araçlar kullanılarak sektör sektör kopyalama yapılır. Amaç, işlemdeki önceki bir adıma geri dönmenin gerekmesi durumunda orijinal durumu korumaktır.

Klonlar hazır olduğunda, RAID'in manuel mantıksal yeniden yapılandırılması gerçekleştirilir : seviye (0, 1, 5, 6, 10, vb.), disk sırası, şerit boyutu, ofsetler, eşlik algoritmaları ve orijinal denetleyicinin diğer tüm özellikleri belirlenir. Çoğu zaman, birim, onu oluşturan aynı denetleyici veya NAS olmadan bile yeniden yapılandırılabilir.

Yeniden oluşturulan sanal birim tutarlı göründüğünde, gerekirse dosya sistemi onarılır : NTFS, ReFS, ext4, XFS, Btrfs, ZFS, VMFS ve diğerleri. Bu çalışma bir cerrahın çalışmasına benzer: yapılar düzeltilir, inode tabloları, MFT'ler, süper bloklar veya günlükler yeniden oluşturulur, her zaman mutlak minimum düzeyde değişiklik yapılmaya çalışılır.

Son olarak, veriler çıkarılır ve sistematik olarak doğrulanır. Ana veritabanlarının, sanal makinelerin ve kritik klasörlerin tutarlılığı kontrol edilir, dosyaların doğru şekilde açıldığı doğrulanır ve veriler, harici sabit diskler veya yeni bir NAS gibi yeni, yalıtılmış depolama ortamlarına aktarılır, böylece istemci kurtarmayı kabul etmeden önce inceleyebilir.

Özellikle karmaşık senaryolarda, örneğin fidye yazılımından etkilenen RAID'lerde, önceki yeniden yapılandırmaların başarısız olduğu durumlarda veya zaten hasar görmüş dizilerdeki sanal birimlerde, şifre çözme teknikleri, adli analiz ve RAID yeniden yapılandırması birleştirilir, ancak her zaman aynı kural geçerlidir: orijinal dosyalara kesinlikle gerekli olandan fazla dokunmayın.

Sonuç olarak, RAID sistemleri veri kullanılabilirliğini artırmak için güçlü bir araçtır, ancak fiziksel, mantıksal ve insan hatalarına karşı savunmasızdırlar. Zayıf yönlerini anlamak, erken uyarı işaretlerini belirlemek ve her şeyden önemlisi, bir arıza meydana geldiğinde dürtüsel kararlardan kaçınmak, küçük bir korku ile veri felaketi arasındaki farkı gerçekten yaratan şeydir.

İlgili makale:

Windows'ta sabit disklerinizin ve SSD'lerinizin sıcaklığını nasıl kontrol edebilirsiniz?