RAID 오류: 증상, 원인 및 데이터 손실 방지 방법

인포매텍 디지털 » Recursos » RAID 오류: 증상, 원인 및 데이터 손실 방지 방법

RAID 시스템은 성능 향상과 내결함성을 제공하기 때문에 서버, NAS 장치 및 스토리지 어레이 에서 널리 사용되고 있습니다 . 하지만 RAID 시스템이 안심을 주는 것은 사실이지만, 모든 문제를 해결해 주는 만능 해결책은 아닙니다. 제대로 관리되지 않은 장애는 재앙으로 이어져 단 몇 분 만에 데이터 손실을 초래할 수 있습니다.

RAID 시스템에서 비정상적인 증상이 나타나기 시작하면, 가장 중요한 것은 서둘러 조치를 취하는 것이 아니라 가장 신중하게 대처하는 것입니다. 고장 징후를 감지하고 무엇을 해서는 안 되는지 아는 것이야말로 단순한 디스크 교체와 복구 불가능한 데이터 손실 사이의 차이를 만들어냅니다. 이는 전문 연구실에서도 마찬가지입니다.

RAID 오류란 무엇이며, 백업과 다른 이유는 무엇입니까?

RAID(Redundant Array of Independent Disks)는 여러 디스크를 그룹화하여 사용 수준에 따라 가용성, 성능 및/또는 이중화를 향상시킵니다 . 고전적인 미러링 방식의 RAID 1부터 RAID 5, RAID 6, RAID 10과 같은 더욱 복잡한 구성까지, RAID의 핵심 아이디어는 하나 이상의 물리적 디스크에 오류가 발생하더라도 시스템이 계속 작동하도록 하는 것입니다.

문제는 많은 사람들이 "RAID가 있으니 백업도 되는 거야"라고 생각한다는 점인데, 이는 근본적인 오해입니다. RAID는 백업을 대체하는 것이 아닙니다 . RAID는 (RAID 레벨에 따라) 하나 이상의 디스크 오류로부터 데이터를 보호하지만, 논리적 손상, 사용자 오류, 랜섬웨어, 실수로 인한 데이터 삭제, 컨트롤러 또는 서버 오류로부터 데이터를 보호하지는 못합니다.

또한 컨트롤러 펌웨어를 포함한 컨트롤러가 데이터를 분산하는 방식 (디스크 순서, 스트라이프 크기, 패리티 알고리즘, 메타데이터 등) 때문에 어레이를 잘못 조작하면 디스크가 "겉보기에는" 정상인 경우에도 구조가 손상되어 복구가 매우 복잡해질 수 있습니다.

주요 RAID 레벨 및 복구에 미치는 영향

RAID 레벨마다 장애 발생 시 동작 방식이 다르며, 이는 데이터 복구 옵션에 상당한 영향을 미칩니다. 이러한 차이점을 이해하면 문제가 발생했을 때 위험한 결정을 내리는 것을 방지 할 수 있습니다.

RAID 0 배열에서는 데이터가 패리티나 미러링 없이 여러 디스크에 분산 저장됩니다. 어떤 종류의 데이터 중복성도 없기 때문에 , 디스크 하나라도 고장 나거나 성능이 크게 저하되면 각 파일의 핵심 부분이 손실되어 논리적 손실이 완전히 발생합니다. 따라서 "복구"라는 용어는 큰 의미가 없습니다. 가장 중요한 것은 물리적으로 손상된 디스크에서 복구 가능한 데이터를 최대한 복구하는 것입니다.

RAID 1 배열에서 디스크는 미러링됩니다. 즉, 각 드라이브에는 데이터의 완전한 복사본이 저장 됩니다 . 이 구성은 일반적으로 데이터 복구에 매우 안정적입니다. 단, 취급 오류(예: 다른 시스템에서 디스크 하나를 초기화하거나 호환되지 않는 컨트롤러에 디스크를 혼합하여 사용하는 경우)가 발생하지 않아야 합니다.

RAID 5는 데이터를 여러 드라이브에 분산시키고 분산 패리티를 계산하여 드라이브 하나에 장애가 발생하더라도 시스템을 유지할 수 있도록 합니다 . 하지만 재구축 중에 두 번째 드라이브에 문제가 생기면 상황이 달라집니다. 작업 부하가 급증하고 읽기 오류가 발생하며, 예고 없이 시스템이 다운될 수 있습니다.

RAID 6는 RAID 5와 유사하게 작동하지만 두 번째 패리티를 추가하여 최대 두 개의 디스크 오류를 허용할 수 있습니다 . 하지만 그 대신 아키텍처가 더 복잡해지고 재구축 시간이 더 오래 걸리며 논리적 또는 구성 오류가 발생할 경우 복구 작업이 더욱 어려워집니다.

RAID 10은 미러링과 스트라이프 구성을 결합합니다. 미러링된 디스크 쌍은 "스크래치"됩니다. 복구를 위해서는 디스크 순서와 미러링 및 스트라이프 간의 관계가 매우 중요합니다. 디스크 위치를 임의로 변경하거나, 아무런 정보 없이 재구축을 시도하면 모든 디스크가 물리적으로 정상이라 하더라도 어레이가 손상될 수 있습니다.

RAID 시스템이 고장 나기 시작했다는 명확한 징후

시스템이 완전히 고장나기 전에는 대개 일련의 단서를 남깁니다. 이러한 단서를 알아차리는 방법을 배우면 제때 문제를 해결하고 더 이상의 피해를 예방할 수 있습니다.

가장 확실한 징후 중 하나는 디스크에서 이상한 소음이 나는 것입니다. 반복적인 딸깍거림, 삐걱거림, 간헐적인 윙윙거림, 또는 이전에 없었던 금속성 소음 등이 나타날 수 있습니다. 이러한 소음은 일반적으로 읽기/쓰기 헤드나 플래터의 기계적 고장 , 또는 모터 문제를 나타냅니다. 이러한 소음을 무시하고 계속해서 강제로 읽기 작업을 수행하면 드라이브 상태가 매우 빠르게 악화될 수 있습니다.

또 다른 일반적인 징후는 NAS 또는 RAID 컨트롤러의 관리 콘솔에 "성능 저하됨", "실패" 또는 "심각" 메시지가 나타나는 것입니다. 이 메시지는 하나 이상의 디스크에 문제가 있는 것으로 표시되어 어레이가 의도된 이중화 없이 작동하고 있음을 의미합니다. 특히 RAID 5의 경우, 이 시점에서 두 번째 디스크 오류가 발생하면 시스템이 완전히 고장날 수 있습니다.

눈에 잘 띄지 않지만 마찬가지로 위험한 증상, 예를 들어 갑작스럽고 설명할 수 없는 성능 저하에 주의를 기울이십시오 . 특히 특정 볼륨이나 폴더에 접근할 때 읽기/쓰기 시간이 급격히 증가하는 경우, 컨트롤러가 읽기 어려운 섹터로 인해 어려움을 겪고 있거나 시스템에 과부하를 일으키는 지속적인 재시도 작업을 수행하고 있을 수 있습니다.

시스템 또는 컨트롤러 로그에는 종종 I/O 오류, 잘못된 패리티 메시지, "복구 불가능한 읽기 오류", "패리티 검사 실패" 또는 "불량 스트라이프 감지"와 같은 메시지가 표시됩니다. 시스템이 여전히 작동 중이더라도 읽기/쓰기 오류가 지속적으로 증가하는 것은 무시해서는 안 되는 위험 신호입니다.

또 다른 위험 신호는 디스크가 완전히 고장나지 않았 음에도 볼륨 성능이 저하된 것처럼 보이는 경우입니다 . 이는 일반적으로 RAID 메타데이터 또는 분산 블록의 논리적 손상을 나타내며, 이러한 상태에서 자동 재구축을 강제로 수행하면 손상이 전체 어레이로 확산될 수 있습니다.

RAID에서 발생하는 논리적 손상 및 숨겨진 문제의 증상

모든 RAID 오류가 디스크의 즉각적인 고장으로 이어지는 것은 아닙니다. 종종 문제는 점진적인 데이터 손상으로 , 상황이 복구하기 매우 어려워질 때까지 조용히 진행됩니다.

대표적인 예로는 파일 크기와 이름은 올바르지만 열리지 않거나, 포맷 오류가 있거나, 내용이 잘린 것처럼 보이는 파일이 있습니다. 마운트되지 않는 데이터베이스, 시작되지 않는 가상 머신, 또는 뷰어에서 거부하는 이미지는 일반적으로 디스크에 분산된 블록의 불일치를 나타냅니다.

운영 체제나 애플리케이션이 특정 RAID 볼륨에서 국부적인 속도 저하를 보이는 것은 흔한 일이며, 이때 CPU와 RAM에는 특별한 부하가 걸리지 않는 것처럼 보일 수 있습니다. 만약 속도 저하가 동일한 볼륨의 읽기/쓰기 작업에 집중된다면, 데이터 손상이나 불안정한 섹터가 원인일 가능성이 매우 높습니다.

또 다른 위험한 증상은 디스크 교체 후 시작되는 재구축 작업이 항상 같은 지점에서 중단되거나 , 이상한 오류가 발생하거나, 단순히 프로세스가 실패로 표시되는 것입니다. 이는 일반적으로 원본 블록이 이미 손상되어 컨트롤러가 새 디스크에 일관된 복사본을 생성할 수 없음을 나타냅니다.

때때로 특정 디스크 하나에서만 SMART 경고(재할당된 섹터, 높은 액세스 시간 등)가 발생할 수 있지만, 이러한 비정상적인 동작은 RAID 어레이 전체에서 감지될 수 있습니다. 이러한 경우, 불량 섹터가 있는 단일 디스크로 인해 전체 어레이의 일관성이 손상될 수 있으며, 특히 패리티 검사 또는 재구축이 시작될 때 더욱 심각한 문제가 발생할 수 있습니다.

이러한 경고를 무시하고 정상적으로 작업을 계속하거나, 더 나아가 검증, 대량 백업 또는 자동 재구축과 같은 고강도 작업을 강제로 수행하면 데이터 손상이 확산되어 유효한 블록이 손상된 데이터로 덮어쓰여질 수 있습니다 . 이 시점부터는 전문 도구를 사용하더라도 완벽한 복구를 보장할 수 없습니다.

컨트롤러, 서버 및 마더보드에서 흔히 발생하는 오류

디스크만이 전부는 아닙니다. RAID 컨트롤러, 마더보드, 심지어 서버 전체가 디스크가 정상이라도 어레이 오류를 일으키는 약한 고리가 될 수 있습니다.

RAID 컨트롤러는 전용 하드웨어이든 마더보드에 통합된 것이든 관계없이 각 블록이 기록되는 위치, 패리티 계산 방법, 볼륨 구성 방법을 결정하는 역할을 합니다 . 오류, 펌웨어 손상 또는 전력 서지가 발생하면 RAID 컨트롤러가 작동하지 않아 어레이가 사라지거나 "외부", "오프라인" 또는 이와 유사한 상태로 표시될 수 있습니다.

전용 하드웨어 컨트롤러의 경우, 모델과 제조사 간의 호환성이 거의 전무하다는 추가적인 문제가 있습니다 . 예를 들어 특정 Supermicro 컨트롤러가 고장 나면 단순히 "비슷한 것"으로 교체하는 것만으로는 충분하지 않습니다. RAID 메타데이터를 올바르게 읽으려면 펌웨어 버전이 유사한 정확히 동일한 모델이 필요한 경우가 많습니다.

일부 AMD 또는 Intel 칩셋 소프트웨어 RAID와 같은 통합 RAID 솔루션(소위 "가짜 RAID")의 경우, 마더보드 교체, BIOS 초기화 또는 CMOS 설정 손실로 인해 RAID 어레이가 작동 불능 상태가 될 위험이 있습니다. 많은 데스크톱 컴퓨터와 워크스테이션에서 마더보드 또는 CMOS 배터리 고장으로 인해 RAID 구성이 삭제되어 드라이브가 개별 장치로 남게 될 수 있습니다.

또한 서버 자체( 전원 공급 장치 , 메모리, 마더보드, 백플레인 등)는 전기적 문제, 과열 또는 하드웨어 결함으로 인해 고장날 수 있습니다. 이러한 경우 대부분 RAID에 접근할 수 없게 되지만 , 실제로는 적절한 전략을 사용하여 다른 시스템에 디스크를 연결하면 데이터를 복구할 수 있습니다.

설상가상으로, 시스템은 재시작하거나 부팅할 때마다 RAID 어레이를 "재조립"해야 합니다. 이 과정 중에 정전, 전압 급증 또는 구성 파일 (예: Linux의 mdadm.conf) 오류가 발생하면 시스템이 어레이를 잘못 구성하거나, 불완전하게 구성하거나, 단순히 인식하지 못하여 볼륨을 사용할 수 없게 될 수 있습니다.

RAID 어레이에서 데이터 손실이 발생하는 일반적인 원인

위에서 언급한 모든 사항을 고려해 볼 때, RAID 어레이는 매우 유용하지만 여전히 상당한 위험에 노출되어 있다는 것이 분명합니다. 이러한 환경에서 데이터 손실의 주요 원인은 일반적으로 물리적, 논리적, 그리고 인적 요인이 복합적으로 작용한 결과입니다.

가장 명백한 원인은 마모, 제조 결함, 진동, 온도 변화 또는 충격으로 인해 하나 이상의 디스크가 고장나는 것입니다. RAID는 이러한 상황 중 일부를 견딜 수 있도록 설계되었지만, 항상 손상 없이 작동하는 것은 아닙니다 . 손상된 섹터를 반환하기 시작한 디스크는 특히 검증 또는 재구축 프로세스 중에 인접한 디스크에 악영향을 미칠 수 있습니다.

또 다른 일반적인 문제 원인은 조립 또는 재구성 오류 입니다 . 시스템이 잘못된 매개변수로 어레이를 마운트하거나, 디스크 순서가 잘못되었거나, RAID 레벨이 원래와 다르거나, 마이그레이션이 실패한 경우 데이터가 쉽게 정렬되지 않을 수 있습니다. 실제로 볼륨이 RAW 상태로 표시되거나, 포맷이 필요하거나, 파일 구조가 일관되지 않게 나타날 수 있습니다.

서버 오류(메인보드, 펌웨어, 백플레인, SAS/SATA 컨트롤러 등) 또한 중요한 역할을 합니다. 서버가 갑자기 고장 나면 RAID 어레이에 접근할 수 없게 되어 시스템에서 데이터를 볼 수 없게 되는 경우가 매우 흔합니다 . 하지만 데이터는 물리적으로 디스크에 여전히 존재합니다.

이 모든 것에 더해 인적 요인도 고려해야 합니다. 문서화 없이 구성을 변경하거나, "테스트"를 위해 디스크 순서를 바꾸거나, 구성 백업 없이 BIOS를 업데이트하거나, 실수로 볼륨을 삭제하거나, 어레이의 일부였던 디스크에 운영 체제를 다시 설치하거나 , ​​손상된 RAID 에 손상되었거나 불완전한 백업을 복원하는 경우 등이 있습니다.

마지막으로, 랜섬웨어와 같은 외부 위협이 있는데, 이는 RAID 어레이에 저장된 볼륨의 데이터와 구조 모두를 암호화 할 수 있습니다 . 이러한 경우 복구 과정은 두 배로 복잡해집니다. 먼저 암호화를 해제해야 하고, 그 다음에는 RAID 자체의 내부 손상 가능성에 대처해야 합니다.

RAID 시스템에 문제가 발생하기 시작할 때 절대 해서는 안 되는 행동들

주말에 서버가 다운되고 모두가 불안해하는 상황에서 가장 흔한 반응은 누군가가 즉석에서 문제를 해결하려고 시도하는 것입니다. 이는 이해할 수 있는 반응이지만, 이러한 선의의 노력들이 결국에는 데이터를 더욱 악화시키는 결과를 초래하는 경우가 많습니다.

가장 위험한 것은 디스크의 실제 상태를 먼저 분석하지 않고 자동 재구축을 강제로 실행하는 것 입니다 . 디스크 중 하나에 손상된 데이터나 읽을 수 없는 섹터가 있는 경우, 재구축 과정에서 정상 데이터와 불량 데이터가 뒤섞여 볼륨 구조가 완전히 파괴될 수 있습니다.

또 다른 흔한 실수는 실제로 어떤 드라이브가 손상되었는지 확인하지 않고 , 각 드라이브의 원래 위치를 기록하지 않은 채 드라이브를 마구잡이로 교체하는 것입니다 . 드라이브를 베이 간에 이동하거나, 서로 다른 컨트롤러에 혼용하거나, 계획 없이 여러 개를 한꺼번에 교체하면 컨트롤러가 혼란에 빠져 RAID 어레이가 구성을 제대로 인식하지 못하게 될 수 있습니다.

손상 징후가 보이는 RAID 볼륨에서 Windows의 CHKDSK 또는 Linux의 fsck와 같은 도구를 직접 실행하는 것은 매우 위험합니다. 이러한 유틸리티는 손상되었을 수 있는 테이블을 기반으로 파일 구조를 "복구"하려고 시도하며 , 복구 과정에는 종종 항목 삭제, 블록 위치 변경 및 메타데이터 재작성이 포함됩니다. 이미 손상된 환경에서는 이러한 작업으로 인해 수천 개의 파일이 영구적으로 손실될 수 있습니다.

마찬가지로 위험한 것은 "모든 RAID 구성을 자동으로 설정해준다 " 고 광고하는 일반적인 RAID 복구 소프트웨어에 의존하는 것입니다 . 이러한 도구들은 대부분 표면적인 기능만 제공하며, 실제 RAID 구성에서 충족되지 않는 표준 스트라이프, 오프셋, 패리티 패턴을 가정합니다. 잘못 사용하면 중요한 섹터가 덮어쓰여지거나 디스크 상태가 처음 설치했을 때보다 악화될 수 있습니다.

마지막으로, 서버를 반복적으로 재시작하거나, NAS의 전원을 껐다 켜거나, RAID 어레이가 손상되었거나 패리티 오류가 있는 상태에서 계속 정상적으로 작업하는 것은 디스크 손상을 더욱 악화시키고, 더 많은 섹터를 재할당하며, 데이터 손상을 확산시킬 뿐입니다 . 최초 심각한 문제 발생 후 쓰기 작업이 많아질수록 전문가가 문제를 해결할 여지는 줄어듭니다.

RAID 오류 가능성을 감지했을 때 취해야 할 주의 사항

심각한 증상(노이즈, 상태 저하, 패리티 오류, 극심한 속도 저하, 재구축 실패 등)이 나타나면 속도를 늦추고 체계적으로 진행하는 것이 가장 현명한 방법입니다 . 지금 작성하거나 변경하지 않은 부분은 나중에 복구할 수 있을지도 모릅니다.

가장 먼저 해야 할 일은 어레이에 대한 모든 쓰기 작업을 즉시 중지하는 것입니다 . 데이터 복사, 새 가상 머신 생성, 대량 업데이트 등을 모두 중단해야 합니다. 볼륨에 여전히 접근 가능한 경우, 시스템에서 허용한다면 읽기 전용으로 마운트하는 것이 좋습니다.

다음으로, 현재 상태를 가능한 한 자세하게 기록해 두는 것이 좋습니다. BIOS 또는 NAS 인터페이스의 스크린샷, 디스크 목록과 물리적 위치, 일련 번호, 연결된 포트, 로그에 나타나는 정확한 오류 메시지 등을 기록해 두세요. 이러한 정보는 복구 연구실에서 원래 상황을 재구성할 때 매우 유용합니다.

RAID가 마운트되지 않거나 서버가 부팅되지 않는 경우, 디스크를 분리하여 다른 컴퓨터에 연결한 후 각 드라이브의 섹터별 포렌식 복사본을 만드는 기술적인 방법이 있습니다 . 읽기 전용 모드로 생성된 이러한 복사본을 사용하면 원본 디스크에 추가적인 손상을 주지 않고 나중에 클론에서 작업할 수 있습니다.

고급 지식, 특수 도구 및 통제된 환경을 활용하면 이러한 복제본으로부터 배열의 논리적 재구성을 시도하여 디스크 순서, 스트라이프 크기, 패리티 패턴, 오프셋 및 메타데이터를 추론할 수 있습니다 . 그러나 이는 매우 섬세한 역공학 작업입니다. 임의의 매개변수 변경을 포함한 시행착오는 데이터 해석 오류로 이어질 수 있습니다.

대부분의 기업 및 중요 환경에서는 가능한 한 빨리 전문 RAID 복구 서비스 업체에 연락하여 초기 지침을 따르는 것이 가장 안전한 방법입니다 . 복구 성공률은 일반적으로 복구 업체에 연락하기 전에 발생한 실패 횟수와 밀접한 관련이 있습니다.

전문 RAID 복구 연구소는 어떻게 운영될까요?

RAID 환경 전문 데이터 복구 서비스는 하드웨어 및 파일 시스템에 대한 심층적인 지식 과 자체 개발 도구 및 엄격한 절차를 결합하여 서비스를 제공합니다. 일반적으로 RAID 오류 발생 시 이러한 서비스를 통해 복구 작업을 진행합니다.

첫 번째 단계는 각 하드 드라이브에 대한 개별 진단을 수행하는 것입니다 . 드라이브의 기계적, 전자적, 논리적 상태를 점검하고, 불량 섹터를 식별하고, SMART 테이블을 검토하고, 단기 고장 위험을 평가합니다. 물리적 손상이 있는 드라이브는 클린룸에서 우선적으로 처리합니다.

다음으로, 관련된 모든 디스크의 포렌식 복제본을 생성합니다 . 원본 디스크를 직접 작업하는 대신, 심하게 손상된 섹터를 건너뛰거나 안전한 패턴으로 재시도할 수 있는 도구를 사용하여 섹터 단위로 복사본을 만듭니다. 목표는 필요한 경우 이전 단계로 되돌릴 수 있도록 원본 상태를 보존하는 것입니다.

클론이 준비되면 RAID의 논리적 재구성을 수동으로 수행합니다 . 레벨(0, 1, 5, 6, 10 등), 디스크 순서, 스트라이프 크기, 오프셋, 패리티 알고리즘 및 원래 컨트롤러의 기타 특성을 확인합니다. 대부분의 경우, 해당 볼륨을 생성한 컨트롤러나 NAS가 없더라도 재구성이 가능합니다.

재구성된 가상 볼륨이 일관성을 보이면 필요한 경우 파일 시스템 (NTFS, ReFS, ext4, XFS, Btrfs, ZFS, VMFS 등)을 복구합니다. 이 작업은 외과 의사의 수술과 유사합니다. 구조를 수정하고, inode 테이블, MFT, 슈퍼블록 또는 저널을 재구축하면서 항상 최소한의 변경만 하도록 노력합니다.

마지막으로 데이터가 추출되어 체계적으로 검증됩니다. 주요 데이터베이스, 가상 머신 및 중요 폴더의 일관성을 확인하고, 파일이 올바르게 열리는지 검증한 후, 데이터를 외장 하드 드라이브나 새로운 NAS와 같은 새롭고 격리된 저장 매체에 저장하여 고객이 복구 결과를 검토한 후 승인할 수 있도록 합니다.

랜섬웨어에 감염된 RAID, 이전 재구축 실패 또는 이미 손상된 어레이 내의 가상 볼륨과 같은 특히 복잡한 시나리오에서는 복호화 기술, 포렌식 분석 및 RAID 복구가 결합되지만 항상 동일한 규칙을 따릅니다. 즉, 원본 데이터를 필요한 범위 이상으로 건드리지 않아야 합니다.

궁극적으로 RAID 시스템은 데이터 가용성을 향상시키는 강력한 도구이지만, 물리적, 논리적, 그리고 인적 오류에 취약한 것은 사실입니다. RAID 시스템의 약점을 이해하고, 조기 경고 신호를 파악하며, 무엇보다 오류 발생 시 성급한 결정을 내리지 않는 것이 사소한 문제와 데이터 재앙을 구분하는 핵심입니다.