Восстановление данных RAID массивов уровней 0, 1, 1E, 5, 5E, 5EE, 10, 50, 60

Поскольку RAID это сложное объединение отдельных дисков, то и неисправности массивов тоже могут быть вызваны как неисправностями дисков, так и RAID-контроллеров. Также им присущи все логические повреждения тома, т.к. с точки зрения операционной системы и прикладных программ RAID – это просто логический диск.

Неисправность RAID-контроллера

Хоть явление и редкое, но возможное. В самом простом случае, контроллер не появляется на экране начальной загрузки и соответственно не выводит список подключённых к нему дисков. Также возможен вывод разнообразных кодов ошибок (зависит от производителя), касающихся самого контроллера. Это то, что сразу бросается в глаза и легко диагностируется. Контроллер может не определять подключенные диски при исправности кабелей и нормальном определении дисков на другом контроллере (например, простом HBA), возможна блокировка дальнейшей загрузки сервера до удаления платы RAID-контроллера из системы.

Восстановление данных в таком случае возможно двумя путями. Самый очевидный – это замена контроллера. Но он не всегда самый простой. Т.к. заменять его нужно на полностью совместимый контроллер данной фирмы и желательно с такой же версией прошивки. Если контроллер отработал много лет, то за это время, как правило, может смениться несколько поколений контроллеров его уровня. Может смениться формат и размещение конфигурационной информации о массиве, хранимой на дисках. Всё это необходимо выяснять заранее.

Второй способ – это ручная сборка массива. Часто, это оказывается сделать быстрее, чем найти подходящий вариант замены контроллера, особенно, когда он снят с производства и уже давно не продаётся – актуально при смене интерфейса, например, с SCSI на SAS.

Логические повреждения файловой системы

Как правило вызываются программными сбоями, вирусами, неправильным использованием программ для создания резервных копий и пр. Дисковый массив при этом находится в рабочем состоянии (online, functional и пр., зависит от контроллера). Методы восстановления данных при этом такие же, как и при подобном сбое на одиночном диске с поправкой на особенности работы с серверным окружением. Если контроллер массива не возможно по каким-либо причинам использовать, то массив приходится виртуально воссоздавать в ручною без него, что существенно осложняет работу.

Повреждение поверхности дисков массива

Наиболее частая причина развала массивов это появление множественных bad-секторов на одном или нескольких дисках. При этом может возникнуть ситуация, когда контроллер по каким-либо причинам не отключит повреждённый диск от массива, который будет работать с ошибками чтения и записи. Либо контроллер может не заметить наличие в своём составе дисков с bad-блоками и тогда во время очередного ребилда массив не сможет завершить данную процедуру, что приведёт к остановке массива и переводу его контроллером в состояние «off-line». В этом случае необходимо создавать посекторные копии со всех дисков массива и воссоздавать его в ручную, используя соответствующие программно-аппаратные средства.

Повреждение логической структуры массива

Состояние массива, при котором контроллер не может объединить диски в соответствии со своими настройками. Является следствием повреждений дисков: одномоментных (повреждение блока магнитных головок, клин двигателя, электрический пробой платы) или накапливающихся (бэд-блоки, нестабильные сектора). Стабильность работы дисков в массиве зависит во многом от их предназначения, для стабильной и предсказуемой работы контроллера массива важно применять специально оптимизированные для данного применения диски. Применение дисков не предназначенных для работы в массиве ведёт, в первую очередь, к непредсказуемости поведения RAID-контроллера в случае нестабильной работы диска. Это может привести к неоднозначности состояния массива (работает – не работает).

Есть два основных состояния неисправного массива:

• «degraded», когда контроллер требует заменить сбойный диск, но массив ещё доступен для записи и чтения и
• «off-line», когда контроллер уже не может собрать диски в соответствии со своими настройками из-за выхода из строя критического количества дисков.

В состоянии «degraded» RAID-контроллер не в состоянии защитить данные, т.к. для работы выбранного алгоритма (RAID1, RAID10, RAID5, RAID6) не хватает дисков. Если поменять сломанный диск, контроллер запустит ребилд – пересчёт контрольных сумм с использованием нового диска. Это время (degraded плюс ребилд) является самым опасным для массива. Т.к. если обнаружатся повреждения ещё на одном диске массива до окончания процедуры, то ребилд прервётся и на дисках будет смесь из старых и новых данных. Восстановление при этом сопряжено с очень большими трудностями. Если нет уверенности в полной исправности остальных дисков массива, то, как ни странно, лучшим решением будет не запускать ребилд сразу, а либо скопировать с него данные, если они доступны, либо обратиться к специалистам по восстановлению данных до ребилда со всеми дисками массива, включая сбойный.

В состоянии «off-line» выбора, что делать с массивом нет. Т.к. если контроллер не собирает диски в единый том, то восстановить информацию можно только в ручную. Состояние «off-line» следует сразу после «degraded», на которое как часто бывает, иногда месяцами, а то и годами, не обращают должного внимания системные адсинистраторы. Поскольку массив при этом работает уже без защиты данных, то поломка ещё одного диска становится для него последней. Ребилд в такой ситуации запустить невозможно (для RAID6 состояние «off-line» - это более двух сломанных дисков), т.к. информация на предыдущем сломанном диске уже неактуальна. При этом, одна из задач, решаемых во время восстановления массива – поиск неактуального диска, что приводит к необходимости создавать посекторные копии со всех дисков, входивших когда-либо в этот массив. Это самая ответственная процедура – от полноты этих копий зависит качество восстановления, а иногда и сама его возможность. Поэтому доверять подобные процедуры случайным людям, не имеющим большого опыта в работе по восстановлению сложных массивов крайне не рекомендуется, если данные хранимые на массиве представляют ценность для владельца.


Если проблема с массивом зашла настолько далеко, что требуется восстановление информации с него, то полезно будет рассмотреть основные методы восстановления массивов. Возможность применения каждого из них зависит прежде всего от степени разрушения массива, состояния дисков и возможностей RAID-контроллера. Методов восстановления массивов существует два: программный и аппаратный.

Программное восстановление массива

Это основной метод восстановления, т.к. его применение возможно всегда и не зависит от возможностей RAID-контроллера, контроллер при этом вообще не нужен. Как следует из названия, восстановление массива основано на анализе содержимого дисков и виртуального восстановления структуры массива при помощи специализированного программного обеспечения и программно аппаратного комплекса PC3000 Data Extractor Express RAID Edition. Для этого требуется определить порядок дисков в массиве, т.к. он не всегда соответствует порядку подключения их к контроллеру, определить размер блока чередования массива с секторах – это общее для всех блочных массивов (RAID0, RAID5, RAID6). Для массивов с повышенной отказоустойчивостью (RAID1, RAID10, RAID5, RAID6) также, в зависимости от обстоятельств выхода из строя, необходимо найти актуальный набор дисков, т.к. массив мог некоторое время работать в состоянии «degraded» до полного отказа, что приводит к наличию диска, который давно выведен из массива контроллером и данные на нём являются устаревшими. При значительном количестве дисков в массиве это может занять существенное время. Само собой, все эти операции проводятся на посекторных копиях дисков массива, т.к. исходные, как правило, имеют повреждения, собственно и приведшие к разрушению RAID массива. Поэтому, создание посекторных копий дисков – это первый этап восстановления информации с массива. Сложность копирования дисков зависит от их повреждений. Для дисков с бэд-блоками – это одна проблема, для дисков с неисправным блоком магнитных головок – другая, более сложная. Отличие от восстановления одиночного диска с данными в том, что нельзя скопировать только ту часть диска, на которой хранятся пользовательские данные, нужно обязательно копировать весь диск, что может привести к необходимости неоднократной замены головок и значительному времени копирования.

Аппаратное восстановление массива

Подразумевает восстановление доступа к данным средствами самого RAID-контроллера. Возможность подобного восстановления напрямую зависит от встроенного программного обеспечения контроллера и наличия дополнительных опций по работе с массивами в состоянии «offline», т.е. для каждой марки и модели они отличаются от достаточно широких до полного их отсутствия. Вариантов восстановления, собственно, не так и много и все они довольно рискованны.

Во-первых, можно поменять статус вылетевших дисков с «offline» на «online», возможно, при этом том станет доступен. Скрытая угроза состоит в том, что данная опция может быть доступна для неактуального диска, т.е. вылетевшего ранее, и массив долго работал без него. Тогда на томе будет повреждённая файловая система, большое количество не открывающихся файлов, возможно отсутствие наиболее свежей информации, всё зависит от конкретной ситуации. А актуальный диск, при этом вообще может не получится принудительно включить в состав массива из-за его неисправности. Тогда нужно сделать посекторную копию предположительно актуального вылетевшего диска и подключить её к контроллеру. Копию нужно делать на точно такой же диск, как и неисправный. Результат этой процедуры будет зависеть также от возможностей контроллера, но скорее всего, он воспримет его, как инородный, не принадлежащий данному массиву. Тут можно перейти ко второму пункту.

Во-вторых, можно пересоздать массив с прежними параметрами, посекторной копией наиболее актуального диска и пустым вместо первого вылетевшего. Успех будет зависеть, в первую очередь, от самой возможности подобной операции. Необходимо, чтобы контроллер мог создавать массив без его инициализации, иначе он сотрёт всю информацию.

Все подобные операции крайне рискованны, т.к. состояние остальных дисков массива, которые контроллер считает рабочими, неизвестно и в любой момент может выйти из строя ещё один или несколько дисков.

Аппаратный способ восстановления RAID-массивов не менее, а то и более трудоёмок, чем программный. И на небольших массивах его применение нецелесообразно. Некоторый выигрыш может быть на массивах более шести дисков со сложной внутренней организацией, когда программная сборка становится крайне трудоёмкой и осложнённой необходимостью подключения большого количества дисков к одному компьютеру.

Внимание! На RAID массивах обычно хранится важная информация, поэтому мы настоятельно не рекомендуем предпринимать самостоятельные попытки восстановления если RAID массив всё-таки вышел из строя. Ни в коем случае нельзя на повреждённом RAID массиве запускать Rebuild или включать обратно в массив отключённые RAID контроллером повреждённые диски без предварительного создания полных посекторных копий всех дисков входящих в состав RAID массива.