• Какие функции NTFS убрали в REFS?
• Что нового в REFS, чего нет в NTFS?
• Какие основные преимущества REFS перед NTFS?

Преимущества

Отказоустойчивость.

REFS поистине защищена от сбоев: Если мы рассматриваем простой том, то метаданные хранятся в двух экземплярах и контролируются контрольными суммами. перед каждой операцией чтения/записи, данные проверяюся на наличие ошибок и корректируются при необходимости. Раз в четыре недели запускается задание, в фоновом режиме сканирующее том на наличие повреждений. Исправления вносятся на лету. Поэтому при попытке натравить проверку диска на такой том, получим сообщение:

По умолчанию потоки целостности включены только для метаданных — это позволяет держать файловую систему в непротиворечивом состоянии. Однако, потоки целостности можно включить для всего тома или выбранных файлов/папок. В этом случае REFS гарантирует, что считанные данные являются тем, что Вы когда-то записали. Если контрольная сумма не совпадает — REFS сообщит об ошибке и удалит файл. Это будет сигналом к восстановлению файла из резервной копии: Вы точно знаете, что этот файл был поврежден.

Всё становится интересней, если потоки целостности для данных включены на томе с избыточностью: Четность, двух- или трехстороннее зеркало. В этом случае, обнаружив ошибку контрольной суммы REFS попробует восстановить данные.

Производительность.

Стоит так-же упомянуть и нововведения производительности:

• Четность с зеркальным ускорением позволяет эффективно хранить данные на томе, используя многоуровневое хранилище.
• Клонирование блоков обеспечит огромный прирост производительности снимкам виртуальных машин, особенно их слияние.
• Разреженный метод VDL позволяет мгновенно создавать фиксированные VHD диски большого размера.

Функции NTFS, недоступные в REFS

По разным причинам, функционал файловых систем отличается. Какие-то функции никогда в ней не появятся (например имена в формате 8.3), какие-то появляются в процессе развития. Например, дедупликация данных, недоступная ранее, появилась в версии 3.2. Подробнее о версиях и их поддержке хорошо написано в Википедии. Ниже я привел список

• Сжатие файловой системы
• Шифрование файловой системы (EFS)
• Транзакции
• Жесткие ссылки
• Идентификаторы объектов
• Короткие имена
• Расширенные атрибуты
• Дисковые квоты
• Загрузка операционной системы
• Поддержка файла подкачки
• Поддержка съемных дисков

Функции общие для REFS и NTFS

• Шифрование BitLocker
• Дедупликация данных ( Windows Server, v.1709 and later)
• Поддержка общих томов кластера
• Символические ссылки
• Поддержка отказоустойчивого кластера
• Списки управления доступом
• Журнал USN
• Changes notifications
• Точки соединения
• Точки подключения
• Точки повторного анализа
• Моментальные снимки томов
• Идентификаторы файлов
• Нежесткая блокировка
• Разреженные файлы
• Именованные потоки
• Тонкая подготовка
• Offloaded Data Transfer (ODX)
• Trim/Unmap

Функции, доступные только в REFS

• Клонирование блоков
• Разреженный метод VDL
• Четность с зеркальным ускорением

О причинах для перехода на эту файловую систему мы поговорим в другой раз.

Сегодня я расскажу как отформатировать том в файловой системе REFS. Я предполагаю, что вы уже прочитали мои прошлые заметки о Storage Spaces и умеете создавать том. Начиная с Windows 10 1709 Microsoft убрала поддержку создания и форматирования томов в файловой системе REFS. Теперь этот функционал доступен в Windows 10 Professional for Workstation и Windows 10 Enterprise. Но не было-бы этой заметки, если-бы не было вариантов обхода.

Способ первый: mkrefs

Разумеется нашелся умелец с GitHub, написавший mkrefs. Утилита проста в использовании, запускается из командной строки.

Способ второй: использование Hyper-V

Метод предполагает возможность запуска Hyper-V на компьютере, где предполагается форматировать диск. По сути, мы пробросим виртуальный том Storage Spaces внутрь виртуальной машины, где установлена Windows Server Insider Preview.

Для начала нам следует отключить том в операционной системе хоста через оснастку управления дисками.

diskmgmt.msc

Далее в параметрах виртуальной машины подключаем том.

У меня стоит Core версия Windows Server, но приведенные команды подойдут для любого случая. Откроем диспетчер дисков diskpart.

diskpart

Проверим список дисков. если у нужного диска статус «не в сети», выполняет команды: set disk; online

list disk

Выясняем номер нужного тома и выбираем его

list volume

Select volume

Форматируем том.

Format FS=REFS QUICK

Выключаем виртуальную машину и отключаем от неё диск. В оснастке управления дисками операционной системы хоста подключаем диск. Результат достигнут.

Фото не с просторов. Произошло у меня вчера на компьютере, где жена сидит. Пока писал пост про отказоустойчивое хранилище, навернулся диск. Благодаря отказоустойчивости у меня есть время рвать на попе волоса и срочно искать диск на замены. В противном случае, было-бы поздно что-то делать.

Предыдущие статьи по теме:

• Дисковые пространства Windows 10 1803
• Дисковые пространства: начало работы
• Дисковые пространства: работа с массивами

Давайте рассмотрим несколько аварийных ситуаций и посмотрим на поведение Storage Spaces в разных сценариях.

Отключение одного диска.

Мы имеем дисковый пул и на нем размещено все четыре вида тома: простой, двухстороннее зеркало, трехстороннее зеркало и четность.

Один диск из пяти выше отключен.

Тома четность, двухстороннее и трехсторонние зеркала перешли в состояние «предупреждение». Зеркальные тома продолжают нормально функционировать, четность работает очень медленно даже на чтение.

Обратите внимание на простой том. Система разрешает просмотреть файлы на нем. Сейчас произошел случай уникальный в том плане, что данные простого тома не находились на вышедшем из строя диске.

Отключение двух дисков из пяти.

Хотели жести? Держите. Из пяти дисков осталось три. Мы видим, что система разрешает просмотр файлов на томах. Повторюсь, это происходит из-за малого заполнения томов. Данные всё ещё доступны. Трехстороннее зеркало доступно на запись.

Отключение трех из пяти дисков

Давайте больше жести! Третий диск отключен. Тома перешли в состояние ошибки, данные недоступны для чтения

Восстановление целостности. Давайте рассмотрим варианты выхода из сложившихся ситуаций:

• Если мы отключили диски намеренно или случайно, вернем их системе.
• Если диск вышел из строя, добавляем новый. Затем удаляем старый.
• А теперь самое интересное: если для виртуальных томов есть запас по количеству дисков, можно перестроить массив, не добавляя новых дисков и исключив сбойный.

• Для этого количество дисков должно быть следующее:
• Трехстороннее > 5 дисков
• Четность > 3 Дисков.

Давайте вернем в систему — начнется синхронизация, данные стали доступны.

Замена диска на исправный

Относительно замены диска на исправный. Процедура скучная и описана в предыдущей заметке. Сначала диск добавляем, потом удаляем старый. При удалении диска выдает ошибку, но диск удаляет.

Сначала добавляем новый диск.

После окончания оптимизации (но можно в данном случае и без неё) подготавливаем диск к удалению.

Уменьшение количества дисков пула

А теперь моё любимое. Представьте себе ситуацию: вышел из строя диск. Виртуальные тома в состоянии «предупреждение». Данные в опасности, но запасного диска нет.

Важный момент. Если дисков на один больше, чем требует избыточность и свободного пространства пула достаточно, будет активна команда «удалить» напротив сбойного диска.

Помните первую статью? Суммарный объем томов может быть больше объема пула. При нехватке места можно будет добавить диски. Но это будет потом, а делать надо уже сейчас.

Следите за рукой.

Готово! Аварийная ситуация устранена, дополнительных дисков не потребовалось.

Остальные статьи по теме тут:

• Дисковые пространства Windows 10 1803
• Дисковые пространства: начало работы
• Дисковые пространства: обработка чрезвычайных ситуаций

Обновление пула.

Дисковые пространства обладают хорошей переносимостью. Переносить можно только сразу все диски пула. Более новые версии Windows поддерживают пулы более старых. Обратная совместимость не гарантируется.

Рассмотрим пример. Пул был создан в Windows 8 и перенесен в Windows 10 1803. Как мы видим, Windows 10 корректно определила пул и виртуальные диски в нем. Windows 10 поддерживает следующие новые функции работы с пулами:

• Оптимизация пулов
• Удаление дисков

Для активации перечисленных выше функций следует обновить пул. Следует помнить, что это прервет совместимость с Windows 8. Для обновления воспользуемся соответствующим пунктом.

Добавление дисков

При нехватке свободного пространства в пуле имеется возможность добавить новые диски. Информация на добавляемом диске будет уничтожена.

Если отмечена оптимизация использования дисков, то начнется процесс перераспределения данных между физическими дисками пула. Это обеспечит равномерную нагрузку на диски.

Виртуальные тома используют пространство пула наиболее равномерно. Но разные типы избыточности могут привести к неравномерному использованию пространства. При исчерпании свободного пространства на дисках требуется добавить диски и/или оптимизировать дисковое пространство.

При этом будет заблокирована запись на тома, для которых свободного пространства не хватает.

Удаление дисков

Начиная с Windows 10 появился функционал удаления дисков. Удаление дисков может использоваться в следующих случаях:

• Удаление изношенного диска
• При перемещении диска в другой пул
• При замене диска на более ёмкий

Перед удалением диска следует его освободить от хранящихся на нем данных. Для этого воспользуемся пунктом «Удалить из пула»  раздела «Физические диски».

После окончания оптимизации, удаляемый диск будет отмечен восклицательным знаком и следует окончательно его удалить.

Важно: для удаления диска данные с него будут перераспределены между другими дисками пула. Это значит, что в пуле должно быть достаточное количество свободного пространства и минимальное количество дисков исходя из выбранного типа избыточности. Например, если в пуле размещен виртуальный том с трехсторонним зеркалированием, то в пуле должно остаться не менее пяти дисков. На изображении ниже как раз такая ситуация.

Добавление виртуального тома

Новый том добавляется предельно просто. Требуется указать объём, выбрать букву и тип избыточности.

Удаление виртуального тома

Операция удаления виртуального тома приводит к уничтожению всего его содержимого. Операция необратима. Для удаления используется соответствующий пункт напротив тома.

Увеличение виртуального тома

Существует простой механизм мгновенного увеличения виртуальных томов. Для этого достаточно нажать кнопку изменить и указать новый размер.

Оптимизация

Иногда бывает, что система просит добавить ещё диски, но свободного пространства достаточно. Тогда следует обратить внимание на использование каждого диска пула. Пример, как проходит оптимизация, можно увидеть ниже.

Мы видим, что технология дисковых пространств позволяет работать с томами легко и непринужденно, абстрагируясь от дисков.

Остальные статьи по теме тут:

• Дисковые пространства Windows 10 1803
• Дисковые пространства: работа с массивами
• Дисковые пространства: обработка чрезвычайных ситуаций

Для начала возьмем компьютер с несколькими жесткими дисками. В моём случае это виртуальная машина.

Далее в панели управления найдем «Дисковые пространства» и приступим к созданию первого пула. Следует отметить те диски, что должны участвовать в пуле. Данные на дисках будут уничтожены. Это могут быть, как IDE, SATA, SAS, iSCSI, SCSI или USB диски любого размера.

Сразу после создания пула нам будет предложено создать первый виртуальный том. Из предыдущей заметки вы знаете о видах томов и скорее всего, знаете свой выбор. Вы можете выбрать тип устойчивости и букву с меткой тома. Вам следует указать размер тома. Это будет полезный размер тома. Этот объем будет доступен для данных. В поле ниже указан размер, занимаемый данными с учетом избыточности. Во избежание сложностей, советую задавать размер тома таким образом, что-бы пространства пула хватило для данных с избыточностью. Несложно рассчитать для случая, если томов будет несколько. Всегда можно увеличить объем тома.

После создания тома мы видим созданный дисковый пул и элементы управления томами.

Для наглядности я создал по одному тому каждого вида. Посмотрим, как это отразится в системе:

Как мы только что убедились, процесс создания дискового пула и виртуальных томов достаточно упрощен для пользователя. Есть конечно вариант создания через Power Shell, но об этом в другой раз.

Остальные статьи по теме тут:

• Дисковые пространства: начало работы
• Дисковые пространства: работа с массивами
• Дисковые пространства: обработка чрезвычайных ситуаций

Дисковые пространства — это технология, предоставляющая слой абстракции от дисковых накопителей. Она позволяет объединять жесткие диски в пулы накопителей и создать на них виртуальные тома.

Пулы

В системе Дисковых пространств диски объединяются в пулы. Дисковый пул имеет следующие особенности:

• Пул может содержать он одного до 240 дисков.
• В пул можно добавить или извлечь диск.
• Один диск может участвовать только в одном пуле.
• В одном пуле можно создать до 64 виртуальных томов.
• Процедура оптимизации перераспределяет данные виртуальных томов по физическим дискам.
• Объем виртуального диска может быть больше свободного места в пуле.
• При его исчерпании свободного пространства в пуле можно добавить в пул новые диски.
• Если свободное пространство закончится совсем, тома перейдут в режим «только чтение».
• Диски могут быть разных типов и размеров.

Виртуальные тома

Виртуальные тома — это логические тома, расположенные в пуле носителей. Тома бывают двух  типов подготовки: тонкая и фиксированная. Тонкая подготовка подразумевает постепенное выделение пространства пула по мере необходимости. Фиксированный том сразу занимает выделенное пространство. Фиксированные тома менее гибкие в работе. Из графического интерфейса всегда создается тома с тонкой подготовкой. Данные виртуальных томов распределяются равномерно по всем дискам пула

Тома бывают четырех видов:

Простой том

Простой том подразумевает отсутствие избыточности при хранении данных. Минимальное количество дисков в пуле для создания тома равно одному. Данный вид тома обеспечивает наивысшую производительность при наименьшей сохранности данных.

Двухстороннее зеркало

Двухстороннее зеркало обеспечивает сохранность данных при выходе из строя одного диска пула. В связи с избыточностью, данные занимают в два раза больше пространства пула. Обеспечивает высокую скорость доступа к данным даже в аварийном режиме. При замене неисправного диска восстановление занимает наименьшее время при минимальной нагрузке на систему. Минимальное количество дисков в пуле для создания тома равно двум.

Трехстороннее зеркало

Трехстороннее зеркало обеспечивает сохранность данных при выходе из строя двух дисков пула. В связи с избыточностью, данные занимают в три раза больше пространства пула. Минимальное количество дисков в пуле для создания тома равно пяти. Остальные характеристики как у предыдущего тома.

Четность

Данный вид тома является компромиссом между отказоустойчивостью и занимаемым свободным пространством. Обеспечивает сохранность данных при выходе из строя одного диска пула. В связи с избыточностью, данные занимают в полтора раза больше пространства пула. Однако, при восстановлении создается огромная нагрузка на ЦП и дисковую подсистему, что может спровоцировать сбой следующего диска. Восстановление такого тома при замене диска длится крайне долго. Доступ к данным в аварийном режиме затруднен. Я не рекомендую использовать этот тип тома ни для чего, кроме фильмов, музыки и папки с дистрибутивами. Почему? Спросите у Google, почему RAID-5 это плохо.

Подытожим сказанное выше графически:

Заметьте, Я специально указал версию Windows 10. Это имеет принципиальное значение — технология развивалась, начиная с Windows 8. В некоторых версиях Windows 10 так-же вносились какие-нибудь изменения.