Какая файловая система на виндовс 10. Файловая система ReFS изнутри. Современная файловая система REFS: особенности и сюрпризы

Я уже анонсировал её когда-то в своём блоге, тогда о ней ещё толком ничего не было известно, и вот настало время для краткого, но более последовательного знакомства с новоиспеченной ReFS.

20 лет спустя

Однако у всего есть предел, и у возможностей файловых систем - тоже. Сегодня возможности NTFS подошли к своим границам: проверка ёмких носителей данных занимает слишком много времени, «Журнал» тормозит доступ, а максимальный размер файлов уже практически достигнут. Понимая это, Microsoft реализовала в Windows 8 новую файловую систему - ReFS (Resilient File System - отказоустойчивая файловая система). Считается, что ReFS обеспечивает лучшую защиту данных на ёмких и быстрых жестких дисках. Наверняка у нее есть и свои недостатки, но до начала по-настоящему массового использования в Windows 8 говорить о них трудно.

Так что пока попробуем разобраться во внутреннем устройстве и преимуществах ReFS.

Изначально ReFS была известна под кодовым названием «Protogon». Впервые о ней широкой публике примерно год назад рассказал Стивен Синофски - президент подразделения Windows в Microsoft, отвечающий за разработку и маркетинг Windows и Internet Explorer .

Рассказал такими словами:

«Сегодня система NTFS является наиболее широко используемой, передовой и функционально богатой файловой системой. Но переосмысливая Windows, а мы в данный момент разрабатываем Windows 8, - мы не останавливаемся на достигнутом. Поэтому вместе с Windows 8 мы также внедряем совершенно новую файловую систему. ReFS создана на основе NTFS, поэтому в ней сохранились важнейшие возможности совместимости, в то же время она разработана и спроектирована с учетом нужд нового поколения технологий и сценариев хранения данных.

В Windows 8, ReFS будет введена только как часть Windows Server 8, такой же подход мы использовали для внедрения всех предыдущих файловых систем. Конечно же, на прикладном уровне клиентам будет предоставляться доступ к данным ReFS такой же, как к данным NTFS. Нельзя забывать о том, что NTFS все еще является ведущей технологией в индустрии среди файловых систем для ПК».

Действительно, впервые ReFS мы увидели в серверной ОС Windows Server 8. Новая файловая система разработана все же не с нуля. Например для открытия, закрытия, чтения и записи файлов ReFS использует те же интерфейсы доступа API, что и NTFS. Также из NTFS перекочевали многие хорошо знакомые возможности - например, шифрование диска Bitlocker и символьные ссылки для библиотек. Зато исчезло, например, сжатие данных и ряд прочих функций.

Основные инновации ReFS сосредоточены в области создания структур файлов и папок, а также управления ими. Их задача - обеспечить автоматическое исправление ошибок, максимальное масштабирование и работу в режиме постоянной подключенности (Always Online).

Архитектура ReFS

Дисковая реализация структур ReFS кардинально отличается от других файловых систем Microsoft. Реализовать свои идеи разработчики Microsoft смогли, применив в ReFS концепцию B±деревьев, хорошо знакомую по базам данных. Папки в файловой системе структурированы в виде таблиц с файлами в качестве записей. Они, в свою очередь, получают определенные атрибуты, добавляемые в качестве подтаблиц, создавая иерархическую древовидную структуру. Даже свободное место на диске организовано в виде таблиц.

Наряду с реальной 64-битной нумерацией всех элементов системы это исключает появление «узких мест» при дальнейшем ее масштабировании

Как результат, ядром системы в ReFS стала таблица объектов - центральный каталог, в котором перечислены все таблицы в системе. Есть у такого подхода важное преимущество: ReFS отказалась от сложного управления журналом и фиксирует новую информацию о файле в свободном месте - это предотвращает ее перезаписывание.

«Листьями Каталога » являются типизированные записи. Для объекта-папки существуют три основных типа записей: описатель каталога, индексная запись и описатель вложенного объекта. Все такие записи упакованы в виде отдельного B±дерева, имеющего идентификатор папки; корень этого дерева является листом B±дерева «Каталога», что позволяет упаковать в папку практически любое количество записей. На нижнем уровне в листах B±дерева папки находится в первую очередь запись описателя каталога, содержащая основные данные о папке (имя, «стандартная информация», атрибут имени файла и т.д.).

Далее в каталоге помещены индексные записи : короткие структуры, содержащие данные об элементах, содержащихся в папке. Эти записи значительно короче, чем в NTFS, - это в меньшей степени перегружает том метаданными.

В конце помещены записи элементов каталога. Для папок эти элементы содержат имя паки, идентификатор папки в «Каталоге» и структуру «стандартной информации». Для файлов идентификатор отсутствует - вместо этого структура содержит все основные данные о файле, включая корень B±дерева фрагментов файла. Соответственно, файл может состоять практически из любого числа фрагментов.

Подобно NTFS, в ReFS принципиально различается информация о файле (метаданные) и содержимое файла (пользовательские данные). Однако защитные функции предоставляются и тем, и другим одинаково. Метаданные по умолчанию предохраняются с помощью контрольных сумм - такую же защиту (по желанию) можно дать и пользовательским данным. Эти контрольные суммы располагаются на диске на безопасном удалении друг от друга - так будет проще восстановить данные в случае возникновения ошибки.

Размер метаданных пустой файловой системы составляет порядка 0.1% от размера самой файловой системы (т.е. около 2 Гб на том 2 Тб). Некоторые основные метаданные дублируются для большей устойчивости от сбоев

Вариант ReFS, который мы увидели в Windows Server 8 Beta , имеет поддержку кластеров данных размером только 64 Кб и кластеров метаданных размером 16 Кб. Пока параметр «Размер кластера» при создании тома ReFS игнорируется и всегда принимается умалчиваемым. При форматировании файловой системы единственным доступным вариантом для выбора размера кластера также является 64 Кб.

Признаем: такого размера кластера более чем хватит для организации файловых систем любого размера. Побочным эффектом, правда, становится ощутимая избыточность при хранении данных (файл размером в 1 байт на диске займет полный блок 64 Кб).

Защищенность ReFS

С точки зрения архитектуры файловой системы ReFS имеет все требуемые инструменты для безопасного восстановления файлов даже после серьезного сбоя оборудования. Главный минус системы журналов в файловой системе NTFS и ей подобных - то, что обновление диска может повредить записанные ранее метаданные при сбое питания во время записи - этот эффект получил уже устойчивое название: т.н. «оборванная запись ».

Для предотвращения оборванных записей , разработчики из Microsoft избрали новый подход, при котором части структур метаданных содержат собственные идентификаторы, что позволяет проверить принадлежность структур; ссылки на метаданные содержат 64-бит контрольные суммы блоков, на которые производится ссылка.

Всякое изменение структуры метаданных происходит в два этапа. Сперва создается новая (измененная) копия метаданных в свободном дисковом пространстве, и только после этого, в случае успеха, атомарной операцией обновления ссылка переводится со старой (неизмененной) на новую (измененную) область метаданных. Здесь это позволяет обойтись без журналирования, автоматически сохраняя целостность данных.

Впрочем, описанная схема не применяется к пользовательским данным, так что любые изменения содержимого файла пишутся непосредственно в файл. Удаление файла производится перестроением структуры метаданных, что сохраняет предыдущую версию блока метаданных на диске. Такой подход позволяет восстанавливать удаленные файлы вплоть до их перезаписи новыми пользовательскими данными.

Отдельная тема - отказоустойчивость ReFS при повреждении диска. Система способна выявить все формы повреждений диска, включая потерянные или сохраненные не в том месте записи, а так же т. н. битовый распад (ухудшение состояния данных на носителе)

Когда включена опция «целостные потоки», ReFS проверяет по контрольным суммам также и содержимое файлов и всегда записывает изменения файлов в стороннем месте. Это дает уверенность в том, что существовавшие ранее данные не будут потеряны при перезаписи. Обновление контрольных сумм происходит автоматически при записи данных, так что если в ходе записи произойдет сбой, у пользователя останется доступная для проверки версия файла.

Еще одна интересная тема в вопросе безопасности ReFS - взаимодействие со Storage Spaces . ReFS и Storage Spaces разработаны так, чтобы взаимодополнять друг друга как два компонента единой системы хранения данных. Помимо улучшения производительности Storage Spaces защищают данные от частичных и полных сбоев диска за счет хранения копий на нескольких дисках. Во время сбоев при чтении Storage Spaces могут считывать копии, а при сбоях записи (даже при полной потере данных носителя при чтении/записи) возможно «прозрачно» перераспределять данные. Как показывает практика, чаще всего подобный сбой не имеет отношения к носителю - он происходит из-за повреждения данных, либо из-за потери данных или сохранения их не в том месте.

Как раз эти виды сбоев ReFS может обнаружить, используя контрольные суммы. Выявив сбой, ReFS связывается с Storage Spaces для того, чтобы считать все возможные копии данных, и выбирает нужную копию, основываясь на проверке контрольных сумм. После этого система дает Storage Spaces команду на восстановление поврежденных копий на основе верных копий. Все это происходит прозрачно с прикладной точки зрения.

Как указывается на сайте Microsoft, посвященном Windows Server 8 , контрольные суммы всегда включены для метаданных ReFS, и при условии, что том размещен на зеркальных Storage Spaces , включается также автоматическое исправление. Все целостные потоки защищены тем же способом. Это создает сквозное решение с высокой степенью целостности для пользователя, благодаря которому относительно ненадежное хранилище можно сделать весьма надежным.

Упомянутые целостные потоки защищают содержимое файла от всех видов повреждений данных. Впрочем, эта характеристика в некоторых случаях неприменима.

К примеру, для некоторых приложений предпочтительнее аккуратное управление хранением файлов с определенной сортировкой файлов на диске. Поскольку целостные потоки перераспределяют блоки каждый раз, когда содержимое файла изменяется, компоновка файлов для этих приложений слишком непредсказуема. Системы баз данных являются ярким тому примером. Как правило, такие приложения самостоятельно ведут учёт контрольных сумм содержимого файлов и имеют возможность проверять и исправлять данные путём прямого взаимодействия с интерфейсами API.

Как ReFS действует в случае повреждения диска или сбоя хранения, думаю, понятно. Сложнее бывает выявить и преодолеть потери данных, связанные с «битовым распадом », когда необнаруженные вовремя повреждения редко читаемых частей диска начинают интенсивно расти. К тому времени, как такие повреждения будут считаны и обнаружены, они могут уже затронуть копии, либо данные могут быть утрачены из-за прочих сбоев.

Чтобы преодолеть процесс битового распада , в Microsoft добавили фоновую системную задачу, которая периодически очищает метаданные и данные целостных потоков на томе ReFS, находящемся на зеркальном пространстве хранения. Очистка происходит посредством считывания всех лишних копий и проверки их на правильность с помощью контрольных сумм ReFS. Если контрольные суммы не сходятся, копии с ошибками исправляются с помощью годных копий.

Остается угроза, которую можно условно назвать «страшный сон сисадмина». Бывают случаи, хоть редкие, когда может быть поврежден даже том на зеркальном пространстве. Например, память неисправной системы может повредить данные, которые затем могут оказаться на диске и повредить избыточные копии. Кроме того, многие пользователи могут решить не применять зеркальные пространства хранения под ReFS.

Для таких случаев, когда том повреждается, ReFS выполняет «восстановление» - функцию, которая удаляет данные с пространства имен в рабочем томе. Ее задача - предотвратить неисправимые повреждения, которые могли бы оказать влияние на доступность верных данных. Например, если единственный файл в директории получил повреждение и не может быть автоматически восстановлен, ReFS удалит этот файл из пространства имен файловой системы, восстановив оставшуюся часть тома.

Мы привыкли к тому, что файловая система не может открыть или удалить поврежденный файл, и администратор не может ничего с этим поделать.

Но поскольку ReFS может восстанавливать поврежденные данные, администратор сможет восстановить этот файл из резервной копии, или при помощи приложения создать его заново, избежав необходимости выключить систему. Это означает, что пользователю или администратору больше не потребуется проводить процедуру проверки и исправления диска в автономном режиме. Для серверов это дает возможность развертывать обширные тома данных без риска долгих периодов автономной работы из-за повреждений.

ReFS на практике

Конечно, о практичности и удобстве (или обратных качествах) ReFS можно будет судить только после того, как компьютеры с Windows 8 получат широкое распространение и пройдет не менее полугода активной работы с ними. Пока же у потенциальных пользователей «восьмерки» больше вопросов, чем ответов на них.

Например, такой: можно ли будет в Windows 8 легко и просто конвертировать данные из системы NTFS в ReFS и наоборот? Представители Microsoft заявляют, что никакой встроенной функции для преобразования форматов не предполагается, но информацию все же можно будет копировать. Область применения ReFS очевидна: поначалу она может использоваться лишь как крупный диспетчер данных для сервера (собственно, уже используется). Внешних накопителей с ReFS пока не будет - только внутренние. Очевидно, со временем ReFS будет оснащена большим количеством функций и сможет заменить устаревшую систему.

В Microsoft говорят, что вероятнее всего, это произойдет уже с выходом первого пакета обновлений для Windows 8

Также в Microsoft утверждают, что протестировали ReFS:

«используя сложный обширный набор десятков тысяч тестов, которые создавались для NTFS в течение более чем двух десятилетий. Эти тесты воссоздают условия развертывания в усложненном виде, с которыми, как мы думаем, система может столкнуться, например, при сбое питания, при проблемах, часто связанных с масштабируемостью и производительностью. Следовательно, можно сказать, что система ReFS готова к тестовому развертыванию в управляемой среде».

При этом, правда, разработчики признают, что будучи первой версией крупной файловой системы, вероятно ReFS потребует осторожности в обращении:

«Мы не характеризуем ReFS для Windows 8 как бета-версию. Новая файловая система будет готова к выпуску, когда Windows 8 выйдет из стадии „бета“, потому что нет ничего важнее, чем надежность данных. Итак, в отличие от любого другого аспекта системы, здесь необходим консервативный подход к первоначальному использованию и тестированию».

Во многом именно по этой причине вводиться в обиход ReFS будет согласно поэтапному плану. Сперва - в качестве хранилищной системы для Windows Server, затем - как хранилище для пользователей, и уже в итоге - как загрузочный том. Впрочем, аналогичный «осторожный подход» при выпуске новых файловых систем использовался и раньше.

Первые наработки файловой системы ReFS появились в 2012 году непосредственно в Windows Server 2012. Сейчас же технология наблюдается в операционных системах Windows 8 и 10, как замена NTFS. Необходимо разобраться, в чем ReFS лучше других файловых системах и можно ли е применять на домашних компьютерах.

Понятие ReFS

ReFS (Resilient file system ) – представляет собой отказоустойчивую технологию, пришедшую на замену NTFS. Призвана устранить недостатки предшественницы и уменьшить количество информации, которая может быть потеряна при различных операциях. Поддерживает работу с файлами большого объема.

Итак, одной из преимуществ технологии – высокая защищенность данных от уничтожения. На носителях располагаются контрольные суммы и метаданные, призванные определить целостность данных на разделах. Проверка происходит при операциях чтения/записи и сразу обнаруживает поврежденные файлы.

Преимущества ReFS

В файловой системе (ФС) ReFS существуют следующие особенности:

Большая производительность;
Улучшение возможностей по проверке носителя на наличие ошибок;
Низкая степень потери данных при появлении ошибок файловой системы и bad-блоков;
Осуществление шифрования EFS;
Функционал дисковых квот;
Увеличенный максимальный предел файла до 18,3 Эб;
Увеличенное количество хранимых в папке файлов до 18 трлн.;
Максимальный объем диска до 402 Эб;
Количество символов в имени файла увеличено до 32767.

Возможностей, конечно много, но это еще не всё. Правда, стоит разобрать один момент, насколько же все эти преимущества будут полезны обычному пользователю?

Для пользователя, работающего за компьютером дома, полезным окажется, разве что, быстрая скорость проверки разделов на ошибки и уменьшение потери файлов в случае этих ошибок. Конечно, в данном случае безопасность осуществляется только на уровне файловой системы, то есть она решает только свои проблемы, а проблема потери важных файлов все еще остается актуальным вопросом. К примеру, это может произойти из-за поломки жёсткого диска. Наибольший эффект технология проявляет в .

Преимуществом RAID является высокая отказоустойчивость и сохранность данных, а также высокая скорость работы, самыми используемыми уровнями RAID являются 1 и 2. Недостатки системы – большие затраты средств на покупку оборудование, а еще время, потраченное на реализацию. Думаю, что обычному пользователю это ни к чему, если он не создает домашний сервер, работающий 24 на 7.

Проведение тестов на основе ReFS и NTFS

С использованием программных средств удалось выяснить, что использование файловой системы ReFS по сравнению с NTFS не дает ощутимого роста производительности. Тесты на основе похожих циклов чтения и записи, происходящих на одном и том же диске и размеров файлов утилита Crystal Disk Mark показала идентичные результаты. Небольшое преимущество было у ReFS при копировании файлов маленького размера.

Были тесты и при использовании файлов большого объема, а в качестве подопытного кролика использовали медленный раздел жёсткого диска. Результаты оказались неутешительными, так как ReFS показала более низкие показатели по сравнению с NTFS.

Спору нет, технология еще сыра, показатели были проведены в конце 2017, но в Windows 10 технология может получить широкое применение. Лучшим вариантом использования ФС будет на основе SSD – твердотельных накопителей. Эти диски лучше HDD практически во всем.

Преимущества ReFS для других пользователей

В системе есть такая функция, как гипервизор – Hyper-V. Данная технология является виртуальной машиной. При использовании раздела, отформатированного в ReFS появилось преимущество в скорости работы. Так как ФС использует контрольные суммы и метаданные, ей достаточно сослаться на них при копировании файлов, при совпадении, физически копировать данные не приходится.

Создание виртуальных дисков в ReFS занимает секунды. В NTFS этот процесс длится минуты. Фиксированные виртуальные диски в NTFS создаются задержками и сильно нагружают жёсткий диск, с SSD это еще большая проблема, так как большое количество циклов перезаписи для носителя «смертельно». Из-за этого работать на фоне с другими приложениями будет проблематично.

Также планируется, что высокая степень совместимости ReFS будет наблюдаться с такими виртуальными машинами, как и VMware.

Недостатки файловой системы ReFS

Выше мы разобрались с достоинствами технологии ReFS и немного затронули минусы. Поговорим о недостатках подробнее. Надо понять, что пока Microsoft не внедрит технологию в Windows, никакого развития не будет. Сейчас мы имеем такие особенности:

Существующие разделы Windows не подлежать для использования ReFS, то есть необходимо использовать только не использованные под систему разделы, например, те, которые предназначены для хранения файлов.
Внешние накопители не поддерживаются.
Преобразовать NTFS диск в диск ReFS без потери данных невозможно, только форматирование и резервное копирование важных файлов.
Не всё программное обеспечение способно распознать эту ФС.

Вот такие дела. А теперь посмотрите на изображение ниже. Эта Windows 7 и здесь ФС не распознается, а при открытии раздела появляется ошибка.

В Windows 8 потребуется форматирование раздела, так как ФС также не распознается. Прежде чем использовать новую файловую систему на домашнем ПК, лучше несколько раз подумать о последствиях. В Windows 8.1 проблема решается активацией ФС с помощью редактора реестра, но такое не всегда срабатывает, тем более, использование ReFS подразумевает форматирование диска с уничтожением данных.

Некоторые проблемы возникают в Windows 10. Если новый раздел с ReFS работает стабильно, то существующий, который отформатировали в неё, Windows не распознается.

Как форматировать диск или раздел в ReFS

Допустим, пользователь наплевал на недостатки и недоработки новинки. Бог с вами, друзья, приступим к разбору инструкции по форматированию раздела в ReFS. Подскажу одну вещь, если вдруг случится неприятность и раздел откажет, для восстановления можно использовать инструмент R-Studio.

Для форматирования достаточно проделать следующую процедуру:

Открываем «Этот компьютер» и нажимаем правой кнопкой мышки по нужному разделу;
В контекстном меню жмём пункт «Форматировать»;
В открывшемся окне в поле «Файловая система» находим REFS;
Нажимаем кнопку «Начать» и ждём.

То же самое можно проделать, используя командую строку, где поочередно надо вводить такие команды:

diskpart – утилита для работы с дисками;
lis vol – отобразить все разделы компьютера;
sel vol 3 – где 3 номер нужного тома;
format fs=refs – форматирование в нужную файловую систему.

Как включить ReFS с помощью реестра

Если у вас нет ничего, что указывало бы на ФС, возможно, её необходимо включить. Для этого нам понадобится редактор реестра. Процедура исправно срабатывает на Windows 8.1 и 10:

Запускаем редактор реестра (Win+R и вводим regedit);
Переходим в эту ветку — HKEY_LOCAL_MACHINE\SYSTEM \CurrentControlSet\Control\FileSystem;
В правой части окошка создаем параметр DWORD 32 бита, с названием RefsDisableLastAccessUpdate;
В качестве значения вписываем цифру 1.
Находим ветку HKEY_LOCAL_MACHINE\SYSTEM \CurrentControlSet\Control;
Создаем раздел с именем MiniNT, в итоге путь до него должен быть таким: «…\ CurrentControlSet\Control\MiniNT»;
В нем создаем параметр DWORD 32 бита и называем его AllowRefsFormatOverNonmirrorVolume;
Значение должно быть 1.

Как видите, возможность использовать ReFS существует, но пока что пользоваться ей не рекомендуется, тем более для домашнего компьютера это не имеет смысла. Восстановить потерянные файлы будет проблематично, да и не все программы понимают ФС.

Скорее всего, наибольшее развитие технология получит на серверах, но это будет не скоро. Если вспомнить появление NTFS, то на полное её внедрение ушло около семи лет. Больше информации можно найти на официальном сайте Microsoft — https://docs.microsoft.com/ru-ru/windows-server/storage/refs/refs-overview . А пока что вы можете следить за новыми IT технологиями на нашем сайте, не забывайте подписываться.

Способ хранения чего бы то ни было обычно всегда подразумевает некую упорядоченность, но если в человеческом быту она не является обязательным условием, то в мире компьютеров хранение данных без нее практически невозможно. Свое отражение эта упорядоченность нашла в файловой системе – понятии знакомом большинству пользователей разных электронных устройств и операционных систем.

Файловую систему можно сравнить с некой разметкой, определяющей, как, где и каким способом должен быть записан на носитель каждый байт. Появившиеся на заре электронной эры первые файловые системы были весьма несовершенны, как, например, Minix – файловая система, имеющая массу ограничений и используемая в одноименной операционной системе Minix, ставшей впоследствии прообразом ядра Linux.

Но время шло, появлялись новые файловые системы, более совершенные и стабильные. Сегодня самой востребованной из них, по крайней мере среди пользователей Windows, является NTFS, пришедшая на смену FAT32, используемой ныне разве что во флеш-накопителях малого объёма и имеющей немало недостатков, из коих наиболее значительным считается невозможность записи файлов размером более 4 Гб. Впрочем, не лишена их и NTFS. Так, по мнению многих специалистов, ей не хватает экономичности, производительности и стабильности, следовательно, пришла пора подумать о создании еще более совершенной файловой системы, способной удовлетворить растущие требования со стороны сначала серверных, а за ними и клиентских систем.

И вот, в 2012 году разработчики Microsoft представили Resilient File System или сокращенно ReFS –восстанавливаемую файловую систему, позиционируемую в роли альтернативы NTFS, а в будущем, возможно, и ее замены. По сути, ReFS является продолжением развития NTFS, из коей было принято решение удалить все лишнее, так и не ставшее востребованным, а вместо него добавить новые фичи.

Новое в Resilient File System:

Архитектура с использованием функции (дисковые пространства)
Высокая отказоустойчивость. Ошибки файловой системы, которые в NTFS приводили к потере данных, в ReFS будут сведены к минимуму
Изоляция поврежденных участков. В случае повреждения областей файловой системы доступ к записанным данным можно будет получать из-под работающей Windows
Упреждающее исправление ошибок. Автоматическое сканирование томов на предмет повреждений и применение профилактических мер по восстановлению данных
Автоматическое восстановление вложенных папок и связанных с ними файлов при повреждении метаданных
Использование избыточной записи для повышения отказоустойчивости
Максимальный размер тома в ReFS может достигать 402 Эбайт против 18,4 Эбайт в NTFS
На отформатированный в ReFS можно записать файл размером 18,3 Эбайт
Количество файлов в одной папке – 18 трлн. против 4,3 млрд. в NTFS
Длина имени файла и пути к нему – 32767 против 255 в NTFS

Что будет удалено:

Поддержка компрессии данных
Шифрование данных с использованием технологии EFS
Расширенные атрибуты файлов
Жесткие ссылки
Дисковые квоты
Поддержка коротких имен и ID-объектов
Возможность изменения размера кластера (остается под вопросом)

Что будет унаследовано от NTFS:

Списки контроля доступа (ACL)
Создание снимков тома
Точки монтирования
Точки повторной обработки
Шифрование BitLocker
Создание и использование символьных ссылок
Запись всех происходящих в файловой системе изменений (журнал USN)

В настоящее время ReFS находится в стадии раннего тестирования, тем не менее, компьютерные гики могут оценить преимущества ReFS уже сейчас, причем на клиентской системе Windows 8.1 или 10. Для этого нужно будет выполнить следующий твик реестра:

Однако пользоваться ReFS на постоянной основе не рекомендуется. Во-первых, система еще недоработана, во-вторых, какая-либо возможность конвертации в ReFS и наоборот сторонними программами отсутствует, в-третьих, если вы случайно потеряете или удалите с отформатированного в ReFS раздела файлы, восстанавливать их будет нечем, так как программ для восстановления данных, работающих с этой файловой системой пока еще нет.

Стоит ли ждать реализации ReFS в ближайшее время? C большей долей уверенности можно сказать, что нет. Если она получит практическое применение, то сначала на серверных системах, что также случится нескоро, а вот пользователям клиентских Windows придется подождать после этого еще как минимум лет пять. Достаточно вспомнить реализацию NTFS на клиентских системах, а тогда у Microsoft на это ушло семь лет. Ну а самое главное, что особой нужды в ReFS попросту нет. Вот когда появятся на десктопных компьютерах зеттабайтные диски, тогда, возможно, и настанет для ReFS звездный час, а нам пока что только остается запастись терпением и ждать.

Отличного Вам дня!

Новая файловая система ReFS от Microsoft первоначально появилась на серверах под управлением Windows 2012. И только позже она была включена в Windows 10, где может быть использована только как часть функции Storage Spaces (технология виртуализации дискового пространства) пула дисков. В Windows Server 2016 Microsoft обещают значительно улучшить работу с файловой системой ReFS, к тому же, по попадающим слухам в печать, ReFS может прийти на замену устаревшей файловой системе NTFS в новой версии Windows 10, которая гордо носит название Windows 10 Pro (для продвинутых ПК).

Но что же на самом деле представляет собой ReFs, чем она отличается от ныне используемой файловой системы NTFS и какие плюсы она в себе несет

Что такое ReFS

Если коротко, то она разрабатывалась, как отказоустойчивая файловая система. ReFS – это новая файловая система, созданная с использованием кода и по сути является переработанной и улучшенной файловой системой NTFS. К ним относятся улучшенная надежность хранения информации, стабильная работа в стресс режимах, размеры файлов, томов, каталогов, количество файлов в томах и каталогах ограничена лишь величиной знаков 64-битного числа. Напомним, что максимально при такой величине максимальный размер файла будет равен 16 эксбибайт, а размер тома 1 йобибайт.

На текущий момент ReFS – не замена NTFS. Она имеет свои преимущества и недостатки. Но вы не сможете, скажем, отформатировать диск и установить на него свежую копию Windows так как бы вы сделали это на NTFS.

ReFS защищает ваши данные

ReFS использует контрольные суммы для метаданных, а также может использовать контрольные суммы для файлов данных. Каждый раз, когда вы читаете или записываете файлы, ReFS проверяет контрольную сумму, чтобы убедиться в ее правильности. Это означает, что сама файловая система имеет инструмент, способный обнаруживать искаженные данные на лету.

ReFS интегрирована с функцией Storage Spaces. Если вы настроили зеркалирование с поддержкой ReFS, Windows легко обнаружит повреждение файловой системы и автоматически устранит, скопировав отзеркалированные данные на поврежденный диск. Данная функция доступна как для Windows 10, так и для Windows 8.1.

В случае если ReFS обнаруживает поврежденные данные, а требуемой копии данных для восстановления нет, файловая система в состоянии сразу же удалить поврежденные данные с диска. Для этого не потребуется перезагрузки системы в отличие от NTFS.

ReFS не только проверяет целостность файлов во время записичтения. Она автоматически сканирует целостность данных, регулярно проверяя все файлы на диске, идентифицируя и исправляя поврежденные данные. В таком случае отпадает необходимость периодически запускать команду chkdsk для проверки диска.

Новая файловая систем также устойчива при повреждении данных иными способами. Например, вы обновляете метаданные файла (пускай имя файла). Файловая система NTFS напрямую изменить метаданные файла. Если в это время произойдет сбой системы (отключиться питания) большая вероятность, что файл будет поврежден. Когда вы изменяете метаданные, файловая система ReFS создает новую копию метаданных. Файловая система не перезаписывает старые метаданные, а записывает их в новый блок. При этом исключается возможность повреждения файла. Такая стратегия называется “copy-on-write” (копирование при записи, выделение при записи). Данная стратегия доступна в других современных файловых системах, таких как ZFS и BtrFS в Linux, а также в новой файловой системе Apple APFS.

Ограничения файловой системы NTFS

ReFS более современна, чем NTFS и поддерживает гораздо большие объемы данных и более длинные имена файлов. В долгосрочной перспективе это очень важно.

В файловой системе NTFS путь к файлу ограничен 255 символами. В ReFS максимальное количество символов составляет уже внушительные 32768 символов. В настоящее время в Windows 10 существует возможность отключить символьный элемент для NTFS. На дисковых томах ReFS такой лимит по умолчанию отключен.

ReFS не поддерживает имена файлов в формате DOS 8.3. На томах NTFS вам доступны папки “CProgram Files”, “CProgra`1”. Они нужны для совместимости со старым программным обеспечением. В ReFS вы не найдете привычных нам папок. Они удалены.

Теоретический максимальный объем данных, поддерживаемый NTFS – 16 эксабайт, ReFS поддерживает до 262144 эксабайт. Сейчас такая цифра кажется просто огромной.

Производительность ReFS

Разработчики не ставили цель создать более производительную файловую систему. Они сделали более оптимизированную систему.

Например, при использовании с массивом, ReFS поддерживает оптимизацию уровней в режиме реального времени. У вас собран пул из накопителей, состоящий из двух дисков. Первый диск подобран с расчетом на высокую скорость работы, быстрый доступ к данным. Второй диск подобран с критерием надежности, под долговременное хранение данных. В фоновом режиме ReFS автоматически переместит большие куски данных на более медленный диск, обеспечив тем самым надежность сохранения данных.

В Windows Server 2016 разработчики добавили инструмент, обеспечивающий повышение производительности с помощью определённых функций виртуальных машин. Например, ReFS поддерживает копирование блоков, что ускоряет процесс копирования виртуальных машин и операций слияния контрольных точек. Чтобы создать копию виртуальной машины, ReFS создает новую копию метаданных на диске и указывает ссылку на скопированные данные на диске. Это сделано для того, чтобы с помощью ReFS несколько файлов могли ссылаться на одни и те же базовые данные на диске. После того, как вы, поработав с виртуальной машиной, измените данные они записываются на диск в другое место, а исходные данные виртуальной машины остаются на диске. Это значительно ускоряет процесс создания копий и уменьшает нагрузку на диск.

ReFS поддерживает “Sparse VDL” (разряженные файлы). Разряженный файл – это файл, в котором последовательность нулевых байтов заменена информацией об этой последовательности (список дыр). Дыры – определенная последовательность нулевых байт внутри файла, не записанных на диск. Сама информация о дырах хранится в метаданных файловой системы.

Технология поддержки разряженных файлов позволяет быстро записывать нули в большой файл. Это значительно ускоряет процесс создания нового, пустого файла виртуального жесткого диска фиксированного размера (VHD). Создание такого файла в ReFS занимает несколько секунд, тогда как в NTFS подобная операция занимает до 10 минут.

И все же ReFS не в состоянии полностью заменить NTFS

Все, что мы описали выше звучит неплохо, но вы не сможете переключиться на ReFS из NTFS. Windows не может загрузиться из файловой системы ReFS, требуя при этом NTFS.

В ReFS отсутствуют многие технологии, доступные в NTFS. Например, сжатие и шифрование файловой системы, жесткие ссылки, расширенные атрибуты, дедупликацию данных и дисковые квоты. При этом в отличие от NTFS ReFS поддерживает технологию полного шифрования данных - BitLocker.

В Windows 10 вы не сможете отформатировать раздел диска с ReFS. Новая файловая система доступна только для систем хранения, где ее основная функция защитить данные от повреждения. В Windows Server 2016 вы сможете отформатировать раздел диска в ReFS. Вы сможете использовать его для запуска виртуальных машин. Но вы не сможете выбрать его в виде загрузочного диска. Windows загружается только с файловой системы NTFS.

Непонятно, какое будущее Microsoft уготовило новой файловой системе. Возможно, в один прекрасный момент она полностью заменит NTFS во всех версиях Windows. Но на данный момент ReFS можно использовать только для определенных задач.

Применение ReFS

Выше было много сказано в поддержку новой операционной системы. Описаны минусы и плюсы. Предлагаю остановиться и подвести итог. Для каких же целей можно, а может и нужно использовать ReFS.

В Windows 10 ReFS применим только в совокупности с компонентом Storage Spaces. Обязательно отформатируйте свой диск, выделенный под хранение данных в ReFS, а не NTFS. В таком случае вы сможете в полной мере оценить надежность хранения данных.

В Windows Server вы сможете отформатировать раздел под ReFS с помощью стандартного инструмента Windows в консоли управления дисками. Рекомендуется обязательно отформатировать под ReFS, если вы используете виртуальные сервера. Но помните, что загрузочный диск должен быть отформатирован под NTFS. Загрузка из-под файловой системы ReFS не поддерживается операционными системами Windows.

Новая файловая система ReFS и Windows 10 | 2017-06-28 06:34:15 | Super User | Системное ПО | https://сайт/media/system/images/new.png | Новая файловая система от Microsoft ReFS пришла на замену устаревшей NTFS.Какие плюсы ReFS несет в себе и чем она отличается от NTFS | refs, refs или ntfs, refs windows 10, refs файловая система, новые файловые системы, система ntfs, файловая система ntfs

Не так давно вышла публичная бета-версия Microsoft Windows 8 Server с поддержкой анонсированной файловой системы ReFS (Resilient File System - отказоустойчивая файловая система), ранее известной под кодовым названием “Protogon”. Данная файловая система предлагается как альтернатива зарекомендовавшей себя годами файловой системе NTFS в сегменте систем хранения данных на базе продуктов Microsoft, с дальнейшей ее миграцией в область клиентских систем.

Целью данной статьи является поверхностное описание структуры файловой системы, ее преимуществ и недостатков, а также анализ ее архитектуры с точки зрения сохранения целостности данных и перспектив восстановления данных, в случае повреждения или удаления пользователем. Статья также раскрывает исследование архитектурных особенностей файловой системы и ее потенциальную производительность.

Windows Server 8 Beta

Вариант файловой системы, доступный в данной версии операционной системы, имеет поддержку кластеров данных размером только 64КБ и кластеров метаданных размером 16КБ. Пока не ясно, будет ли поддержка файловых систем ReFS с другим размером кластера: в настоящее время параметр «Размер кластера» при создании тома ReFS игнорируется и всегда принимается умалчиваемым. При форматировании ФС единственным доступным вариантом для выбора размера кластера является 64КБ. Он также является единственным упоминаемым в блогах разработчиков.

Такой размер кластера является более чем достаточным для организации файловых систем любого размера из практически реализуемых, но в то же время приводит к ощутимой избыточности при хранении данных.

Архитектура файловой системы

Несмотря на частые упоминания о схожести ReFS и NTFS на высоком уровне, речь идет всего лишь о совместимости некоторых структур метаданных, как-то: «стандартная информация», «имя файла», совместимость по значениям некоторых флагов атрибутов и т.д. Дисковая реализация структур ReFS кардинально отличается от других файловых систем Microsoft.

Основными структурными элементами новой файловой системы являются B+-деревья. Все элементы структуры файловой системы представлены одноуровневыми (списками) или многоуровневыми B+-деревьями, что позволяет значительно масштабировать практически любой из элементов файловой системы. Наряду с реальной 64-битной нумерацией всех элементов системы это исключает появление “узких мест” при дальнейшем ее масштабировании.

Кроме корневой записи B+-дерева, все остальные записи имеют размер целого блока метаданных (в данном случае - 16КБ); промежуточные же (адресные) ноды имеют небольшой полный размер (порядка 60 байт). Поэтому, обычно, требуется небольшое количество уровней дерева для описания даже очень крупных структур, что достаточно благоприятно сказывается на общей производительности системы.

Основным структурным элементом файловой системы является «Каталог», представленный в виде B+-дерева, ключом в котором является номер объекта-папки. В отличие от других подобных файловых систем, файл в ReFS не является отдельным ключевым элементом «Каталога», а лишь существует в виде записи в содержащей его папке. Возможно, именно ввиду этой архитектурной особенности жесткие ссылки на ReFS не поддерживаются.

«Листьями Каталога» являются типизированные записи. Для объекта-папки существуют три основных типа записей: описатель каталога, индексная запись и описатель вложенного объекта. Все такие записи упакованы в виде отдельного B+-дерева, имеющего идентификатор папки; корень этого дерева является листом B+-дерева «Каталога», что позволяет упаковать в папку практически любое количество записей. На нижнем уровне в листах B+-дерева папки находится в первую очередь запись описателя каталога, содержащая основные сведенья о папке (как-то: имя, «стандартная информация», атрибут имени файла и т.д.). Структуры данных имеют много общего с принятыми в NTFS, хотя и имеют ряд отличий, основным из которых является отсутствие типизированного списка именованных атрибутов.

Далее в каталоге следуют так называемые индексные записи: короткие структуры, содержащие данные об элементах, содержащихся в папке. По сравнению с NTFS эти записи значительно короче, что в меньшей степени перегружает том метаданными. Последними следуют записи элементов каталога. Для папок эти элементы содержат имя паки, идентификатор папки в «Каталоге» и структуру «стандартной информации». Для файлов идентификатор отсутствует, но вместо этого структура содержит все основные данные о файле, включая корень B+-дерева фрагментов файла. Соответственно, файл может состоять практически из любого числа фрагментов.

На диске файлы располагаются в блоках размером 64КБ, хотя адресуются точно так же, как и блоки метаданных (кластерами размером 16КБ). «Резидентность» данных файла на ReFS не поддерживается, поэтому файл размером 1 байт на диске займет целый блок 64КБ, что ведет к значительной избыточности хранения на мелких файлах; с другой стороны это упрощает управление свободным пространством и выделение свободного места под новый файл осуществляется значительно быстрее.

Размер метаданных пустой файловой системы составляет порядка 0.1% от размера самой файловой системы (т.е. около 2ГБ на том 2ТБ). Некоторые основные метаданные дублируются для лучшей устойчивости от сбоев.

Защищенность от сбоев

Цели проверить стабильность существующей реализации ReFS не стояло. С точки зрения же архитектуры файловой системы она обладает всеми необходимыми инструментами для безопасного восстановления файлов даже после серьезного сбоя оборудования. Части структур метаданных содержат собственные идентификаторы, что позволяет проверить принадлежность структур; ссылки на метаданные содержат 64-бит контрольные суммы блоков, на которые производится ссылка, что позволяет оценить целостность прочитанного по ссылке блока.

При этом стоит отметить, что контрольные суммы пользовательских данных (содержимого файлов) не подсчитываются. С одной стороны это отключает механизм проверки целостности в области данных, с другой же стороны это ускоряет работу системы за счет минимального количества изменений в области метаданных.

Любое изменение структуры метаданных осуществляется в два этапа: сначала создается новая (измененная) копия метаданных в свободном дисковом пространстве, потом, в случае успеха, атомарной операцией обновления производится перевод ссылки со старой (неизмененной) на новую (измененную) область метаданных. Такая стратегия (Copy-on-Write (CoW) -копирование-при-записи) позволяет обойтись без журналирования, сохраняя автоматически целостность данных.

Подтверждение таких изменений на диске может не осуществляться достаточно долго, позволяя объединить несколько изменений состояния ФС в одно.

Данная схема не применяется для пользовательских данных, поэтому любые изменения содержимого файла пишутся непосредственно в файл. Удаление файла производится перестроением структуры метаданных (с использованием CoW), что сохраняет предыдущую версию блока метаданных на диске. Это делает восстановление удаленных файлов возможным до их перезаписи новыми пользовательскими данными.

Избыточность хранения данных

В данном случае речь идет о расходовании дискового пространства за счет схемы хранения данных. Для целей тестирования установленный Windows Server был скопирован на раздел ReFS размером 580ГБ. Размер метаданных на пустой ФС составлял около 0.73ГБ.

При копировании установленного Windows Server на раздел с ReFS избыточность хранения данных файлов выросла с 0.1% на NTFS почти до 30% на ReFS. При этом еще около 10% избыточности добавилось за счет метаданных. В итоге «пользовательские данные» размером 11ГБ (более 70 тыс. файлов) на NTFS с учетом метаданных заняли 11.3ГБ, тогда как на ReFS те же данные заняли 16.2ГБ; это означает, что избыточность хранения данных на ReFS составляет почти 50% для этого типа данных. При небольшом количестве файлов большого размера такого эффекта, естественно, не наблюдается.

Скорость работы

Ввиду того, что речь идет о Beta, замеров производительности ФС не проводилось. С точки же зрения архитектуры ФС можно сделать кое-какие выводы. При копировании более 70 тыс. файлов на ReFS, это создало B+-дерево «Каталога» размером в 4 уровня: «корень», промежуточный уровень 1, промежуточный уровень 2, «листья».

Таким образом, для поиска атрибутов папки (при условии кэширования корня дерева) требуется 3 чтения блоков по 16КБ. Для сравнения, на NTFS эта операция займет одно чтение размером 1-4КБ (при условии кэширования карты расположения $MFT).

Поиск атрибутов файла по папке и имени файла в папке (небольшая папка в несколько записей) на ReFS потребует те же 3 чтения. На NTFS же уже потребуется 2 чтения по 1КБ или 3-4 чтения (если запись о файле находится в нерезидентном атрибуте «индекс»). В паках большего размера количество чтений NTFS растет намного быстрее, чем количество чтений, требуемых для ReFS.

Точно так же дела обстоят и для содержимого файлов: там, где рост числа фрагментов файла на NTFS приводит к перебору длинных списков, разнесенных по разным фрагментам $MFT, на ReFS это осуществляется эффективным поиском по B+-дереву.

Выводы

Окончательные выводы пока делать рано, но по текущей реализации файловой системы можно видеть подтверждение изначальной ориентированности файловой системы на серверный сегмент, и, прежде всего, на системы виртуализации, СУБД и сервера архивного хранения данных, где скорость и надежность работы имеют первостепенное значение. Основной недостаток файловой системы, такой как неэффективная упаковка данных на диске, сводится на нет на системах, оперирующих большими файлами.

СисДев Лабораториз будет следить за развитием данной файловой системы и планирует включение поддержки восстановления данных с этой файловой системы. Экспериментальная поддержка ReFS бета-версии Microsoft Windows 8 Server уже успешно реализована в продуктах UFS Explorer и доступна для закрытого бета-тестирования среди партнеров. Официальный релиз инструментов для восстановления удаленных файлов с ReFS, а также восстановления данных после повреждения файловой системы в результате сбоев оборудования, планируется чуть ранее или одновременно с выходом релиза Microsoft Windows 8 Server с поддержкой ReFS.

Версия от 16.03.2012.
По материалам СисДев Лабораториз

Перепечатка или цитирование разрешены при условии сохранения ссылки на перво