какую файловую систему выбрать для ссд

Что нужно знать об SSD каждому программисту

На фото SSD Samsung PM1733

Твердотельные накопители (Solid-State Drives, SSD) на основе флэш-памяти уже заменили многие магнитные диски в качестве стандартных накопителей. С точки зрения программиста SSD и диски очень похожи: и те, и другие являются устройствами постоянного хранения, обеспечивающими страничный доступ через файловые системы и системные вызовы, и имеющими большой объём.

Однако у них есть и важные различия, которые становятся существенными, если нужно достичь оптимальной производительности SSD. Как мы увидим, SSD устроены сложнее и если воспринимать их просто как быстрые диски, то их производительность может вести себя довольно загадочным образом. Цель этого поста — показать, почему SSD так себя ведут, что поможет вам создавать ПО, способное использовать их особенности. (Стоит заметить, что я буду говорить о NAND-памяти, а не о памяти Intel Optane, имеющей другие характеристики.)

Приводы, а не диски

SSD часто называют дисками, но это неверно, потому что они хранят данные в полупроводниковых устройствах, а не на механическом диске. Для чтения или записи в произвольный блок диск механически перемещает головку в нужное место, что занимает порядка 10 мс. Однако операция произвольного чтения с SSD занимает около 100 мкс — в 100 раз быстрее. Благодаря такой низкой задержке загрузка системы с SSD намного быстрее, чем загрузка с диска.

Ещё одно важное отличие дисков от SSD заключается в том, что диски имеют одну дисковую головку и имеют хорошие показатели только при последовательном доступе. В отличие от них, SSD состоят из десятков или даже сотен флэш-чипов («параллельных блоков»), доступ к которым может выполняться параллельно.

SSD прозрачным образом разделяет большие файлы по флэш-чипам на части размером со страницу, а аппаратное устройство предвыборки гарантирует, что последовательное сканирование использует все доступные флэш-чипы. Однако на уровне флэш-памяти особой разницы между последовательным и произвольным чтением нет. Большинство SSD способно достигать полной полосы пропускания и при считывании произвольных страниц. Для этого необходимо запланировать сотни параллельных запросов произвольного ввода-вывода, чтобы одновременно работали все флэш-чипы. Это можно реализовать запуском множества потоков или при помощи асинхронных интерфейсов ввода-вывода, например, libaio или io_uring.

Запись

Всё становится ещё интереснее, когда дело касается записи. Например, если изучать задержки записи, то можно замерить результаты от 10 мкс — в 10 раз быстрее, чем считывание. Однако задержки кажутся такими низкими только потому, что SSD кэшируют операции записи на энергозависимую ОЗУ. Истинная задержка записи NAND-памяти примерно равна 1 мс — в 10 медленнее, чем чтение. На SSD потребительского уровня её можно измерить, отдав после записи команду синхронизации/сброса, чтобы гарантировать, что данные сохранились во флэш-память. В большинстве SSD серверов задержку записи невозможно замерить напрямую: синхронизация/сброс завершаются мгновенно, поскольку батарея гарантирует сохранность кэша операций записи даже в случае отключения электропитания.

Чтобы достичь высокой полосы пропускания записи, несмотря на достаточно высокую задержку записи, SSD используют тот же трюк, что и при чтении: они обеспечивают параллельный доступ к нескольким чипам. Так как кэш операций записи может записывать страницы асинхронно, для получения хорошей производительности записи даже необязательно планировать очень много параллельных операций записи. Однако задержку операций записи не всегда можно скрыть полностью: например, поскольку запись в 10 раз больше занимает флэш-чип, чем считывание, операции записи вызывают значительные «хвостовые задержки» для считывания с того же флэш-чипа.

Операции записи вне порядка

Мы упускаем один важный факт: страницы NAND-памяти невозможно перезаписывать. Записи страниц могут выполняться только последовательно, в пределах блоков, которые были заранее стёрты. Эти стираемые блоки имеют размеры в несколько мегабайт, а потому состоят из сотен страниц. На новом SSD все блоки стёрты и пользователь может напрямую начинать добавлять новые данные.

Однако обновление страниц — это не такой простой процесс. Было бы слишком затратно стирать весь блок просто для того, чтобы перезаписать единственную страницу. Поэтому SSD выполняют обновления страниц, записывая новую версию страницы в новое место. Это означает, что логические и физические адреса страниц разделены. Хранящаяся в SSD таблица отображения преобразует логические (программные) адреса в физические (аппаратные) местоположения. Этот компонент также называют Flash Translation Layer (FTL). Например, давайте представим, что у нас есть SSD с тремя стираемыми блоками, в каждом из которых по четыре страницы. Последовательность записей страниц P1, P2, P0, P3, P5, P1 может привести к следующему физическому состоянию SSD:

Сборка мусора

При использовании таблицы отображения и непоследовательной записи всё работает хорошо, пока в SSD не заканчиваются свободные блоки. Старую версию перезаписанных страниц рано или поздно нужно восстановить. Если мы продолжим предыдущий пример, выполнив запись страниц P3, P4, P7, P1, P6, P2, то получим следующую ситуацию:

На этом этапе у нас больше нет свободных стираемых блоков (хотя с точки зрения логики пространство может и оставаться). Прежде чем записать ещё одну страницу, SSD должен сначала стереть блок. В нашем примере сборщику мусора лучше всего будет стереть блок 0, потому что используется только одна из его страниц. После стирания блока 0 мы освобождаем место для трёх операций записи, а SSD выглядит так:

Write Amplification и Overprovisioning

Для сборки мусора блока 0 нам нужно физически переместить страницу P0, хотя с точки зрения логики с этой страницей ничего не происходит. Другими словами, у SSD на флэш-памяти количество физических операций записи (во флэш) обычно выше, чем количество логических (программных) операций записи. Соотношение между этими двумя параметрами называется write amplification (усиление записи). В нашем примере, чтобы освободить место под 3 новых страницы в блоке 0, нам пришлось переместить 1 страницу. У нас получилось 4 физических операций записи на 3 логические операции записи, т.е. коэффициент усиления записи равен 1,33.

Высокие коэффициенты усиления записи снижают производительность и срок жизни флэш-памяти. Величина коэффициента зависит от паттерна доступа и заполненности SSD. Объёмные последовательные операции записи имеют низкий коэффициент write amplification, а наихудшим случаем являются произвольные операции записи.

Предположим, наш SSD заполнен на 50% и мы выполняем произвольные операции записи. Когда мы стираем блок, то в среднем примерно половина страниц блока по-прежнему используется и должна быть перемещена. То есть коэффициент write amplification при коэффициенте заполнения накопителя 50% равен 2. Обычно наихудший коэффициент write amplification, получаемый при коэффициенте заполнения f, равен 1/(1-f):

Так как при близких к 1 коэффициентах заполнения коэффициенты write amplification становятся чрезвычайно высокими, у большинства SSD есть скрытый запасной объём (overprovisioning). Этот объём обычно равен 10-20% от общего объёма. Разумеется, также можно добавить больше overprovisioning, создав пустой раздел и ничего туда не записывая.

Вывод и дополнительные источники

SSD стали довольно дешёвыми и они имеют очень высокую производительность. Например, серверный SSD Samsung PM1733 стоит примерно 200 евро за терабайт и обеспечивает полосу пропускания почти 7 ГБ/с для чтения и 4 ГБ/с для записи. Для достижения такой высокой производительности нужно понимать, как работает SSD, поэтому в этом посте я описал самые важные внутренние механизмы SSD на флэш-памяти. Я стремился к лаконичности, поэтому кое-что упрощал. Чтобы узнать больше, можно начать с этого туториала, в котором даются ссылки на полезные статьи. Нужно также заметить, что из-за высокой скорости SSD часто узким местом производительности становится стек ввода-вывода ОС. Экспериментальные результаты по Linux можно найти в нашей статье для конференции CIDR 2020.

На правах рекламы

Наши облачные серверы используют only NVMe сетевое хранилище с тройной репликацией данных. Вы можете использовать арендовать сервер для любых задач — разработки, размещения сайтов, использования под VPN и даже получить удалённую машину на Windows! Идей может быть много и любую из них поможем воплотить в реальность!

Источник

MBR против GPT: какой формат лучше для SSD-накопителя?

Приветствую вас, друзья!

Если вы когда-нибудь устанавливаете новую копию Windows на жесткий диск, вас могут попросить выбрать, какой стандарт разделения диска вы хотите использовать.

Обычно выбирается между основной загрузочной записью (MBR) и таблицей разделов GUID (GPT).

Большинство пользователей, вероятно, не знают разницы между этими двумя вариантами, и, поскольку вы здесь, мы подозреваем, что вы тоже.

Если у вас современный компьютер, вполне вероятно, что ваш системный диск — новомодный твердотельный накопитель, так какой выбор будет правильным для такого типа технологии накопителей?

Пристегните ремни, потому что ответ требует очень небольшого урока истории и некоторой предыстории технологии жестких дисков, которую вы не ожидали узнать сегодня.

MBR против GPT

MBR — это традиционная система отслеживания разделов жесткого диска.

Впервые он был представлен в начале 80-х вместе с PC DOS 2.0 и IBM PC XT.

С тех пор он стал стандартным решением для таблиц разделов, а также способом управления несколькими загрузочными разделами.

GPT является официальной заменой MBR и был введен вместе с новым стандартом микропрограмм для компьютеров UEFI, который заменил традиционный BIOS.

Эти два типа таблиц разделов различаются по-разному, но самое важное, что вам нужно знать, это то, что GPT является более новым стандартом и, как правило, превосходит MBR.

Но это не значит, что MBR мертв!

Многие компьютеры по-прежнему используют традиционный BIOS без UEFI, а новые компьютеры вполне могут использовать диски MBR.

Что такое разделы и зачем их использовать?

Основное влияние, которое оказывает этот выбор, влияет на характер разделов вашего диска.

Раздел — это виртуальное разделение вашего физического жесткого диска.

Например, вы можете разделить диск емкостью 2 ТБ на загрузочный раздел размером 1 ТБ и раздел размером 1 ТБ для хранения данных.

Зачем вам это делать?

В этом сценарии это будет означать, что вы можете отформатировать системный раздел и переустановить операционную систему, не касаясь чего-либо на другом разделе.

При разбиении на разделы можно создать несколько загрузочных разделов с разными операционными системами.

Обычно пользователи, которым необходимо использовать как Linux, так и Windows, создают разделы для каждого из них, а затем выбирают ОС по своему выбору при загрузке.

Разделы также используются для восстановления.

Например, у большинства ноутбуков есть защищенный раздел на главном системном диске, который содержит программное обеспечение и данные, которые могут вернуть машину к заводским настройкам по умолчанию.

Кроме этого, есть еще несколько применений для разделов, но эти самые важные.

Обратной стороной использования разделов по сравнению с использованием нескольких физических дисков является снижение производительности.

Поскольку разделы существуют на одном физическом диске, возможна конкуренция за доступ.

Однако на современных SSD эта проблема в значительной степени решена.

Интересно, что противоположный подход к разделению диска — это объединение нескольких физических дисков в один виртуальный диск.

Это может предложить потрясающие преимущества в производительности и избыточности.

Взгляните на HDD Raid Vs SSD Raid: основные различия, которые вы должны знать, для получения дополнительной информации.

Почему твердотельные накопители особенные?

Почему люди задают вопрос о MBR и GPT именно в отношении SSD?

Твердотельные накопители становятся стандартной технологией компьютерных накопителей.

Они намного надежнее механических приводов и намного быстрее.

Однако у SSD есть список собственных проблем. Главный из них — износ SSD.

Слишком много раз записывая данные на SSD-накопитель, и он переключается в режим только для чтения и подходит к концу своего срока службы.

Чтобы продлить срок службы твердотельных накопителей и добиться от них максимальной производительности, важно отформатировать их с использованием стандарта, оптимизированного для хранения на твердотельных накопителях.

Для систем Windows это будет NTFS, для macOS — APFS.

Вам также следует использовать современную операционную систему, которая поддерживает SSD и умеет правильно с ними обращаться.

Учитывая все ужасные предупреждения об использовании неправильных форматов или программного обеспечения с твердотельными накопителями, понятно, что люди задаются вопросом, лучше ли MBR или GPT для SSD.

Короткий ответ — вам следует использовать GPT.

Длинный ответ зависит от нескольких факторов, которые могут повлиять на выбор в вашей конкретной ситуации.

Все дело в загрузке

MBR может иметь только четыре загрузочных «основных» раздела на диске.

У вас может быть больше разделов, но это «логические» разделы, существующие внутри специального расширенного типа раздела.

Честно говоря, для большинства людей это больше загрузочных разделов, чем вам нужно.

Если это не так, ваш единственный выбор — GPT, который поддерживает колоссальные 128 загрузочных разделов.

Это не единственное различие между двумя стандартами таблиц разделов, связанное с загрузкой.

Если вы используете компьютер с традиционным BIOS, а не с новой реализацией UEFI, вы не сможете загрузиться с диска, использующего GPT.

Такой диск все еще может быть прочитан компьютером на базе BIOS, он просто не сможет с него загрузиться.

Так что вам не нужно беспокоиться о внешних дисках.

Совместимость с операционной системой

GPT несовместим с операционными системами Windows, предшествующими Windows 7.

Поэтому, если вы хотите использовать эти старые операционные системы, у вас не будет другого выбора, кроме как использовать MBR.

Если вы используете эту ОС на компьютере на базе BIOS, это, конечно, довольно спорный вопрос, как мы только что объяснили выше.

Если у вас есть конкретная причина, по которой вы хотите запустить старую операционную систему в конфигурации с несколькими загрузками на современном компьютере, рассмотрите возможность запуска ее на виртуальной машине.

Например, если есть конкретное приложение, которое работает только в Windows XP, которое вам все еще нужно, оно должно работать нормально, используя что-то вроде «VirtualBox».

Преобразование из MBR в GPT: стоит ли?

Преобразование из MBR в GPT возможно, но обычно при этом удаляются все данные на диске.

Точно так же существуют методы для выполнения преобразования на месте, но вам нужно сделать резервную копию всех данных, чтобы быть в безопасности, поэтому в этом нет особого смысла.

Преобразование существующего диска из MBR в GPT стоит делать только в том случае, если MBR каким-то образом вас ограничивает.

Мы не рекомендуем делать это без какой-либо конкретной причины.

Если вы действительно хотите, вам следует дождаться следующего форматирования диска, чтобы внести изменения.

Имеет ли значение MBR и GPT для SSD?

Нет прямой связи между использованием SSD и выбором MBR или GPT.

При этом вам лучше использовать GPT в качестве нового стандарта на любом компьютере на базе UEFI.

Если вы используете SSD с компьютером на базе BIOS и хотите загрузиться с диска, MBR — ваш единственный выбор.

Поскольку твердотельные накопители, как правило, намного меньше по емкости, ограничение емкости MBR в 2 ТБ практически никогда не применяется.

Кроме того, небольшой средний размер SSD делает маловероятным, что вам понадобится много загрузочных разделов на нем.

Важно то, что GPT предлагает быструю, стабильную и надежную загрузку.

Поскольку GPT распространяет важную информацию о таблице разделов по диску, в отличие от MBR, он может восстанавливаться после повреждения диска, которое затрагивает только один раздел.

Так что потерянные данные загрузочной записи могут быть восстановлены.

Это не самый главный выбор, но когда вас спрашивают и конкретный компьютер может использовать более новый стандарт, GPT почти всегда является правильным решением.

Источник

Файловые системы накопителей

Содержание

Содержание

Именно файловые системы определяют способ хранения информации в виде привычных нам файлов, а также насколько быстро будет осуществляться доступ к данным и с какими ограничениями столкнутся пользователи.

Существует больше 30 файловых систем (ФС), большая часть которых имеет специфическое применение. Например, ФС под названием XFS создана исключительно для операционной системы IRIX, а DTFS — это файловая система, специализирующаяся на сжатии данных.

Если говорить относительно обычных пользователей ПК на Windows, MacOS и Linux, то для них список можно сократить до нескольких самых распространенных.

FAT32

Файловая система, разработанная компанией Microsoft на замену FAT16. Структурно вся область диска в FAT32 делится на кластеры размером от 512 байт до 32 Кбайт. Представьте себе тетрадь в клеточку. Каждая клетка — это кластер, в который может быть записан файл или его часть. Таким образом, большие файлы состоят из цепочки кластеров, которые совсем не обязательно будут располагаться друг за другом.

Не будем погружаться в технические дебри и расскажем о том, что больше всего интересует обычных пользователей — плюсы и минусы FAT32.

Главное и пока неоспоримое достоинство этой файловой системы — ее универсальность. FAT32 работает практически со всеми операционными системами Windows, а также без проблем распознается linux, MacOS, операционными системами игровых приставок и даже Android (если в смартфоне предусмотрена поддержка OTG).

Именно поэтому флеш-накопители чаще всего форматируют в FAT32, чтобы не иметь проблем с совместимостью на различных устройствах. С завода больше 90% всех флешек поставляется с этой ФС. Параллельно к плюсам относится высокая скорость работы с малыми и средними файлами (десятки/сотни мегабайт) и нетребовательность к объему ОЗУ.

Однако почтенный возраст FAT32 (больше 24 лет, что по меркам IT-индустрии просто огромный срок) накладывает ряд неприятных ограничений.

Несмотря на то, что размер тома с технической точки зрения может доходить до 8 ТиБ (тебибайт), что составляет около 8,7 ТБ, по факту в операционных системах Windows из-за встроенного ограничения вы не сможете создать том больше 32 ГБ. Соответственно, разметить большие жесткие диски, по крайней мере в Windows, в FAT32 не получится. Возникнут проблемы и с флешками на 64 ГБ.

Другое, более существенное ограничение — размер одного файла не может превышать 4 ГБ. Учитывая, что бэкапы, фильмы в высоком разрешении и архивы с различной информацией весят больше этого предела, ограничение доставляет массу неудобств.

exFAT

Одна из самых последних «новинок», созданная в 2008 году как расширенная версия FAT32 (extended FAT). Майкрософт решила взять лучшее и избавиться от самых неприятных недостатков.

exFAT ориентирована сугубо на переносные накопители — флешки, SD-карты и съемные жесткие диски. Размер кластера был увеличен до 32 мегабайт, благодаря чему размер файла теперь достигает целых 16 эксабайт (1 эксабайт = 1 048 576 ТБ). Задел на будущее у exFAT довольно внушительный.

Параллельно разработчики избавились от ограничения на размер тома, ввели поддержку прав доступа и минимизировали количество перезаписей, что особенно актуально для flash-памяти, ячейки памяти которой имеют ограниченное количество циклов записи, после чего выходят из строя.

Ощутимый минус только один — незначительная потеря совместимости. exFAT поддерживает Windows XP SP2 и более новые ОС. Соответственно, Windows 2000, NT и все, что старше, остается «за бортом». Усложнение структуры также привело к большим затратам вычислительной мощности компьютера. Однако на фоне современных процессоров с их потенциалом этим недостатком можно пренебречь.

New Technology File System разработали еще в 1993 году, однако, как и FAT32, используют по сей день. Сходство с FAT проявляется и в том, что, пространство делится на кластеры заданного размера. Однако высокую гибкость NTFS обеспечивает именно структура.

Первые 12% диска выделяются под MFT-зону — специальное служебное пространство, где хранится различная информация для работы всей ФС. Эта зона никогда не фрагментируется. В отличие от FAT используется бинарная структура.

Бинарное дерево располагает имена файлов таким образом, чтобы поиск выполнялся более быстрым способом — путем получения двухзначных ответов на вопросы о положении файла. Соответственно, поисковику не приходится просматривать всю цепочку файлов в каталоге.

NTFS обладает множеством достоинств. Максимальный размер тома на практике — 256 ТБ. Размера файла также хватит с запасом — около 16 ТБ. Помимо этого, за счет функции журналирования NTFS — отказоустойчивая система. Проще говоря, ФС либо выполняет действие до конца, либо откатывает все до состояния, когда действие еще не было совершено. Промежуточных «ошибочных» состояний практически не бывает. Имеется встроенное сжатие, средства разграничения прав объектов и шифрование данных.

К главному минусу NTFS относится низкая совместимость — не поддерживается все, что ниже Windows NT. Это не столь печально, но вот на MacOS и Linux записывать файлы на диски с NTFS не получится — только чтение. Игровые консоли Playstation и Xbox 360 также с этой файловой системой не работают.

Например, в PS4 можно отформатировать внешний жесткий диск, но только в формате самой приставки для обеспечения совместимости.

Таким образом, благодаря своему функционалу и поддержке больших объемов пространства NTFS — это отличный вариант для накопителей HDD и SSD. Несмотря на это, вы вполне можете создать на NTFS и флешку, но скорость ее работы по сравнению с FAT будет ниже.

Сравнительная таблица

Три приведенных файловых системы являются самыми популярными и наиболее совместимыми среди всех. Для удобства приведем основные параметры в общую таблицу.

Источник