Порівняння ZFS, Btrfs та EXT4 на NAS та Linux-серверах

Інформатек Діджитал » Ресурси » Порівняння ZFS, Btrfs та EXT4 на NAS та Linux-серверах

Якщо ви вагаєтеся з вибором ZFS, Btrfs або EXT4 для вашого NAS або Linux-сервераВи не самотні. На перший погляд вони здаються дуже схожими (знімки, RAID, перевірка даних…), але якщо копнути глибше, то можна побачити, що кожен з них був створений з різними цілями, має чіткі переваги, а також важливі компроміси, про які потрібно знати, перш ніж розпочати форматування дисків.

У наступних рядках ви знайдете Поглиблене порівняння ZFS, Btrfs та EXT4Пояснення всього: від того, що таке файлова система та яку роль вона відіграє в NAS, до реальних випадків використання, обмежень ємності, продуктивності, споживання ресурсів та практичних рекомендацій залежно від того, чи ви налаштовуєте домашній NAS, сервер для малого бізнесу чи більш серйозне середовище з високими вимогами до доступності.

Що таке файлова система і чому вона така важлива в NAS?

Файлова система — це, по суті, спосіб, яким операційна система організовує, зберігає та отримує дані на жорстких дисках, SSD та зовнішніх накопичувачах. Без цього набору правил і структур система бачила б лише рядки нулів та одиниць без будь-якого порядку, не знаючи, де починається файл, де він закінчується або які в нього є дозволи.

Серед його основних функцій є виділяти блоки простору для кожного файлу, керувати вільним простором та структурувати каталоги щоб доступ до даних був максимально швидким і надійним. Крім того, файлова система керує метаданими (розмір, дати, власник), дозволами та списками контролю доступу (ACL), механізмами захисту від фрагментації, веденням журналу та, в багатьох випадках, такими опціями, як дискові квоти для кожного користувача або групи.

Кожен фрагмент даних зберігається в фізичні блоки або сектори з певною адресоюТаблиця розділів визначає логічну структуру цього сховища. Максимальний розмір, який може бути оброблений, залежить від "розміру слова", який використовується файловою системою: більше бітів для адресації пам'яті призводить до більшого обсягу та місткості файлу.

Коли ми говоримо про NAS, все це стає ще важливішим, оскільки файлова система обумовлює максимальна ємність, стабільність, фактична швидкість та розширені функції машини: знімки, цілісність даних, RAID, реплікація, стиснення, дедуплікація тощо. Звідси в гру вступають великі гравці світу Linux та серверів NAS: EXT4, Btrfs та ZFS.

EXT4: надійний ветеран для загального використання та домашнього NAS

EXT4 (Четверта розширена файлова система) – це фактичний стандарт у більшості дистрибутивів Linux для загального використання. Він народився як пряма еволюція EXT3 з метою забезпечення більшої ємності, кращої продуктивності та меншої фрагментації, зберігаючи при цьому надійність, яка зробила його таким популярним на серверах і настільних комп'ютерах.

Це файлова система транзакційний з веденням журналуВін зберігає запис змін, що очікують запису, щоб мінімізувати ризик пошкодження у разі відключення живлення або раптового збою. Він не досягає рівня захисту від копіювання під час запису (CoW), як у Btrfs або ZFS, але для звичайного використання він досить надійний.

Серед його ключових характеристик виділяються його теоретичні обмеження: Томів до 1 EiB та архівів до 16 TiB При використанні блоків 4 КБ, максимум приблизно 4.000 мільярди файлів та імена файлів до 255 байт. Цього більш ніж достатньо для переважної більшості домашніх користувачів та багатьох малих і середніх підприємств.

EXT4 включає методи для зменшити фрагментацію та покращити продуктивністьФункції включають «екстенти» (групування суміжних блоків), лінивий розподіл (Allocate-on-flush), який визначає, які блоки використовувати безпосередньо перед записом, та можливість резервувати суміжний простір для файлів без заповнення його нулями. Це також дозволяє виконувати онлайн-дефрагментацію без відмонтування тома, хоча система сповільнюється під час цього процесу.

Ще однією практичною перевагою є її зворотна сумісністьМожливо оновити систему EXT3 до EXT4, зберігаючи структуру, щоб обидва могли її розуміти. Однак, після створення як EXT4, ви не зможете повернутися до EXT3. Що стосується безпеки, вона підтримує прозоре шифрування даних, ведення журналу та типові списки контролю доступу Linux.

У світі NAS численні виробники (QNAP, Synology, Asustor у багатьох моделях) продовжують обирати EXT4 як вибір за замовчуванням у комплектації низького та середнього класуде метою є стабільність, сумісність та найкраща можлива продуктивність з обмеженими ресурсами процесора та оперативної пам'яті.

Btrfs: сучасний наступник зі знімками, CoW та інтегрованим RAID

Btrfs (файлова система B-tree) була розроблена з самого початку як «природний наступник» EXT4 у LinuxЦе почалося у 2007 році з Oracle та амбітних цілей: подолати обмеження потужності та функціональності EXT4 та впровадити в Linux як стандарт все те, що ми раніше бачили лише у високопродуктивних рішеннях, таке як знімки, CoW, розширений RAID та інтегроване керування томами.

Що стосується обмежень, Btrfs грає в тій самій лізі, що й ZFS: Максимальний обсяг та розмір файлів до 16 EiBМаксимальна кількість файлів може сягати 18 трильйонів, а імена файлів мають довжину 255 байт. На практиці це система практично без обмежень для будь-якого сучасного середовища.

Його найважливіша особливість полягає в тому, що Працює повністю з копіюванням під час запису Це стосується як даних, так і метаданих. Щоразу, коли щось змінюється, попередні дані не перезаписуються; натомість нова копія записується в іншу область, а вказівник оновлюється. Це дозволяє майже миттєво створювати знімки та запобігає багатьом формам непомітного пошкодження, оскільки узгоджена версія завжди підтримується до моменту внесення змін.

Btrfs дозволяє створювати читання та запис знімківа також знімки знімків та гнучко керувати ними за допомогою підтомів. Він також включає вбудований RAID на рівні файлової системи (RAID 0, 1, 10 та рівні 5/6, останній все ще вважається чутливим у деяких середовищах), методи дзеркалювання та розділення, а також динамічне розподілення inode, тому немає потреби встановлювати максимальну кількість файлів під час створення системи.

Ще одним важливим активом є Прозоре стиснення онлайн (використовуючи такі алгоритми, як zlib, LZO або Zstd), що допомагає заощадити місце, а іноді навіть покращує продуктивність читання/запису, зменшуючи фізичний обсяг даних. Він також підтримує дедуплікацію (зазвичай за допомогою зовнішніх інструментів), очищення для перевірки та відновлення даних шляхом порівняння контрольних сум та оптимізований режим SSD.

Не все те золото, що блищить. Порівняно з EXT4, Btrfs зазвичай споживає більше процесора та пам'ятіІ в багатьох тестах він пропонує нижчу продуктивність читання та запису за тих самих апаратних умов. Вартість логіки CoW, контрольних сум та розширених функцій окупається ресурсами, що слід враховувати на скромних NAS-пристроях.

В екосистемі NAS Btrfs став Велика ставка Synology та багато бізнес-орієнтованих рішеньособливо завдяки вбудованим знімкам, опції поступової реплікації (надсилання/отримання), частому резервному копіюванню та легкості скасування зайвих змін за лічені секунди.

ZFS: «резервуар» для цілісності даних, масштабованості та вимогливих середовищ

ZFS (файлова система Zettabyte) виникла в Sun Microsystems для Solaris і була випущена в 2005 році як частина OpenSolaris. Сьогодні вона розповсюджується переважно через OpenZFS і був портований на FreeBSD, Linux та інші системи. Це, безумовно, один із найсучасніші файлові системи, що існують для Unix-подібних систем.

Один з його стовпів полягає в тому, що Він поєднує менеджер томів та файлову систему в один рівень.Замість монтування файлової системи поверх зовнішнього диска або RAID-масиву, ZFS створює пули сховищ (zpools), що складаються з віртуальних пристроїв (vdevs). Набори даних (файлові системи) та zvols (блокові пристрої) визначаються поверх цього пулу, всі вони інтегровані та керуються одними й тими ж інструментами.

Що стосується ємності, ZFS використовує 128-бітну адресацію, що перекладається як томи та файли до 16 EiBВін підтримує імена файлів до 255 байтів та максимальну кількість файлів у сотні мільярдів. Це система, розроблена для безперешкодного масштабування до величезних рівнів сховища.

Як і Btrfs, ZFS базує свою роботу на копіювання під час запису з контрольними сумами в кожному блоціПеред записом він обчислює контрольну суму (зазвичай 256 біт), яка перевіряється під час кожного читання. Якщо він виявляє пошкодження та наявність надлишковості (наприклад, у RAID-Z або дзеркальному відображенні), він може автоматично та прозоро їх відновити, цей процес відомий як самовідновлення даних.

Щоб зменшити вплив моделі CoW на синхронні записи (наприклад, бази даних), ZFS використовує Журнал намірів ZFS (ZIL)який може розміщуватися на швидких SSD-накопичувачах для пришвидшення критично важливих операцій. Він також має кеш читання в оперативній пам'яті (ARC) та, за бажанням, у SSD (L2ARC), що значно покращує продуктивність, але також збільшує вимоги до оперативної пам'яті.

Недоліком є ​​споживання ресурсів: ZFS розроблено для машин з великою кількістю оперативної пам'яті (16 ГБ як розумна база) і пристойний процесор. Дедуплікація, зокрема, може значно збільшити використання пам'яті, тому її слід вмикати лише тоді, коли економія місця дійсно виправдана.

Що стосується управління, ZFS впроваджує відомий RAID-Z (RAID-Z1, RAID-Z2, RAID-Z3)Розроблений для уникнення класичних проблем RAID 5/6, таких як «діра запису», він пропонує прості, дзеркальні та розширені комбінації пулів. Він дозволяє розширювати ємність, додаючи нові пристрої до пулу, та негайно починати їх використовувати, з набагато більшою гнучкістю, ніж традиційні RAID.

Серед його розширених функцій ми знаходимо миттєві знімки, легкі клони, прозоре стиснення, внутрішня дедуплікація та високодеталізовані квоти на набір даних або користувача. Знімки можуть налічувати трильйонів і створюються майже миттєво, оскільки зберігаються лише посилання на існуючі блоки.

Недоліком є ​​споживання ресурсів: ZFS розроблений для машин з достатній обсяг оперативної пам'яті (16 ГБ як розумна база та більше, якщо ввімкнено дедуплікацію) і пристойний процесор. Дедуплікація, зокрема, може значно збільшити використання пам'яті, тому її слід вмикати лише тоді, коли економія місця дійсно виправдана.

Виробники, такі як QNAP, роблять ставку на ZFS у своїх Високоякісні NAS-пристрої з системою QuTS heroде його можливості використовуються повною мірою: RAID-Z, безперервна перевірка цілісності, стиснення, масивні знімки та можливість керувати всім за допомогою відносно зручного графічного інтерфейсу для досвідчених користувачів.

Інші поширені файлові системи: NTFS, FAT32, exFAT та XFS

Хоча ми тут зосереджуємося на ZFS, Btrfs та EXT4 у серверних та NAS-середовищах, інші файлові системи також використовуються в повсякденному житті. файлові системи з дуже специфічним використаннямРозуміння їх допомагає уникнути плутанини з концепціями під час підключення дисків між різними операційними системами.

NTFS (Нова технологічна файлова система) була файловою системою за замовчуванням для Windows протягом десятиліть. Вона підтримує дуже великі файли, розширені дозволи, ведення журналу та багато інших функцій, але Його сумісність поза межами Windows обмежена.macOS за замовчуванням монтує його як диск лише для читання, і хоча Linux добре його підтримує, це не найкращий варіант для дисків, які будуть спільно використовуватись багатьма пристроями, включаючи консолі.

FAT32 Це класичний, ультрасумісний пристрій, ідеальний для дешевих флеш-накопичувачів, медіаплеєрів та старіших пристроїв. Його найбільша проблема полягає в... Ліміт 4 ГБ на файлЦе виключає його використання для сучасних резервних копій, образів дисків або високоякісних відео. Незважаючи на це, він залишається життєздатним, оскільки майже кожен пристрій на планеті може його читати.

FAT Стандартна версія ще старіша та більш обмежена, з малою толерантністю до помилок, без дозволів безпеки та розрахована на невеликі обсяги (порядку десятків ГБ). Натомість, Він залишається повністю сумісним зі старими системами. і деякі вбудовані системи, хоча на практиці його сьогодні рідко використовують для чогось серйозного.

exFAT Він був створений як наступник FAT32 для знімних носіїв, скасувавши обмеження розміру файлу в 4 ГБ. Він широко використовується в SD-карти, USB-флеш-накопичувачі та зовнішні жорсткі диски який буде переміщуватися між Windows та macOS. Він вже має надійну підтримку в Linux, але не додає таких функцій, як знімки чи потужне журналювання, тому це також не ідеальний варіант для NAS.

Нарешті, XFS Це файлова система, орієнтована на Висока продуктивність з дуже великими файламиВін широко використовується на високопродуктивних серверах Linux та великих базах даних. Він пропонує розширене журналювання та чудову паралельну продуктивність, але йому бракує вбудованих знімків та інтегрованого стиснення, тому в певних сценаріях він більше конкурує з EXT4, ніж із ZFS або Btrfs.

Порівняння ZFS, Btrfs та EXT4: можливості, функції та обмеження

Якщо порівняти ZFS, Btrfs та EXT4 поруч, можна побачити кілька ключових відмінностей. максимальна ємність, розширені функції та рівень захисту данихЩо стосується теоретичних обмежень, то ZFS та Btrfs грають приблизно в одному класі: 16 EiB для томів та файлів, тоді як EXT4 залишається на рівні 1 EiB для томів та 16 TiB на файл (з блоками 4K).

Що стосується розміру файлу, Btrfs та ZFS підтримують астрономічні кількості (трильйони у випадку Btrfs та до 2⁴⁸ у ZFS), тоді як EXT4 переміщується в порядку мільярди доступних індексних дескрипторівУсі три мають спільне обмеження назви файлу в 255 байт, чого достатньо практично для будь-якого сценарію.

Де чіткий розрив спостерігається, так це в розширені функціїZFS та Btrfs пропонують копіювання під час запису, вбудовані знімки, прозоре стиснення та дедуплікацію (вбудовано в ZFS, доступно з інструментами в Btrfs). EXT4, з іншого боку, не інтегрує CoW, не має власних знімків та не має вбудованого стиснення та дедуплікації.

Щодо шифруванняZFS реалізує шифрування на рівні набору даних з глибокою системною інтеграцією. Btrfs, залежно від конфігурації, може покладатися на зовнішні механізми, такі як LUKS, для шифрування пристрою, а EXT4 також часто поєднується з LUKS або іншими рівнями шифрування для захисту всього тома.

Дивлячись на знімки, ZFS підтримує надзвичайно високу максимальну кількість (порядку 2⁴⁸Btrfs також дозволяє величезні обсяги даних, а EXT4 Він не обробляє їх власноруч.Це виділяє ZFS та Btrfs у стратегіях частого резервного копіювання, швидкого відновлення після людських помилок та реплікації між серверами.

На концептуальному рівні ZFS є найбільш інтегроване та узгоджене як комплексне рішенняТом + файлова система + RAID + управління квотами та безперервна перевірка. Btrfs також інтегрує багато рівнів (файлова система та RAID, підтоми, доставка знімків), але зазвичай покладається на зовнішні інструменти для шифрування або деяких розширених завдань. EXT4, з іншого боку, традиційно поєднується з LVM, mdadm та іншими компонентами для створення комплексних рішень.

Продуктивність та споживання ресурсів: у якому сценарії кожен з них працює найкраще?

Один момент, який рідко згадується в теорії, але дуже помітний на практиці, це фактична продуктивність та використання ресурсівРізні порівняльні тести (наприклад, проведені Phoronix) показують, що, за винятком дуже специфічних випадків, EXT4 зазвичай є найшвидшою файловою системою в послідовних та випадкових операціях читання та запису за однакових апаратних умов.

Загалом, EXT4 пропонує дуже високу продуктивність з низьке навантаження на процесор та оперативну пам'ятьЦе робить його ідеальним для домашніх NAS та малого бізнесу, де важливо швидко та легко переміщувати дані без необхідності створення потужних знімків або дедуплікації.

ZFS, з іншого боку, має тенденцію бути найповільніший у чистих тестах вводу/виводуЦе особливо актуально при порівнянні еквівалентних конфігурацій з іншими системами на тому ж обладнанні. Причина полягає в тому, що модель CoW, перевірка контрольної суми, стиснення, управління пулом та функції цілісності споживають час процесора та пам'яті, що компенсується в середовищах, де абсолютним пріоритетом є збереження даних.

Btrfs зазвичай розміщується посередині: Він не такий швидкий, як необроблений EXT4.Однак, він не такий вимогливий до обладнання, як ZFS. У багатьох робочих навантаженнях, що використовують SSD та RAID-масиви на основі флеш-пам'яті, він може запропонувати хороший баланс між продуктивністю та розширеними функціями, хоча його поведінка може відрізнятися залежно від версії ядра та конкретної конфігурації.

Якщо ваш NAS або сервер низького або середнього класу, з невеликою кількістю оперативної пам'яті та скромним процесором, EXT4 зазвичай є найрозумнішим варіантом.На потужніших машинах Btrfs — це гарний варіант, що дозволяє скористатися перевагами знімків, стиснення та інтегрованого RAID без вимог ZFS. А коли у вас потужна машина з великою кількістю оперативної пам'яті та потрібна максимальна цілісність та самовідновлення, ZFS стає зіркою.

Рекомендовані варіанти використання: домашні NAS-системи, малі та середні підприємства та корпоративні середовища

З огляду на всю теорію, справжнє питання полягає в наступному: Яку файлову систему мені слід обрати для мого конкретного випадку? NAS для фільмів та резервного копіювання сімейних файлів – це не те саме, що критично важливе середовище баз даних або сервер віртуалізації з десятками машин.

в особисте використання, домашній офіс та малий офіс (SOHO)EXT4, як правило, є найбільш збалансованим варіантом. Він надзвичайно добре протестований, підтримується всіма дистрибутивами без жодних проблем, пропонує чудову продуктивність і не потребує спеціального обладнання. Якщо ви хочете обмінюватися файлами, робити резервні копії та налаштувати один або два простих RAID-масиви, EXT4 чудово підійде.

En Компанії, яким потрібні часті знімки даних, гнучкість та хороший рівень захисту данихBtrfs чудово підходить. Наприклад, Synology використовує його в багатьох своїх NAS-пристроях, щоб запропонувати заплановані знімки, реплікацію між пристроями, перевірку цілісності та стиснення, і все це зі зручним інтерфейсом. Крім того, його вбудована інтеграція з ядром Linux спрощує керування та зменшує зовнішні залежності.

в корпоративні середовища, мейнфрейми, центри обробки даних та великі бази данихZFS — це король. Його поєднання копіювання під час запису, 256-бітних контрольних сум, RAID-Z, самовідновлення, прозорого стиснення та дедуплікації робить його ідеальним інструментом, коли ви просто не можете дозволити собі непомітне пошкодження даних або втрати через збої диска під час перебудови RAID.

У сегменті високоякісних NAS-серверів QNAP з QuTS hero виводить ZFS на новий рівень. настільні та стійкові ПК з потужними процесорами та великим обсягом оперативної пам'ятінаближення типових можливостей професійних серверів до середніх компаній, які хочуть зробити крок вперед у захисті даних, не створюючи величезний кластер.

Ви також повинні враховувати операційна система хостаZFS у Linux зазвичай завантажується як зовнішній модуль (через проблеми з ліцензуванням), тоді як Btrfs інтегрований у ядро, що іноді схиляє чашу терезів при пошуку 100% "чистих Linux" рішень. У FreeBSD ZFS має особливо відшліфовану інтеграцію, тоді як Btrfs майже не використовується.

Що враховувати під час вибору файлової системи для вашого NAS

Окрім технічних характеристик, перед вибором ZFS, Btrfs або EXT4 для вашого NAS або сервера слід врахувати кілька практичних критеріїв. сумісність Це одне з перших, що вам потрібно зробити: переконайтеся, що обрана файлова система підтримується операційною системою NAS та інструментами, з якими ви працюватимете щодня.

La стабільність та зрілість Файлова система також має велике значення. EXT4 масово виробляється вже багато років і, ймовірно, є найстабільнішою загалом. ZFS також може похвалитися величезною зрілістю, особливо в середовищах Solaris, FreeBSD та OpenZFS. Btrfs значно розвинувся, але деякі конфігурації (такі як RAID 5/6) все ще вважаються чутливими, і бажано ретельно дослідити їх, перш ніж використовувати у виробництві.

La швидкість і ефективність Ці фактори будуть вирішальними, якщо ваш NAS щодня оброблятиме великі обсяги даних. EXT4 зазвичай пропонує чудову продуктивність, тоді як ZFS та Btrfs надають більше функцій, але споживають більше ресурсів. Вам потрібно вирішити, що для вас найважливіше: простота та швидкість чи розширені функції, навіть якщо пікова продуктивність трохи нижча.

The додаткові функції Інші функції, які мають значення, включають знімки, стиснення, дедуплікацію, автоматичну перевірку та відновлення даних, керування квотами, інтеграцію з RAID тощо. ZFS та Btrfs тут перевершують інших, тоді як EXT4 потрібно поєднувати з іншими інструментами для досягнення чогось подібного.

Нарешті, майбутня масштабованість Це ключовий фактор. Якщо ви плануєте додавати диски, збільшувати ємність або змінювати спосіб використання вашого NAS, вам знадобиться система, яка дозволить розширювати пули сховищ, перерозподіляти дані та обробляти величезні томи без реструктуризації всього з нуля. У цьому відношенні ZFS та Btrfs явно випереджають EXT4.

З огляду на все вищесказане, картина стає досить зрозумілою: EXT4 найкраще підходить для бюджетних NAS-пристроїв та загального використання.Btrfs дуже привабливий для бізнесу та досвідчених користувачів, які працюють на Linux і хочуть мати добре інтегровані знімки та реплікацію, а ZFS є кращим варіантом, коли основна увага приділяється цілісності даних, самовідновленню та масштабованості у великих масштабах, за умови, що обладнання відповідає цьому завданню.