Primerjava ZFS, Btrfs in EXT4 na strežnikih NAS in Linux

Informatec Digital » Viri » Primerjava ZFS, Btrfs in EXT4 na strežnikih NAS in Linux

Če se za svoj strežnik NAS ali Linux mučite z izbiro med ZFS, Btrfs ali EXT4 , niste sami. Na prvi pogled se zdijo zelo podobni (posnetki podatkov, RAID, preverjanje podatkov itd.), a ko malo globlje pobrskate, boste videli, da je bil vsak ustvarjen z različnimi cilji, ima zelo jasne prednosti in tudi pomembne kompromise, ki se jih morate zavedati, preden začnete formatirati diske.

V naslednjih vrsticah boste našli poglobljeno primerjavo med ZFS, Btrfs in EXT4 , ki pojasnjuje vse od tega, kaj je datotečni sistem in kakšno vlogo ima v NAS-u, do dejanskih primerov uporabe, omejitev zmogljivosti, zmogljivosti, porabe virov in praktičnih priporočil, odvisno od tega, ali postavljate domači NAS, strežnik za mala podjetja ali resnejše okolje z visokimi zahtevami glede razpoložljivosti.

Kaj je datotečni sistem in zakaj je tako pomemben v NAS-u?

Datotečni sistem je v bistvu način, kako operacijski sistem organizira, shranjuje in pridobiva podatke na trdih diskih, SSD-jih in zunanjih pogonih. Brez tega nabora pravil in struktur bi sistem videl le nize ničel in enic brez kakršnega koli vrstnega reda, ne da bi vedel, kje se datoteka začne, kje konča ali kakšna dovoljenja ima.

Njegove osnovne funkcije vključujejo dodeljevanje blokov prostora vsaki datoteki, upravljanje prostega prostora in strukturiranje imenikov za zagotovitev najhitrejšega in najbolj zanesljivega možnega dostopa do podatkov. Poleg tega datotečni sistem nadzoruje metapodatke (velikost, datume, lastnika), dovoljenja in sezname za nadzor dostopa (ACL), mehanizme za preprečevanje fragmentacije, vodenje dnevnika in v mnogih primerih možnosti, kot so diskovne kvote na uporabnika ali skupino.

Vsak podatek je shranjen v fizičnih blokih ali sektorjih z določenim naslovom , tabela particij pa določa logično strukturo tega pomnilnika. Največja velikost, ki jo je mogoče obdelati, je odvisna od "širine besede", ki jo uporablja datotečni sistem: več bitov za naslavljanje pomnilnika pomeni večjo prostornino in kapaciteto datoteke.

Ko govorimo o NAS-u, postane vse to še toliko bolj pomembno, saj datotečni sistem določa največjo zmogljivost, stabilnost, dejansko hitrost in napredne funkcije naprave: posnetke podatkov, integriteto podatkov, RAID, replikacijo, stiskanje, deduplikacijo itd. Tukaj pridejo v poštev glavni igralci v svetu Linuxa in NAS strežnikov: EXT4, Btrfs in ZFS.

EXT4: robusten veteran za splošno uporabo in domači NAS

EXT4 (Fourth Extended Filesystem) je dejanski standard v večini splošnih distribucij Linuxa. Nastal je kot neposreden razvoj EXT3 s ciljem ponuditi večjo zmogljivost, izboljšano delovanje in zmanjšano fragmentacijo, hkrati pa ohraniti zanesljivost, zaradi katere je bil tako priljubljen na strežnikih in namiznih računalnikih.

Gre za transakcijski datotečni sistem z dnevnikom : hrani evidenco čakajočih sprememb pisanja, da zmanjša tveganje za poškodbe v primeru izpada električne energije ali nenadne nesreče. Ne dosega ravni zaščite kopiranja ob pisanju (CoW) kot Btrfs ali ZFS, vendar je za normalno uporabo precej robusten.

Ključne lastnosti vključujejo teoretične omejitve: prostornine do 1 EiB in datoteke do 16 TiB pri uporabi blokov 4K, največ približno 4.000 milijarde datotek in imena datotek do 255 bajtov. Zaradi tega je več kot zadosten za veliko večino domačih uporabnikov in številna mala in srednje velika podjetja.

EXT4 vključuje tehnike za zmanjšanje fragmentacije in izboljšanje zmogljivosti , kot so razširitve (združevanje sosednjih blokov), dodeljevanje ob izpraznitvi (ki odloči, katere bloke uporabiti tik pred pisanjem) in možnost rezerviranja sosednjega prostora za datoteke, ne da bi ga zapolnili z ničlami. Omogoča tudi spletno defragmentacijo brez odklopa nosilca, čeprav se sistem med postopkom upočasni.

Druga praktična prednost je njegova združljivost s prejšnjimi različicami : sistem EXT3 je mogoče nadgraditi na EXT4, hkrati pa ohraniti obstoječo strukturo, tako da jo lahko razumeta oba. Ko pa je sistem enkrat ustvarjen kot EXT4, se ne morete vrniti na EXT3. Kar zadeva varnost, podpira pregledno šifriranje podatkov, beleženje in tipične Linux ACL-je.

V svetu NAS številni proizvajalci (QNAP, Synology, Asustor v mnogih modelih) še naprej dajejo prednost EXT4 kot privzeti izbiri v opremi nižjega in srednjega razreda , kjer je cilj stabilnost, združljivost in najboljša možna zmogljivost z omejenimi viri procesorja in RAM-a.

Btrfs: sodobni naslednik s posnetki, CoW in integriranim RAID-om

Btrfs (datotečni sistem B-tree) je bil od samega začetka zasnovan kot "naravni naslednik" EXT4 v Linuxu . Oracle ga je leta 2007 predstavil z ambicioznimi cilji: premagati omejitve zmogljivosti in funkcionalnosti EXT4 ter v Linux privzeto uvesti vse, kar je bilo prej mogoče videti le v vrhunskih rešitvah, kot so posnetki, CoW, napredni RAID in integrirano upravljanje nosilcev podatkov.

Kar zadeva omejitve, je Btrfs na ravni ZFS: največja velikost nosilca in datotek do 16 EiB , največje število datotek, ki se povzpne na približno 18 bilijonov, in imena datotek do 255 bajtov. V praksi je to sistem praktično brez omejitev za skoraj vsako sodobno okolje.

Njegova najpomembnejša značilnost je, da deluje v celoti s kopiranjem ob pisanju tako za podatke kot za metapodatke. Kadar koli se nekaj spremeni, se prejšnji podatki ne prepišejo; namesto tega se nova kopija zapiše na drugo območje in kazalec se posodobi. To omogoča skoraj takojšnje posnetke in preprečuje številne oblike tihe korupcije, ker se do potrditve spremembe vedno vzdržuje dosledna različica.

Btrfs omogoča ustvarjanje posnetkov za branje in pisanje ter posnetkov posnetkov in njihovo prilagodljivo upravljanje z uporabo podnosilcev. Vključuje tudi vgrajen RAID na ravni datotečnega sistema (RAID 0, 1, 10 in ravni 5/6, slednja v nekaterih okoljih še vedno velja za občutljivo), tehnike zrcaljenja in črtanja ter dinamično dodeljevanje inode, zato pri ustvarjanju sistema ni treba določiti največjega števila datotek.

Druga ključna prednost je transparentno inline stiskanje (z uporabo algoritmov, kot so zlib, LZO ali Zstd), ki pomaga prihraniti prostor in včasih celo izboljša zmogljivost branja/pisanja z zmanjšanjem fizične količine podatkov. Podpira tudi deduplikacijo (običajno prek zunanjih orodij), čiščenje za preverjanje in popravljanje podatkov s primerjavo kontrolnih vsot ter način, optimiziran za SSD.

Ni vse zlato, kar se sveti. V primerjavi z EXT4 Btrfs običajno porabi več procesorja in pomnilnika , v mnogih testih pa ponuja nižjo zmogljivost branja in pisanja pod enakimi pogoji strojne opreme. Stroški logike CoW, kontrolnih vsot in naprednih funkcij imajo svojo ceno v smislu virov, kar je treba upoštevati pri skromnih napravah NAS.

V ekosistemu NAS je Btrfs postal velika izbira Synologyja in številnih rešitev, usmerjenih v podjetja , zlasti zaradi integriranih posnetkov, možnosti inkrementalne replikacije (pošiljanje/prejemanje), pogostih varnostnih kopij in enostavnega razveljavljanja nepravilnih sprememb v nekaj sekundah.

ZFS: »rezervoar« za integriteto podatkov, skalabilnost in zahtevna okolja

ZFS (Zettabyte File System) je nastal pri Sun Microsystems za Solaris in je bil izdan leta 2005 kot del OpenSolarisa. Danes se distribuira predvsem prek OpenZFS in je bil prenesen na FreeBSD, Linux in druge sisteme. Je daleč eden najnaprednejših datotečnih sistemov, ki so na voljo za Unixu podobne sisteme.

Ena njegovih ključnih značilnosti je, da združuje upravitelja nosilcev podatkov in datotečni sistem v eno plast . Namesto da bi datotečni sistem namestil na zunanji disk ali RAID polje, ZFS ustvari pomnilniške bazene (zpools), sestavljene iz virtualnih naprav (vdevs). Na vrhu tega bazena so definirani nabori podatkov (datotečni sistemi) in zvols (blokovne naprave), vsi pa so integrirani in upravljani z istimi orodji.

Kar zadeva kapaciteto, ZFS uporablja 128-bitno naslavljanje, kar pomeni nosilce podatkov in datoteke do 16 EiB , imena datotek do 255 bajtov in največje število datotek v stotinah milijardah. Gre za sistem, zasnovan za brezhibno skaliranje do ogromnih ravni shranjevanja.

Tako kot Btrfs tudi ZFS deluje po načelu kopiranja ob pisanju s kontrolnimi vsotami v vsakem bloku . Pred pisanjem izračuna kontrolno vsoto (običajno 256 bitov), ​​ki se preveri pri vsakem branju. Če zazna poškodbo in redundanco (na primer v RAID-Z ali zrcaljenju), jo lahko samodejno in pregledno popravi, kar je postopek, znan kot samozdravljenje podatkov.

Za zmanjšanje vpliva modela CoW na sinhrone zapise (npr. baze podatkov) ZFS uporablja dnevnik namenov ZFS (ZIL) , ki se lahko nahaja na hitrih SSD-jih za pospešitev kritičnih operacij. Poleg tega omogoča predpomnjenje branja v RAM-u (ARC) in opcijsko na SSD-jih (L2ARC), kar znatno izboljša zmogljivost, hkrati pa poveča zahteve glede RAM-a.

Slaba stran je poraba virov: ZFS je zasnovan za stroje z veliko RAM-a (16 GB je razumno izhodišče) in spodobnim procesorjem. Zlasti deduplikacija lahko znatno poveča porabo pomnilnika, zato jo je najbolje omogočiti le, če je prihranek prostora resnično upravičen.

Na področju upravljanja ZFS uvaja dobro znane RAID-Z nize (RAID-Z1, RAID-Z2, RAID-Z3) , zasnovane tako, da se izognejo pogostim težavam RAID 5/6, kot je »luknja pri pisanju«, in ponuja preproste, zrcalne in napredne kombinacije RAID. Omogočajo širitev zmogljivosti z dodajanjem novih naprav v nabor in takojšnjo uporabo, kar zagotavlja veliko večjo prilagodljivost kot tradicionalni RAID nizi.

Med njegovimi naprednimi funkcijami so takojšnji posnetki, lahki kloni, transparentno stiskanje, notranja deduplikacija in zelo granularne kvote na nabor podatkov ali uporabnika. Posnetki lahko štejejo v bilijonih in so ustvarjeni skoraj v trenutku, saj se shranijo le reference na obstoječe bloke.

Slaba stran je poraba virov: ZFS je zasnovan za stroje z veliko RAM-a (16 GB je razumno izhodišče, več pa, če je omogočena deduplikacija) in spodobnim procesorjem. Zlasti deduplikacija lahko znatno poveča porabo pomnilnika, zato jo je najbolje omogočiti le, če je prihranek prostora resnično upravičen.

Proizvajalci, kot je QNAP, v svojih vrhunskih naprav za mobilne naprave stavijo na ZFS s sistemom QuTS Hero , kjer so njegove zmogljivosti v celoti izkoriščene: RAID-Z, neprekinjeno preverjanje integritete, stiskanje, obsežni posnetki in možnost upravljanja vsega iz relativno uporabniku prijaznega grafičnega vmesnika za napredne uporabnike.

Drugi pogosti datotečni sistemi: NTFS, FAT32, exFAT in XFS

Čeprav se tukaj osredotočamo na ZFS, Btrfs in EXT4 v strežniških in NAS okoljih, se v vsakdanji praksi pojavljajo tudi drugi datotečni sistemi z zelo specifično uporabo . Njihovo razumevanje pomaga preprečiti mešanje konceptov pri povezovanju diskov med različnimi operacijskimi sistemi.

NTFS (New Technology File System) je že desetletja privzeti datotečni sistem za Windows. Podpira zelo velike datoteke, napredna dovoljenja, vodenje dnevnika in številne druge funkcije, vendar je njegova združljivost zunaj sistema Windows omejena : macOS ga privzeto priklopi kot samo za branje, in čeprav ga Linux dobro podpira, ni najboljša možnost za pogone, ki si jih bodo delile številne naprave, vključno z igralnimi konzolami.

FAT32 je klasičen, zelo združljiv format, idealen za poceni USB pogone, predvajalnike medijev in starejše naprave. Njegova največja pomanjkljivost je omejitev velikosti datoteke 4 GB , zaradi česar ni primeren za sodobne varnostne kopije, slike diskov ali visokokakovostne videoposnetke. Kljub temu ostaja pomemben, saj ga lahko bere skoraj vsaka naprava na planetu.

Navadni format FAT je še starejši in bolj omejen, z majhno toleranco napak, brez varnostnih dovoljenj in zasnovan za majhne kapacitete (več desetin GB). Vendar pa ostaja zelo združljiv s starejšimi sistemi in nekaterimi vgrajenimi napravami, čeprav se v praksi danes redko uporablja za kaj resnejšega.

Datoteka exFAT je bila ustvarjena kot naslednik datoteke FAT32 za izmenljive medije, s čimer je odpravila omejitev velikosti datoteke 4 GB. Široko se uporablja na karticah SD, USB ključkih in zunanjih trdih diskih , ki se uporabljajo v sistemih Windows in macOS. Čeprav ima v Linuxu že solidno podporo, ne dodaja funkcij, kot so posnetki podatkov ali robustno beleženje, zato ni idealna izbira za naprave NAS.

Končno je XFS visokozmogljiv datotečni sistem, zasnovan za zelo velike datoteke , ki se pogosto uporablja v vrhunskih strežnikih Linux in velikih bazah podatkov. Ponuja napredno beleženje in odlično vzporedno delovanje, vendar nima izvornih posnetkov in vgrajenega stiskanja, zato se v določenih scenarijih bolj kosa z EXT4 kot z ZFS ali Btrfs.

Primerjava ZFS, Btrfs in EXT4: zmogljivosti, funkcije in omejitve

Če primerjamo ZFS, Btrfs in EXT4 drug ob drugem, se pokaže več ključnih razlik v največji zmogljivosti, naprednih funkcijah in ravneh zaščite podatkov . Kar zadeva teoretične omejitve, sta ZFS in Btrfs v isti ligi s 16 EiB za prostornino in 16 TiB na datoteko, medtem ko je EXT4 omejen na 1 EiB za prostornino in 16 TiB na datoteko (s 4K bloki).

Kar zadeva velikosti datotek, Btrfs in ZFS podpirata astronomske količine (bilijone v primeru Btrfs in do 2 ^⁴⁸ v ZFS), medtem ko EXT4 deluje z več milijardami razpoložljivih inode . Vsi trije imajo skupno omejitev imena datoteke na 255 bajtov, kar zadostuje za praktično vsak scenarij.

Najbolj očitna ločitev je vidna pri naprednih funkcijah . ZFS in Btrfs ponujata kopiranje ob pisanju, vgrajene posnetke, transparentno stiskanje in deduplikacijo (izvorno v ZFS, na voljo z orodji v Btrfs). EXT4 pa ne integrira CoW, nima vgrajenih posnetkov in nima vgrajene kompresije in deduplikacije.

Kar zadeva šifriranje , ZFS izvaja šifriranje na ravni nabora podatkov z globoko sistemsko integracijo. Glede na konfiguracijo se lahko Btrfs za šifriranje naprave zanaša na zunanje mehanizme, kot je LUKS, EXT4 pa se pogosto kombinira z LUKS ali drugimi šifrirnimi plastmi za zaščito celotnega nosilca podatkov.

Če pogledamo posnetke, ZFS podpira izjemno veliko največje število (približno 2 ^⁴⁸ ), Btrfs omogoča tudi ogromne količine, EXT4 pa jih ne obdeluje izvorno . Zaradi tega ZFS in Btrfs izstopata po strategijah za pogosto varnostno kopiranje, hitro obnovitev po človeških napakah in replikacijo med strežniki.

Konceptualno je ZFS najbolj integrirana in koherentna rešitev »vse v enem« : nosilec + datotečni sistem + RAID + upravljanje kvot in nenehno preverjanje. Btrfs prav tako integrira številne plasti (datotečni sistem in RAID, podnosilec, dostava posnetkov), vendar se običajno zanaša na zunanja orodja za šifriranje ali nekatere napredne naloge. EXT4 pa se tradicionalno kombinira z LVM, mdadm in drugimi komponentami za izgradnjo celovitih rešitev.

Zmogljivost in poraba virov: v katerem scenariju se vsaka od njih najbolje obnese?

Ena točka, ki se v teoriji redko omenja, je pa v praksi zelo opazna, je zmogljivost in poraba virov v resničnem svetu . Različni primerjalni testi (na primer tisti, ki jih je izvedel Phoronix) kažejo, da je EXT4, razen v zelo specifičnih primerih, običajno najhitrejši datotečni sistem za zaporedne in naključne operacije branja in pisanja pod enakimi strojnimi pogoji.

Na splošno EXT4 ponuja zelo visoko zmogljivost z nizko porabo procesorja in RAM-a , zaradi česar je idealen za domače NAS in mala podjetja, kjer je pomembno hitro in enostavno premikanje podatkov, brez potrebe po zmogljivih posnetkih ali deduplikaciji.

ZFS pa je v čistih V/I merilih ponavadi najpočasnejši , zlasti pri primerjavi enakovrednih konfiguracij z drugimi sistemi na isti strojni opremi. To je zato, ker njegov model CoW, preverjanje kontrolnih vsot, stiskanje, upravljanje nabora in funkcije integritete porabljajo čas procesorja in pomnilnika, kar se kompenzira v okoljih, kjer je absolutna prioriteta ohranjanje podatkov.

Btrfs se običajno uvrsti nekje vmes: ni tako hiter kot EXT4 , vendar ni tako zahteven glede strojne opreme kot ZFS. Pri mnogih delovnih obremenitvah, ki uporabljajo SSD-je in bliskovne RAID-nize, lahko ponudi dobro ravnovesje med zmogljivostjo in naprednimi funkcijami, čeprav se njegovo delovanje lahko precej razlikuje glede na različico jedra in specifično konfiguracijo.

Če je vaš NAS ali strežnik nižjega ali srednjega razreda, z omejenim RAM-om in skromnim procesorjem, je EXT4 običajno najbolj smiselna izbira . Na zmogljivejših strojih je Btrfs dobra možnost za izkoriščanje posnetkov, stiskanja in integriranega RAID-a brez zahtev ZFS-a. In ko imate zmogljiv stroj z veliko RAM-a in potrebujete maksimalno integriteto podatkov in samozdravljenje, postane ZFS zvezda.

Priporočeni primeri uporabe: domači NAS, mala in srednje velika podjetja ter poslovna okolja

Po preučitvi vse teorije se postavlja pravo vprašanje: kateri datotečni sistem naj izberem za svoj specifični primer? NAS za filme in družinske varnostne kopije ni isto kot kritično okolje baz podatkov ali virtualizacijski strežnik z več deset stroji.

Za osebno uporabo, domače pisarne in majhna pisarniška okolja (SOHO) je EXT4 na splošno najbolj uravnotežena možnost. Je temeljito preizkušen, brez težav ga podpirajo vse distribucije, ponuja odlično zmogljivost in ne zahteva posebne strojne opreme. Če želite deliti datoteke, izvajati varnostne kopije in nastaviti eno ali dve preprosti RAID polji, bo EXT4 deloval brezhibno.

Za podjetja, ki zahtevajo pogoste posnetke podatkov, prilagodljivost in visoko raven zaščite podatkov , je Btrfs odlična izbira. Synology ga na primer uporablja v številnih svojih napravah NAS za ponujanje načrtovanih posnetkov podatkov, replikacije med napravami, preverjanja integritete in stiskanja, vse z uporabniku prijaznim vmesnikom. Poleg tega njegova izvorna integracija z jedrom Linuxa poenostavlja upravljanje in zmanjšuje zunanje odvisnosti.

Za poslovna okolja, velike računalnike, podatkovne centre in velike baze podatkov je ZFS kralj. Njegova kombinacija kopiranja ob pisanju, 256-bitnih kontrolnih vsot, RAID-Z, samozdravljenja, transparentnega stiskanja in deduplikacije ga naredi idealno orodje, ko si preprosto ne morete privoščiti tihe poškodbe ali izgube podatkov zaradi okvar diska med obnovo RAID-a.

V segmentu vrhunskih NAS sistemov QNAP s QuTS hero prinaša ZFS v namizne in rack računalnike z zmogljivimi procesorji in velikimi količinami RAM-a , s čimer srednje velikim podjetjem, ki želijo narediti korak naprej pri zaščiti podatkov, ne da bi pri tem vzpostavili ogromen grozd, približa zmogljivosti, značilne za profesionalne strežnike.

Upoštevati je treba tudi gostiteljski operacijski sistem . V Linuxu se ZFS običajno naloži kot zunanji modul (zaradi težav z licenciranjem), medtem ko je Btrfs integriran v jedro, kar včasih pretehta tehtnico pri iskanju 100 % "čistih Linux" rešitev. V FreeBSD ima ZFS še posebej robustno integracijo, medtem ko se Btrfs redko uporablja.

Kaj je treba upoštevati pri izbiri datotečnega sistema za vaš NAS

Poleg tehničnih specifikacij je treba pred izbiro ZFS, Btrfs ali EXT4 za vaš NAS ali strežnik upoštevati še več praktičnih meril. Združljivost je eno prvih: prepričati se morate, da operacijski sistem NAS in orodja, ki jih boste uporabljali vsakodnevno, podpirajo izbrani datotečni sistem.

Tudi stabilnost in zrelost datotečnega sistema sta zelo pomembni. EXT4 je že leta v množični proizvodnji in je verjetno najbolj stabilen na splošno. Tudi ZFS se ponaša z ogromno zrelostjo, zlasti v okoljih Solaris, FreeBSD in OpenZFS. Btrfs se je precej razvil, vendar nekatere konfiguracije (kot je RAID 5/6) še vedno veljajo za občutljive in jih je priporočljivo temeljito raziskati, preden jih uporabite v produkciji.

Hitrost in učinkovitost bosta ključnega pomena, če bo vaš NAS dnevno obdeloval velike količine podatkov. EXT4 običajno zmaga v surovi zmogljivosti, medtem ko ZFS in Btrfs ponujata več funkcij, vendar z višjimi stroški virov. Odločiti se morate, kaj vam je najpomembnejše: preprostost in hitrost ali napredne funkcije, tudi če je največja zmogljivost nekoliko nižja.

Dodatne funkcije prav tako naredijo razliko: posnetki podatkov, stiskanje, deduplikacija, samodejno preverjanje in popravljanje podatkov, upravljanje kvot, integracija RAID itd. Tukaj blestita ZFS in Btrfs, medtem ko je treba EXT4 kombinirati z drugimi orodji, da bi dosegli nekaj podobnega.

Nenazadnje je ključna tudi prihodnja skalabilnost . Če načrtujete dodajanje diskov, povečanje zmogljivosti ali spremembo načina uporabe strežnika NAS, boste želeli sistem, ki vam omogoča razširitev pomnilniških skupin, prerazporeditev podatkov in upravljanje ogromnih količin, ne da bi morali vse prestrukturirati od začetka. V tem pogledu sta ZFS in Btrfs očitno pred EXT4.

Z vsem zgoraj navedenim je slika precej jasna: EXT4 je najbolj primeren za cenovno ugodne naprave NAS in splošno uporabo , Btrfs je zelo privlačen za podjetja in napredne uporabnike, ki živijo v Linuxu in želijo dobro integrirane posnetke in replikacijo, ZFS pa je prednostna možnost, kadar je poudarek na integriteti podatkov, samozdravljenju in skalabilnosti v velikem obsegu, pod pogojem, da je strojna oprema kos nalogi.