- Kliens-szerver architektúra megvalósítása Spark Connect használatával, amely leválasztja a klaszter végrehajtását a helyi környezetről.
- Frissített támogatás a Java 17, 21 és 25 verziókhoz, valamint a Scala 2.13 kötelező használata a 4.0.0 verzió óta.
- Rugalmas telepítési lehetőségek előre csomagolt bináris fájlok révén Hadoop, Maven függőségekhez, vagy PyPI-n keresztüli telepítéshez.
Ha a Big Data világában dolgozol, akkor tudod, hogy az Apache Spark gyakorlatilag a szabvány a hatalmas adatmennyiségek villámgyors feldolgozásában. A 4.2-es verzió megjelenésével a keretrendszer nemcsak a teljesítmény optimalizálása terén lépett előre, hanem minőségi ugrást tett a klaszterekhez való kapcsolódás módjában is, így minden sokkal rugalmasabb és kevésbé nehézkes.
A frissítés legerősebb aspektusa kétségtelenül az architektúra finomítása, így nem kell a teljes futási környezetet a helyi gépünkön hordoznunk. Most, a sokkal fejlettebb kliens-szerver architektúrának köszönhetően, bárhonnan elindíthatunk összetett folyamatokat anélkül, hogy a számítógépünk összeomlana, a nehéz munkát a szerverre delegálva, és a már feldolgozott eredményeket megkapva.
Műszaki követelmények és környezeti kompatibilitás
A Spark 4.2 futtatásához elengedhetetlen megérteni, hogy a Java támogatás elengedhetetlen. Ez a verzió kompatibilis a Java 17, 21 és 25-ös verziókkal , bár fontos megjegyezni, hogy a 25.0.3 előtti Java 25 verziók már elavultnak számítanak. A programozási nyelvet tekintve a szabvány most a Scala 2.13 , amely véglegesen maga mögött hagyja a 2.12-es verziót, így ha régebbi projektjei vannak, azokat migrálnia kell.
Azoknak, akik a Pythont részesítik előnyben, a 3.10-es vagy újabb verzió szükséges , míg az R a 4.0-s verziótól támogatott, bár érdemes megjegyezni, hogy az R használata elavulttá válik. Az operációs rendszer nem számít, mivel a Spark zökkenőmentesen fut mind Windows, mind UNIX-szerű rendszereken (például felhőalapú Linuxon vagy macOS-en), feltéve, hogy a JAVA_HOME változó vagy a PATH megfelelően van konfigurálva.
Telepítési és üzembe helyezési lehetőségek
A Spark letöltésekor számos lehetőség közül választhatsz az infrastruktúrádtól függően. A leggyakoribb a Hadoop előre konfigurált csomagjainak letöltése , mivel a Spark a klienskönyvtárait használja a HDFS és a YARN kezeléséhez. Ha azonban nagyon specifikus konfigurációval rendelkezel, választhatod a „Hadoop free” bináris fájlt , és magad konfigurálhatod az osztályútvonalat.
Ha fejlesztő vagy, a dolgok egyszerűbbek: a Java és Scala felhasználók Maven koordinátákkal integrálhatják a keretrendszert , a Python felhasználók pedig közvetlenül a PyPI- ből telepíthetik . A kalandvágyóbbak számára, akik módosítani szeretnék az alaprendszert, lehetőség van a Spark közvetlen forráskódból történő fordítására is.
A Spark Connect forradalma
Itt kezdenek érdekessé válni a dolgok. A Spark Connect egy olyan architektúra, amely szakít a hagyományos modellel, ahol a kliens és a szerver elválaszthatatlanok voltak. Most a kliens egy könnyű réteg, amely logikai lekérdezési tervet épít fel , és gRPC és Arrow segítségével elküldi azt a távoli szervernek. Ez a szerver felelős a terv elemzéséért, Catalyst segítségével történő optimalizálásáért és a klaszteren történő végrehajtásáért.
A rendszer legjobb tulajdonsága, hogy a kliensnek már nem kell a teljes Spark infrastruktúrát vagy egy nagy helyi JVM-et telepítenie. Ez lehetővé teszi számunkra, hogy a Sparkot notebookokba, IDE-kbe, webszolgáltatásokba vagy akár AI-ügynökökbe integráljuk anélkül, hogy a helyi Python verziónak szigorúan meg kellene egyeznie a klaszter verziójával. Az eredményeket Arrow-kötegekben küldjük vissza a kliensnek , így az adatátvitel hihetetlenül gyors.
Alkalmazásfuttatás és interaktív mód
Azok számára, akik kísérletezni szeretnének, a Spark számos példát tartalmaz a könyvtárban. examples/src/mainPython alkalmazások interaktív futtatásához használja a következő parancsot: bin/pyspark Ez a legfontosabb eszköz. Ha a Scalát vagy a Javát részesíted előnyben, használhatod bin/run-example <clase>, amely belsőleg elindítja a szkriptet szikra-beküld az alkalmazás elindításához.
Lehetőség van egy módosított Scala shell használatára is, amely ideális a keretrendszer belső működésének elsajátításához. Lényeges részlet a lehetőség használata --masterHa teszteket csinálsz, akkor a legjobb, ha ezt használod: helyi egyetlen szálra vagy helyi hogy kihasználja a processzor több magjának előnyeit, mielőtt elosztott környezetre váltana.
Kompatibilitás és ökoszisztéma fejlesztései
A 4.2-es verzió nem feledkezett meg a „Spark Classic”-ról sem. Sok munkát végeztek a kompatibilitási rés áthidalására, javítva a támogatást a következőkhöz: RDD API és megengedve, hogy spark.read.* Bemenetként DataFrame-eket fogad el. Ezenkívül optimalizálták a hibatovábbítást, az állapotjelentést és egyéb funkciókat. YARN klaszter mód támogatás.
A terjesztést illetően fontos ellenőrizni, hogy a Docker-képek tartalmazhatnak-e nem ASF szoftvereket, ezért ajánlott áttekinteni a Docker-fájljaikat. Ha stabilitási okokból vissza kell térni a korábbi verziókhoz, elérhetők kiadási fájlok , bár mindig ajánlott ellenőrizni a biztonsági oldalt az ismert sebezhetőségek elkerülése érdekében.
Ez az új verzió megszilárdítja a Sparkot, mint rendkívül sokoldalú eszközt, amely a kliens és a szerver szétválasztásának köszönhetően megkönnyíti a big data feldolgozásának demokratizálását. A frissített Java és Scala támogatással, valamint a modern fejlesztői környezetekkel való sokkal zökkenőmentesebb integrációval logikus választássá válik minden skálázható adatelemző számára , amely a hatékonyságot és az egyszerűséget keresi a telepítés során.
