- Asiakas-palvelinarkkitehtuurin toteutus Spark Connectin avulla, joka erottaa klusterin suorituksen paikallisesta ympäristöstä.
- Päivitetty tuki Java 17:lle, 21:lle ja 25:lle sekä Scala 2.13:n käyttö pakollista versiosta 4.0.0 alkaen.
- Käyttöönoton joustavuus valmiiksi pakattujen binaarien avulla Hadoopille tai Maven-riippuvuuksille tai asennuksella PyPI:n kautta.
Jos työskentelet Big Datan parissa, tiedät, että Apache Spark on käytännössä standardi, kun on kyse valtavien datamäärien käsittelystä salamannopeasti. Version 4.2 myötä kehys ei ole ainoastaan parantanut suorituskykyään, vaan se on myös ottanut laadullisen harppauksen klusteriyhteyksien muodostamisessa, mikä tekee kaikesta paljon joustavampaa ja vähemmän hankalaa.
Tämän päivityksen tehokkain ominaisuus on epäilemättä arkkitehtuurin hienosäätö, jonka ansiosta meidän ei tarvitse kantaa koko suoritusympäristöä paikallisella koneellamme. Nyt paljon kypsemmän asiakas-palvelin-arkkitehtuurin ansiosta voimme käynnistää monimutkaisia prosesseja mistä tahansa ilman, että tietokoneemme kaatuu, delegoida raskaan työn palvelimelle ja vastaanottaa jo käsitellyt tulokset.
Tekniset vaatimukset ja ympäristöyhteensopivuus
Jotta Spark 4.2 saadaan käyntiin, on tärkeää ymmärtää, että Java-tuki on ratkaisevan tärkeää. Tämä versio on yhteensopiva Java 17:n, 21:n ja jopa 25:n kanssa , vaikka on huomattava, että Java 25 -versioita ennen 25.0.3:a pidetään jo vanhentuneina. Ohjelmointikielen osalta standardi on nyt Scala 2.13 , joka jättää lopullisesti version 2.12 taakseen, joten jos sinulla on vanhempia projekteja, sinun on migroitava ne.
Pythonia suosiville vaaditaan versio 3.10 tai uudempi , kun taas R:ää tuetaan versiosta 4.0 eteenpäin, vaikka onkin syytä huomata, että R:n käyttö on siirtymässä vanhenemisvaiheeseen. Käyttöjärjestelmällä ei ole merkitystä, koska Spark toimii sujuvasti sekä Windowsissa että UNIXin kaltaisissa järjestelmissä (kuten pilvi-Linuxissa tai macOS:ssä), edellyttäen, että JAVA_HOME-muuttuja tai PATH on määritetty oikein.
Asennus- ja käyttöönottovaihtoehdot
Kun lataat Sparkin, sinulla on useita vaihtoehtoja infrastruktuuristasi riippuen. Yleisin on ladata Hadoopin esikonfiguroidut paketit , koska Spark käyttää asiakaskirjastojaan HDFS:n ja YARNin hallintaan. Jos sinulla on kuitenkin hyvin tarkka kokoonpano, voit valita "Hadoop free" -binääritiedoston ja määrittää luokkapolun itse.
Jos olet kehittäjä, asiat ovat yksinkertaisempia: Java- ja Scala-käyttäjät voivat integroida kehyksen Maven-koordinaateilla , ja Python-käyttäjät voivat asentaa sen suoraan PyPI: stä . Seikkailunhaluisemmille, jotka haluavat muokata ydinjärjestelmää, on myös mahdollisuus kääntää Spark suoraan lähdekoodista.
Spark Connect -vallankumous
Tässä kohtaa asiat muuttuvat mielenkiintoisiksi. Spark Connect on arkkitehtuuri, joka rikkoo perinteistä mallia, jossa asiakas ja palvelin olivat erottamattomia. Nyt asiakas on kevyt kerros, joka rakentaa loogisen kyselysuunnitelman ja lähettää sen gRPC:n ja Arrow'n kautta etäpalvelimelle. Tämä palvelin vastaa suunnitelman analysoinnista, optimoinnista Catalyst-työkalulla ja sen suorittamisesta klusterissa.
Tämän järjestelmän paras puoli on, että asiakkaan ei enää tarvitse olla asennettuna koko Spark-infrastruktuuria tai raskasta paikallista JVM:ää. Tämä mahdollistaa Sparkin integroinnin kannettaviin tietokoneisiin, IDE-ympäristöihin, verkkopalveluihin tai jopa tekoälyagentteihin ilman, että paikallisen Python-version tarvitsee vastata tarkasti klusteriversiota. Tulokset palautetaan asiakkaalle Arrow-erissä , mikä tekee tiedonsiirrosta uskomattoman nopeaa.
Sovelluksen suoritus ja vuorovaikutteinen tila
Niille, jotka haluavat aloittaa kokeilun, Sparkin hakemistossa on useita esimerkkejä examples/src/mainPython-sovellusten interaktiiviseen suorittamiseen käytä komentoa bin/pyspark Se on avaintyökalu. Jos käytät mieluummin Scalaa tai Javaa, voit käyttää bin/run-example <clase>, joka käynnistää komentosarjan sisäisesti kipinä-lähettää käynnistääksesi sovelluksen.
Voit myös käyttää muokattua Scala-kuorta, joka sopii erinomaisesti kehyksen sisäisen toiminnan oppimiseen. Olennainen yksityiskohta on vaihtoehdon käyttö --masterJos teet testejä, on parasta käyttää paikallinen yhdelle säikeelle tai paikallinen hyödyntääksesi prosessorisi useita ytimiä ennen siirtymistä hajautettuun ympäristöön.
Yhteensopivuuden ja ekosysteemin parannukset
Versiossa 4.2 ei ole unohdettu "Spark Classicia". Yhteensopivuuskuilujen poistamiseksi on tehty paljon työtä, ja tukea on parannettu mm. RDD-sovellusliittymä ja sallien sen spark.read.* Se hyväksyy syötteenä DataFrameja. Lisäksi virheiden eteneminen, tilaraportointi ja muut ominaisuudet on optimoitu. YARN-klusteritilan tuki.
Jakelun osalta on tärkeää tarkistaa, että Docker-levykuvat saattavat sisältää muuta kuin ASF-ohjelmistoa, joten on suositeltavaa tarkistaa niiden Docker-tiedostot. Jos sinun on palattava aiempiin versioihin vakaussyistä, julkaisutiedostot ovat saatavilla , vaikka on aina suositeltavaa tarkistaa tietoturvasivu tunnettujen haavoittuvuuksien välttämiseksi.
Tämä uusi versio vahvistaa Sparkin asemaa erittäin monipuolisena työkaluna, joka asiakkaan ja palvelimen eriyttämisen ansiosta helpottaa suurten tietomäärien käsittelyn demokratisointia. Päivitetyn Java- ja Scala-tuen sekä paljon sujuvamman integroinnin nykyaikaisiin kehitysympäristöihin ansiosta siitä tulee looginen valinta kaikille skaalautuville data-analytiikoille, jotka pyrkivät tehokkuuteen ja helppoon käyttöönottoon.
