- Implementering av en klient-server-arkitektur ved bruk av Spark Connect som frikobler klyngekjøring fra det lokale miljøet.
- Oppdatert støtte for Java 17, 21 og 25, samt obligatorisk bruk av Scala 2.13 siden versjon 4.0.0.
- Fleksibel distribusjon gjennom forhåndspakkede binærfiler for Hadoop- og Maven-avhengigheter eller installasjon via PyPI.
Hvis du jobber i stordataverdenen, vet du at Apache Spark praktisk talt er standarden når det gjelder å behandle enorme datamengder med lynets hastighet. Med ankomsten av versjon 4.2 har rammeverket ikke bare forbedret ytelsen, men har også tatt et kvalitativt sprang i måten vi kobler til klynger på, noe som gjør alt mye mer fleksibelt og mindre tungvint.
Det kraftigste aspektet ved denne oppdateringen er utvilsomt hvordan de har forbedret arkitekturen, slik at vi ikke trenger å bære hele kjøretidsmiljøet på den lokale maskinen vår. Nå, takket være en mye mer moden klient-server-arkitektur, kan vi starte komplekse prosesser hvor som helst uten at datamaskinen krasjer, delegere det tunge arbeidet til serveren og motta resultatene som allerede er behandlet.
Tekniske krav og miljøkompatibilitet
For å få Spark 4.2 oppe og i gang, er det viktig å forstå at Java-støtte er avgjørende. Denne versjonen er kompatibel med Java 17, 21 og oppover 25 , men merk at Java 25-versjoner før 25.0.3 allerede anses som foreldede. Når det gjelder programmeringsspråket, er standarden nå Scala 2.13 , og versjon 2.12 er definitivt lagt bak seg, så hvis du har eldre prosjekter, må du migrere dem.
For de som foretrekker Python, kreves versjon 3.10 eller høyere , mens R støttes fra versjon 4.0 og utover, selv om det er verdt å merke seg at bruken av R går inn i en fase med avskrivning. Operativsystemet er irrelevant, ettersom Spark kjører problemfritt på både Windows og UNIX-lignende systemer (som skybasert Linux eller macOS), forutsatt at du har JAVA_HOME-variabelen eller PATH riktig konfigurert.
Installasjons- og distribusjonsalternativer
Når du laster ned Spark, har du flere alternativer avhengig av infrastrukturen din. Det vanligste er å laste ned de forhåndskonfigurerte pakkene for Hadoop , siden Spark bruker klientbibliotekene sine til å administrere HDFS og YARN. Men hvis du har en veldig spesifikk konfigurasjon, kan du velge binærfilen "Hadoop free" og konfigurere klassestien selv.
Hvis du er en utvikler, er ting enklere: Java- og Scala-brukere kan integrere rammeverket ved hjelp av Maven-koordinater , og Python-brukere kan installere det direkte fra PyPI . For de mer eventyrlystne som ønsker å endre kjernesystemet, finnes det også muligheten til å kompilere Spark direkte fra kildekoden.
Spark Connect-revolusjonen
Det er her det blir interessant. Spark Connect er en arkitektur som bryter med den tradisjonelle modellen der klienten og serveren var uatskillelige. Nå er klienten et lett lag som bygger en logisk spørreplan og sender den via gRPC og Arrow til den eksterne serveren. Denne serveren er ansvarlig for å analysere planen, optimalisere den ved hjelp av Catalyst og kjøre den på klyngen.
Det beste med dette systemet er at klienten ikke lenger trenger å ha hele Spark-infrastrukturen eller en tung lokal JVM installert. Dette lar oss integrere Spark i bærbare datamaskiner, IDE-er, webtjenester eller til og med AI-agenter uten at den lokale Python-versjonen må samsvare strengt med klyngeversjonen. Resultatene returneres til klienten i Arrow-batcher , noe som gjør dataoverføringen utrolig rask.
Programutførelse og interaktiv modus
For de som vil begynne å eksperimentere, inkluderer Spark en rekke eksempler i katalogen. examples/src/mainFor å kjøre Python-applikasjoner interaktivt, bruk kommandoen bin/pyspark Det er nøkkelverktøyet. Hvis du foretrekker Scala eller Java, kan du bruke bin/run-example <clase>, som internt starter skriptet gnist-sende for å starte applikasjonen.
Det er også mulighet for å bruke et modifisert Scala-skall, som er ideelt for å lære hvordan rammeverket fungerer internt. En viktig detalj er bruken av alternativet --masterHvis du skal utføre tester, er det best å bruke lokal for en enkelt tråd eller lokal å dra nytte av flere kjerner i prosessoren din før du hopper til et distribuert miljø.
Forbedringer i kompatibilitet og økosystem
Versjon 4.2 har ikke glemt «Spark Classic». Mye arbeid er gjort for å lukke kompatibilitetsgapet og forbedre støtten for RDD API og tillater det spark.read.* Den aksepterer DataFrames som input. I tillegg er feilforplantning, tilstandsrapportering og andre funksjoner optimalisert. Støtte for YARN-klyngemodus.
Når det gjelder distribusjon, er det viktig å sjekke at Docker-avbildninger kan inneholde programvare som ikke er i ASF, så det anbefales å gjennomgå Dockerfilene deres. Hvis du må gå tilbake til tidligere versjoner av stabilitetshensyn, er utgivelsesfiler tilgjengelige , men det anbefales alltid å sjekke sikkerhetssiden for å unngå kjente sårbarheter.
Denne nye versjonen befester Spark som et ekstremt allsidig verktøy som, takket være frakoblingen mellom klient og server, forenkler demokratiseringen av stordatabehandling. Med oppdatert støtte for Java og Scala, og mye smidigere integrasjon med moderne utviklingsmiljøer, blir det det logiske valget for all skalerbar dataanalyse som søker effektivitet og enkelhet i utrulling.
