- Implementatie van een client-serverarchitectuur met Spark Connect die de uitvoering op het cluster loskoppelt van de lokale omgeving.
- De ondersteuning voor Java 17, 21 en 25 is uitgebreid, en sinds versie 4.0.0 is het gebruik van Scala 2.13 verplicht.
- Flexibele implementatie dankzij vooraf samengestelde binaire bestanden voor Hadoop, Maven-afhankelijkheden of installatie via PyPI.
Als je in de wereld van Big Data werkt, weet je dat Apache Spark praktisch de standaard is als het gaat om het razendsnel verwerken van enorme hoeveelheden data. Met de komst van versie 4.2 heeft het framework niet alleen de prestaties geoptimaliseerd, maar ook een kwalitatieve sprong voorwaarts gemaakt in de manier waarop we verbinding maken met clusters, waardoor alles veel flexibeler en minder omslachtig is geworden.
Het krachtigste aspect van deze update is ongetwijfeld de verfijning van de architectuur, waardoor we niet langer de volledige runtime-omgeving op onze lokale machine hoeven te draaien. Dankzij een veel volwassenere client-serverarchitectuur kunnen we nu complexe processen overal vandaan starten zonder dat onze computer vastloopt. De server draagt het zware werk over en wij ontvangen de resultaten direct na verwerking.
Technische vereisten en milieucompatibiliteit
Om Spark 4.2 te kunnen gebruiken, is Java-ondersteuning essentieel. Deze versie is compatibel met Java 17, 21 en tot en met 25 , maar houd er rekening mee dat Java 25-versies ouder dan 25.0.3 al als verouderd worden beschouwd. Wat de programmeertaal betreft, is Scala 2.13 de standaard geworden , waardoor versie 2.12 definitief achterhaald is. Oudere projecten moeten dus worden gemigreerd.
Voor degenen die de voorkeur geven aan Python, is versie 3.10 of hoger vereist , terwijl R wordt ondersteund vanaf versie 4.0, hoewel het gebruik van R in een fase van uitfasering verkeert. Het besturingssysteem is niet relevant, aangezien Spark probleemloos werkt op zowel Windows als UNIX-achtige systemen (zoals cloud Linux of macOS), mits de variabele JAVA_HOME of het PATH correct is geconfigureerd.
Installatie- en implementatieopties
Wanneer je Spark downloadt, heb je verschillende opties, afhankelijk van je infrastructuur. De meest gebruikelijke optie is het downloaden van de voorgeconfigureerde pakketten voor Hadoop , aangezien Spark de clientbibliotheken van Hadoop gebruikt om HDFS en YARN te beheren. Als je echter een zeer specifieke configuratie hebt, kun je kiezen voor de "Hadoop free" binaire versie en het classpath zelf configureren.
Als ontwikkelaar is het eenvoudiger: Java- en Scala-gebruikers kunnen het framework integreren met behulp van Maven-coördinaten , en Python-gebruikers kunnen het rechtstreeks installeren vanaf PyPI . Voor de meer avontuurlijke gebruikers die het kernsysteem willen aanpassen, is er ook de mogelijkheid om Spark rechtstreeks vanuit de broncode te compileren.
De Spark Connect-revolutie
Hier wordt het interessant. Spark Connect is een architectuur die breekt met het traditionele model waarin client en server onlosmakelijk met elkaar verbonden waren. Nu is de client een lichtgewicht laag die een logisch queryplan opstelt en dit via gRPC en Arrow naar de externe server stuurt. Deze server is verantwoordelijk voor het analyseren van het plan, het optimaliseren ervan met behulp van Catalyst en het uitvoeren ervan op het cluster.
Het grootste voordeel van dit systeem is dat de client niet langer de volledige Spark-infrastructuur of een zware lokale JVM hoeft te installeren. Hierdoor kunnen we Spark integreren in notebooks, IDE's, webservices of zelfs AI-agents , zonder dat de lokale Python-versie exact hoeft overeen te komen met de clusterversie. De resultaten worden in Arrow-batches naar de client teruggestuurd , waardoor de gegevensoverdracht ongelooflijk snel verloopt.
Applicatie-uitvoering en interactieve modus
Voor wie wil beginnen met experimenteren, bevat Spark een reeks voorbeelden in de map. examples/src/mainOm Python-applicaties interactief uit te voeren, gebruikt u de volgende opdracht. bin/pyspark Het is hét belangrijkste hulpmiddel. Als je de voorkeur geeft aan Scala of Java, kun je het gebruiken. bin/run-example <clase>, wat intern het script start vonk-indienen om de applicatie te starten.
Er is ook de mogelijkheid om een aangepaste Scala-shell te gebruiken, wat ideaal is om te leren hoe het framework intern werkt. Een cruciaal detail is het gebruik van de optie --masterAls je tests uitvoert, kun je het beste gebruikmaken van lokaal voor een enkele draad of lokaal om optimaal gebruik te maken van de meerdere processorkernen voordat je overstapt naar een gedistribueerde omgeving.
Verbeteringen in compatibiliteit en ecosysteem
Versie 4.2 is de "Spark Classic" niet vergeten. Er is veel werk verzet om de compatibiliteitskloof te dichten en de ondersteuning voor de Spark Classic te verbeteren. RDD API en toestaan dat spark.read.* Het accepteert DataFrames als invoer. Daarnaast zijn foutafhandeling, statusrapportage en andere functies geoptimaliseerd. Ondersteuning voor YARN-clustermodus.
Wat de distributie betreft, is het belangrijk om te controleren of Docker-images niet-ASF-software kunnen bevatten. Het is daarom raadzaam om de Dockerfiles te bekijken. Als u omwille van de stabiliteit wilt terugkeren naar eerdere versies, zijn er releasebestanden beschikbaar . Het is echter altijd aan te raden om de beveiligingspagina te raadplegen om bekende kwetsbaarheden te vermijden.
Deze nieuwe versie bevestigt Spark als een uiterst veelzijdig hulpmiddel dat, dankzij de ontkoppeling van client en server, de democratisering van big data-verwerking bevordert. Met bijgewerkte ondersteuning voor Java en Scala en een veel soepelere integratie met moderne ontwikkelomgevingen, is het de logische keuze voor elke schaalbare data-analyse die streeft naar efficiëntie en eenvoud in de implementatie.
