- Implementacija klijent-poslužitelj arhitekture korištenjem Spark Connecta koja odvaja izvršavanje klastera od lokalnog okruženja.
- Ažurirana podrška za Javu 17, 21 i 25, uz obavezno korištenje Scale 2.13 od verzije 4.0.0.
- Fleksibilnost implementacije putem unaprijed zapakiranih binarnih datoteka za Hadoop, Maven ovisnosti ili instalacije putem PyPI-ja.
Ako radite u svijetu velikih podataka, znat ćete da je Apache Spark praktički standard kada je u pitanju obrada ogromnih količina podataka brzinom munje. Dolaskom verzije 4.2, okvir je ne samo poboljšao svoju igru optimizacije performansi, već je i napravio kvalitativni skok u načinu povezivanja s klasterima, čineći sve mnogo fleksibilnijim i manje glomaznim.
Najmoćniji aspekt ovog ažuriranja je nesumnjivo način na koji su poboljšali arhitekturu tako da ne moramo nositi cijelo okruženje za izvođenje na našem lokalnom računalu. Sada, zahvaljujući mnogo zrelijoj klijent-poslužitelj arhitekturi, možemo pokretati složene procese s bilo kojeg mjesta bez pada računala, delegiranja teškog posla poslužitelju i primanja već obrađenih rezultata.
Tehnički zahtjevi i kompatibilnost s okolišem
Za pokretanje i rad Sparka 4.2, bitno je shvatiti da je podrška za Javu ključna. Ova verzija je kompatibilna s Javom 17, 21 i do 25 , iako imajte na umu da se verzije Jave 25 prije 25.0.3 već smatraju zastarjelima. Što se tiče programskog jezika, standard je sada Scala 2.13 , čime je verzija 2.12 definitivno zaostala, pa ako imate starije projekte, morat ćete ih migrirati.
Za one koji preferiraju Python, potrebna je verzija 3.10 ili novija , dok je R podržan od verzije 4.0 nadalje, iako vrijedi napomenuti da korištenje R-a ulazi u fazu zastarjevanja. Operativni sustav nije bitan, jer Spark glatko radi i na Windows i na UNIX-sličnim sustavima (kao što su cloud Linux ili macOS), pod uvjetom da imate ispravno konfiguriranu varijablu JAVA_HOME ili PATH.
Mogućnosti instalacije i implementacije
Kada preuzmete Spark, imate nekoliko opcija ovisno o vašoj infrastrukturi. Najčešća je preuzimanje unaprijed konfiguriranih paketa za Hadoop , budući da Spark koristi svoje klijentske biblioteke za upravljanje HDFS-om i YARN-om. Međutim, ako imate vrlo specifičnu konfiguraciju, možete se odlučiti za "Hadoop free" binarnu datoteku i sami konfigurirati put klase.
Ako ste programer, stvari su jednostavnije: korisnici Jave i Scale mogu integrirati framework pomoću Maven koordinata , a korisnici Pythona ga mogu instalirati izravno iz PyPI-ja . Za one avanturističkije koji žele modificirati jezgru sustava, postoji i mogućnost izravnog kompajliranja Sparka iz izvornog koda.
Revolucija Spark Connecta
Tu stvari postaju zanimljive. Spark Connect je arhitektura koja prekida tradicionalni model gdje su klijent i poslužitelj bili nerazdvojni. Sada je klijent lagani sloj koji gradi logički plan upita i šalje ga putem gRPC-a i Arrowa udaljenom poslužitelju. Ovaj poslužitelj je odgovoran za analizu plana, njegovu optimizaciju pomoću Catalysta i njegovo izvršavanje na klasteru.
Najbolja stvar kod ovog sustava je što klijent više ne mora imati instaliranu cijelu Spark infrastrukturu ili teški lokalni JVM. To nam omogućuje integraciju Sparka u prijenosna računala, IDE-ove, web servise ili čak AI agente bez potrebe da se lokalna verzija Pythona strogo podudara s verzijom klastera. Rezultati se vraćaju klijentu u Arrow serijama , što prijenos podataka čini nevjerojatno brzim.
Izvršavanje aplikacije i interaktivni način rada
Za one koji žele započeti eksperimentiranje, Spark u direktoriju uključuje niz primjera examples/src/mainZa interaktivno pokretanje Python aplikacija koristite naredbu bin/pyspark To je ključni alat. Ako više volite Scalu ili Javu, možete koristiti bin/run-example <clase>, što interno pokreće skriptu iskra-pošalji za pokretanje aplikacije.
Također postoji mogućnost korištenja modificirane Scala ljuske, što je idealno za učenje kako okvir interno funkcionira. Važan detalj je korištenje opcije --masterAko radite testove, najbolje je koristiti lokalne za jednu nit ili lokalne iskoristiti prednosti više jezgri vašeg procesora prije prelaska na distribuirano okruženje.
Poboljšanja kompatibilnosti i ekosustava
Verzija 4.2 nije zaboravila na "Spark Classic". Mnogo je posla učinjeno kako bi se smanjio jaz u kompatibilnosti, poboljšavajući podršku za RDD API i dopuštajući to spark.read.* Prihvaća DataFrames kao ulaz. Osim toga, optimizirano je širenje pogrešaka, izvještavanje o stanju i druge značajke. Podrška za YARN klasterski način rada.
Što se tiče distribucije, važno je provjeriti mogu li Docker slike sadržavati softver koji nije ASF, stoga je preporučljivo pregledati njihove Docker datoteke. Ako se trebate vratiti na prethodne verzije zbog stabilnosti, dostupne su datoteke za izdanje , iako se uvijek preporučuje provjeriti sigurnosnu stranicu kako biste izbjegli poznate ranjivosti.
Ova nova verzija učvršćuje Spark kao iznimno svestran alat koji, zahvaljujući razdvajanju klijenta i poslužitelja, olakšava demokratizaciju obrade velikih podataka. S ažuriranom podrškom za Javu i Scalu te puno glatkijom integracijom s modernim razvojnim okruženjima, postaje logičan izbor za svaku skalabilnu analitiku podataka koja traži učinkovitost i jednostavnost u implementaciji.
