- Klienta-servera arhitektūras ieviešana, izmantojot Spark Connect, kas atdala klastera izpildi no lokālās vides.
- Atjaunināts Java 17, 21 un 25 atbalsts, kā arī obligāta Scala 2.13 lietošana kopš 4.0.0 versijas.
- Izvietošanas elastība, izmantojot iepriekš sagatavotus bināros failus Hadoop vai Maven atkarībām vai instalēšanu, izmantojot PyPI.

Ja strādājat lielo datu pasaulē, jūs zināt, ka Apache Spark praktiski ir standarts, ja runa ir par milzīgu datu apjomu apstrādi zibens ātrumā. Ar 4.2. versijas ierašanos ietvars ir ne tikai uzlabojis savu sniegumu veiktspējas optimizācijā, bet arī ir spēris kvalitatīvu lēcienu veidā, kā mēs savienojamies ar klasteriem, padarot visu daudz elastīgāku un mazāk apgrūtinošu.
Šī atjauninājuma visizteiktākais aspekts neapšaubāmi ir tas, kā viņi ir pilnveidojuši arhitektūru, lai mums nebūtu jāpārvieto visa izpildlaika vide uz mūsu lokālā datora. Tagad, pateicoties daudz nobriedušākai klienta-servera arhitektūrai, mēs varam palaist sarežģītus procesus no jebkuras vietas, nebojājot datoru, deleģējot smago darbu serverim un saņemot jau apstrādātos rezultātus.
Tehniskās prasības un saderība ar vidi

Lai palaistu Spark 4.2, ir svarīgi saprast, ka Java atbalsts ir ļoti svarīgs. Šī versija ir saderīga ar Java 17, 21 un līdz pat 25 , lai gan ņemiet vērā, ka Java 25 versijas, kas ir vecākas par 25.0.3, jau tiek uzskatītas par novecojušām. Attiecībā uz programmēšanas valodu standarts tagad ir Scala 2.13 , pilnībā atstājot 2.12 versiju aiz muguras, tāpēc, ja jums ir vecāki projekti, tie būs jāmigrē.
Tiem, kas dod priekšroku Python, nepieciešama 3.10 vai jaunāka versija , savukārt R tiek atbalstīts no 4.0 versijas, lai gan ir vērts atzīmēt, ka R lietošana nonāk novecošanas fāzē. Operētājsistēmai nav nozīmes, jo Spark darbojas nevainojami gan Windows, gan UNIX līdzīgās sistēmās (piemēram, mākoņpakalpojumos Linux vai macOS), ja vien ir pareizi konfigurēts JAVA_HOME mainīgais vai PATH.
Instalēšanas un izvietošanas iespējas
Lejupielādējot Spark, atkarībā no jūsu infrastruktūras ir pieejamas vairākas iespējas. Visizplatītākā ir iepriekš konfigurētu Hadoop pakotņu lejupielāde , jo Spark izmanto savas klienta bibliotēkas HDFS un YARN pārvaldībai. Tomēr, ja jums ir ļoti specifiska konfigurācija, varat izvēlēties bināro failu "Hadoop free" un pats konfigurēt klases ceļu.
Ja esat izstrādātājs, viss ir vienkāršāk: Java un Scala lietotāji var integrēt ietvaru, izmantojot Maven koordinātas , un Python lietotāji to var instalēt tieši no PyPI . Drosmīgākiem cilvēkiem, kuri vēlas modificēt pamatsistēmu, ir arī iespēja kompilēt Spark tieši no avota koda.
Spark Connect revolūcija

Šeit lietas kļūst interesantas. Spark Connect ir arhitektūra, kas lauž tradicionālo modeli, kurā klients un serveris bija nedalāmi. Tagad klients ir viegls slānis, kas izveido loģisku vaicājumu plānu un nosūta to, izmantojot gRPC un Arrow, uz attālo serveri. Šis serveris ir atbildīgs par plāna analīzi, optimizāciju, izmantojot Catalyst, un izpildi klasterī.
Šīs sistēmas lielākā priekšrocība ir tā, ka klientam vairs nav nepieciešama visa Spark infrastruktūra vai sarežģīta lokālā JVM instalēšana. Tas ļauj mums integrēt Spark piezīmju grāmatiņās, integrētajās vidēs (IDE), tīmekļa pakalpojumos vai pat mākslīgā intelekta aģentos , un lokālajai Python versijai nav stingri jāatbilst klastera versijai. Rezultāti klientam tiek atgriezti Arrow paketēs , padarot datu pārsūtīšanu neticami ātru.
Lietojumprogrammas izpilde un interaktīvais režīms

Tiem, kas vēlas sākt eksperimentēt, Spark direktorijā ir iekļauta virkne piemēru. examples/src/mainLai interaktīvi palaistu Python lietojumprogrammas, izmantojiet komandu bin/pyspark Tas ir galvenais rīks. Ja dodat priekšroku Scala vai Java, varat izmantot bin/run-example <clase>, kas iekšēji palaiž skriptu dzirksteles iesniegšana lai palaistu lietojumprogrammu.
Ir arī iespēja izmantot modificētu Scala čaulu, kas ir ideāli piemērota, lai apgūtu ietvara iekšējo darbību. Svarīga detaļa ir šīs opcijas izmantošana. --masterJa veicat testus, vislabāk ir izmantot vietējs vienam pavedienam vai vietējs lai izmantotu vairāku procesora kodolu priekšrocības, pirms pāriet uz izkliedētu vidi.
Saderības un ekosistēmas uzlabojumi
4.2 versijā nav aizmirsts par "Spark Classic". Ir paveikts daudz darba, lai novērstu saderības plaisu, uzlabojot atbalstu RDD API un pieļaujot to spark.read.* Tas pieņem DataFrame kā ievadi. Turklāt ir optimizēta kļūdu izplatīšana, stāvokļa ziņošana un citas funkcijas. YARN klastera režīma atbalsts.
Runājot par izplatīšanu, ir svarīgi pārbaudīt, vai Docker attēli var saturēt programmatūru, kas nav ASF, tāpēc ieteicams pārskatīt to Docker failus. Ja stabilitātes apsvērumu dēļ ir jāatgriežas pie iepriekšējām versijām, ir pieejami laidiena faili , lai gan vienmēr ieteicams pārbaudīt drošības lapu, lai izvairītos no zināmām ievainojamībām.
Šī jaunā versija nostiprina Spark kā ārkārtīgi daudzpusīgu rīku, kas, pateicoties klienta un servera atdalīšanai, atvieglo lielo datu apstrādes demokratizāciju. Ar atjauninātu Java un Scala atbalstu un daudz vienmērīgāku integrāciju ar modernām izstrādes vidēm tā kļūst par loģisku izvēli jebkurai mērogojamai datu analītikai, kas meklē efektivitāti un vienkāršību ieviešanā.

