- Реалізація клієнт-серверної архітектури за допомогою Spark Connect, яка відокремлює виконання кластера від локального середовища.
- Оновлена підтримка Java 17, 21 та 25, а також обов'язкове використання Scala 2.13, починаючи з версії 4.0.0.
- Гнучкість розгортання завдяки попередньо упакованим бінарним файлам для залежностей Hadoop, Maven або інсталяції через PyPI.
Якщо ви працюєте у світі великих даних, ви знаєте, що Apache Spark є практично стандартом, коли справа доходить до обробки величезних обсягів даних з блискавичною швидкістю. З появою версії 4.2 фреймворк не лише покращив свої навички в оптимізації продуктивності, але й зробив якісний стрибок у способі підключення до кластерів, зробивши все набагато гнучкішим та менш громіздким.
Найпотужнішим аспектом цього оновлення, безсумнівно, є те, як вони вдосконалили архітектуру, щоб нам не довелося переносити все середовище виконання на локальний комп'ютер. Тепер, завдяки набагато зрілішій клієнт-серверній архітектурі, ми можемо запускати складні процеси з будь-якого місця без збоїв комп'ютера, делегуючи важку роботу серверу та отримуючи вже оброблені результати.
Технічні вимоги та сумісність з навколишнім середовищем
Щоб запустити Spark 4.2, важливо розуміти, що підтримка Java є надзвичайно важливою. Ця версія сумісна з Java 17, 21 і до 25 , хоча зауважте, що версії Java 25 до 25.0.3 вже вважаються застарілими. Щодо мови програмування, то стандартом зараз є Scala 2.13 , остаточно залишаючи позаду версію 2.12, тому, якщо у вас є старіші проекти, вам потрібно буде їх перенести.
Для тих, хто віддає перевагу Python, потрібна версія 3.10 або вище , тоді як R підтримується з версії 4.0, хоча варто зазначити, що використання R вступає в фазу припинення підтримки. Операційна система не має значення, оскільки Spark безперебійно працює як на Windows, так і на UNIX-подібних системах (таких як cloud Linux або macOS), за умови правильного налаштування змінної JAVA_HOME або PATH.
Варіанти встановлення та розгортання
Під час завантаження Spark у вас є кілька варіантів залежно від вашої інфраструктури. Найпоширенішим є завантаження попередньо налаштованих пакетів для Hadoop , оскільки Spark використовує свої клієнтські бібліотеки для керування HDFS та YARN. Однак, якщо у вас дуже специфічна конфігурація, ви можете вибрати бінарний файл "Hadoop free" та налаштувати шлях до класів самостійно.
Якщо ви розробник, все простіше: користувачі Java та Scala можуть інтегрувати фреймворк за допомогою координат Maven , а користувачі Python можуть встановити його безпосередньо з PyPI . Для більш сміливих, які хочуть змінити основну систему, також є можливість компілювати Spark безпосередньо з вихідного коду.
Революція Spark Connect
Ось тут і починається цікаве. Spark Connect — це архітектура, яка ламає традиційну модель, де клієнт і сервер були нероздільними. Тепер клієнт — це легкий рівень, який будує логічний план запитів і надсилає його через gRPC та Arrow на віддалений сервер. Цей сервер відповідає за аналіз плану, його оптимізацію за допомогою Catalyst та виконання на кластері.
Найкраще в цій системі те, що клієнту більше не потрібно встановлювати всю інфраструктуру Spark або потужну локальну JVM. Це дозволяє нам інтегрувати Spark у ноутбуки, IDE, веб-сервіси або навіть агенти штучного інтелекту без необхідності суворо збігатися локальної версії Python з версією кластера. Результати повертаються клієнту пакетами Arrow , що робить передачу даних неймовірно швидкою.
Виконання програми та інтерактивний режим
Для тих, хто хоче почати експериментувати, Spark містить низку прикладів у каталозі. examples/src/mainЩоб запускати програми Python інтерактивно, використовуйте команду bin/pyspark Це ключовий інструмент. Якщо ви надаєте перевагу Scala або Java, ви можете використовувати bin/run-example <clase>, який запускає скрипт внутрішньо spark-submit щоб запустити програму.
Також існує можливість використання модифікованої оболонки Scala, яка ідеально підходить для вивчення внутрішньої роботи фреймворку. Важливою деталлю є використання цієї опції --masterЯкщо ви проводите тести, найкраще використовувати місцевий для однієї нитки або місцевий скористатися перевагами кількох ядер вашого процесора, перш ніж переходити до розподіленого середовища.
Покращення сумісності та екосистеми
У версії 4.2 не забуто про «Spark Classic». Було виконано багато роботи для усунення розриву в сумісності, покращення підтримки для API РДД і дозволяючи цьому spark.read.* Він приймає DataFrames як вхідні дані. Крім того, було оптимізовано поширення помилок, звітування про стан та інші функції. Підтримка режиму кластера YARN.
Щодо розповсюдження, важливо перевірити, чи можуть образи Docker містити програмне забезпечення, яке не є ASF, тому бажано переглянути їхні Docker-файли. Якщо вам потрібно повернутися до попередніх версій з міркувань стабільності, доступні файли випуску , хоча завжди рекомендується перевіряти сторінку безпеки, щоб уникнути відомих вразливостей.
Ця нова версія закріплює позиції Spark як надзвичайно універсального інструменту, який завдяки розв'язанню клієнта та сервера сприяє демократизації обробки великих даних. Завдяки оновленій підтримці Java та Scala, а також набагато плавнішій інтеграції із сучасними середовищами розробки, він стає логічним вибором для будь-якої масштабованої аналітики даних, яка прагне ефективності та простоти розгортання.
