- Spark Connect를 사용하여 클러스터 실행을 로컬 환경과 분리하는 클라이언트-서버 아키텍처를 구현했습니다.
- Java 17, 21 및 25에 대한 지원이 업데이트되었으며, 버전 4.0.0부터 Scala 2.13 사용이 필수화되었습니다.
- Hadoop용 사전 패키지 바이너리, Maven 종속성 또는 PyPI를 통한 설치를 통해 배포 유연성을 제공합니다.
빅데이터 분야에 종사하신다면, 방대한 양의 데이터를 초고속으로 처리하는 데 있어 아파치 스파크가 사실상 표준이라는 것을 잘 알고 계실 겁니다. 4.2 버전 출시와 함께, 이 프레임워크는 성능 최적화를 위해 한 단계 더 발전했을 뿐만 아니라, 클러스터 연결 방식 또한 질적으로 크게 개선되어 훨씬 더 유연하고 간편해졌습니다.
이번 업데이트의 가장 강력한 측면은 단연코 아키텍처를 개선하여 더 이상 전체 런타임 환경을 로컬 컴퓨터에 설치할 필요가 없게 되었다는 점입니다. 훨씬 더 안정적인 클라이언트-서버 아키텍처 덕분에 이제 컴퓨터가 다운될 염려 없이 어디서든 복잡한 프로세스를 실행할 수 있으며, 대부분의 작업은 서버에 위임하고 이미 처리된 결과를 받아볼 수 있습니다.
기술적 요구사항 및 환경 호환성
Spark 4.2를 실행하려면 Java 지원이 필수적이라는 점을 이해해야 합니다. 이 버전은 Java 17, 21, 그리고 최대 25까지 호환 되지만, Java 25 25.0.3 이전 버전은 이미 구식으로 간주됩니다. 프로그래밍 언어의 경우, 현재 표준은 Scala 2.13 이며 , 2.12 버전은 더 이상 사용되지 않으므로 기존 프로젝트는 마이그레이션해야 합니다.
Python을 선호하는 사용자의 경우 버전 3.10 이상 이 필요하며 , R은 버전 4.0부터 지원되지만 R의 사용은 점차 줄어들고 있다는 점에 유의해야 합니다. Spark는 JAVA_HOME 변수 또는 PATH가 올바르게 설정되어 있다면 Windows와 UNIX 계열 시스템 ( 클라우드 Linux 또는 macOS 등 ) 모두에서 원활하게 실행되므로 운영 체제는 중요하지 않습니다.
설치 및 배포 옵션
Spark를 다운로드할 때 인프라 구성에 따라 여러 옵션이 있습니다. Spark는 Hadoop 클라이언트 라이브러리를 사용하여 HDFS와 YARN을 관리하므로 가장 일반적인 방법은 Hadoop용으로 사전 구성된 패키지를 다운로드하는 것입니다. 하지만 특정 구성이 필요한 경우에는 "Hadoop이 필요 없는" 바이너리 를 선택 하고 클래스 경로를 직접 구성할 수 있습니다.
개발자라면 더욱 간단합니다. Java 및 Scala 사용자는 Maven을 사용하여 프레임워크를 통합할 수 있으며, Python 사용자는 PyPI 에서 직접 설치할 수 있습니다 . 핵심 시스템을 수정하고 싶은 사용자라면 소스 코드에서 Spark를 직접 컴파일하는 옵션도 있습니다.
Spark Connect 혁명
여기서부터 흥미로운 점이 나타납니다. Spark Connect는 클라이언트와 서버가 분리될 수 없었던 기존 모델에서 벗어난 아키텍처입니다. 이제 클라이언트는 논리적 쿼리 계획을 구축 하고 gRPC와 Arrow를 통해 원격 서버로 전송하는 경량 계층입니다. 서버는 이 계획을 분석하고 Catalyst를 사용하여 최적화한 후 클러스터에서 실행합니다.
이 시스템의 가장 큰 장점은 클라이언트가 더 이상 전체 Spark 인프라나 용량이 큰 로컬 JVM을 설치할 필요가 없다는 것입니다. 덕분에 로컬 Python 버전이 클러스터 버전과 정확히 일치할 필요 없이 Spark를 노트북, IDE, 웹 서비스, 심지어 AI 에이전트 에도 통합할 수 있습니다. 결과는 Arrow 배치 단위 로 클라이언트에 반환되므로 데이터 전송 속도가 매우 빠릅니다.
애플리케이션 실행 및 대화형 모드
Spark를 사용해 보고 싶은 분들을 위해, Spark는 디렉토리 내에 다양한 예제를 제공합니다. examples/src/main파이썬 애플리케이션을 대화형으로 실행하려면 다음 명령어를 사용하세요. bin/pyspark 이것이 핵심 도구입니다. Scala나 Java를 선호하신다면, 해당 언어를 사용하셔도 됩니다. bin/run-example <clase>내부적으로 스크립트를 실행합니다. 스파크 제출 애플리케이션을 실행하려면.
또한 수정된 Scala 셸을 사용하는 옵션도 있는데, 이는 프레임워크의 내부 작동 방식을 배우는 데 이상적입니다. 중요한 점은 옵션 사용 방식입니다. --master테스트를 진행 중이라면, 사용하는 것이 가장 좋습니다. 지방의 단일 스레드의 경우 또는 지방의 분산 환경으로 넘어가기 전에 프로세서의 멀티 코어를 활용하는 것이 좋습니다.
호환성 및 생태계 개선
버전 4.2는 "Spark Classic"을 잊지 않았습니다. 호환성 격차를 해소하고 지원을 개선하기 위해 많은 노력을 기울였습니다. RDD API 그리고 그것을 허용한다면 spark.read.* 이 함수는 데이터프레임을 입력으로 받습니다. 또한 오류 전파, 상태 보고 및 기타 기능이 최적화되었습니다. YARN 클러스터 모드 지원.
배포와 관련하여 Docker 이미지에 ASF 이외의 소프트웨어가 포함될 수 있으므로 Dockerfile을 검토하는 것이 중요합니다. 안정성 문제로 이전 버전으로 되돌려야 하는 경우 릴리스 파일을 사용할 수 있지만 , 알려진 취약점을 방지하기 위해 항상 보안 페이지를 확인하는 것이 좋습니다.
이번 새 버전은 클라이언트와 서버의 분리를 통해 빅데이터 처리의 보편화를 촉진하는 매우 다재다능한 도구로서의 Spark의 입지를 더욱 공고히 합니다. Java 및 Scala에 대한 업데이트된 지원과 최신 개발 환경과의 훨씬 원활한 통합을 통해 효율성과 간편한 배포를 추구하는 확장 가능한 데이터 분석 솔루션 에 Spark가 최적의 선택이 될 것입니다.
