TL;DR — Google Cloud가 2026년 6월 10일 Lightning Engine for Managed Service for Apache Spark를 정식 출시(GA)했습니다. 표준 오픈소스 Spark 대비 최대 4.9배 빠른 성능, 선도 경쟁 고속 Spark 제품 대비 2배 가격 대비 성능을 제공합니다. 서버리스·관리형 클러스터 양쪽 모드를 지원하며, 기존 파이프라인 코드 변경 없이 활성화됩니다.

왜 지금 Spark 성능이 중요한가

Apache Spark는 글로벌 데이터 처리의 핵심 인프라입니다. 그러나 AI 에이전트가 수천 개의 동시·멀티홉 쿼리를 자동으로 발생시키는 에이전틱 AI 시대에는 기존 Spark의 JVM 오버헤드와 가비지 컬렉션 지연이 심각한 병목이 됩니다. 처리 속도가 곧 에이전트의 단위 경제를 결정합니다.

Google Cloud는 이 문제를 정면 돌파하기 위해 100만 개 이상의 실제 워크로드를 검증한 끝에 Lightning Engine을 정식 출시했습니다.

4.9×표준 오픈소스 Spark 대비 최대 성능 향상
2×선도 경쟁 고속 Spark 제품 대비 가격 대비 성능
100만+정식 출시 전 검증한 실제 워크로드 수

Lightning Engine의 핵심 기술

1. 벡터화 네이티브 실행 (Vectorized Native Execution)

기존 Spark는 JVM 위에서 실행되며 GC 지연이 발생합니다. Lightning Engine은 Spark 물리적 쿼리 플랜을 네이티브 C++ 명령어로 컴파일하고 SIMD 벡터화를 적용합니다. 오픈소스 Gluten과 Velox 런타임 위에 Google이 추가 최적화를 더한 구조입니다.

주요 가속 영역:

  • 벡터화 정렬: 컬럼형 메모리에서 데이터를 처리해 CPU 사이클 오버헤드 대폭 감소
  • 가속 윈도우 함수: 이동 평균, 집계, 중복 제거 등을 네이티브 C++ 레이어에서 직접 실행
  • 스마트 폴백: 네이티브 미지원 연산자나 커스텀 Java UDF는 자동으로 JVM으로 전환해 불필요한 데이터 변환 방지

2. 최적화된 Cloud Storage·BigQuery 커넥터

  • 직접 경로 연결: Cloud Storage에 양방향 스트리밍으로 중간 노드 없이 직접 접근, seek 연산 및 벡터화 readV API로 복잡한 Parquet/ORC 파일 스캔 가속
  • 메타데이터 호출 최소화: 드라이버에서 사전 수집한 렉시코그래픽 파티션 정보를 익스큐터에 직접 전달해 Cloud Storage 메타데이터 API 호출 비용 대폭 절감
  • 네이티브 BigQuery 커넥터: Arrow 형식으로 BigQuery 데이터 직접 소비, Arrow→JVM UnsafeRow 변환 제거

3. 고급 쿼리 최적화

Google의 F1·Spanner 쿼리 엔진에서 영감을 받은 비용 기반 쿼리 최적화기를 탑재합니다.

  • 싱글 해시테이블 캐싱: 브로드캐스트 조인 시 익스큐터마다 한 번만 해시 테이블 구성·캐싱
  • 집계 푸시다운: 조인 셔플 아래로 부분 집계를 자동으로 밀어 네트워크 전송 데이터 최소화
  • 자동 셔플 파티셔닝: 런타임 통계 기반으로 각 쿼리 스테이지의 최적 파티션 수 동적 결정
💡
바로 사용하는 방법
서버리스 배치 작업에서 활성화하려면 --properties=dataproc:dataproc.tier=premium 플래그 하나만 추가하면 됩니다. 관리형 클러스터는 --engine=lightning 옵션으로 생성 시 활성화됩니다. 기존 파이프라인 코드 변경은 불필요합니다.

Native Query Execution(NQE) — 선택적 추가 가속

Lightning Engine의 선택적 레이어인 NQE는 Apache Gluten + Velox 기반 네이티브 구현으로 추가 성능을 제공합니다.

  • Google 하드웨어에 최적화된 설계
  • 오프힙·온힙 메모리를 동적으로 전환하는 통합 메모리 관리
  • Parquet·ORC 파일 읽기 워크로드에 권장
  • 단, ANSI 모드, 케이스 민감 모드, 일부 JSON 함수 사용 시 폴백 또는 제한 있음

활성화 방법: spark.dataproc.lightningEngine.runtime=native 프로퍼티 추가

ℹ️
실제 도입 기업
Flipkart, Lowe's, Meesho 등이 이미 Lightning Engine을 적용해 Apache Spark 워크로드를 가속하고 있습니다. Lowe's의 사례는 Google Cloud Next '26에서 직접 소개됐습니다.

지원 환경 및 가격

항목 내용
지원 런타임 Managed Service for Apache Spark 2.3 (3.0 미지원)
배포 모드 서버리스 배치 / 관리형 클러스터 / 인터랙티브 세션
가격 등급 Premium 티어 (추가 요금 없이 Lightning Engine 포함)
자동 활성화 배치 워크로드: 프리미엄 티어 선택 시 자동 / 인터랙티브 세션: 수동 설정 필요
기존 코드 변경 불필요 — 완전 호환
이용 가능 지역 EMR Serverless 가용 모든 AWS 리전 (교차 클라우드 레이크하우스 지원)
핵심 포인트
  • Lightning Engine GA로 기존 파이프라인 변경 없이 최대 4.9배 Spark 성능 향상 가능
  • SIMD 벡터화 네이티브 C++ 실행으로 JVM GC 오버헤드 근본적으로 제거
  • 비용 기반 쿼리 최적화기·Cloud Storage 커넥터 개선으로 I/O 병목도 해소
  • 에이전틱 AI 시대 수천 개 동시 쿼리 처리를 2배 저렴하게 가능
  • NQE(Native Query Execution)로 Parquet/ORC 워크로드 추가 가속 선택 가능
🔗
관련 자료 · 공식 출처 · 사용 안내
— Google Cloud 공식 블로그: Lightning Engine 성능 심층 분석
— Google Cloud 공식 문서: Lightning Engine 활성화 가이드
— Google Cloud Dataproc — Managed Service for Apache Spark 홈페이지