O que foi anunciado
A AWS anunciou que o Amazon EMR on EC2 passa a suportar sessões interativas do Apache Spark por meio do Spark Connect. A novidade é voltada para engenheiros de dados e cientistas de dados que precisam de um ciclo de desenvolvimento mais ágil — permitindo criar, testar e depurar aplicações Spark de forma interativa, sem precisar submeter jobs completos a cada iteração.
Como funciona na prática
Com o Spark Connect, cada sessão interativa roda em um cluster dedicado do EMR on EC2. O desenvolvimento pode acontecer a partir de notebooks gerenciados no Amazon SageMaker Unified Studio ou diretamente em IDEs de preferência do time, como Jupyter e Visual Studio Code.
Um ponto importante da arquitetura do Spark Connect é a separação entre o cliente da aplicação e o driver do Spark — o que tecnicamente é chamado de arquitetura cliente-servidor. Isso significa que o ambiente de desenvolvimento local fica desacoplado da infraestrutura Spark que roda no cluster. Na prática, o desenvolvedor mantém suas ferramentas e fluxo de trabalho habituais enquanto o processamento pesado acontece remotamente.
Sessão persistente e execução híbrida
Cada sessão interativa oferece um contexto Spark persistente que se mantém ativo entre células e scripts. Isso permite combinar execução local de código Python com operações remotas no Spark — algo especialmente útil em fluxos de trabalho como:
- Exploração ad hoc de dados
- Depuração iterativa passo a passo
- Desenvolvimento incremental de jobs PySpark antes de subir para produção
Observabilidade e monitoramento
Para acompanhar o que está acontecendo nas sessões, a AWS disponibiliza monitoramento em tempo real via Spark UI, histórico de execuções pelo Spark History Server e gerenciamento de sessões diretamente pelo console do EMR ou via API, CLI e SDK. Sessões ativas e já concluídas podem ser inspecionadas pelo console.
Disponibilidade
O recurso de Sessões Interativas está disponível no Amazon EMR on EC2 com o runtime AWS para Apache Spark (emr-spark-8.0) ou versões posteriores. A funcionalidade está presente em todas as regiões AWS onde o Amazon EMR está disponível, com exceção das regiões AWS GovCloud e das regiões da China. A experiência pelo Amazon SageMaker Unified Studio está disponível nas regiões suportadas.
Para começar a usar, a AWS disponibiliza o guia de sessões interativas com Spark Connect e o guia de introdução ao Amazon SageMaker Unified Studio.
Fonte
Run interactive workloads on Amazon EMR on EC2 with Spark Connect (https://aws.amazon.com/about-aws/whats-new/2026/08/amazon-emr-ec2-spark-connect/)
Leave a Reply