AWS Glue Interactive Sessions agora suportam Spark Connect para cargas de trabalho interativas

O que foi anunciado

A AWS anunciou que as AWS Glue Interactive Sessions agora oferecem suporte ao Apache Spark Connect, uma integração que amplia significativamente a flexibilidade para desenvolvedores que trabalham com cargas de trabalho interativas em Spark. Com essa novidade, é possível desenvolver e executar aplicações Apache Spark diretamente a partir do ambiente preferido de cada time — seja em notebooks gerenciados no Amazon SageMaker Unified Studio, seja em ferramentas como Jupyter ou Visual Studio Code — enquanto a execução acontece na infraestrutura serverless do AWS Glue, sem a necessidade de gerenciar clusters.

Como funciona o Spark Connect no Glue

O Spark Connect utiliza uma arquitetura de cliente leve que desacopla a aplicação cliente do ambiente de execução do Spark. Na prática, isso significa que o desenvolvedor submete os jobs Spark para as AWS Glue Interactive Sessions a partir de qualquer ferramenta compatível, enquanto toda a complexidade de infraestrutura fica abstraída no lado do servidor.

Essa separação traz benefícios concretos para o dia a dia das equipes de dados:

• Exploração ad hoc de dados: é possível investigar conjuntos de dados de forma rápida e interativa, sem precisar provisionar ambientes dedicados.
• Depuração iterativa passo a passo: o fluxo de desenvolvimento fica mais ágil, permitindo validar cada etapa antes de avançar.
• Desenvolvimento incremental de jobs PySpark: times podem construir e refinar pipelines antes de promovê-los para produção, tudo dentro das ferramentas que já utilizam no cotidiano.

Além disso, o Spark Connect simplifica o processo de atualização de versões e melhora a estabilidade geral, pois as dependências do cliente ficam isoladas do runtime Spark que roda no servidor.

Observabilidade e gerenciamento de sessões

Para quem precisa de visibilidade sobre o que está acontecendo nas sessões, a AWS incluiu recursos de observabilidade relevantes:

• Monitoramento em tempo real via Spark UI
• Histórico de execuções pelo Spark History Server
• Gerenciamento de sessões via AWS Glue API, CLI (Interface de Linha de Comando) ou SDK (Kit de Desenvolvimento de Software)

Disponibilidade por região

O AWS Glue Interactive Sessions com Spark Connect já está disponível nas seguintes regiões:

• Ásia-Pacífico: Mumbai, Seul, Singapura, Sydney e Tóquio
• Canadá: Central
• Europa: Frankfurt, Irlanda, Londres, Paris e Estocolmo
• América do Sul: São Paulo
• Leste dos EUA: Ohio e Norte da Virgínia
• Oeste dos EUA: Oregon

A disponibilidade na região de São Paulo é um ponto positivo para equipes brasileiras que precisam manter os dados dentro do território nacional por questões de conformidade ou latência.

Como começar

Para utilizar o recurso, é possível conectar-se às Glue Interactive Sessions via Spark Connect a partir de notebooks no Amazon SageMaker Unified Studio, de qualquer IDE com interpretador Python, ou ainda pela AWS API, SDK ou CLI. Para mais detalhes técnicos, a AWS disponibiliza a documentação oficial do AWS Glue Interactive Sessions.

Fonte

AWS Glue Interactive Sessions now support Spark Connect for interactive workloads (https://aws.amazon.com/about-aws/whats-new/2026/06/aws-glue-interactive-sessions-spark-connect-smus-notebooks)