AWS Glue 5.1 já está disponível em todas as regiões comerciais e GovCloud (US)

O que foi anunciado

A AWS anunciou a disponibilidade geral do AWS Glue 5.1 em todas as regiões comerciais e nas regiões AWS GovCloud (US). Com essa expansão, as regiões Ásia-Pacífico (Nova Zelândia), AWS GovCloud (US-West) e AWS GovCloud (US-East) passam a contar com a versão mais recente do serviço.

Para quem não conhece, o AWS Glue é um serviço serverless e escalável de integração de dados. Ele simplifica as tarefas de descoberta, preparação, movimentação e integração de dados provenientes de múltiplas fontes — sem a necessidade de gerenciar infraestrutura.

O que muda na versão 5.1

Atualização dos motores principais

O AWS Glue 5.1 atualiza os principais componentes de execução do serviço. Os destaques são:

• Apache Spark 3.5.6 — motor de processamento distribuído de dados
• Python 3.11 — linguagem de programação amplamente usada em pipelines de dados
• Scala 2.12.18 — linguagem alternativa para desenvolvimento de jobs no Glue

Essas atualizações trazem melhorias de desempenho e segurança para os jobs existentes.

Suporte atualizado a formatos de tabela abertos

A versão 5.1 também atualiza as bibliotecas de formatos de tabela abertos (open table formats), que são fundamentais para arquiteturas de Data Lakehouse modernas:

• Apache Hudi 1.0.2
• Apache Iceberg 1.10.0
• Delta Lake 3.3.2

Novidades do Apache Iceberg formato versão 3.0

O Glue 5.1 introduz suporte ao Apache Iceberg no formato versão 3.0, que adiciona capacidades relevantes para quem trabalha com grandes volumes de dados:

• Valores padrão para colunas (default column values)
• Vetores de exclusão para tabelas merge-on-read (deletion vectors)
• Transformações com múltiplos argumentos (multi-argument transforms)
• Rastreamento de linhagem de linhas (row lineage tracking)

Controle de acesso mais granular com o Lake Formation

Uma das mudanças mais significativas desta versão está na integração com o AWS Lake Formation. O controle de acesso refinado (fine-grained access control) do Lake Formation foi estendido para operações de escrita — tanto Linguagem de Manipulação de Dados (DML) quanto Linguagem de Definição de Dados (DDL) — para Spark DataFrames e Spark SQL.

Anteriormente, esse controle estava disponível apenas para operações de leitura. Com essa expansão, as equipes ganham um nível muito maior de governança sobre quem pode modificar dados e estruturas dentro do lake.

Além disso, o Glue 5.1 adiciona controle de acesso em nível de tabela completa (full-table access control) no Apache Spark para tabelas Apache Hudi e Delta Lake, ampliando ainda mais as opções de segurança disponíveis.

Como começar a usar

O AWS Glue 5.1 já está disponível em todas as regiões comerciais e GovCloud (US) da AWS. É possível começar a utilizá-lo por meio das APIs da AWS, AWS CLI, AWS SDK ou pelo AWS Glue Studio. Para mais detalhes, a AWS disponibiliza a página do produto e a documentação oficial.

Fonte

AWS Glue 5.1 is now available in all AWS Commercial and AWS GovCloud (US) Regions (https://aws.amazon.com/about-aws/whats-new/2026/04/aws-glue-5-1-all-govcloud-commercial-regions/)