O que foi anunciado
A AWS anunciou três novas capacidades para o conector de Interface de Programação de Aplicações REST (REST API) do AWS Glue: suporte a Nuvem Privada Virtual (VPC), filter pushdown e particionamento de dados. Juntas, essas melhorias tornam os pipelines de Extração, Transformação e Carga (ETL) com fontes REST muito mais seguros, eficientes e escaláveis — sem a necessidade de escrever código personalizado.
Contexto: o conector REST API do AWS Glue
O conector REST API do AWS Glue permite ingerir dados de qualquer fonte que exponha uma API baseada em REST, incluindo sistemas proprietários e plataformas emergentes que ainda não possuem conectores nativos no serviço. Com as novidades anunciadas, esse conector passa a cobrir três lacunas importantes que limitavam seu uso em ambientes corporativos mais exigentes.
As três novas capacidades
Suporte a VPC
Com o suporte à VPC, o conector REST API agora consegue acessar fontes de dados hospedadas em sub-redes privadas ou conectadas via VPN ou AWS PrivateLink, sem expor o tráfego à internet pública. Isso é especialmente relevante para organizações que mantêm sistemas internos isolados por questões de segurança e conformidade, e que precisam integrá-los a pipelines de dados na AWS sem abrir brechas de rede.
Filter Pushdown
O filter pushdown traduz os predicados de consulta diretamente em parâmetros nativos da API, fazendo com que apenas os registros correspondentes ao filtro sejam transferidos da fonte. Na prática, isso significa menos dados trafegando pela rede, redução de custos de transferência e melhor desempenho geral dos jobs do Glue — já que o trabalho de filtragem acontece na origem, não após a ingestão.
Suporte a Particionamento
O particionamento divide grandes conjuntos de dados entre múltiplos workers do Spark, utilizando estratégias baseadas em campos ou contagem de registros. O resultado são leituras paralelas que reduzem significativamente o tempo de ingestão em APIs paginadas e de alto volume. Para quem lida com grandes volumes de dados via REST, essa funcionalidade pode representar uma mudança expressiva na performance dos pipelines.
Disponibilidade
Todas essas capacidades já estão disponíveis em todas as regiões comerciais da AWS onde o AWS Glue está presente. Para começar a utilizá-las, a AWS recomenda consultar a documentação oficial do conector REST API do AWS Glue.
Fonte
AWS Glue announces VPC support, filter pushdown, and partition support for the REST API connector (https://aws.amazon.com/about-aws/whats-new/2026/07/aws-glue-rest-connector-filtering-partitioning-vpc)
Leave a Reply