Amazon EMR no EKS agora suporta agente de diagnóstico do Apache Spark

Diagnóstico inteligente para jobs Spark com linguagem natural

A AWS anunciou que o Amazon EMR no EKS passa a contar com suporte ao agente de diagnóstico do Apache Spark. Com essa novidade, engenheiros de dados conseguem investigar falhas em jobs do EMR on EKS usando linguagem natural — sem precisar navegar manualmente por logs distribuídos ou pela interface do Spark History Server.

O que o agente é capaz de fazer

O agente analisa três fontes principais de informação para identificar a raiz dos problemas:

• Dados do Spark History Server
• Logs distribuídos dos executores
• Configurações do cluster

A partir dessa análise, ele consegue identificar problemas como erros de memória, distorção de dados (data skew), contenção de recursos e falhas de conectividade. Além de apontar a causa raiz, o agente também entrega recomendações de código PySpark para ajudar na correção.

Cobertura completa das opções de implantação do EMR

Com esse lançamento, o agente de diagnóstico do Spark passa a cobrir todas as modalidades de implantação do Amazon EMR:

• EMR on EC2
• EMR Serverless
• EMR on EKS

Ou seja, independentemente de como o ambiente EMR está configurado, o agente já está disponível para uso.

Como acessar o agente

O acesso pode ser feito de duas formas:

• Pelo console do EMR on EKS: em jobs com falha, basta acionar a opção “Troubleshoot with AI” diretamente na interface.
• Via MCP (Protocolo de Contexto de Modelo): o agente também está disponível por meio do MCP, podendo ser integrado a qualquer agente de codificação compatível, incluindo Kiro, Claude Code e Cursor.

Segurança e auditoria

Todas as operações realizadas pelo agente são somente leitura, autenticadas via funções do IAM (Gerenciamento de Identidade e Acesso) e registradas no AWS CloudTrail. Isso garante rastreabilidade completa e alinhamento com práticas de segurança já estabelecidas nos ambientes AWS.

Disponibilidade

O agente de diagnóstico do Spark para o Amazon EMR on EKS está disponível em todas as regiões AWS onde o SageMaker Unified Studio estiver presente. Para começar, basta acessar o console do EMR on EKS ou configurar o servidor MCP no agente de codificação de sua preferência. Para orientações detalhadas, consulte a documentação do agente de diagnóstico do EMR.

Fonte

Amazon EMR on EKS now supports Apache Spark troubleshooting agent (https://aws.amazon.com/about-aws/whats-new/2026/07/amazon-emr-eks-spark-troubleshooting/)