O que foi anunciado
A AWS anunciou que o Amazon SageMaker HyperPod passou a suportar configuração baseada em AMI (Amazon Machine Image — Imagem de Máquina da Amazon) para clusters Slurm que utilizam provisionamento contínuo. Essa novidade estende uma capacidade já existente para um modo de operação importante: o provisionamento contínuo, que adiciona nós ao cluster conforme a capacidade vai ficando disponível.
O que muda na prática
Com esse suporte, clusters que usam provisionamento contínuo agora podem ser criados sem a necessidade de baixar, configurar ou fazer upload de scripts de configuração de ciclo de vida para o Amazon S3. Isso simplifica bastante o processo de setup.
A configuração baseada em AMI provisiona os nós com o software e as configurações necessárias para um ambiente pronto para produção, voltado à execução de workloads de treinamento de IA/ML. Isso inclui softwares como Docker, Enroot e Pyxis, além de configurações como contabilidade do Slurm, geração de chaves SSH e rotação de logs.
No modo de provisionamento contínuo, cada nó é configurado a partir da AMI à medida que é adicionado ao cluster — sem necessidade de gerenciar scripts de ciclo de vida. O resultado é que os nós ficam disponíveis para agendamento de jobs mais rapidamente.
Como habilitar a configuração baseada em AMI
Para ativar esse recurso, basta omitir o bloco LifeCycleConfig na configuração do grupo de instâncias ao criar clusters via API. Quem preferir usar o console do SageMaker AI, deve selecionar a opção “None” em Lifecycle scripts dentro de Custom setup.
Customizações adicionais ainda são possíveis
Para quem precisar de personalizações além da linha de base oferecida pela AMI, é possível fornecer um script de extensão. Isso é feito especificando o parâmetro OnInitComplete e o SourceS3Uri no bloco LifeCycleConfig via API — ou informando o URI do S3 no campo “Extension script file in S3” no console.
Vale destacar que os scripts de ciclo de vida personalizados continuam totalmente suportados para casos de uso que exigem controle total sobre o provisionamento.
Disponibilidade
A configuração de ciclo de vida de nós baseada em AMI para clusters Slurm com provisionamento contínuo está disponível em todas as regiões da AWS onde o SageMaker HyperPod está disponível.
Para começar, a AWS disponibiliza documentação tanto para quem prefere usar a linha de comando quanto o console:
- Primeiros passos com o SageMaker HyperPod usando a AWS CLI
- Primeiros passos com o SageMaker HyperPod usando o console do SageMaker AI
Fonte
Amazon SageMaker HyperPod now supports AMI-based node lifecycle configuration for Slurm clusters using continuous provisioning (https://aws.amazon.com/about-aws/whats-new/2025/06/ami-configuration-continuous-slurm/)
Leave a Reply