O que mudou
A AWS introduziu a capacidade de criar e gerenciar Amazon SageMaker Spaces para HyperPod diretamente pela interface do SageMaker Studio. Antes, essa operação dependia do HyperPod CLI ou de comandos kubectl — o que funcionava bem para administradores de infraestrutura, mas criava fricção para cientistas de dados que preferem uma interface visual.
Com a novidade, é possível criar, configurar, iniciar, parar e abrir Spaces sem sair do navegador. A mudança reduz o tempo entre o acesso ao cluster e o início do desenvolvimento a poucos cliques.
Contexto: o que é o HyperPod
O Amazon SageMaker HyperPod é uma infraestrutura dedicada para treinamento e inferência de modelos fundacionais (FM — Foundation Models) em larga escala. Com orquestração via Amazon Elastic Kubernetes Service (EKS), equipes conseguem rodar jobs de treinamento distribuído em centenas de aceleradores com resiliência embutida e recuperação automática de falhas.
Além do treinamento, o HyperPod estende essa mesma infraestrutura orquestrada por EKS para servir inferência de baixa latência e escalável para modelos fundacionais com bilhões de parâmetros.
Ainda no início deste ano, a AWS lançou o SageMaker Spaces para HyperPod — um complemento que permite criar ambientes de desenvolvimento interativo diretamente nos clusters HyperPod EKS. Com isso, as organizações passaram a poder maximizar seus investimentos em GPU rodando cargas de trabalho interativas junto com jobs de treinamento e implantação de modelos na mesma infraestrutura, com suporte a alocações fracionadas de GPU.
O que está disponível agora
A nova aba IDE and Notebooks na página de detalhes do cluster HyperPod dentro do SageMaker Studio centraliza toda a gestão de Spaces. As principais operações disponíveis são:
- Criar Spaces com configurações de computação, namespaces, armazenamento, HyperPod Task Governance para gerenciamento de cotas e configurações de imagem — tudo via formulário guiado.
- Visualizar todos os Spaces em uma tabela pesquisável com nome, tipo de aplicação, status, tipo de acesso, armazenamento e alocações de GPU e vCPU.
- Iniciar e parar Spaces com uma única ação, liberando recursos de computação quando os ambientes não estão em uso.
- Abrir Spaces diretamente no navegador (JupyterLab ou Code Editor) ou conectar por meio de uma IDE remota, como o VS Code.
Como configurar: papéis e responsabilidades
A configuração envolve dois perfis distintos: administradores, que preparam o cluster, e cientistas de dados, que criam e utilizam os Spaces.
Para administradores
Os administradores precisam instalar o complemento SageMaker Spaces no cluster HyperPod EKS. A instalação pode ser feita pela opção Quick install (instalação com um clique e padrões otimizados) ou Custom install (necessária para habilitar acesso via navegador web), ambas disponíveis na aba IDE and Notebooks do cluster. Consulte a documentação oficial da AWS para instruções completas.
Após a instalação, a configuração única que os administradores precisam realizar inclui:
- Configurar entradas de acesso EKS: Associar as três políticas gerenciadas
AmazonSagemakerHyperpodSpacePolicy,AmazonSagemakerHyperpodUserClusterPolicyeAmazonSagemakerHyperpodSpaceTemplatePolicyàs funções do Gerenciamento de Identidade e Acesso (IAM — Identity and Access Management) usadas pelos cientistas de dados. - Habilitar propagação de identidade por usuário no domínio Studio: Se o domínio Studio foi criado antes da integração entre SageMaker Studio e HyperPod Spaces ser disponibilizada, é necessário habilitar a propagação de identidade por usuário para o cluster HyperPod EKS. Isso garante que as ações de cada usuário no cluster sejam atribuídas ao seu perfil nas entradas de acesso EKS e no AWS CloudTrail, além de aplicar a propriedade estrita de Spaces — controlando quem criou o ambiente e se ele é privado ou compartilhado no domínio Studio.
O comando para atualizar o domínio é executado uma única vez:
aws sagemaker update-domain \
--domain-id $DOMAIN_ID \
--default-user-settings '{
"StudioWebPortalSettings": {
"ExecutionRoleSessionNameMode": "USER_IDENTITY"
}
}'
Para verificar se a configuração foi aplicada corretamente:
aws sagemaker describe-domain --domain-id $DOMAIN_ID \
--query 'DefaultUserSettings.StudioWebPortalSettings.ExecutionRoleSessionNameMode'
O retorno esperado é "USER_IDENTITY". Apps já em execução não são afetados — os usuários passam a usar a nova configuração no próximo login.
Para cientistas de dados
Após a instalação do complemento e a configuração de acesso, os cientistas de dados acessam o cluster HyperPod no SageMaker Studio pelo caminho Compute → HyperPod e selecionam a aba IDE and Notebooks para visualizar a interface de gerenciamento de Spaces. Saiba mais em Criar e gerenciar Spaces no HyperPod.
Quando o status do Space exibir Running — geralmente alguns minutos em um cluster frio, ou cerca de 30 a 40 segundos com over-provisioning —, basta clicar em Open para abrir o JupyterLab ou o Code Editor no navegador, ou em Open in VS Code para conectar pelo editor local via SSH-over-SSM.
Ambientes disponíveis
JupyterLab
O ambiente JupyterLab no HyperPod oferece um ambiente de desenvolvimento totalmente configurado, com acesso a notebooks Python 3 com ipykernel, consoles Glue PySpark e Glue Spark, kernels SparkMagic PySpark e Spark, terminal, navegador de arquivos com armazenamento persistente e chat com ajuda contextual. O trabalho persiste no volume Amazon Elastic Block Store (EBS) anexado ao Space, então parar e reiniciar o ambiente não implica perda de progresso.
Code Editor
Para desenvolvedores que preferem uma experiência estilo VS Code no navegador, os Spaces com Code Editor oferecem edição completa de arquivos com destaque de sintaxe e IntelliSense, terminal integrado para executar comandos shell e submeter jobs de treinamento, suporte a extensões para servidores de linguagem, linters e formatadores, integração com Git e acesso direto ao sistema de arquivos do cluster e volumes Amazon FSx montados.
Conexão remota via VS Code
A opção Open in VS Code na tabela de Spaces conecta o Visual Studio Code local ao Space em execução no HyperPod. A conexão utiliza tunelamento SSH-over-SSM internamente, dispensando o gerenciamento de chaves SSH ou a exposição da porta 22. O desenvolvedor mantém todas as extensões, temas e atalhos do seu VS Code local enquanto executa o código no cluster.
Também é possível conectar usando o AWS Toolkit para Visual Studio Code, que lista os Spaces em SageMaker AI > HyperPod e permite iniciar, parar e conectar aos Spaces diretamente pelo painel do toolkit.
Capacidades opcionais
Cada funcionalidade abaixo é opcional e pode ser combinada conforme a necessidade da equipe:
- Acesso via navegador web: Balanceador de Carga de Aplicação (ALB — Application Load Balancer) da AWS e DNS personalizado via Amazon Route 53 para rotear o tráfego do navegador aos Spaces. Não é necessário para acesso remoto via VS Code sobre SSM.
- Templates de Space: Templates definidos por administradores que pré-configuram computação, imagens, armazenamento e scripts de ciclo de vida para configurações consistentes entre equipes.
- Task Governance: Cotas de computação por namespace, filas e admissão baseada em prioridade via Kueue para clusters multi-tenant.
- Autoscaling com Karpenter: Escalonamento dinâmico de nós com base na demanda de Spaces.
- Over-provisioning com Karpenter: Nós pré-aquecidos com imagens pré-carregadas que reduzem o tempo de inicialização de Spaces de 5 a 7 minutos para aproximadamente 30 a 40 segundos.
- Volumes persistentes (EFS / FSx): Diretórios de usuário compartilhados e datasets de equipe que persistem entre Spaces.
- Imagens customizadas (ECR): Runtimes e bibliotecas específicas da equipe incorporadas em imagens de container hospedadas no Amazon Elastic Container Registry (ECR).
- Desligamento por inatividade: Encerramento automático de Spaces inativos para evitar custos desnecessários de computação.
- NVIDIA MIG: Alocação fracionada de GPU para cargas de trabalho interativas com custo eficiente em hardware A100/H100.
Dica avançada: reduza o tempo de inicialização com over-provisioning
Por padrão, Spaces no HyperPod EKS com autoscaling via Karpenter têm um atraso de cold start de 5 a 7 minutos na primeira criação em um cluster zerado, causado pelo lançamento de instância EC2, registro do nó Kubernetes e download da imagem SageMaker Distribution (SMD).
Para cargas de trabalho interativas sensíveis à latência (JupyterLab, Code Editor), é possível manter um pool de nós pré-aquecidos com imagem em cache usando o padrão de over-provisioning nativo do Kubernetes. Isso reduz o tempo de inicialização para cerca de 30 a 40 segundos. Veja como funciona:
- Um Deployment de baixa prioridade (-1000) mantém um pod Kubernetes em cada nó quente, solicitando a mesma CPU/memória que um Space real usaria.
- Um
initContainerem cada placeholder faz o pré-download da imagem SageMaker Distribution no nó quando o Karpenter o provisiona. - Quando um usuário cria um Space (prioridade padrão 0), o scheduler Kubernetes preempta o placeholder (prioridade -1000). O Space então é alocado no nó já aquecido e com imagem em cache em segundos.
- O Karpenter provisiona um nó substituto para o placeholder deslocado em segundo plano.
Saiba mais em Over-provisioning para HyperPod Spaces.
As latências verificadas em instâncias ml.m5.12xlarge (24 vCPU alocáveis, 2 vCPU de placeholder, 8 GiB de memória de placeholder) com a imagem SMD sagemaker-distribution:latest-cpu (aproximadamente 3,5 GB) foram:
- Space coexiste com o placeholder: ~14 segundos
- Space preempta o placeholder: ~35 segundos
- Cold start (sem pool aquecido): 5 a 7 minutos
Atenção: Esses números são para CPU. Spaces com GPU precisam de um Deployment de placeholder próprio solicitando nvidia.com/gpu com a imagem GPU pré-carregada — caso contrário, os nós GPU permanecem frios. A imagem GPU tem aproximadamente 10 GB, muito mais custosa de baixar do que a imagem CPU de 3,5 GB. Além disso, cada nó aquecido mantém uma instância EC2 em execução, o que representa um custo adicional para nós on-demand.
Preços
A configuração do complemento SageMaker Spaces não gera cobranças adicionais. O que é cobrado é o consumo de computação do cluster HyperPod pelos Spaces e uma taxa por hora para a instância AWS Systems Manager Advanced On-Premises usada para conectividade remota SSH-over-SSM. Consulte a página de preços do AWS Systems Manager para detalhes. Se o over-provisioning for utilizado, há custo adicional pelos nós aquecidos mantidos em execução.
Conclusão
A integração entre o gerenciamento de HyperPod Spaces e o SageMaker Studio reduz a barreira de acesso à infraestrutura de computação de alto desempenho para cientistas de dados. Equipes passam a ter acesso self-service a clusters compartilhados com controles de custo e equidade de recursos — via Task Governance, suporte a GPU fracionada e desligamento automático por inatividade — sem precisar dominar ferramentas de linha de comando ou conceitos de Kubernetes.
Para começar, acesse seu cluster HyperPod EKS no console SageMaker AI e selecione a aba IDE and Notebooks. Mais informações estão disponíveis na documentação do SageMaker HyperPod Spaces.
Fonte
Manage Amazon SageMaker HyperPod Spaces directly from SageMaker Studio (https://aws.amazon.com/blogs/machine-learning/manage-amazon-sagemaker-hyperpod-spaces-directly-from-sagemaker-studio/)




