O problema do cold start em inferência de LLMs em escala
Quem trabalha com inferência de Grandes Modelos de Linguagem (LLM) em escala sabe bem o quanto o cold start pode ser um gargalo real. Em cargas de trabalho como assistentes de chat, pipelines agênticos, RAG (Geração Aumentada por Recuperação) e análise de documentos, cada evento de deploy ou scale-out exige o download de imagens de contêiner e dos pesos do modelo — e esse processo consome a maior parte do tempo antes que o serviço consiga atender qualquer requisição.
O cenário piora conforme o tamanho dos modelos cresce. Modelos grandes podem levar dezenas de minutos para ficarem prontos para servir tráfego, tornando o autoscaling lento e impraticável em situações de pico.
O que a AWS anunciou
A AWS anunciou que o Amazon SageMaker HyperPod agora conta com suporte a cache de modelos, uma otimização de inferência que pré-carrega os pesos do modelo e as imagens de contêiner diretamente nos nós do cluster. Com isso, os pods passam a iniciar em segundos — em vez de minutos.
Duas capacidades independentes
O cache de modelos no HyperPod funciona por meio de duas capacidades que operam de forma independente:
- Cache de pesos (weights cache): armazena os pesos do modelo no armazenamento NVMe local do nó. Assim, os pods leem os dados diretamente do armazenamento local rápido, sem precisar baixá-los do S3 ou do FSx pela rede.
- Cache de imagem (image cache): faz o pré-download da imagem de contêiner, eliminando completamente o tempo de download do ECR (Elastic Container Registry) no momento da inicialização do pod.
Um ponto importante de confiabilidade: se um pod for alocado em um nó sem cache aquecido, o sistema automaticamente realiza o fallback para a fonte original — sem risco de pods travados ou com falha.
Resultados de benchmark
Os benchmarks realizados com modelos entre 57 GB e 145 GB mostram resultados expressivos:
- Aproximadamente 60% de redução no tempo de scale-out com o cache de pesos.
- Mais de dois minutos eliminados no tempo de download de imagem, representando uma redução de 97% com o cache de imagem.
O ganho cresce proporcionalmente ao tamanho do modelo, mantendo a confiabilidade do caminho de origem original como fallback.
Como habilitar o recurso
Os clientes podem ativar o cache de modelos por meio do HyperPod Inference Operator, adicionando uma seção modelCacheConfig ao recurso InferenceEndpointConfig ou JumpStartModel. O operador gerencia todo o ciclo de vida do cache sem necessidade de configuração manual ou limpeza por parte do usuário.
Disponibilidade
O cache de modelos está agora em disponibilidade geral em todas as regiões onde o SageMaker HyperPod está disponível. Para começar, a AWS disponibiliza a documentação oficial do SageMaker HyperPod com todos os detalhes de configuração.
Fonte
Amazon SageMaker HyperPod now supports model caching for faster inference autoscaling and reduced cold starts (https://aws.amazon.com/about-aws/whats-new/2026/09/sgm-hyperpod-model-caching-inf/)
Leave a Reply