Interface visual para recomendações de inferência de IA generativa no Amazon SageMaker AI

O desafio de colocar modelos generativos em produção

Quem já tentou colocar um modelo de IA generativa em produção sabe bem o problema: encontrar a combinação certa de tipo de instância, contêiner de serviço e estratégia de otimização é um processo que pode consumir dias ou semanas de iteração manual. Benchmarks, ajustes, mais benchmarks — o ciclo é longo e exige conhecimento técnico especializado.

Para resolver isso, a Amazon SageMaker AI lançou em abril de 2026 o recurso de recomendações de inferência, que permite obter configurações prontas para produção de forma programática via APIs. O recurso comprime esse ciclo para minutos em cargas de trabalho comuns, e algumas horas para cargas personalizadas.

Agora, a AWS dá um passo além: a mesma funcionalidade ganhou uma interface visual completa dentro do Amazon SageMaker AI Studio, com uma experiência de baixo código/sem código (LCNC — Low-Code No-Code). O objetivo é claro — democratizar o acesso a configurações validadas de inferência para equipes que não têm expertise profunda em infraestrutura de ML.

O que muda com a nova interface

A API de recomendações já existia e funcionava bem para quem sabia quais parâmetros configurar e como interpretar os resultados brutos de benchmark. A interface visual remove essa barreira. Ela guia o usuário por perfis de uso predefinidos, comparações visuais dos resultados e implantação com um clique — sem escrever uma linha de código.

Isso significa que engenheiros de Machine Learning (ML) podem validar o próximo deployment enquanto líderes técnicos avaliam os trade-offs entre custo e desempenho, tudo dentro da mesma experiência no Studio. Usuários avançados continuam tendo acesso às APIs para configurações mais granulares.

A nova interface fica disponível no painel lateral do Studio, em Jobs → Inference optimization, e oferece um fluxo guiado de ponta a ponta cobrindo configuração da carga de trabalho, otimização, seleção de modelo e implantação.

Como funciona o fluxo de otimização

Perfis de caso de uso predefinidos

O primeiro passo é definir a configuração da carga de trabalho. Em vez de especificar manualmente distribuições de tokens e concorrência, o usuário seleciona um perfil predefinido que representa um padrão de tráfego comum:

• Interact: modela cargas de trabalho estilo chat, com entradas curtas e saídas moderadas.
• Generate: otimizado para geração de conteúdo com saídas mais longas.
• Summarize: voltado para sumarização de documentos, com alta proporção entre entrada e saída.
• Custom: para quando nenhum dos perfis anteriores se encaixa — permite trazer seu próprio dataset e configurar concorrência, tamanho de tokens e dados de avaliação manualmente.

O perfil selecionado define os parâmetros do benchmark automaticamente, sem que o usuário precise raciocinar sobre eles diretamente.

Objetivos de otimização

Junto ao perfil de caso de uso, o usuário escolhe o objetivo de otimização — o que diz ao SageMaker AI o que priorizar:

• Minimize latency (Minimizar latência): busca o menor tempo de resposta possível, ideal para aplicações interativas onde o usuário aguarda cada token.
• Maximize throughput (Maximizar throughput): serve o maior número de tokens por segundo, mais adequado para cargas em lote ou alto volume.
• Minimize cost (Minimizar custo): encontra a configuração mais eficiente em custo para o tráfego esperado.

O objetivo escolhido influencia tanto as técnicas que o SageMaker AI aplica quanto a forma como ele classifica as recomendações resultantes.

Fontes de modelo suportadas

A interface aceita modelos de diferentes origens. É possível buscar um modelo fundacional (FM — Foundation Model) diretamente do catálogo do Amazon SageMaker JumpStart, apontar para um artefato de modelo próprio no Amazon Simple Storage Service (Amazon S3), reutilizar um pacote registrado no Model Registry ou selecionar um modelo SageMaker existente de um deployment ou job de treinamento anterior.

Passo a passo: obtendo recomendações pelo console

Pré-requisitos

Para seguir o fluxo, são necessários: uma conta AWS com um domínio do Amazon SageMaker AI Studio, permissões de AWS Identity and Access Management (IAM) para operações de otimização de inferência no SageMaker AI, e uma role de execução IAM com acesso aos artefatos do modelo no Amazon S3.

Em relação a custos, não há cobrança adicional para gerar as recomendações. Os custos padrão de computação se aplicam aos jobs de otimização e aos endpoints provisionados durante o benchmarking.

Passo 1: Criar um job de otimização

No painel lateral do Studio, acesse Jobs → Inference optimization e clique em Create (ou Optimize inference). Com o job criado, o próximo passo é informar ao SageMaker AI o que você quer otimizar.

Passo 2: Configurar a estratégia

Cada caso de uso tem requisitos diferentes — alguns têm um orçamento de latência muito restrito, outros têm um orçamento de custo rígido. Dependendo do cenário, selecione um dos perfis de caso de uso (Interact, Generate, Summarize ou Custom) e um objetivo de otimização (Minimize cost, Minimize latency ou Maximize throughput).

Se o perfil Custom for selecionado, campos adicionais aparecem: é possível colar o URI do S3 com o dataset de avaliação em formato JSONL, especificar o número de requisições simultâneas para simular a concorrência e definir o tamanho máximo de tokens de saída.

Passo 3: Selecionar o modelo e o hardware

Usando o botão Select na seção Model, uma janela abre com abas para cada fonte de modelo (JumpStart, S3, Logged e Deployable). Se a opção S3 for escolhida, é necessário fornecer um nome e o caminho URI do artefato do modelo.

Com o modelo selecionado, é possível deixar o SageMaker AI escolher o hardware automaticamente ou restringir a busca a tipos de instância específicos. A seleção de hardware é opcional. Para os objetivos de minimizar latência ou maximizar throughput, é possível expandir a seção Compute e selecionar tipos de instância específicos (por exemplo, ml.g6e.2xl ou g7e.2xl) para avaliação. Se nenhum for especificado, o SageMaker AI seleciona instâncias compatíveis com base nos requisitos do modelo. Para o objetivo de minimizar custo, o SageMaker AI seleciona automaticamente a instância recomendada. Se houver capacidade reservada por meio de um flexible training plan, ela aparece na lista de fontes.

Passo 4: Executar e monitorar

Ao clicar em Optimize, o job é submetido e a página de detalhes exibe a transição de status de Running para Completed. Perfis predefinidos como Interact podem retornar recomendações rapidamente por já serem comparados a configurações pré-validadas, enquanto benchmarks customizados podem levar mais tempo dependendo do tamanho do modelo, tipos de instância e dataset.

A página de detalhes tem três abas: Overview (recomendações ranqueadas com métricas de desempenho, disponíveis após a conclusão do job), Settings (configuração submetida, incluindo caso de uso, objetivo e seleções de hardware) e Details (metadados do job, timestamps e artefatos de saída).

Passo 5: Revisar recomendações e fazer o deploy

A aba Overview exibe os pacotes de inferência ranqueados. Cada pacote mostra a configuração otimizada, métricas de desempenho — tempo até o primeiro token (TTFT — Time To First Token), latência entre tokens (ITL — Inter-Token Latency), throughput e custo — e um botão Deploy.

Ao clicar em Deploy, uma janela pré-preenche o nome do endpoint e o tipo de instância. É possível fazer o deploy em um novo endpoint ou atualizar um existente. O SageMaker AI então executa três etapas em sequência: registra o modelo otimizado, configura o endpoint e provisiona o endpoint. Após o endpoint atingir o status In Service, ele já pode ser invocado imediatamente.

Gerenciamento dos jobs de otimização

A página de listagem em Jobs → Inference optimization oferece gerenciamento centralizado dos jobs. É possível usar a barra de busca para filtrar por nome, parar um job em execução via menu Actions → Stop, excluir jobs antigos e acessar a página de detalhes de qualquer job.

Como a otimização funciona por baixo dos panos

A experiência no console e a API utilizam a mesma infraestrutura de recomendações e benchmarking. O SageMaker AI primeiro analisa a arquitetura do modelo e os requisitos de memória para reduzir o espaço de configurações e identificar opções viáveis. Em seguida, aplica otimizações alinhadas ao objetivo: speculative decoding para throughput ou kernel tuning para latência, dependendo do objetivo selecionado. O SageMaker AI faz benchmark de cada configuração em infraestrutura real de GPU usando o NVIDIA AIPerf com intervalos de confiança de múltiplas execuções. Por fim, pontua os resultados contra o objetivo de otimização e retorna configurações prontas para produção, ranqueadas do melhor para o pior.

O comportamento varia conforme o objetivo:

• Minimize cost: o SageMaker AI cria um endpoint com o tipo de instância recomendado e executa jobs de benchmark contra ele. O status In Service pode ser acompanhado em Deployments → Endpoints, e os runs de benchmark em Training → Training Jobs.
• Minimize latency: se a arquitetura do modelo e o tipo de instância suportarem, o SageMaker AI usa um deployment com kernel ajustado. Caso contrário, cria um ou mais endpoints padrão, cada um correspondendo a um tipo de instância, e executa jobs de benchmark como training jobs para cada combinação.
• Maximize throughput: se a arquitetura e o tipo de instância suportarem speculative decoding, um training job é executado primeiro para treinar o modelo draft antes dos endpoints serem implantados. O SageMaker AI então executa jobs de benchmark como training jobs para cada combinação.

Vale destacar que o job de otimização deleta automaticamente os endpoints criados durante o processo após sua conclusão.

Boas práticas de uso

A AWS recomenda reexecutar os jobs de otimização em algumas situações: após fine-tuning ou atualização do modelo, quando novos tipos de instância ficarem disponíveis na região AWS utilizada, quando os padrões de tráfego mudarem significativamente e após upgrades de contêiner de serving ou de framework. Também é recomendado executar os jobs em uma cadência regular — por exemplo, a cada algumas semanas — já que a equipe do Amazon SageMaker AI adiciona continuamente novas descobertas ao serviço.

Recursos adicionais

• Blog: Amazon SageMaker AI agora suporta recomendações otimizadas de inferência de IA generativa (lançamento via API)
• Documentação: Otimizar inferência de modelos no Amazon SageMaker AI
• Notebooks de exemplo: Exemplos de recomendações de inferência de IA generativa no GitHub

Fonte

Launching UI for generative AI inference recommendations in Amazon SageMaker AI (https://aws.amazon.com/blogs/machine-learning/launching-ui-for-generative-ai-inference-recommendations-in-amazon-sagemaker-ai/)