O que foi anunciado
A AWS anunciou uma nova skill chamada aws-ai-ml, disponível por meio do Agent Toolkit for AWS. Essa skill se conecta a agentes de código compatíveis com o Protocolo de Contexto de Modelo (MCP — Model Context Protocol) — como Kiro, Claude Code e Codex — e transforma qualquer um deles em um especialista em otimização de inferência do Amazon SageMaker AI.
Na prática, isso significa que o engenheiro pode descrever o que quer alcançar em linguagem natural — uma meta de latência, um limite de custo, um modelo que precisa avaliar — e o agente gera código executável no SageMaker Python SDK v3, pronto para revisar, ajustar e rodar no próprio ambiente.
O problema que essa skill resolve
O Amazon SageMaker AI oferece uma superfície enorme de opções: hospedagem em tempo real, em lote e assíncrona, capacidade sob demanda e reservada, instâncias heterogêneas, isolamento por Nuvem Privada Virtual (VPC — Virtual Private Cloud), escalonamento automático e integração com todos os fluxos de treinamento do serviço. A riqueza de opções é um ponto forte, mas também representa um desafio: a maioria dos engenheiros chega com um objetivo de negócio, não com conhecimento prévio sobre qual família de instâncias ou contêiner de serving vai atender melhor ao caso de uso.
A skill aws-ai-ml fecha essa lacuna. Em vez de navegar por documentação extensa para tomar uma decisão de infraestrutura, o engenheiro descreve a intenção e o agente age como um arquiteto de soluções: faz perguntas de esclarecimento, gera código baseado em benchmarks reais e adapta as recomendações às restrições de negócio. Tudo permanece visível e auditável — não há nada acontecendo por trás de uma interface opaca.
Como instalar e começar a usar
A skill pode ser utilizada de duas formas: localmente em qualquer agente compatível com MCP, ou dentro de um espaço JupyterLab no Amazon SageMaker Studio.
Opção A: uso com qualquer agente de código (Kiro, Claude Code, Codex ou outro compatível com MCP)
Passo 1 — Instalar o Agent Toolkit for AWS. O toolkit exige a Interface de Linha de Comando da AWS (AWS CLI — AWS Command Line Interface) versão 2.35 ou superior e o uv instalado. Em seguida, execute:
aws configure agent-toolkitO comando detecta automaticamente os agentes presentes, instala as skills e configura o AWS MCP Server. Para detalhes de configuração por agente, consulte o guia de início rápido do Agent Toolkit for AWS.
Passo 2 — Instalar a skill aws-ai-ml.
npx skills add aws/agent-toolkit-for-aws/skills/aws-ai-mlPasso 3 — Confirmar e começar. Abra o painel de chat do agente e pergunte: “What skills are available?”. A skill aws-ai-ml deve aparecer na lista. A partir daí, basta descrever o objetivo em linguagem natural.
Pré-requisitos: as credenciais AWS precisam ter permissões para chamar as APIs do SageMaker AI (criação de endpoints, execução de jobs de benchmark e recomendação). Nenhuma configuração adicional de Gerenciamento de Identidade e Acesso da AWS (IAM — AWS Identity and Access Management) é necessária para a skill em si.
Nota: para Kiro e Claude Code, os agentes conseguem descobrir skills em tempo de execução por meio do AWS MCP Server, sem necessidade de instalação local. Basta perguntar ao agente: “Search for AWS skills related to databases.” Consulte o readme para mais detalhes sobre descoberta de skills em tempo de execução.
Opção B: uso dentro do Amazon SageMaker Studio
Passo 1 — Abrir o Amazon SageMaker Studio. Acesse o Studio na conta e região AWS desejadas, selecione o domínio e inicie o IDE a partir do perfil de usuário.
Passo 2 — Criar um espaço JupyterLab. Na página inicial do Studio, escolha JupyterLab e depois Create JupyterLab space. Nomeie o espaço (por exemplo, my-inference-opt) e mantenha o compartilhamento como Private — as skills só sincronizam em espaços privados. No menu Image, selecione a imagem que já inclui a skill de inferência otimizada do SageMaker AI. Essa imagem vem pré-configurada com a skill aws-ai-ml e todas as dependências necessárias. Clique em Run space e aguarde a inicialização (5 a 10 minutos na primeira vez).
Passo 3 — Abrir o JupyterLab e iniciar um terminal.
Passo 4 — Autorizar o agente de código. No terminal, autentique-se com seu agente usando o provedor de identidade. Por exemplo, com o Kiro:
kiro-cli login --license pro --identity-provider <your-IdP-start-URL> --region us-east-1 --use-device-flowPasso 5 — Confirmar e começar. Abra o painel de chat e pergunte: “What skills are available?”. A skill aws-ai-ml deve estar listada.
Solução de problemas: se o agente reportar que não há skills disponíveis, verifique se o espaço está configurado como Private. Também é possível checar pelo terminal com ls ~/.kiro/skills/. Se o diretório estiver vazio mas /etc/sagemaker/skills/ contiver os arquivos da skill, execute restart-jupyter-server, atualize a página e tente novamente.
O que a skill permite fazer
A experiência agentica cobre todo o ciclo de otimização de inferência. Não é necessário conhecer o nome de cada capacidade — basta descrever o objetivo e o agente identifica o próximo passo ou faz perguntas de esclarecimento.
Fazer benchmark de um endpoint existente
Se já houver um modelo implantado em um endpoint do SageMaker AI, o agente gera um notebook Python que executa um teste de carga usando as APIs Workload.synthetic() e start_benchmark() do SageMaker Python SDK. Antes de rodar qualquer benchmark, o agente confirma que o endpoint pode receber tráfego de teste, pois o processo gera carga real em infraestrutura ativa.
Ao final, o relatório traz métricas quantitativas medidas em condições reais:
- Throughput: requisições por segundo, tokens de saída por segundo
- Latência: p50, p99, tempo até o primeiro token (time-to-first-token), latência entre tokens (inter-token latency)
- Concorrência: número de requisições simultâneas suportadas
O agente também recomenda mecanismos de melhoria, como prefill decoding, para aumentar o desempenho.
Exemplo de prompt: “Benchmark my Llama endpoint on SageMaker AI.”
Encontrar o tipo de instância certo para o modelo
O agente aceita modelos de diferentes origens:
- Modelo customizado no Amazon Simple Storage Service (Amazon S3): forneça o URI do S3 e o objetivo de otimização. Exemplo: “I want to find the cheapest instance type to deploy my fine-tuned model on SageMaker.”
- Modelo de fundação disponível publicamente no Amazon SageMaker JumpStart: forneça o ID do modelo. Exemplo: “Find the best instance for model huggingface-reasoning-qwen3-8b on SageMaker AI.”
- Modelo no Hugging Face Hub: forneça o nome do modelo. Para modelos com acesso restrito (como variantes do Llama), o agente exibe os termos de licença e solicita o token do Hugging Face. Exemplo: “I want to deploy a Llama model from Hugging Face Hub. What’s the cheapest option?”
Em todos os casos, o agente gera código que avalia o modelo em candidatos de instância e retorna opções ranqueadas com métricas concretas: throughput, percentis de latência, tempo até o primeiro token e concorrência.
Comparar execuções de benchmark
Se houver dois benchmarks executados (por exemplo, antes e depois de uma mudança de configuração, ou em dois tipos de instância diferentes), o agente compara os resultados e calcula os deltas nas métricas principais. Valores positivos indicam melhoria. Se um dos benchmarks não existir, o agente se oferece para executá-lo antes de prosseguir com a comparação.
Exemplo de prompt: “I have two benchmark runs and I want to compare them. Which one is faster?”
Exemplo de resultado de comparação
A tabela abaixo compara dois modelos implantados na mesma carga de trabalho de benchmark (512/256 tokens, concorrência 4). A coluna Δ% mostra o quanto o Modelo B (Qwen3-8B) é mais rápido que o Modelo A (Qwen3-1.7B) em cada métrica — valores positivos indicam que o Modelo B é melhor:
| Métrica | Qwen3-1.7B (Modelo A) | Qwen3-8B (Modelo B) | Δ% |
|---|---|---|---|
| Throughput de tokens de saída | 188,2 tokens/s | 271,2 tokens/s | +44,1% ✅ |
| Throughput por usuário | 47,5 tokens/s | 69,4 tokens/s | +45,9% ✅ |
| Throughput de requisições | 0,736 req/s | 1,08 req/s | +46,7% ✅ |
| Latência entre tokens | 20,9 ms | 14 ms | +33,0% ✅ |
| Latência de requisição | 5.382 ms | 3.658 ms | +32,0% ✅ |
| Tempo até o primeiro token | 67,5 ms | 166,3 ms | −146,5% ❌ |
Vale notar que os dois modelos rodam em hardware diferente: o Qwen3-8B usa uma instância ml.g5.12xlarge com 4 GPUs A10G, enquanto o Qwen3-1.7B usa uma única GPU L4 na ml.g6.4xlarge. Os deltas refletem aproximadamente 4x mais poder computacional, não apenas a diferença entre os modelos. O Qwen3-8B entrega cerca de 44 a 47% mais throughput e menor latência fim a fim. O Qwen3-1.7B leva vantagem apenas no tempo até o primeiro token — benefício esperado de um modelo menor em uma única GPU.
Comportamentos esperados do agente
Equipado com a skill aws-ai-ml, o agente segue um conjunto de comportamentos que tornam a experiência previsível e segura:
- Pede o que falta: se alguma informação estiver ausente (como nome do endpoint ou URI do S3), o agente solicita em vez de adivinhar.
- Confirma antes de ações de impacto: antes de executar um benchmark que gera tráfego real em um endpoint ativo, o agente avisa sobre o impacto e pede confirmação explícita.
- Informa quando algo está fora de escopo: se for solicitado algo que o agente não consegue fazer (como implantar um modelo diretamente), ele explica o que pode oferecer em vez disso — como gerar a configuração de implantação.
- Gera código SageMaker Python SDK v3: toda saída é código executável que pode ser inspecionado, modificado e rodado no próprio ambiente do usuário.
Limpeza de recursos
Para evitar cobranças contínuas após os testes, a AWS recomenda:
- Excluir os endpoints do SageMaker AI criados durante os benchmarks ou recomendações.
- Parar ou excluir o espaço JupyterLab caso tenha usado o SageMaker Studio.
- Remover os objetos do S3 armazenados pelos jobs de benchmark e recomendação no bucket padrão do SageMaker AI.
Conclusão
A skill aws-ai-ml é uma adição relevante para equipes que já utilizam agentes de código no dia a dia e querem acelerar decisões de infraestrutura de inferência no SageMaker AI. Em vez de exigir que o engenheiro domine toda a superfície de opções do serviço, a skill transforma o agente em um especialista que gera código concreto a partir de intenções descritas em linguagem natural — com benchmarks reais, recomendações ranqueadas e comparações quantitativas.
Para começar, basta instalar a skill pelo Agent Toolkit for AWS e adicioná-la ao agente de código já em uso, ou iniciar um espaço JupyterLab pré-configurado no Amazon SageMaker Studio. Mais detalhes estão disponíveis na documentação oficial do Amazon SageMaker AI.
Fonte
New agent skill: Amazon SageMaker optimized generative AI inference for your coding agent (https://aws.amazon.com/blogs/machine-learning/new-agent-skill-amazon-sagemaker-optimized-generative-ai-inference-for-your-coding-agent/)
Leave a Reply