Blog

Por que customizar modelos de linguagem?

Modelos de linguagem grandes (LLMs) revolucionaram a forma como interagimos com inteligência artificial. Porém, a realidade empresarial mostra que uma abordagem genérica raramente atende completamente às necessidades específicas das organizações. Os LLMs tradicionais chegam ao mercado treinados com conhecimento amplo e generalista, otimizados para diversos casos de uso. Ainda assim, frequentemente ficam aquém quando enfrentam tarefas específicas de domínio, fluxos de trabalho proprietários ou requisitos únicos de negócio.

As empresas cada vez mais precisam de modelos especializados que entendam profundamente seus dados proprietários, processos empresariais e terminologia específica do seu segmento. Sem essa personalização, restam apenas duas opções desconfortáveis: aceitar respostas genéricas ou gastar recursos excessivos com engenharia de contexto para melhorar as saídas.

Opções de customização disponíveis na AWS

A AWS estruturou suas capacidades de customização em diferentes níveis. Através do Amazon Bedrock, oferece opções como Treinamento Fine-Tuning Supervisionado (SFT) e Treinamento Fine-Tuning Reforçado (RFT). Já o Amazon SageMaker AI adiciona capacidades ainda mais avançadas, incluindo SFT, Otimização de Preferência Direta (DPO), RFT e suporte tanto para adaptação de baixo rank (LoRA) quanto customização de rank completo.

Conforme modelos são ajustados em datasets especializados, emerge um desafio técnico conhecido: frequentemente perdem capacidades base como habilidade de seguir instruções, raciocínio lógico e conhecimento amplo. Esse fenômeno é denominado esquecimento catastrófico. A Amazon Nova Forge oferece uma solução inovadora, permitindo construir modelos personalizados usando a família Nova a partir de checkpoints iniciais de modelo, blendando dados proprietários com dados curados pela AWS e hospedando tudo de forma segura na plataforma.

O desafio da complexidade e a resposta do Nova Forge SDK

Embora as opções de customização sejam poderosas, os fluxos de trabalho envolvem complexidade significativa. Exigem expertise técnica em infraestrutura, configuração de receitas específicas, seleção adequada de imagens e gerenciamento minucioso de dependências. Essa complexidade representa uma barreira real para muitas equipes interessadas em customização.

Para remover esses obstáculos, a AWS lançou o Nova Forge SDK. Trata-se de um kit de desenvolvimento desenhado para tornar a customização de LLMs acessível e empoderador, permitindo que equipes aproveitem todo o potencial dos modelos de linguagem sem lidar com gerenciamento de dependências, seleção de imagens ou configuração de receitas. A ferramenta reduz significativamente as barreiras de entrada para customização profissional.

A AWS visualiza a customização como um continuum dentro da escada de escalabilidade. Nesse contexto, o Nova Forge SDK suporta todas as opções de customização disponíveis, desde o Amazon Bedrock até o Amazon SageMaker AI, utilizando as capacidades Amazon Nova Forge.

Arquitetura e componentes do Nova Forge SDK

O toolkit do Nova Forge SDK representa um esforço deliberado para remover o trabalho indiferenciado da customização de LLMs. Oferece workflows com padrões inteligentes e orientação, enquanto mantém acesso total aos SDKs subjacentes para casos de uso avançados. O resultado é uma ferramenta que equilibra simplicidade para tarefas comuns com flexibilidade completa para requisitos sofisticados.

O SDK organiza-se em três camadas conceituais, cada uma com responsabilidades distintas:

Camada de Entrada: Aqui você fornece os insumos necessários. Inclui o objeto RuntimeManager (que define hardware, plataforma e função IAM para permissões), método de treinamento, dados de treinamento, hiperparâmetros personalizados e o modelo escolhido para customização.

Camada Customizadora: Essa camada intermediária recebe os inputs e, nos bastidores, constrói as configurações de receita apropriadas e dispara o job com os valores recebidos.

Camada de Saída: Emite artefatos de saída incluindo logs do Amazon CloudWatch, métricas MLFlow, logs TensorBoard e o artefato final do modelo treinado. Esse modelo pode ser usado para refinamento iterativo adicional ou implantação no Amazon SageMaker AI ou Amazon Bedrock para inferência.

Operacionalmente, o usuário fornece um RuntimeManager configurado, um modelo para customizar e um método de treinamento para um dos métodos de API em um NovaModelCustomizer inicializado. Quando o Customizer é inicializado, especifica-se o local de onde recuperar dados de treinamento, tipicamente um bucket do Amazon S3. Baseado nessas configurações, o modelo Customizer cuida de configurar e iniciar um job do Amazon SageMaker AI para executar a tarefa especificada. Ao término, a tarefa gera artefatos de saída e (para a API “train”) um modelo treinado que você pode referenciar através do SDK ou diretamente via APIs do Amazon SageMaker.

Preparação e configuração inicial

Antes de iniciar o fluxo de customização, existem requisitos de infraestrutura e permissões que precisam estar no lugar.

Dependências fundamentais

O artigo utiliza Jobs de Treinamento do Amazon SageMaker (SMTJ) como plataforma de computação. Note que você não precisa de um cluster Amazon SageMaker HyperPod para acompanhar os fundamentos — se seu interesse está limitado a SMTJ, a configuração de HyperPod é totalmente opcional.

Conta AWS e interfaces de linha de comando

Você precisa de uma conta AWS. Se não possuir uma, siga as instruções de criação. Após isso, instale e configure a Interface de Linha de Comando da AWS (AWS CLI) com suas credenciais. A CLI é usada nas chamadas iniciais de setup, e o Nova Forge SDK compartilha a cadeia de credenciais da AWS CLI. Também é necessário configurar seu acesso à plataforma SageMaker AI, que o SDK usa para oferecer acesso aos modelos Amazon Nova e capacidades de customização.

Funções IAM

Você precisa criar duas funções IAM para trabalhar com o Nova Forge SDK: a função de Usuário e a função de Execução.

Função de Usuário: A função que você assume em sua máquina ao executar o SDK e a AWS CLI. Essa função precisa de permissões para Amazon SageMaker AI (CreateTrainingJob, DescribeTrainingJob), Amazon S3 (leitura/escrita no seu bucket de dados), Amazon CloudWatch Logs (leitura) e IAM (PassRole). Consulte a documentação do SDK para a política completa.

Função de Execução: A função que o Amazon SageMaker AI assume para executar jobs de treinamento em seu nome. Sua política de confiança deve permitir que sagemaker.amazonaws.com a assuma. Para o conjunto completo de permissões recomendadas, consulte a documentação da função de execução do SageMaker. Os pré-requisitos para executar jobs SMTJ incluem instruções detalhadas de setup.

Quotas de serviço

Este artigo utiliza instâncias ml.p5.48xlarge tanto para treinamento quanto avaliação. O Nova Lite 2.0 requer um mínimo de 4 instâncias para treinamento SFT; se executar jobs de treinamento e avaliação concorrentemente, talvez precise de pelo menos 5 instâncias. Solicite quotas suficientes para ml.p5.48xlarge através do console de Quotas de Serviço para Jobs de Treinamento do Amazon SageMaker.

Bucket S3

Crie um bucket do Amazon S3 na mesma região AWS que seus jobs de treinamento (neste artigo usamos us-east-1) e certifique-se que suas funções IAM de usuário e execução possuem acesso de leitura e escrita. Aqui você armazenará dados de treinamento e artefatos de saída.

Amazon SageMaker HyperPod (opcional)

Além dos Jobs de Treinamento do Amazon SageMaker, o Nova Forge SDK também suporta execução em Amazon SageMaker HyperPod. Este artigo não enfatiza customização em SMHP, mas se desejar treinar em HyperPod, deve configurar um cluster com Grupos de Instâncias Restritos (RIGs). Siga as instruções no workshop de setup HyperPod RIG para configurar um cluster adequado para customização Amazon Nova.

Instalação e configuração do ambiente

Após concluir os pré-requisitos, você está pronto para configurar seu ambiente.

Ambiente Python

O Nova Forge SDK requer Python 3.12 ou posterior. Recomenda-se criar um ambiente virtual para isolar dependências:

python3.12 -m venv nova-sdk-env
source nova-sdk-env/bin/activate
# No Windows: nova-sdk-env\Scripts\activate

Instalação do SDK

Instale o SDK com o seguinte comando pip:

pip install amzn-nova-forge

Verifique a instalação importando os módulos principais em um arquivo Python de teste:

from amzn_nova_forge import (
    NovaModelCustomizer,
    SMTJRuntimeManager,
    TrainingMethod,
    EvaluationTask,
    CSVDatasetLoader,
    Model,
)

Módulos principais do SDK

NovaModelCustomizer: A classe primária para interagir com o Nova Forge SDK, contendo métodos core da API e inicialização de configuração de treinamento.

SMTJRuntimeManager: Gerencia a infraestrutura AWS necessária para customização SMTJ, como tipo de instância selecionado e contagem para um job de customização.

TrainingMethod: Uma enumeração dos tipos de treinamento possíveis para configurar um NovaModelCustomizer.

EvaluationTask: Uma enumeração dos tipos de avaliação possíveis para configurar um NovaModelCustomizer.

CSVDatasetLoader: Usado para carregar dados de arquivos CSV para uso no Nova Forge SDK.

Model: Uma enumeração dos modelos Amazon Nova suportados pelo Nova Forge SDK.

Para informações adicionais sobre funcionalidades diferentes do SDK, consulte o documento de especificação. Se usar um agente LLM para trabalho em codificação, você pode ter o agente revisar o arquivo AGENTS.md no repositório para aprender sobre o SDK.

O significado dessa abordagem

A interface unificada do SDK abstrai a complexidade de formatação de dados e configurações específicas de plataforma, permitindo que desenvolvedores foquem no que realmente importa: seus dados, seu domínio e seus objetivos de negócio. Seja começando com fine-tuning em Jobs de Treinamento do Amazon SageMaker ou planejando customização com Amazon SageMaker HyperPod, o SDK oferece uma experiência consistente através de todo o continuum de customização.

Ao remover as barreiras tradicionais para customização de LLMs, requisitos de expertise técnica e investimento de tempo, o Nova Forge SDK capacita organizações a construir modelos que verdadeiramente entendem seu contexto único sem sacrificar as capacidades gerais que tornam modelos de base valiosos. O SDK cuida de configurar recursos de computação, orquestrar todo o pipeline de customização, monitorar jobs de treinamento e implantar endpoints. O resultado é IA empresarial que é tanto especializada quanto inteligente, expert em domínio e amplamente capaz.

Próximos passos

Pronto para customizar seus próprios modelos Nova? Comece com o Nova Forge SDK no GitHub e explore a documentação completa para começar a construir modelos adaptados às suas necessidades empresariais.

Fonte

Introducing Nova Forge SDK, a seamless way to customize Nova models for enterprise AI (https://aws.amazon.com/blogs/machine-learning/introducing-nova-forge-sdk-a-seamless-way-to-customize-nova-models-for-enterprise-ai/)

Expansão do Amazon Connect para a Europa

A AWS anunciou a disponibilidade das experiências de fala para fala com agentes de IA no Amazon Connect em uma nova região: Europe (London). Essa expansão permite que empresas operando na Europa ampliem seus serviços de atendimento ao cliente com tecnologia de IA conversacional, mantendo os dados mais próximos aos clientes europeus e atendendo requisitos locais de conformidade.

Novas Vozes para Interações Naturais

Acompanhando a expansão geográfica, a AWS adicionou três novas vozes ao catálogo de opções de fala: Pedro (espanhol dos EUA), Amy (inglês britânico) e Brian (inglês britânico). Essa ampliação do repertório de vozes oferece às empresas maior flexibilidade para personalizar as interações com clientes em diferentes idiomas e regiões.

Capacidades de Agentes Inteligentes

O Amazon Connect oferece capacidades de autoatendimento com agentes autônomos que vão além da simples captura de áudio. Esses agentes de IA conseguem compreender não apenas o que o cliente diz, mas também como diz — interpretando tom e sentimento. Com base nesses sinais, o agente adapta suas respostas de voz para corresponder ao sentimento do cliente, mantendo um ritmo de conversação natural e fluido.

Os agentes inteligentes do Amazon Connect podem:

• Compreender intenções e contexto em conversas por voz e mensagens
• Raciocinar sobre a melhor ação a tomar para resolver o problema
• Executar ações automaticamente para tarefas rotineiras e complexas
• Adaptar o tom e sentimento da resposta ao estado emocional do cliente
• Manter interações naturais e envolventes sem parecer robótico

Impacto para Empresas Brasileiras

Para empresas brasileiras com operações na Europa ou clientes europeus, essa expansão representa a oportunidade de implementar centros de contato inteligentes que funcionem na região Europe (London), reduzindo latência e garantindo conformidade com regulamentações de proteção de dados. A adição da voz Pedro em espanhol também abre possibilidades para atendimento em português do Brasil no futuro, seguindo o padrão de expansão de idiomas da plataforma.

Próximos Passos

Para conhecer mais detalhes sobre essa funcionalidade, consulte a documentação do Amazon Connect. Para explorar completamente as capacidades do Amazon Connect como solução completa de centro de contato alimentada por IA, visite a página oficial do serviço.

Fonte

Amazon Connect expands agentic speech-to-speech voice experiences to the London (Europe) region and adds three new voices (https://aws.amazon.com/about-aws/whats-new/2026/03/amazon-connect-london-europe-region/)

A expansão do suporte multilíngue no Amazon Connect

A AWS anunciou uma expansão significativa no Amazon Connect, serviço de centro de contato alimentado por inteligência artificial. A plataforma agora suporta 13 novos idiomas para agentes de voz com IA, elevando o total de locales de idiomas suportados para 40.

Essa ampliação democratiza o acesso a tecnologias avançadas de atendimento ao cliente para empresas que operam em mercados linguisticamente diversos. Entre os idiomas adicionados estão árabe (Arábia Saudita), tcheco, dinamarquês, holandês (Bélgica), inglês (Irlanda), inglês (Nova Zelândia), inglês (País de Gales), alemão (Suíça), islandês, romeno, espanhol (México), turco e galês.

Capacidades dos agentes autônomos do Amazon Connect

Os agentes de voz com IA do Amazon Connect possuem capacidades sofisticadas de autoatendimento. Esses agentes conseguem compreender requisições dos clientes, raciocinar sobre contextos complexos e executar ações específicas de forma autônoma.

Funcionam de maneira integrada tanto em canais de voz quanto em canais digitais, permitindo que empresas automatizem tarefas rotineiras e até mesmo processos mais complexos de atendimento ao cliente. Tudo isso agora com suporte expandido para múltiplos idiomas, incluindo as novas adições anunciadas.

Relevância para o mercado brasileiro

Para empresas brasileiras e latino-americanas, essa atualização traz uma oportunidade importante. Com o suporte ao espanhol (México) e a possibilidade de operar em diversos idiomas europeus, organizações que atuam em múltiplos países ganham mais flexibilidade operacional em seus centros de contato globais.

Próximos passos

Para organizações interessadas em explorar essas novas funcionalidades, a AWS disponibiliza documentação técnica completa. Você pode consultar o Guia do Administrador do Amazon Connect para detalhes sobre implementação.

Sobre a plataforma em si, o Amazon Connect é uma solução completa de centro de contato potencializada por inteligência artificial, projetada para entregar experiências personalizadas de atendimento em escala. Para conhecer mais sobre o serviço e suas capacidades, visite o site do Amazon Connect.

Fonte

Amazon Connect voice AI agents now supports 13 new languages (https://aws.amazon.com/about-aws/whats-new/2026/03/amazon-connect-voice-ai-agents-13-languages/)

Flexibilidade na extensão de capacidade de GPU

O SageMaker Training Plans permite que organizações reservem capacidade de GPU (Processador Gráfico) dentro de períodos de tempo específicos, trabalhando com clusters de até 64 instâncias. A AWS anunciou uma atualização importante para esse serviço: agora é possível estender os planos de treinamento quando as cargas de trabalho de inteligência artificial demandam mais tempo que o originalmente previsto.

Essa extensão garante acesso ininterrupto à infraestrutura de GPU sem interrupções nas operações. A AWS oferece dois tipos de extensão: incrementos de 1 dia, estendendo o plano por até 14 dias, ou incrementos de 7 dias, permitindo extensões de até 182 dias (26 semanas).

Como funcionam as extensões

Processo simplificado

As extensões podem ser iniciadas tanto via API quanto pelo console do SageMaker, tornando o processo acessível para diferentes fluxos de trabalho. O aspecto mais relevante é que, após a compra da extensão, a carga de trabalho continua executando ininterruptamente. Nenhuma reconfiguração do workload é necessária — a continuidade é automática.

Provisão automática de infraestrutura

O SageMaker AI gerencia todo o ciclo de vida dos planos de treinamento de forma autônoma. Quando um plano é criado e adquirido, o SageMaker provisiona automaticamente a infraestrutura necessária e executa as cargas de trabalho de inteligência artificial nesses recursos computacionais sem exigir intervenção manual.

Considerações de custos e disponibilidade

Para otimizar investimentos em treinamento de modelos, a AWS desenvolve planos de treinamento pensados em eficiência de custos. O objetivo é criar planos que se adequem aos prazos e orçamentos de inteligência artificial das organizações. Consulte a página de preços do SageMaker AI para um detalhamento completo da disponibilidade de instâncias por região da AWS.

Documentação e próximos passos

Para aprofundar-se nas funcionalidades de extensão de planos de treinamento, a AWS disponibiliza o Guia do Usuário do Amazon SageMaker Training Plans, com documentação técnica detalhada e orientações práticas para implementação.

Fonte

SageMaker Training Plans now enables extending of existing capacity commitments without workload reconfiguration (https://aws.amazon.com/about-aws/whats-new/2026/03/amazon-sagemaker-training-plan-extension/)

A Transição para Inferência Eficiente em Larga Escala

Com o avanço de sistemas de IA baseados em agentes e raciocínio complexo, os modelos de linguagem grandes (LLMs) passaram a gerar dez vezes mais tokens através de cadeias de raciocínio intricadas, comparado a respostas simples. Esses fluxos de trabalho não apenas aumentam exponencialmente a carga computacional, mas criam demandas altamente variáveis que comprometem a performance geral e a experiência do usuário.

À medida que o mercado avança da fase de prototipagem para implementações em produção, a eficiência da inferência tornou-se o fator limitante mais crítico. A AWS reconheceu esse desafio e estabeleceu uma parceria com a comunidade do llm-d para oferecer uma solução integrada que melhora significativamente o aproveitamento de recursos e reduz custos operacionais.

Compreendendo as Fases da Inferência em LLMs

A execução de um modelo de linguagem envolve duas fases fundamentalmente distintas. Na fase de prefill, o sistema processa todo o prompt de entrada em paralelo, gerando o conjunto inicial de entradas de cache chave-valor (KV). Esta fase é limitada pelo poder computacional disponível. Na fase de decode, o modelo gera um token por vez de forma autorregressiva, exigindo acesso constante aos pesos do modelo e ao cache KV em crescimento — característica que torna essa fase dependente de largura de banda de memória.

Como as requisições de inferência variam consideravelmente em comprimento de entrada e saída, otimizar o uso de recursos em ambas as fases simultaneamente representava um desafio significativo. Abordagens tradicionais, que implantam modelos em infraestrutura pré-determinada, resultam em utilização subótima, com GPUs ora subutilizadas ora sobrecarregadas conforme a fase de execução.

O que é llm-d?

llm-d é um framework de código aberto nativo do Kubernetes para serviços distribuídos de LLMs. Construído sobre o vLLM, o llm-d estende o mecanismo de inferência principal com orquestração pronta para produção, agendamento avançado e suporte a interconexão de alta performance. Em vez de tratar a inferência como um problema de execução em nó único, o llm-d introduz padrões arquiteturais para serviços desagregados — separando e otimizando etapas como prefill, decode e gerenciamento de cache KV através de recursos de GPU distribuídos.

O framework oferece “caminhos bem definidos” — arquiteturas de referência que empacotam estratégias de otimização comprovadas para diferentes objetivos de performance e escalabilidade.

Capacidades Principais do llm-d

Agendamento Inteligente de Inferência

Em ambientes de nó único, mecanismos como o vLLM utilizam cache de prefixo automático para reduzir computação redundante reutilizando entradas de cache KV anteriores. Porém, em ambientes distribuídos com múltiplas réplicas, as suposições sobre quais blocos de cache residem em quais GPUs deixam de valer.

O agendador do llm-d resolve isso mantendo visibilidade sobre o estado do cache em todas as réplicas e roteando requisições de forma consciente dessa localidade. Para cargas de trabalho com alto reuso de prefixo, como conversas multi-turno ou fluxos agentic, esse roteamento consciente do cache resulta em melhorias significativas de throughput e latência.

Desagregação de Prefill e Decode

Ao separar as fases de prefill e decode em infraestrutura dedicada, torna-se possível otimizar cada uma independentemente. Se a saída do seu modelo tende a ser longa comparada à entrada, você pode alocar mais GPUs para decode sem aumentar o custo de prefill. Também é possível colocar essas fases em tipos diferentes de hardware, cada um sintonizado para seu perfil de carga.

No llm-d, servidores de prefill são otimizados para processar prompts de entrada com eficiência, enquanto servidores de decode focam em gerar tokens com baixa latência. O agendador inteligente decide quais instâncias devem receber uma dada requisição, e a transferência é coordenada através de um sidecar executado junto às instâncias de decode. Esse componente orquestra transferências ponto-a-ponto de cache KV sobre interconexões rápidas, garantindo que o servidor de decode receba o contexto necessário com sobrecarga mínima.

Paralelismo Amplo de Especialistas

Para modelos de Mistura de Especialistas (MoE) como DeepSeek-R1, Qwen3.5, Minimax e Kimi K2.5, o llm-d oferece padrões de implantação otimizados que utilizam paralelismo de dados e paralelismo de especialistas. Essa abordagem permite distribuir especialistas horizontalmente entre múltiplos nós mantendo performance, reduzindo latência e aumentando throughput para essas arquiteturas complexas.

Cache de Prefixo em Camadas

O cache de prefixo evita computações repetitivas e caras do cache KV, melhorando métricas como tempo até primeiro token (TTFT) e throughput geral. Porém, mecanismos nativos como os do vLLM estão restritos à memória de GPU disponível em cada instância. O llm-d expande o tamanho efetivo do cache oferecendo um caminho de cache em camadas que descarrega entradas de cache KV da memória GPU para outros níveis de armazenamento, como memória CPU ou disco local.

Infraestrutura na AWS: SageMaker HyperPod e EKS

O SageMaker HyperPod oferece infraestrutura Kubernetes resiliente e de alta performance otimizada para treinamento e inferência de modelos em larga escala. Com clusters persistentes de alta performance e monitoramento de saúde integrado que detecta e remedia falhas de hardware proativamente, a plataforma fornece a fundação ideal para a arquitetura nativa do Kubernetes do llm-d.

Componentes Técnicos da Comunicação

A comunicação entre GPUs em nó único ocorre via NVLink e NVSwitch. Para comunicação entre nós, o llm-d aproveita componentes avançados. A Biblioteca de Transferência de Inferência NVIDIA (NIXL) é propositalmente construída para transferências de dados ponto-a-ponto eficientes — movimentação de dados de cache KV de nós de prefill para nós de decode. NIXL fornece uma camada de abstração sobre diferentes métodos de transferência, incluindo libfabric para interfaces EFA, UCCL e GPUDirect Storage.

O Unified Communication X (UCX) fornece o framework de comunicação de nível inferior que NIXL utiliza. UCX suporta operações RDMA que habilitam rede de kernel-bypass com zero-cópia — crítico para cargas de trabalho de inferência onde latência é essencial.

O Adaptador de Tecido Elástico (EFA) oferece uma interface de rede de alta performance na AWS. UCX possui suporte nativo para EFA através da interface libfabric, permitindo que quando o llm-d implanta vLLM em múltiplos nós, a pilha de comunicação subjacente aproveite completamente o networking de baixa latência e alta largura de banda do EFA sem mudanças no nível da aplicação.

Um Balanceador de Carga é provisionado para conectar-se ao Gateway de Inferência (IGW), que implementa agendamento inteligente de requisições e roteamento baseado em localidade de cache e carga do servidor. O Gerenciador de Cache KV habilita roteamento consciente de cache e gerenciamento distribuído do cache, rastreando quais blocos residem em quais nós.

Boas Práticas de Implementação

A desagregação de inferência permite escalar nós de prefill independentemente dos nós de decode, sintonizando performance para suas cargas de trabalho. Cargas com sequências de entrada longas e sequências de saída curtas são intensivas em prefill — a desagregação permite expandir pods de prefill para processar mais requisições sem custo adicional significativo.

A desagregação funciona melhor para modelos maiores, sequências de entrada longas e arquiteturas MoE. O llm-d oferece caminhos para roteamento inteligente de tráfego para pods específicos baseado em métricas como filas de requisição e eventos de cache KV, melhorando throughput e taxa de acertos de cache.

Implantação: Pré-requisitos e Setup

Para implantar o llm-d, você precisará ter configurado localmente:

• AWS Command Line Interface (AWS CLI)
• kubectl
• Conta HuggingFace para criar um token de acesso
• Helm
• helmfile
• Acesso a um cluster SageMaker HyperPod ou EKS

O llm-d utiliza a Extensão de API de Gateway de Inferência, que requer instalação de CRDs e uma implementação como Istio. Clone o repositório e navegue até o auxiliar de instalação:

git clone https://github.com/llm-d/llm-d.git
cd guides/prereq/gateway-provider
./install-gateway-provider-dependencies.sh
helmfile apply -f istio.helmfile.yaml

Para implantar com desagregação prefill-decode, configure os valores do pod para usar a imagem compatível com AWS do llm-d e ativar NIXL com libfabric como backend de transporte:

containers:
- name: "vllm"
  image: ghcr.io/llm-d/llm-d-aws:v0.5.1
  args:
    - "--block-size"
    - "128"
    - "--kv-transfer-config"
    - '{"kv_connector":"NixlConnector", "kv_role":"kv_both","kv_connector_extra_config": {"backends": ["LIBFABRIC"]}}'
    - "--disable-uvicorn-access-log"
    - "--max-model-len"
    - "32000"

Configure o número de interfaces EFA baseado nas GPUs por pod. Por exemplo, uma instância p5.48xlarge possui 8 GPUs H100 com 32 interfaces EFA — configure cada réplica com 4 interfaces EFA por GPU.

Resultados de Performance

A AWS testou a desagregação prefill/decode do llm-d em uma instância ml.p6-b200.48xlarge, comparando contra uma implantação padrão de vLLM. O teste utilizou 4 pods de prefill com paralelismo de tensor 1 e 1 pod de decode com paralelismo de tensor 4, conectados via NIXL com libfabric como transporte EFA.

Os testes demonstraram que a desagregação prefill/decode do llm-d aumenta a taxa de tokens por segundo em até 70% conforme a concorrência aumenta, comparado a uma implantação padrão de vLLM com sequência de entrada de 1024 tokens e saída de 1024 tokens sob concorrência de até 128 requisições simultâneas. Esse perfil de performance varia conforme a configuração do vLLM e a carga de trabalho específica. Ajustar a proporção prefill/decode e outros parâmetros disponíveis pode trazer ganhos ainda maiores.

Conclusão

O llm-d oferece caminhos comprovados para métodos de implantação como desagregação prefill/decode, roteamento consciente de cache KV e cache em camadas. Essas capacidades permitem otimizações significativas na performance, utilização de recursos e eficiência operacional ao servir modelos em larga escala. Você pode explorar a documentação completa e arquitetura do llm-d para entender melhor como implementar essas estratégias na sua infraestrutura AWS.

Fonte

Introducing Disaggregated Inference on AWS powered by llm-d (https://aws.amazon.com/blogs/machine-learning/introducing-disaggregated-inference-on-aws-powered-by-llm-d/)

Desafios na Gestão de Features em Escala

A construção e manutenção de features de aprendizado de máquina em larga escala representa um dos problemas mais críticos e complexos enfrentados por equipes de ciência de dados modernas. Organizações frequentemente lidam com pipelines fragmentados, definições inconsistentes de dados e esforços redundantes de engenharia distribuídos entre múltiplos times. Sem um sistema centralizado para armazenar e reutilizar features, os modelos podem ser treinados com dados desatualizados ou desalinhados, resultando em generalização inadequada, menor acurácia e questões relacionadas à governança.

Além disso, a colaboração entre equipes de engenharia de dados, ciência de dados e operações de machine learning torna-se complexa quando cada grupo mantém seus próprios datasets isolados e transformações independentes. Essa fragmentação amplia o risco de inconsistências e reduz a eficiência operacional.

A Abordagem da AWS para Feature Stores

A AWS oferece o Amazon SageMaker, que aborda esses desafios através de duas capacidades principais: o SageMaker Unified Studio e o SageMaker Catalog. Essas ferramentas permitem que organizações construam, gerenciem e compartilhem ativos de forma segura entre projetos e contas.

Um componente essencial desse ecossistema é a implementação de um repositório de features offline — um armazenamento estruturado projetado para gerenciar dados históricos de features utilizados em treinamento e validação de modelos. Esses repositórios são otimizados para escalabilidade, rastreamento de linhagem e reprodutibilidade, permitindo que cientistas de dados treinem modelos sobre datasets precisos e sincronizados, evitando vazamento de dados e mantendo consistência entre experimentos.

Arquitetura da Solução

A solução integra múltiplos componentes da AWS em um fluxo colaborativo. O SageMaker Unified Studio atua como camada central de governança e colaboração, gerenciando projetos, usuários e ativos de dados sob controle centralizado. As S3 Tables em formato Apache Iceberg servem como fundação para armazenar e fazer versioning de dados de features. O SageMaker Catalog funciona como registro central para publicar, descobrir e assinar features. Complementarmente, o AWS Lake Formation fornece controle granular de acesso e o Amazon SageMaker Studio oferece ferramentas visuais e baseadas em código para engenharia de dados.

O modelo adota um padrão publish-subscribe onde produtores de dados publicam tabelas de features curadas e versionadas, enquanto consumidores descobrem, assinam e reutilizam essas features de forma segura para desenvolvimento de modelos. Essa abordagem integrada possibilita governança consistente de features, acelera experimentação em ML e reduz overhead operacional.

Componentes Principais da Solução

SageMaker Unified Studio

O domínio SageMaker Unified Studio funciona como plano de controle central, gerenciando projetos de ML, usuários e ativos de dados. Ele fornece interface unificada para colaboração entre engenheiros de dados, cientistas de dados e administradores, com aplicação de controles granulares de acesso, integração com AWS IAM Identity Center para autenticação única e suporte a fluxos de aprovação para compartilhamento seguro de ativos entre times e contas.

S3 Tables com Apache Iceberg

As S3 Tables proporcionam armazenamento escalável e serverless para dados de features usando o formato Apache Iceberg. Esse formato habilita transações ACID, evolução de schema e capacidades de time-travel, permitindo consultar versões históricas de dados com reprodutibilidade completa. As S3 Tables integram-se perfeitamente com Spark, Glue e SageMaker para acesso consistente aos dados.

Pipeline de Engenharia de Features

O pipeline automatiza a transformação de datasets brutos em features de alta qualidade e curadas. Construído sobre Apache Spark, oferece processamento distribuído em escala, habilitando transformações complexas como cálculo de taxas de atraso, codificação categórica e agregação de features. Os outputs são gravados diretamente em S3 Tables, garantindo rastreabilidade e consistência.

SageMaker Catalog

O SageMaker Catalog atua como repositório de toda a organização para registrar, publicar e descobrir ativos de ML como datasets, tabelas de features e modelos. Integra-se com Lake Formation para controle granular de acesso e IAM Identity Center para gestão de usuários, suportando enriquecimento de metadados, versionamento e fluxos de aprovação para compartilhamento seguro e reutilização de ativos confiáveis entre projetos.

Fluxo de Trabalho do Administrador

O administrador estabelece a base para um ambiente seguro e colaborativo. Suas responsabilidades incluem provisionar o domínio SageMaker Unified Studio, habilitar IAM Identity Center para autenticação, configurar S3 Tables com Lake Formation para acesso governado, criar projetos produtor e consumidor dedicados, implantar infraestrutura através de blueprints (baseados em AWS CloudFormation) e atribuir usuários e grupos com permissões apropriadas.

Após conclusão das configurações, o administrador criará uma conta de usuário no IAM Identity Center, provisionar o domínio (processo que normalmente leva 2 a 5 minutos) e estabelecerá dois projetos: um produtor (para engenheiros de dados) e um consumidor (para cientistas de dados). Cada projeto receberá as permissões e grupos de usuários apropriados para seu papel específico.

Fluxo de Trabalho do Engenheiro de Dados

O engenheiro de dados atua como produtor de features. Conecta-se ao projeto produtor e executa um job de processamento de dados que transforma dados brutos em features curadas. A solução inclui um script de pipeline de engenharia de features que demonstra esse processo.

Após criar o pipeline e validar os dados, o engenheiro de dados usa o editor de dados para enriquecer a tabela de features com metadados, facilitando descoberta e governança. Com validação e aprovação completadas, o engenheiro publica a tabela de features no SageMaker Catalog para acesso da organização inteira.

O processo mantém rastreabilidade completa: os dados brutos alimentam o pipeline, que gera features e as armazena em S3 Tables em formato Iceberg, criando um histórico completo de transformações.

Fluxo de Trabalho do Cientista de Dados

O cientista de dados, como consumidor, busca features publicadas usando busca por AI no SageMaker Catalog. Após identificar features relevantes, submete uma solicitação de assinatura com justificativa de negócio. O produtor revisa e aprova (ou configura aprovação automática). Após aprovação, o cientista de dados ganha acesso à tabela de features através do catálogo do projeto, podendo consultar os dados tanto pelo explorador visual quanto diretamente através de notebooks Jupyter.

Rastreamento de Linhagem

O SageMaker Catalog oferece rastreamento de linhagem compatível com OpenLineage, permitindo capturar e visualizar eventos de linhagem de sistemas habilitados com OpenLineage ou através de APIs. Isso possibilita rastrear origens de dados, acompanhar transformações e visualizar consumo de dados entre organizações.

Capacidades de Time-Travel do Apache Iceberg

A tabela de features armazena múltiplas versões de dados graças ao Apache Iceberg. Cientistas de dados podem usar time-travel para consultar dados históricos em versões específicas ou timestamps definidos. Esse recurso garante reprodutibilidade completa: diferentes execuções de treinamento podem usar exatamente as mesmas features de uma versão histórica específica. O Iceberg registra um histórico completo de snapshots com timestamps e operações, proporcionando trilha de auditoria para compliance e debugging.

Implementação Prática com Jupyter Notebooks

A solução inclui um notebook de exemplo que demonstra como usar uma S3 Table como repositório de features offline para treinamento de modelos e inferência em lote. O notebook implementa um pipeline completo de treinamento e inferência para previsão de atrasos de voos usando o algoritmo XGBoost do SageMaker.

O processo inclui: configuração de experimento MLflow, carregamento de features através de Athena, treinamento de modelo XGBoost com logging de parâmetros e métricas para reprodutibilidade, e transformação em lote para gerar predições. As métricas de desempenho, ID de snapshot e queries utilizadas são registradas no experimento MLflow, garantindo rastreabilidade completa da execução.

Benefícios da Arquitetura Integrada

A implementação de um repositório de features offline com SageMaker Unified Studio e SageMaker Catalog proporciona múltiplas vantagens. A abordagem garante governança consistente, permitindo rastreamento de linhagem e reprodutibilidade completa dos experimentos. As S3 Tables com Apache Iceberg oferecem conformidade ACID e time-travel capabilities, melhorando confiabilidade dos dados de treinamento e performance dos modelos.

O padrão publish-subscribe simplifica compartilhamento de ativos, reduz duplicação e acelera ciclos de vida de desenvolvimento. Diferentes equipes podem colaborar em um ambiente unificado sem comprometer segurança ou integridade dos dados. A escalabilidade da solução permite que organizações gerenciem centenas ou milhares de features com consistência.

Fonte

Build an offline feature store using Amazon SageMaker Unified Studio and SageMaker Catalog (https://aws.amazon.com/blogs/machine-learning/build-an-offline-feature-store-using-amazon-sagemaker-unified-studio-and-sagemaker-catalog/)