Author: Make.com Service User

O desafio das operações de modelo em escala

Gerenciar fluxos de trabalho de ModelOps (operações de modelos de machine learning) sempre foi uma tarefa complexa e demorada. Equipes que tentaram configurar templates de projeto para seus times de ciência de dados enfrentaram um cenário desafiador: a abordagem anterior exigia o uso do AWS Service Catalog, que demandava configuração de portfolios, produtos e permissões complexas—adicionando sobrecarga administrativa significativa antes do time conseguir construir seus primeiros pipelines de ML.

Esse gargalo administrativo afastava cientistas de dados de suas atividades principais, enquanto que arquitetos e administradores gastavam horas configurando infraestrutura em vez de resolver problemas de negócio.

O caminho simplificado: templates baseados em Amazon S3

A AWS agora oferece uma alternativa mais direta: o Amazon SageMaker AI Projects suporta templates baseados em Amazon S3. Com essa nova capacidade, administradores podem armazenar templates AWS CloudFormation diretamente no Amazon Simple Storage Service (Amazon S3) e gerenciar todo o ciclo de vida usando recursos familiares do S3: versionamento, políticas de ciclo de vida e replicação entre regiões do S3.

Isso significa fornecer ao time de ciência de dados templates de projeto automatizados, com controle de versão e seguros—com uma sobrecarga administrativa significativamente menor.

O que é Amazon SageMaker AI Projects?

O Amazon SageMaker AI Projects permite que times criem, compartilhem e gerenciem projetos de ModelOps completamente configurados. Dentro desse ambiente estruturado, você organiza código, dados e experimentos—facilitando colaboração e reprodutibilidade. Cada projeto pode incluir pipelines de integração e entrega contínua (CI/CD), registros de modelo, configurações de deployment e outros componentes de ModelOps, todos gerenciados dentro do SageMaker AI.

Templates reutilizáveis padronizam práticas de ModelOps ao codificar as melhores práticas para processamento de dados, desenvolvimento de modelos, treinamento, deployment e monitoramento.

Casos de uso principais

Você pode orquestrar diversos cenários usando SageMaker AI Projects:

• Automatizar fluxos de ML: Configure pipelines CI/CD que compilam, testam e deployam modelos automaticamente
• Impor governança e conformidade: Garanta que seus projetos sigam padrões organizacionais para segurança, rede e marcação de recursos
• Acelerar time-to-value: Forneça ambientes pré-configurados para que cientistas de dados se concentrem em problemas de ML, não em infraestrutura
• Melhorar colaboração: Estabeleça estruturas de projeto consistentes para compartilhamento e reutilização de código

Nova funcionalidade: templates de projeto em Amazon S3

A atualização mais recente do SageMaker AI Projects permite que administradores armazenem e gerenciem templates de projeto de ML diretamente no Amazon S3. Esses templates baseados em S3 são uma alternativa menos complicada e mais flexível em relação ao Service Catalog anterior.

Com esse aprimoramento, templates de AWS CloudFormation podem ser versionados, protegidos e compartilhados eficientemente entre times usando os controles de acesso ricos, gerenciamento de ciclo de vida e recursos de replicação fornecidos pelo S3.

Disponibilidade regional e acesso entre contas

Quando você armazena templates no Amazon S3, eles ficam disponíveis em todas as regiões AWS onde SageMaker AI Projects é suportado. Para compartilhar templates entre contas AWS, você pode usar políticas de bucket S3 e controles de acesso entre contas.

Versionamento e auditoria completa

A possibilidade de ativar versionamento no S3 fornece um histórico completo de alterações de template, facilitando auditorias e reversões, além de registrar a evolução do template do projeto de forma imutável.

Migração do Service Catalog

Se seus times atualmente usam templates baseados em Service Catalog, a abordagem baseada em S3 oferece um caminho de migração direto. Ao migrar, as considerações principais envolvem: provisionar novas funções SageMaker para substituir funções específicas do Service Catalog, atualizar referências de template, enviar templates para S3 com marcação adequada e configurar tags no nível do domínio apontando para o bucket de templates.

Para organizações com repositórios de templates centralizados, você deve estabelecer políticas de bucket S3 entre contas para permitir descoberta de templates a partir de contas consumidoras, com cada domínio SageMaker de cada conta consumidora marcado para referenciar o bucket central.

Tanto templates baseados em S3 quanto baseados em Service Catalog aparecem em abas separadas na interface de criação do SageMaker AI Projects, permitindo que organizações introduzam templates em S3 gradualmente sem interromper fluxos de trabalho existentes durante a migração.

Requisitos técnicos para configuração

SageMaker AI Projects com templates em S3 suporta templates CloudFormation personalizados que você cria para o seu caso de uso de ML organizacional. Os templates fornecidos pela AWS (como os templates de projeto ModelOps integrados) continuam disponíveis exclusivamente através do Service Catalog.

Seus templates personalizados devem ser arquivos CloudFormation válidos em formato YAML.

Para começar a usar templates baseados em S3 com SageMaker AI Projects, seu domínio SageMaker deve incluir a tag sagemaker:projectS3TemplatesLocation com o valor s3://<bucket-name>/<prefix>/.

Cada arquivo de template enviado para S3 deve ser marcado com sagemaker:studio-visibility=true para aparecer no console SageMaker AI Studio Projects.

Você precisará conceder acesso de leitura a funções de execução SageMaker na política de bucket S3 e ativar configuração CORS no bucket S3 para permitir ao SageMaker AI Projects acessar os templates S3.

Como integração de templates em S3 funciona na prática

A configuração opera em dois fluxos de trabalho separados: configuração única por administradores e lançamento de projeto por engenheiros de ML e cientistas de dados.

Quando engenheiros de ML e cientistas de dados lançam um novo projeto de ModelOps no SageMaker AI, o SageMaker lança uma pilha (stack) AWS CloudFormation para provisionar os recursos definidos no template. Assim que o processo é concluído, você acessa todos os recursos especificados e os pipelines CI/CD configurados em seu projeto.

Gerenciamento do ciclo de vida de projetos

O gerenciamento do ciclo de vida de projetos lançados pode ser realizado através do console SageMaker Studio, onde usuários navegam para S3 Templates, selecionam um projeto e usam o menu Actions para atualizar ou deletar projetos.

Atualizações de projeto podem ser usadas para modificar parâmetros de template existentes ou a própria URL do template, acionando atualizações de stack CloudFormation que são validadas antes da execução. A exclusão de projeto remove todos os recursos e configurações associadas do CloudFormation.

Essas operações de ciclo de vida também podem ser executadas programaticamente usando as APIs do SageMaker.

Caso de uso: template MLOps integrado com GitHub para times corporativos

Muitas organizações usam GitHub como seu sistema principal de controle de versão e desejam usar GitHub Actions para CI/CD enquanto usam SageMaker para cargas de trabalho de ML. No entanto, configurar essa integração requer a configuração de múltiplos serviços AWS, estabelecer conexões seguras e implementar fluxos de aprovação apropriados—uma tarefa complexa que consome tempo se feita manualmente.

Solução com template baseado em S3

O template baseado em S3 resolve esse desafio ao provisionar um pipeline de ModelOps completo que inclui orquestração CI/CD, componentes de SageMaker Pipelines e automação acionada por eventos.

Esse exemplo de projeto ModelOps com templates baseados em S3 habilita fluxos de trabalho de ModelOps totalmente automatizados e governados. Cada projeto de ModelOps inclui um repositório GitHub pré-configurado com fluxos de Actions e AWS CodeConnections seguras para integração perfeita.

Após commits de código, uma pipeline SageMaker é acionada para orquestrar um processo padronizado envolvendo pré-processamento de dados, treinamento de modelo, avaliação e registro. Para deployment, o sistema suporta staging automatizado na aprovação do modelo, com verificações robustas de validação, uma porta de aprovação manual para promover modelos à produção, e uma arquitetura segura e orientada por eventos usando AWS Lambda e Amazon EventBridge.

Governança e conformidade no fluxo

Em todo o fluxo de trabalho, a governança é suportada pelo SageMaker Model Registry para rastreamento de versões de modelo e linhagem, etapas de aprovação bem-definidas, gerenciamento seguro de credenciais usando AWS Secrets Manager, e padrões consistentes de marcação e nomenclatura para todos os recursos.

Quando cientistas de dados selecionam esse template no SageMaker Studio, eles provisionam um ambiente de ModelOps totalmente funcional através de um processo simplificado. Eles enviam seu código de ML para GitHub usando funcionalidade Git integrada no IDE do Studio, e o pipeline automaticamente lida com treinamento de modelo, avaliação e deployment progressivo através de staging até produção—tudo mantendo requisitos de segurança e conformidade corporativos.

Começando com o template

Instruções de configuração completas e código para esse template de ModelOps estão disponíveis em um repositório GitHub. Após seguir as instruções no repositório, você encontra o template mlops-github-actions na seção SageMaker AI Projects no console SageMaker AI Studio escolhendo Projects no painel de navegação e selecionando a aba Organization templates, depois clicando em Next.

Para lançar o projeto ModelOps, você deve inserir detalhes específicos do projeto, incluindo o campo Role ARN, que deve conter o ARN da função AmazonSageMakerProjectsLaunchRole criada durante a configuração.

Segurança com Launch Roles

Como prática recomendada de segurança, use o Amazon Resource Name (ARN) da função AmazonSageMakerProjectsLaunchRole, não sua função de execução SageMaker. A AmazonSageMakerProjectsLaunchRole é uma função de provisionamento que atua como intermediária durante a criação de projeto ModelOps. Essa função contém todas as permissões necessárias para criar infraestrutura do seu projeto, incluindo funções AWS Identity and Access Management (IAM), buckets S3, AWS CodePipeline e outros recursos AWS.

Ao usar essa launch role dedicada, engenheiros de ML e cientistas de dados podem criar projetos de ModelOps sem exigir permissões mais amplas em suas contas. Sua função de execução SageMaker pessoal permanece limitada em escopo—eles precisam apenas de permissão para assumir a launch role. Essa separação de responsabilidades é importante para manter segurança.

Sem launch roles, cada profissional de ML precisaria de permissões IAM extensas para criar pipelines de código, projetos AWS CodeBuild, buckets S3 e outros recursos AWS diretamente. Com launch roles, precisam apenas de permissão para assumir uma função pré-configurada que lida com o provisionamento em seu nome, mantendo suas permissões pessoais mínimas e seguras.

Após inserir seus detalhes desejados de configuração de projeto e clicar em Next, o template cria dois fluxos de trabalho automatizados de ModelOps—um para construção de modelo e outro para deployment de modelo—que trabalham juntos para fornecer CI/CD para seus modelos de ML. O exemplo completo de ModelOps pode ser encontrado no repositório mlops-github-actions.

Limpeza de recursos

Após deployment, você incorrerá em custos pelos recursos deployados. Se não tenciona continuar usando a configuração, delete os recursos do projeto ModelOps para evitar cobranças desnecessárias.

Para destruir o projeto, abra o SageMaker Studio, clique em More no painel de navegação e selecione Projects. Escolha o projeto que deseja deletar, clique nas reticências acima do canto superior direito da lista de projetos e escolha Delete. Revise as informações na caixa de diálogo Delete project e selecione Yes, delete the project para confirmar. Após a exclusão, verifique que seu projeto não aparece mais na lista.

Além de deletar um projeto, que remove e desprovisiona o SageMaker AI Project, você também precisa deletar manualmente os seguintes componentes se não forem mais necessários: repositórios Git, pipelines, grupos de modelo e endpoints.

Impacto estratégico e conclusão

O provisionamento de templates baseado em Amazon S3 para Amazon SageMaker AI Projects transforma como organizações padronizam operações de ML. Conforme demonstrado neste artigo, um único template AWS CloudFormation pode provisionar um fluxo de trabalho CI/CD completo integrando seu repositório Git (GitHub, Bitbucket ou GitLab), SageMaker Pipelines e SageMaker Model Registry—fornecendo times de ciência de dados com fluxos de trabalho automatizados enquanto mantém controles de governança e segurança corporativos.

Para mais informações sobre SageMaker AI Projects e templates baseados em S3, consulte ModelOps Automation With SageMaker Projects.

Ao usar templates baseados em S3 no SageMaker AI Projects, administradores podem definir e governar a infraestrutura de ML, enquanto engenheiros de ML e cientistas de dados ganham acesso a ambientes de ML pré-configurados através de provisionamento em autoatendimento. Explore o repositório de exemplos GitHub para templates populares de ModelOps e comece hoje seguindo as instruções fornecidas. Você também pode criar templates personalizados adaptados aos requisitos específicos da sua organização, políticas de segurança e frameworks de ML preferidos.

Fonte

Simplify ModelOps with Amazon SageMaker AI Projects using Amazon S3-based templates (https://aws.amazon.com/blogs/machine-learning/simplify-modelops-with-amazon-sagemaker-ai-projects-using-amazon-s3-based-templates/)

Além das Métricas Tradicionais

Avaliar o desempenho de modelos de linguagem grandes vai além de simples métricas estatísticas como perplexidade ou scores BLEU (Bilingual Evaluation Understudy). Na maioria dos cenários reais de IA generativa, o que realmente importa é entender se um modelo produz resultados melhores que uma versão anterior ou uma linha de base. Isso é particularmente crítico em aplicações como sumarização, geração de conteúdo ou agentes inteligentes, onde julgamentos subjetivos e correção contextual são essenciais.

As organizações que aprofundam a implantação desses modelos em produção enfrentam um desafio crescente: como avaliar sistematicamente a qualidade além dos métodos tradicionais? Abordagens convencionais como medidas de acurácia e avaliações baseadas em regras, embora úteis, não conseguem capturar completamente as necessidades de avaliação nuanceadas, especialmente quando as tarefas exigem julgamentos subjetivos, compreensão contextual ou alinhamento com requisitos comerciais específicos.

A Abordagem LLM-as-a-Judge

Para preencher essa lacuna, emergiu a abordagem conhecida como LLM-as-a-Judge (Modelo de Linguagem como Juiz), que aproveita as capacidades de raciocínio de modelos de linguagem para avaliar outros modelos de forma mais flexível e em larga escala.

A Amazon Nova agora oferece o recurso LLM-as-a-Judge integrado ao Amazon SageMaker AI, um serviço gerenciado da Amazon Web Services (AWS) para construir, treinar e implantar modelos de aprendizado de máquina em escala. O Amazon Nova LLM-as-a-Judge foi projetado para entregar avaliações robustas e imparciais dos resultados de IA generativa em diferentes famílias de modelos.

O recurso está disponível como workflows otimizados no SageMaker AI, permitindo começar a avaliar o desempenho de modelos contra seus casos de uso específicos em minutos. Ao contrário de muitos avaliadores que apresentam vieses arquiteturais, o Amazon Nova LLM-as-a-Judge foi rigorosamente validado para manter imparcialidade e alcançou desempenho líder em benchmarks importantes de juízes, refletindo de perto as preferências humanas.

Treinamento e Validação do Nova LLM-as-a-Judge

O Amazon Nova LLM-as-a-Judge foi construído através de um processo de treinamento em múltiplas etapas, combinando treinamento supervisionado e estágios de aprendizado por reforço que utilizaram datasets públicos anotados com preferências humanas.

Para o componente proprietário, múltiplos anotadores avaliaram independentemente milhares de exemplos, comparando pares de respostas de diferentes modelos de linguagem para o mesmo prompt. Todas as anotações passaram por verificações rigorosas de qualidade, com julgamentos finais calibrados para refletir consenso amplo de humanos, em vez de um ponto de vista individual. Os dados de treinamento foram projetados para serem diversos e representativos, abrangendo categorias que incluem conhecimento do mundo real, criatividade, codificação, matemática, domínios especializados e toxicidade. Os dados incluem informações de mais de 90 idiomas, sendo principalmente compostos por inglês, russo, chinês, alemão, japonês e italiano.

Um estudo interno de viés, avaliando mais de 10 mil julgamentos de preferência humana contra 75 modelos de terceiros, confirmou que o Amazon Nova LLM-as-a-Judge apresenta apenas 3% de viés agregado em relação às anotações humanas — um resultado significativo na redução de viés sistemático. Mesmo com esse desempenho, a AWS recomenda verificações ocasionais para validar comparações críticas.

O Amazon Nova LLM-as-a-Judge alcança desempenho avançado entre modelos de avaliação, demonstrando forte alinhamento com julgamentos humanos em uma gama de tarefas. Por exemplo, atinge 45% de acurácia no JudgeBench (comparado a 42% do Meta J1 8B) e 68% no PPE (versus 60% do Meta J1 8B). Esses resultados destacam a força do Amazon Nova LLM-as-a-Judge em avaliações relacionadas a chatbots.

Fluxo de Trabalho de Avaliação

O processo de avaliação começa preparando um dataset no qual cada exemplo inclui um prompt e duas respostas alternativas de modelos. O formato JSONL segue este padrão:

{ "prompt":"Explain photosynthesis.", "response_A":"Answer A...", "response_B":"Answer B..." }
{ "prompt":"Summarize the article.", "response_A":"Answer A...", "response_B":"Answer B..." }

Após preparar esse dataset, utiliza-se uma receita de avaliação do SageMaker que configura a estratégia de avaliação, especifica qual modelo será usado como juiz e define as configurações de inferência, como temperatura e top_p. A avaliação é executada dentro de um job de treinamento do SageMaker usando contêineres pré-construídos do Amazon Nova. O SageMaker AI provisiona recursos de computação, orquestra a avaliação e escreve as métricas de saída e visualizações no Amazon Simple Storage Service (S3). Quando concluído, é possível baixar e analisar os resultados, que incluem distribuições de preferência, taxas de vitória e intervalos de confiança.

Método de Avaliação Binária

O Amazon Nova LLM-as-a-Judge utiliza um método de avaliação chamado binary overall preference judge (juiz de preferência geral binária). Esse método compara dois resultados lado a lado e escolhe o melhor ou declara um empate. Para cada exemplo, produz uma preferência clara. Quando essas avaliações são agregadas em muitas amostras, geram métricas como taxa de vitória e intervalos de confiança.

Esta abordagem usa o raciocínio do próprio modelo para avaliar qualidades como relevância e clareza de forma direta e consistente. O modelo de juiz fornece preferências gerais de baixa latência em situações onde feedback granular não é necessário. A saída é uma de [[A>B]] ou [[B>A]].

Interpretando as Métricas de Avaliação

Ao usar o framework do Amazon Nova LLM-as-a-Judge para comparar resultados de dois modelos de linguagem, o SageMaker AI produz um conjunto abrangente de métricas quantitativas. Os resultados se dividem em três categorias principais: métricas de preferência central, métricas de confiança estatística e métricas de erro padrão.

Métricas de preferência central: O a_scores conta quantos exemplos favoreceram o Modelo A, enquanto b_scores conta casos em que o Modelo B foi escolhido como melhor. O campo ties captura instâncias onde o modelo juiz classificou ambas as respostas igualmente ou não conseguiu identificar uma preferência clara. O inference_error conta casos em que o juiz não conseguiu gerar um julgamento válido.

Métricas de confiança estatística: O winrate reporta a proporção de todas as comparações válidas em que o Modelo B foi preferido. Os campos lower_rate e upper_rate definem os limites inferior e superior do intervalo de confiança de 95% para essa taxa de vitória. Por exemplo, um winrate de 0,75 com intervalo de confiança entre 0,60 e 0,85 sugere que, mesmo contabilizando incerteza, o Modelo B é consistentemente favorecido.

Métricas de erro padrão: Incluem a_scores_stderr, b_scores_stderr, ties_stderr, inference_error_stderr e score_stderr. Valores menores indicam resultados mais confiáveis; valores maiores podem apontar para a necessidade de dados de avaliação adicionais.

Interpretar essas métricas requer atenção tanto às preferências observadas quanto aos intervalos de confiança: se o winrate está substancialmente acima de 0,5 e o intervalo de confiança não inclui 0,5, o Modelo B é estatisticamente favorecido. Inversamente, se o winrate está abaixo de 0,5 e o intervalo está completamente abaixo de 0,5, o Modelo A é preferido. Quando o intervalo de confiança sobrepõe 0,5, os resultados são inconclusivos.

Implementação Prática

Para demonstrar a implementação, a AWS oferece um notebook que guia pelo fluxo completo de trabalho. O código primeiro prepara um dataset amostrando questões do SQuAD (Stanford Question Answering Dataset) e gerando respostas candidatas. Os resultados são salvos em um arquivo JSONL contendo o prompt e ambas as respostas.

Um estimador PyTorch lança um job de avaliação usando uma receita do Amazon Nova LLM-as-a-Judge, executando em instâncias GPU como ml.g5.12xlarge e produzindo métricas de avaliação, incluindo taxas de vitória, intervalos de confiança e contagens de preferência. Os resultados são salvos no S3 para análise.

Uma função de visualização renderiza gráficos e tabelas, resumindo qual modelo foi preferido, quão forte foi a preferência e quão confiáveis são as estimativas. Através dessa abordagem de ponta a ponta, é possível avaliar melhorias, rastrear regressões e tomar decisões baseadas em dados sobre qual modelo generativo implantar — tudo sem anotação manual.

Casos de Uso

O framework do Amazon Nova LLM-as-a-Judge oferece uma forma confiável e repetível de comparar dois modelos de linguagem com seus próprios dados. Pode ser integrado em pipelines de seleção de modelo para decidir qual versão apresenta melhor desempenho, ou agendado como parte de uma avaliação contínua para detectar regressões ao longo do tempo. Para equipes construindo sistemas específicos de domínio ou baseados em agentes, essa abordagem fornece insights mais ricos do que métricas automatizadas isoladamente. Como todo o processo é executado em jobs de treinamento do SageMaker, escala rapidamente e produz relatórios visuais claros que podem ser compartilhados com stakeholders.

Próximos Passos

Para começar a jornada de avaliação de modelos de linguagem, recomenda-se explorar a documentação oficial do Amazon Nova e exemplos práticos. A comunidade AWS de IA/ML oferece recursos extensos, incluindo workshops e orientação técnica, para apoiar sua jornada de implementação.

Fonte

Evaluating generative AI models with Amazon Nova LLM-as-a-Judge on Amazon SageMaker AI (https://aws.amazon.com/blogs/machine-learning/evaluating-generative-ai-models-with-amazon-nova-llm-as-a-judge-on-amazon-sagemaker-ai/)

Novas capacidades para ferramentas customizadas no servidor

A Amazon Bedrock anunciou a disponibilidade de suporte a ferramentas customizadas no lado do servidor por meio da Responses API (Interface de Programação de Aplicações de Respostas). Essa expansão permite que aplicações de inteligência artificial realizem ações multi-etapas em tempo real, diretamente nos servidores, sem necessidade de intermediação de clientes.

Como funcionam as ferramentas do lado do servidor

O Amazon Bedrock já oferecia suporte a uso de ferramentas no lado do cliente através das APIs Converse, Chat Completions e Responses. Agora, com o lançamento do suporte a ferramentas no lado do servidor para a Responses API, a AWS chama as ferramentas diretamente, sem passagem através de um cliente.

Isso habilita suas aplicações de IA a executarem ações em tempo real e sequenciadas, como busca na web, execução de código e atualização de bancos de dados, mantendo tudo dentro dos limites organizacionais, de governança, conformidade e segurança de suas contas AWS.

Opções de implementação

Você tem duas alternativas para configurar ferramentas no lado do servidor:

• Funções Lambda customizadas: Submeta sua própria função AWS Lambda para executar ferramentas personalizadas de acordo com as necessidades específicas da sua organização.
• Ferramentas fornecidas pela AWS: Utilize ferramentas pré-construídas pela Amazon, como serviços de anotações e gerenciamento de tarefas, sem necessidade de desenvolvimento adicional.

Disponibilidade regional e compatibilidade de modelos

O suporte a ferramentas no lado do servidor utilizando a Responses API está disponível a partir de hoje com os modelos GPT OSS 20B e 120B da OpenAI em diversos Regiões AWS:

• US East (N. Virginia)
• US East (Ohio)
• US West (Oregon)
• Asia Pacific (Tokyo)
• Asia Pacific (Mumbai)
• South America (São Paulo)
• Europe (Ireland)
• Europe (London)
• Europe (Milan)

A AWS informa que suporte para regiões adicionais e outros modelos será disponibilizado em breve.

Próximos passos

Para começar a utilizar essa funcionalidade, acesse a documentação de ferramentas do Bedrock, onde você encontrará guias detalhados, exemplos de implementação e melhores práticas para integrar ferramentas customizadas no lado do servidor em suas aplicações de IA.

Fonte

Amazon Bedrock now supports server-side custom tools using the Responses API (https://aws.amazon.com/about-aws/whats-new/2026/01/amazon-bedrock-server-side-custom-tools-responses-api)

O desafio crescente da gestão de conteúdo empresarial

Organizações enfrentam um desafio crescente ao gerenciar volumes cada vez maiores de conteúdo corporativo. Catálogos de produtos, artigos de suporte, bases de conhecimento e documentação técnica precisam permanecer precisos, relevantes e alinhados com as realidades do negócio em constante evolução. Quando esses processos dependem exclusivamente de revisão manual, o resultado é operações lentas, custosas e incapazes de acompanhar as mudanças nos requisitos empresariais.

Pesquisa da McKinsey indica que organizações que adotam IA generativa em atividades de conhecimento, incluindo revisão de conteúdo e garantia de qualidade, conseguem aumentar a produtividade em até 30-50%, reduzindo significativamente o tempo gasto em tarefas repetitivas de verificação. Estudos do Deloitte complementam essa perspectiva, mostrando que operações de conteúdo impulsionadas por IA não apenas ganham eficiência, mas também ajudam as organizações a manter maior precisão de conteúdo e reduzir riscos operacionais.

Uma abordagem baseada em agentes de IA

A AWS, através do Amazon Bedrock AgentCore — uma infraestrutura propositalmente construída para implantar e operar agentes de IA em escala — combinou essa capacidade com Strands Agents, um SDK de código aberto para construir agentes de IA. Essa combinação permite que organizações automatizem fluxos de trabalho abrangentes de revisão de conteúdo.

O enfoque baseado em agentes capacita empresas a avaliar conteúdo quanto à precisão, verificar informações contra fontes autorizadas e gerar recomendações acionáveis de melhoria. Quando agentes especializados trabalham em conjunto de forma autônoma, experts humanos conseguem concentrar-se em tarefas estratégicas de revisão enquanto o sistema de agentes de IA lida com a validação em larga escala.

Esse padrão é aplicável a qualquer tipo de conteúdo empresarial: desde documentação de produtos e bases de conhecimento até materiais de marketing e especificações técnicas. Para ilustrar os conceitos na prática, a solução apresenta um exemplo concreto de revisão de conteúdo de blog focado em precisão técnica. Os padrões e técnicas podem ser adaptados para diferentes necessidades de revisão ajustando as configurações dos agentes, ferramentas e fontes de verificação.

Estrutura da solução multi-agente

A solução implementa um padrão de fluxo de trabalho multi-agente, onde três agentes de IA especializados, construídos com Strands Agents e implantados no Amazon Bedrock AgentCore, trabalham em um pipeline coordenado. Cada agente recebe a saída do agente anterior, processa-a de acordo com sua função especializada e passa informações enriquecidas para o próximo agente da sequência. Isso cria um processo de refinamento progressivo:

• Agente scanner de conteúdo: analisa conteúdo bruto e extrai informações relevantes
• Agente de verificação de conteúdo: valida os elementos extraídos contra fontes autorizadas
• Agente de recomendações: transforma achados da verificação em atualizações de conteúdo acionáveis

A manutenção de conteúdo técnico requer múltiplos agentes especializados porque varrer manualmente, verificar e atualizar documentação é ineficiente e propenso a erros. Cada agente tem um papel focado: o scanner identifica elementos sensíveis ao tempo, o verificador valida a precisão atual e o agente de recomendações elabora atualizações precisas. O design modular do sistema, com interfaces e responsabilidades claras, facilita a adição de novos agentes ou expansão de capacidades conforme a complexidade do conteúdo cresce.

Exemplo prático: revisão de conteúdo técnico

Para demonstrar como esse sistema de revisão baseado em agentes funciona na prática, a solução apresenta uma implementação que revisa posts técnicos de blog quanto à precisão. Empresas de tecnologia frequentemente publicam posts detalhando novos recursos, atualizações e boas práticas. Contudo, o ritmo rápido de inovação significa que alguns recursos podem ficar obsoletos ou ser atualizados, tornando desafiador manter informações atualizadas em centenas ou milhares de posts publicados.

Embora o padrão seja demonstrado com conteúdo de blog, a arquitetura é agnóstica quanto ao tipo de conteúdo e oferece suporte a qualquer tipo configurando os agentes com prompts, ferramentas e fontes de dados apropriadas.

Arquitetura do fluxo de trabalho

O fluxo de trabalho inicia quando uma URL de blog é fornecida ao agente scanner de blog, que recupera o conteúdo usando a ferramenta http_request do Strands e extrai reivindicações técnicas-chave que requerem verificação. O agente de verificação então consulta o servidor MCP de documentação da AWS para buscar a documentação mais recente e validar as reivindicações técnicas contra a documentação atual. Finalmente, o agente de recomendações sintetiza os achados e gera um relatório de revisão abrangente com recomendações acionáveis para o time de blog. O código é de código aberto e hospedado no GitHub.

Agente scanner de conteúdo: extração inteligente para detecção de obsolescência

O agente scanner de conteúdo funciona como o ponto de entrada do fluxo de trabalho multi-agente. É responsável por identificar informações técnicas potencialmente obsoletas, especificamente direcionando elementos que tendem a se tornar desatualizados com o tempo. O agente analisa o conteúdo e produz uma saída estruturada que categoriza cada elemento técnico por tipo, localização no blog e sensibilidade temporal. Esse formato estruturado permite que o agente de verificação receba dados bem organizados que consiga processar eficientemente.

Agente de verificação de conteúdo: validação baseada em evidências

O agente de verificação de conteúdo recebe os elementos técnicos estruturados do agente scanner e realiza validação contra fontes autorizadas. O agente de verificação usa o servidor MCP de documentação da AWS para acessar documentação técnica atual. Para cada elemento técnico recebido do agente scanner, ele segue um processo de verificação sistemático orientado por prompts específicos que focam em critérios objetivos e mensuráveis.

O agente verifica:

• Informações específicas de versão: o número de versão, endpoint de API ou parâmetro de configuração mencionado ainda existe?
• Disponibilidade de recursos: o recurso de serviço descrito ainda está disponível nas regiões ou camadas especificadas?
• Precisão de sintaxe: exemplos de código, comandos CLI ou snippets de configuração correspondem à documentação atual?
• Validade de pré-requisitos: os requisitos, dependências ou passos de configuração listados ainda são precisos?
• Preços e limites: custos mencionados, cotas ou limites de serviço se alinham com informações atuais publicadas?

Para cada elemento técnico recebido do agente scanner, o agente realiza os seguintes passos: gera consultas de busca direcionadas com base no tipo de elemento e conteúdo, consulta o servidor de documentação para informações atuais, compara a reivindicação original contra fontes autorizadas usando os critérios acima, classifica o resultado da verificação como CURRENT, PARTIALLY_OBSOLETE ou FULLY_OBSOLETE, e documenta discrepâncias específicas com evidências.

Um exemplo de verificação em ação: quando o agente scanner identifica a reivindicação “Amazon Bedrock está disponível apenas nas regiões us-east-1 e us-west-2”, o agente de verificação gera a consulta de busca “Amazon Bedrock regiões disponíveis” e recupera a disponibilidade regional atual da documentação da AWS. Ao descobrir que Bedrock agora está disponível em 8+ regiões incluindo eu-west-1 e ap-southeast-1, ele classifica isso como PARTIALLY_OBSOLETE com a evidência: “A reivindicação original lista 2 regiões, mas a documentação atual mostra disponibilidade em us-east-1, us-west-2, eu-west-1, ap-southeast-1 e 4 regiões adicionais a partir da data de verificação.”

A saída do agente de verificação mantém a estrutura de elemento do agente scanner enquanto adiciona esses detalhes de verificação e classificações baseadas em evidências.

Agente de recomendações: geração de atualizações acionáveis

O agente de recomendações representa o estágio final no fluxo de trabalho multi-agente, transformando achados de verificação em atualizações de conteúdo prontas para implementação. Esse agente recebe os resultados de verificação e gera recomendações específicas que mantêm o estilo do conteúdo original enquanto corrigem imprecisões técnicas.

Adaptando o padrão para diferentes casos de uso

O padrão de fluxo de trabalho multi-agente pode ser rapidamente adaptado para qualquer cenário de revisão de conteúdo sem mudanças arquiteturais. Seja revisando documentação de produtos, materiais de marketing ou documentos de conformidade regulatória, o mesmo fluxo sequencial de três agentes se aplica. Os prompts do sistema precisam ser modificados para cada agente focando em elementos específicos do domínio e potencialmente alternando ferramentas ou fontes de conhecimento.

Por exemplo, enquanto o exemplo de revisão de blog usa uma ferramenta http_request para buscar o conteúdo do blog e o servidor MCP de documentação da AWS para verificação, um sistema de revisão de catálogo de produtos poderia usar uma ferramenta de conector de banco de dados para recuperar informações de produtos e consultar APIs de gerenciamento de inventário para verificação. Similarmente, um sistema de revisão de conformidade ajustaria o prompt do agente scanner para identificar declarações regulatórias em vez de reivindicações técnicas, conectaria o agente de verificação a bancos de dados legais em vez de documentação técnica, e configuraria o agente de recomendações para gerar relatórios prontos para auditoria em vez de atualizações de conteúdo.

Os passos sequenciais centrais — extração, verificação e recomendação — permanecem constantes em todos esses cenários, fornecendo um padrão comprovado que escala desde blogs técnicos para qualquer tipo de conteúdo empresarial.

Personalizando a solução

As seguintes mudanças são recomendadas para personalizar a solução para outros tipos de conteúdo. Substitua os valores das variáveis CONTENT_SCANNER_PROMPT, CONTENT_VERIFICATION_PROMPT e RECOMMENDATION_PROMPT com suas instruções de prompt personalizadas:

CONTENT_SCANNER_PROMPT = """<replace with your prompt instructions>"""
CONTENT_VERIFICATION_PROMPT = """<replace with your prompt instructions>"""
RECOMMENDATION_PROMPT = """<replace with your prompt instructions>"""

Atualize o servidor MCP de documentação oficial para o agente de verificação de conteúdo:

product_db_mcp_client = MCPClient(
    lambda: stdio_client(StdioServerParameters(
        command="uvx",
        args=["<replace with your official documentation MCP server>"]
    ))
)

Adicione ferramentas apropriadas de acesso a conteúdo como database_query_tool e cms_api_tool para o agente scanner de conteúdo quando a ferramenta http_request for insuficiente:

scanner_agent = Agent(
    model="us.anthropic.claude-3-7-sonnet-20250219-v1:0",
    system_prompt=CONTENT_SCANNER_PROMPT,
    tools=[database_query_tool, cms_api_tool]  # Replace http_request
)

Essas modificações direcionadas permitem que o mesmo padrão arquitetural lide com qualquer tipo de conteúdo mantendo a estrutura de fluxo de trabalho de três agentes comprovada, garantindo confiabilidade e consistência em diferentes domínios de conteúdo sem exigir mudanças na lógica de orquestração central.

Próximos passos e conclusão

A solução apresentada demonstra como arquitetar um sistema de revisão de conteúdo impulsionado por agentes de IA usando o Amazon Bedrock AgentCore e Strands Agents. O padrão de fluxo de trabalho multi-agente, onde agentes especializados trabalham em conjunto para varrer conteúdo, verificar precisão técnica contra fontes autorizadas e gerar recomendações acionáveis, oferece uma abordagem escalável e modular.

É recomendado testar o código de exemplo disponível no GitHub em sua própria conta para ganhar experiência prática com a solução. Como próximos passos, considere começar com um projeto piloto em um subconjunto do seu conteúdo, personalizar os prompts dos agentes para seu domínio específico e integrar fontes de verificação apropriadas para seu caso de uso. A natureza modular dessa arquitetura permite refinar iterativamente as capacidades de cada agente conforme você expande o sistema para lidar com as necessidades completas de revisão de conteúdo da sua organização.

Fonte

Scaling content review operations with multi-agent workflow (https://aws.amazon.com/blogs/machine-learning/scaling-content-review-operations-with-multi-agent-workflow/)

Desafios na gestão moderna de contratos

Organizações que gerenciam centenas de contratos anualmente enfrentam desafios operacionais significativos. Sistemas fragmentados e fluxos de trabalho complexos obrigam equipes jurídicas e de procurement a gastar horas em ciclos de revisão. Esses processos manuais não apenas consomem recursos valiosos, mas também aumentam o risco de inconsistências e erros.

Para resolver esses problemas, a AWS apresenta uma abordagem inovadora baseada em colaboração multiagente. Agentes de IA especializados trabalham simultaneamente em diferentes aspectos da análise contratual, reduzindo ciclos de processamento enquanto mantêm precisão e supervisão adequada.

A combinação estratégica: Quick Suite e Bedrock AgentCore

A solução integra dois serviços principais da AWS. O Amazon Quick Suite funciona como espaço de trabalho agentico, oferecendo uma interface unificada para chat, pesquisa, inteligência de negócios e automação. Ele facilita a transição de obter respostas para tomar ações, automatizando tarefas que variam de atividades rotineiras até processos complexos como análise e processamento de contratos.

O Amazon Bedrock AgentCore complementa essa arquitetura fornecendo capacidades avançadas de colaboração multiagente. Ao usar AgentCore com Quick Suite, as organizações conseguem encapsular lógica de negócio em agentes de IA altamente capazes, operando em escala e com segurança aprimorada. Os serviços do AgentCore funcionam com múltiplos frameworks, incluindo Strands Agents, além de modelos fundamentais disponíveis dentro ou fora do Amazon Bedrock.

Visão geral da solução

O sistema de gestão de contratos inteligente utiliza o Quick Suite como interface de usuário e base de conhecimento, enquanto o Bedrock AgentCore oferece funcionalidade de colaboração multiagente. Agentes especializados analisam contratos, avaliam riscos, verificam conformidade e fornecem insights estruturados através de uma arquitetura simplificada.

Componentes da arquitetura

A solução é construída sobre diversos componentes integrados:

Componentes Quick Suite:

• Spaces para organizar fluxos de trabalho de gestão de contratos
• Agentes de chat para interações conversacionais sobre contratos
• Bases de conhecimento para integrar documentos legais armazenados em Amazon S3
• Topics para integrar dados estruturados de contratos
• Actions para conectar agentes customizados desenvolvidos com Bedrock AgentCore
• Flows para processos de revisão de documentos semicondutuais e recorrentes
• Automate para tarefas de automação de contratos diária e mensal

Sistema multiagente com AgentCore:

• Agente de colaboração contratual: orquestrador central que coordena o fluxo de trabalho
• Agente legal: analisa termos legais e extrai obrigações-chave
• Agente de risco: avalia riscos financeiros e operacionais
• Agente de conformidade: avalia conformidade regulatória

Infraestrutura de suporte:

• Amazon API Gateway e AWS Lambda para gerenciar requisições de API
• Amazon S3 para armazenamento de documentos
• Amazon Redshift para dados estruturados

Fluxo de trabalho de gestão de contratos

A solução implementa um fluxo de trabalho otimizado que reduz significativamente o tempo de processamento e melhora a precisão. O sistema processa contratos através de agentes de IA coordenados, normalmente completando análise em minutos comparado a dias de revisão manual.

Os agentes trabalham de forma coordenada em etapas bem definidas:

• O agente de colaboração contratual identifica o documento e define quais análises (legal, risco, conformidade) são necessárias
• O agente legal extrai informações das partes, termos de pagamento e obrigações principais
• O agente de risco identifica exposição financeira e pontos de alavancagem para negociação
• O agente de conformidade avalia requisitos regulatórios e sinaliza potenciais problemas
• O agente de colaboração consolida os achados em um relatório abrangente

Preparação e pré-requisitos

Antes de configurar o Quick Suite, é necessário ter:

• Uma conta AWS com permissões administrativas
• Acesso a regiões AWS que suportam Quick Suite
• Papéis e políticas apropriadas de AWS IAM (Gerenciamento de Identidade e Acesso) para acesso ao serviço Quick Suite

Implementação prática: Parte 1 – Configuração do Quick Suite

Habilitação do Quick Suite

O administrador AWS pode habilitar Quick Suite seguindo estes passos:

• Fazer login no AWS Management Console
• Navegar até Quick Suite no console
• Assinar o serviço Quick Suite para a organização
• Configurar gerenciamento de identidade e acesso conforme necessário

Após a habilitação, navegue até a interface web do Amazon Quick Suite e faça login com suas credenciais.

Criação do espaço de gestão de contratos

No Quick Suite, crie um novo espaço chamado Contract Management para organizar fluxos de trabalho e recursos relacionados a contratos. Este espaço permitirá usar o assistente para fazer consultas sobre os recursos contidos nele.

Configuração de base de conhecimento para dados não estruturados

Para integrar documentos contratuais armazenados em Amazon S3:

• Navegue até Knowledge bases na seção Integrations
• Selecione Amazon S3 como fonte de dados
• Configure o bucket S3 que armazenará seus documentos de contrato
• Após criar a base de conhecimento, adicione-a ao espaço Contract Management

Configuração de base de conhecimento para dados estruturados

Para integrar dados estruturados de contratos:

• Na seção Datasets, configure seu data warehouse de contratos (Amazon Redshift) para dados contratuais estruturados. Siga as instruções em Criando um dataset a partir de um banco de dados e aguarde a configuração ser concluída
• Na seção Topics, integre fontes de dados de contratos estruturados como: bancos de dados de contratos, sistemas de informação de fornecedores e sistemas de rastreamento de conformidade
• Para adicionar topics no Quick Suite, consulte Adicionando datasets a um topic no Amazon Quick Sight
• Adicione os topics relevantes ao seu espaço Contract Management

Implementação prática: Parte 2 – Implantação do Bedrock AgentCore

O Bedrock AgentCore oferece infraestrutura de nível empresarial para implantar agentes de IA com isolamento de sessão. Cada sessão executa com recursos isolados de CPU, memória e sistema de arquivos, criando separação entre sessões de usuários e ajudando a proteger processos de raciocínio stateful dos agentes.

O código necessário está disponível em um repositório GitHub. Navegue até a pasta legal-contract-solution/deployment.

A solução inclui um script de deploy_agents.py que automatiza completamente a implantação dos agentes de IA na AWS usando builds centrados em nuvem. As instruções requerem Python>=3.10.

pip3 install -r requirements.txt
python3 deploy_agents.py

O que o script de implantação executa

O processo de implantação é totalmente automatizado e gerencia:

• Gerenciamento de dependências: instala automaticamente o bedrock-agentcore-starter-toolkit se necessário e verifica pacotes Python obrigatórios
• Configuração de infraestrutura AWS: cria papéis IAM com permissões necessárias para execução de agentes, configura repositório Amazon ECR (Registro de Container) para imagens de container e configura logs de Amazon CloudWatch para monitoramento
• Implantação de agentes: implanta quatro agentes especializados e usa AWS CodeBuild para builds de container ARM64 centrados em nuvem, sem necessidade de Docker local
• Gerenciamento de configuração: configura automaticamente protocolos de comunicação entre agentes, estabelece limites de segurança e configura monitoramento e observabilidade

Após implantação, os agentes podem ser visualizados no console do Amazon Bedrock AgentCore.

Implementação prática: Parte 3 – Integração do Bedrock AgentCore com Quick Suite

O Quick Suite pode conectar-se a soluções empresariais e agentes através de integrações de actions, tornando ferramentas disponíveis para agentes de chat e fluxos de automação.

Implantação de API Gateway e Lambda

Na pasta legal-contract-solution/deployment, execute:

python3 deploy_quicksuite_integration.py

Isto fornecerá Amazon Cognito com um user pool para permissionar acesso ao endpoint do API Gateway. A configuração do Quick Suite referencia os detalhes OAuth deste user pool.

Após implantação bem-sucedida, dois arquivos serão gerados para integração com Quick Suite: quicksuite_integration_config.json (configuração completa) e quicksuite_openapi_schema.json (esquema OpenAPI para importar no Quick Suite).

Configuração de integração de actions no Quick Suite

Na seção Actions, prepare os pontos de integração que conectarão aos agentes implantados pelo AgentCore:

• Obtenha o arquivo de especificação OpenAPI quicksuite_openapi_schema.json da pasta de trabalho
• Na seção Integrations/Actions, acesse OpenAPI Specification
• Crie uma nova integração OpenAPI fazendo upload do arquivo api_gateway_openapi_schema.json e insira as informações solicitadas
• Utilize o endpoint com a URL usando informações do arquivo quicksuite_integration_config.json
• Para os agentes, use Name: “Legal Contract Analyzer” e Description: “Analyze a legal contract using AI agents for clause extraction, risk assessment, and compliance checking”

Definição de agente de chat

Na seção Chat agents, configure um novo agente com os seguintes detalhes:

• Name: Legal Contract AI Analyzer
• Description: Um sistema alimentado por IA que analisa contratos legais e realiza avaliações abrangentes de risco usando capacidades avançadas de machine learning para identificar potenciais problemas, lacunas de conformidade e riscos contratuais
• Agent identity: Você é um sistema especializado de análise de contratos legais alimentado por capacidades avançadas de IA generativa. Seu propósito é fornecer serviços abrangentes de revisão contratual e avaliação de risco
• Persona instructions: Use o analisador de contratos legais quando possível. Sempre categorize riscos por severidade (Alto, Médio, Baixo). Destaque cláusulas não-padrão, provisões faltantes e potenciais problemas de conformidade. Forneça recomendações específicas para melhorias de contrato. Ao analisar cláusulas de responsabilidade, preste atenção especial a disposições de indenização, limitações de responsabilidade e provisões de força maior. Sinalize qualquer condição de rescisão incomum ou preocupações com propriedade intelectual
• Communication style: Profissional, preciso e analítico com terminologia jurídica clara
• Response format: Forneça análise estruturada com categorização clara de risco, níveis de severidade e recomendações acionáveis. Use bullet points para achados-chave e listas numeradas para recomendações priorizadas
• Length: Análise abrangente cobrindo todos os aspectos críticos mantendo clareza e foco em insights acionáveis
• Welcome message: Bem-vindo ao Legal Contract AI Analyzer. Faça upload de contratos para análise inteligente e avaliação de risco
• Suggested prompts: “Analyze this contract for potential legal risks and compliance issues”, “Review the liability clauses in this agreement for red flags”, “Assess the termination conditions and notice requirements in this contract”

Testando a solução de gestão de contratos

Com a infraestrutura implantada e Quick Suite configurado, teste a solução selecionando o espaço Contract Management. Você pode usar a interface do agente para fazer perguntas sobre a base de conhecimento e instruir agentes a revisar documentos.

Limpeza de recursos

Há custos de infraestrutura associados à solução implantada. Quando não precisar mais dela em sua conta AWS, navegue até a pasta legal-contract-solution/deployment e execute:

python3 cleanup.py

Considerações finais

A combinação de Quick Suite e Bedrock AgentCore oferece aos times de procurement e legal benefícios operacionais imediatos enquanto os posiciona para avanços futuros em IA. A colaboração multiagente da AWS permite construir e gerenciar múltiplos agentes especializados que trabalham juntos para resolver fluxos de trabalho comerciais cada vez mais complexos.

Ao implementar essa solução de gestão de contratos inteligente, as organizações podem transformar seus processos de procurement, reduzir ciclos de contrato e permitir que seus times se concentrem em decisões estratégicas em vez de tarefas administrativas. A arquitetura extensível da solução permite começar com funções centrais de gestão de contratos e expandir gradualmente para casos de uso mais complexos conforme as necessidades da organização evoluem.

Para começar, a AWS oferece documentação completa sobre o Amazon Quick Suite e o Amazon Bedrock AgentCore.

Fonte

Build an intelligent contract management solution with Amazon Quick Suite and Bedrock AgentCore (https://aws.amazon.com/blogs/machine-learning/build-an-intelligent-contract-management-solution-with-amazon-quick-suite-and-bedrock-agentcore/)