Escalando testes de UX com Amazon Nova Act: uma nova abordagem para análise de fluxos de usuário

O problema clássico dos testes de UX

Testar a experiência do usuário em interfaces digitais é uma das tarefas mais importantes — e mais negligenciadas — no desenvolvimento de produtos. O motivo é simples: escala. Testadores humanos conseguem cobrir apenas uma fração dos fluxos possíveis, priorizando os caminhos críticos e deixando casos de borda sem validação. Já as ferramentas tradicionais de automação, como Selenium ou Playwright, dependem de seletores de elementos hard-coded que quebram toda vez que a interface muda, gerando um custo de manutenção que inviabiliza a cobertura ampla.

Diferente do Controle de Qualidade (QA) convencional, que busca bugs funcionais, os testes de UX avaliam se o usuário consegue navegar com facilidade para completar uma tarefa — comprar um produto, criar uma conta, finalizar um pagamento. Esse tipo de análise exige raciocínio contextual, não apenas verificação de elementos na tela.

O que é o Amazon Nova Act e por que ele muda o jogo

A AWS apresentou o Amazon Nova Act como um modelo de fundação multimodal capaz de entender e interagir com interfaces de navegadores web por meio de visão e ação. Em vez de depender de seletores predefinidos, o Nova Act navega por sites de forma inteligente: ele analisa capturas de tela das páginas exatamente como um testador humano faria, identifica elementos interativos por pistas visuais e toma decisões contextuais sobre qual ação executar em seguida.

Essa capacidade de compreensão visual torna o Nova Act resiliente a mudanças de interface e a conteúdos dinâmicos — situações que normalmente quebrariam ferramentas de automação tradicionais. Além disso, os logs de raciocínio e cadeia de pensamento (chain of thought) gerados pelo modelo oferecem insights valiosos sobre o design e a intuitividade do site testado.

Visão geral da solução

A AWS publicou uma arquitetura de referência que combina o Nova Act com serviços gerenciados para criar uma plataforma de testes de UX implantada na nuvem. A solução é dividida em quatro camadas principais:

Camada de processamento de documentação

É a base da solução. O Amazon Simple Storage Service (S3) armazena a documentação do site, guias de usuário e especificações de fluxos de teste. Esse conteúdo não estruturado é ingerido em uma Base de Conhecimento do Amazon Bedrock para busca por similaridade semântica. Em seguida, o AWS Lambda utiliza o Claude 4.5 Sonnet via Amazon Bedrock para transformar fluxos de usuário em cenários de teste detalhados, consultando a base de conhecimento para entender como cada tarefa é realizada na arquitetura específica do site.

Camada de orquestração

O Amazon DynamoDB armazena os fluxos de teste gerados com metadados e parâmetros de execução. O DynamoDB Streams dispara o processamento em lote quando novos fluxos ficam disponíveis, e funções Lambda coordenam a execução e acionam tarefas no Amazon Elastic Container Service (ECS) para processamento paralelo.

Camada de execução

O Amazon ECS com AWS Fargate fornece computação serverless escalável para a execução paralela dos testes. Os agentes do Amazon Nova Act executam os fluxos de usuário em sessões de navegador simultâneas, com registro em tempo real de toda a interação para análise posterior.

Camada de análise

O Amazon S3 armazena os logs detalhados de raciocínio, capturas de tela e dados comportamentais. Funções Lambda processam esses resultados usando o Amazon Bedrock para calcular pontuações de usabilidade, identificar pontos de atrito e analisar padrões de execução em diferentes níveis de granularidade das instruções. Os resultados ficam disponíveis em um dashboard React.

Como implantar a solução

Antes de começar, é necessário ter: Node.js v20 ou superior, npm v10.8 ou superior, uma conta AWS e o Kit de Desenvolvimento em Nuvem da AWS (AWS CDK) configurado (veja como começar com o AWS CDK).

O código completo e as instruções de implantação estão disponíveis no repositório aws-samples no GitHub. A implantação usa o AWS CDK para automatizar toda a infraestrutura:

git clone git@github.com:aws-samples/sample-nova-act-ux-testing.git
cd nova-act-ux-testing
cp template.env .env
# Add your Nova Act API key in .env
# Deploy the solution
./deploy.sh

Ao final da implantação, o stack exibe outputs importantes que serão usados nas etapas seguintes.

Criando fluxos de teste

Após a implantação, há três abordagens para criar os fluxos de teste: geração automática a partir de documentação, definição manual ou uma combinação das duas. A AWS recomenda o modelo híbrido: usar a geração automática para estabelecer cobertura de base a partir da documentação existente e complementar com fluxos definidos manualmente para casos de borda, novas funcionalidades ou cenários que exigem controle preciso.

Opção 1: Geração automática de fluxos a partir de documentação

Uma função Lambda integrada ao Claude 4.5 Sonnet converte tarefas de usuário em fluxos de teste detalhados. Para aproveitar bem o sistema, é recomendado incluir múltiplas formas de atingir o mesmo objetivo. Por exemplo, se “comprar uma cafeteira” é um fluxo-chave, inclua tanto a abordagem por busca quanto a navegação por menus como tarefas separadas.

O sistema produz instruções em três níveis de detalhe. Uma instrução básica pode ser “compre uma cafeteira de aço inoxidável bem avaliada”, enquanto a versão detalhada expande isso em ações precisas: selecionar eletrodomésticos de cozinha no menu, aplicar filtros de material e avaliação, e concluir o processo de compra. Para mais detalhes, veja o arquivo lambda/flow_discovery/index.py no repositório.

O processo envolve: fazer upload da documentação do aplicativo no bucket S3 designado (o sistema suporta manuais de usuário, especificações de funcionalidades, documentos de jornadas comuns e casos de teste existentes), fazer upload do arquivo tasks.json no bucket uxflowteststack-tasksbucket para disparar a descoberta de fluxos, aguardar o processamento assíncrono e revisar os fluxos gerados na tabela do DynamoDB.

Opção 2: Definição manual de fluxos

Para controle preciso sobre cenários específicos, é possível definir fluxos customizados inserindo-os diretamente na tabela do DynamoDB. Essa abordagem é ideal para testar casos de borda específicos, validar novas funcionalidades antes que a documentação exista e testar fluxos que exigem contexto ou dados específicos de usuário.

Os componentes principais de um fluxo manual são: flow_id (identificador único para rastreamento e correlação de resultados), starting_url (página onde o fluxo de teste começa), instructions (array de passos em linguagem natural para o Nova Act executar), method_name (representa um método diferente para completar a mesma tarefa, como busca versus navegação) e gran_n (representa diferentes níveis de granularidade das instruções).

Personalizando a solução

Para aplicações que exigem autenticação, é possível configurar sessões persistentes no navegador para manter o estado de login entre execuções de teste, eliminando a necessidade de reautenticar a cada execução. O código Python que executa os fluxos do Nova Act no Amazon ECS está em ecs/ecs_act_headless/app.py. Veja um exemplo de configuração de autenticação persistente:

with NovaAct(
    starting_page="https://yourapp.com/purchase",
    user_data_dir="/tmp/authenticated-session",
    clone_user_data_dir=False
) as nova:
    # Your authenticated test flows run here
    nova.act("search for bananas")
    nova.act("purchase 2 bunches")

O Nova Act também suporta esquemas Pydantic para extração confiável de dados estruturados de páginas web, além de operações com arquivos para testar fluxos de upload e validar conteúdo baixado. Para implementação detalhada dessas funcionalidades, consulte a documentação do SDK do Nova Act.

Resultados e métricas gerados

Para cada execução de teste, a solução gera e armazena no Amazon S3 um arquivo results_summary.json contendo métricas de alto nível: duração de cada etapa, número de ações necessárias, status de sucesso ou falha e quaisquer dados extraídos. Veja o formato do arquivo de resumo:

{
  "flow_id": "ecommerce_purchase_flow",
  "batch_id": "batch_12345",
  "timestamp": "2026-07-01T20:50:01.811454",
  "results": [
    {
      "instruction": "search for desk lamp",
      "response": null,
      "metadata": {
        "num_steps": 3,
        "duration": 17.57,
        "success": true
      }
    },
    {
      "instruction": "select the first result",
      "response": null,
      "metadata": {
        "num_steps": 2,
        "duration": 11.1,
        "success": true
      }
    }
  ]
}

Além do resumo, o SDK do Amazon Nova Act gera relatórios HTML detalhados com capturas de tela do que o agente observou, o processo de tomada de decisão e raciocínio, e as ações específicas executadas (cliques, rolagens, preenchimento de formulários).

A função Lambda de análise processa esses resultados brutos e calcula métricas em diferentes camadas de abstração — contagens brutas, sinais ajustados por infraestrutura e pontuações de qualidade compostas. Essas métricas alimentam um dashboard React organizado em abas, como a aba de Visão Geral (com painel de erros ajustados que separa falhas de infraestrutura de falhas reais do agente) e a aba de Desempenho e Eficiência (que detalha o tempo por etapa e por fluxo conforme o nível de granularidade das instruções).

Para limpar todos os recursos implantados, basta executar:

cdk destroy

O que essa abordagem representa na prática

Os testes de UX tradicionalmente exigem tempo e recursos significativos, limitando a profundidade com que as equipes conseguem validar suas interfaces. A combinação das capacidades de interação inteligente com navegadores do Nova Act e a infraestrutura escalável em nuvem cria um novo padrão para esse tipo de validação.

Com essa abordagem, equipes podem testar mais jornadas de usuário, identificar problemas mais cedo no ciclo de desenvolvimento e iterar mais rapidamente na experiência do usuário. Em vez de amostras limitadas, torna-se viável validar jornadas completas em diferentes dispositivos e cenários — reduzindo custos de teste e o tempo gasto em validação manual.

Para saber mais

Fonte

Scaling UX testing with Amazon Nova Act: A new approach to user flow analysis (https://aws.amazon.com/blogs/machine-learning/scaling-ux-testing-with-amazon-nova-act-a-new-approach-to-user-flow-analysis/)