De PDFs a insights: como a AWS está arquitetando pipelines inteligentes de processamento de documentos com IA generativa

O problema com o processamento tradicional de documentos

Organizações ao redor do mundo processam milhões de documentos por dia: sinistros de seguros, faturas, contratos jurídicos, prontuários médicos. As soluções tradicionais de Reconhecimento Óptico de Caracteres (OCR) até conseguem extrair texto, mas não entendem contexto, relacionamentos ou o significado embutido em documentos complexos. Esse limite gera gargalos que exigem intervenção manual, aumentando tempo e custo de processamento — além de introduzir erros.

Para endereçar esse desafio, a AWS publicou uma arquitetura detalhada que combina o Amazon Bedrock Data Automation com agentes de IA generativa, criando um pipeline capaz de extrair, analisar e transformar documentos em dados acionáveis de forma automatizada.

O que é o Amazon Bedrock Data Automation (BDA)

O Amazon Bedrock Data Automation (BDA) é um serviço gerenciado dentro do Amazon Bedrock que oferece uma experiência de Interface de Programação de Aplicações (API) unificada para extrair insights de conteúdo multimodal — documentos, imagens, vídeos e arquivos de áudio. Diferente das soluções focadas apenas em extração de texto, o BDA compreende o contexto do documento, valida os dados extraídos e fornece pontuações de confiança para garantir precisão.

O serviço processa documentos por meio de um pipeline que automatiza classificação, extração, normalização e validação. Quando um documento é enviado, o BDA automaticamente o divide em seções lógicas, classifica cada parte no tipo de documento correspondente e direciona para os modelos de processamento corretos. Isso elimina a necessidade de triagem manual e de orquestração de múltiplos modelos de Inteligência Artificial (IA).

O BDA suporta uma ampla variedade de formatos de arquivo, com capacidade de processar até 3.000 páginas e 500 MB por requisição de API — tornando-o adequado para volumes e tipos de documentos variados em escala empresarial.

Visão geral da arquitetura

A solução proposta pela AWS organiza o pipeline de processamento em quatro camadas integradas:

• Camada de entrada: recebe os documentos e aciona a orquestração do processamento.
• Camada de extração e armazenamento: extrai texto, tabelas, imagens e elementos visuais, armazenando os dados de forma estruturada.
• Camada de inteligência: indexa o conteúdo extraído em uma base de conhecimento com busca semântica e capacidades de Geração Aumentada por Recuperação (RAG).
• Camada de coordenação por agentes: agentes especializados orquestram tarefas complexas de análise e respondem a consultas em linguagem natural.

Camada de entrada e orquestração

O fluxo começa quando documentos chegam a buckets do Amazon Simple Storage Service (Amazon S3). O AWS Step Functions orquestra o pipeline completo, fornecendo visibilidade e controle operacional em cada etapa. O fluxo detalhado funciona assim:

• Ingestão de documentos: arquivos chegam ao S3 em diversos formatos e são processados pela API unificada do BDA, sem necessidade de pré-processamento específico por formato.
• Registro de metadados: o workflow registra metadados no Amazon DynamoDB para rastreamento, trilhas de auditoria e relatórios — incluindo tipo de arquivo, tamanho, horário de envio e status de processamento.
• Análise de contagem de páginas: o Step Functions verifica a contagem de páginas para definir estratégias de processamento adequadas, como valores de timeout para os jobs assíncronos.
• Invocação do BDA: o workflow inicia um job assíncrono usando a API InvokeDataAutomationAsync. O BDA então divide o documento em seções de até 20 páginas, classifica cada parte, associa aos blueprints corretos e extrai todo o conteúdo — texto, tabelas, formulários e elementos visuais.
• Processamento assíncrono com task tokens: o workflow armazena um token de tarefa e aguarda a conclusão do job, permitindo o processamento de milhares de documentos simultaneamente.
• Tratamento de erros: o pipeline gerencia cenários de erro como falhas de validação, timeouts e tipos de arquivo não suportados, garantindo que nenhum documento seja perdido.

Camada de extração e armazenamento

Esta é a camada central da solução, onde o BDA transforma conteúdo bruto em dados estruturados e acionáveis. O serviço oferece duas opções de saída:

• Saída padrão: fornece informações comuns baseadas no tipo de dado, incluindo resumos do documento, texto extraído em ordem de leitura, legendas de tabelas e figuras, e insights gerativos. Pode ser personalizada via projetos para habilitar ou desabilitar recursos específicos.
• Saída customizada com blueprints: blueprints são configurações que definem a lógica de extração para tipos específicos de documento. A ideia é criar um blueprint por tipo de documento — por exemplo, um blueprint para passaportes e outro para extratos bancários, já que as informações relevantes de cada um são diferentes. Projetos podem conter até 40 blueprints de documentos, com o BDA associando automaticamente cada documento ao blueprint correto.

Para análise visual, o BDA extrai insights de gráficos, diagramas e outros elementos visuais que soluções tradicionais de OCR não conseguem interpretar. Quando o BDA processa um gráfico, ele produz: legendas descritivas sobre o conteúdo, pontos de dados e tendências extraídos, relações estruturais de diagramas e fluxogramas, e coordenadas de bounding box ligando o elemento visual à sua localização no documento.

Os dados extraídos incluem texto em ordem de leitura com preservação de layout, reconhecimento de estrutura de tabelas com relações entre células, detecção de campos de formulário e pares chave-valor, análise de elementos visuais com legendas geradas automaticamente, e resumos em nível de documento e de página.

Camada de inteligência: busca semântica e RAG

O Amazon Bedrock Knowledge Bases, configurado para trabalhar com o Amazon OpenSearch Serverless, transforma o conteúdo bruto extraído em insights acionáveis por meio de busca semântica e capacidades de RAG. Isso permite indexar o conteúdo processado para consultas inteligentes, manter embeddings vetoriais para busca por similaridade entre coleções de documentos e suportar consultas complexas que abrangem múltiplos documentos e fontes de dados.

Os Modelos de Fundação (FMs) do Amazon Bedrock analisam conteúdo visual, incluindo interpretação de gráficos, compreensão do layout do documento e detecção de relações entre texto e componentes visuais.

Camada de coordenação por agentes

Os Strands Agents hospedados no Amazon Bedrock AgentCore Runtime gerenciam o fluxo de processamento geral, roteando requisições para os agentes especializados adequados e coordenando a comunicação entre agentes para análises complexas. Os agentes especializados incluem:

• Agentes analistas de mercado: para relatórios de mercado financeiro e documentos de investimento.
• Agentes de consultoria de investimentos: para análise de portfólios e documentação consultiva.
• Agentes de API externa: para integração de dados de terceiros em tempo real, como provedores de dados financeiros e plataformas de inteligência de mercado.

Os agentes coordenadores realizam validação cruzada comparando dados de mercado em tempo real obtidos pelos agentes de API externa com dados históricos armazenados na base de conhecimento do Amazon Bedrock.

Caso de uso: análise de imóveis comerciais

Para ilustrar a solução na prática, a AWS apresentou um caso de uso de uma empresa de investimentos imobiliários comerciais que recebe mais de 200 relatórios de avaliação de propriedades por mês. Esses relatórios contêm documentos de visão geral da propriedade, planilhas financeiras embutidas como imagens em PDFs, gráficos de comparação de mercado, fotos e plantas baixas com anotações, documentos jurídicos e gráficos históricos de desempenho.

Com a solução implementada, o pipeline realiza:

• Classificação de documentos: identifica automaticamente os tipos de documento, extrai metadados da propriedade e roteia seções para os agentes de processamento adequados.
• Extração de conteúdo multimodal: agentes analistas de mercado processam gráficos financeiros embutidos para extrair projeções de Receita Operacional Líquida (NOI) e tendências de taxa de capitalização. O BDA analisa fotos de propriedades para identificar indicadores de condição e ratios de eficiência de plantas baixas.
• Consultas em linguagem natural: profissionais de investimento podem fazer perguntas como “Mostre propriedades com Taxa Interna de Retorno (TIR) projetada acima de 12% e índices de cobertura de dívida acima de 1,25” ou “Compare as projeções de crescimento de NOI com o desempenho real de mercado para ativos similares.”

Os resultados são expressivos: o tempo de processamento por propriedade caiu de 3 a 4 horas para 15 a 20 minutos na triagem inicial. A extração automatizada elimina erros de transcrição manual, e a validação cruzada entre documentos identifica inconsistências automaticamente.

Validação de escala e implantação

A solução foi testada em escala, processando com sucesso mais de 50.000 documentos PDF simultaneamente pelo pipeline BDA. A arquitetura serverless com AWS Step Functions e processamento assíncrono do BDA viabilizou esse processamento massivo em paralelo sem degradação de desempenho.

A implantação completa é feita via AWS Cloud Development Kit (AWS CDK), que provisiona toda a arquitetura com princípios de Infraestrutura como Código (IaC). O código cria quatro componentes principais de stack alinhados às camadas da arquitetura, com configurações específicas para ambientes de desenvolvimento, homologação e produção.

Antes de implementar, é necessário ter uma conta AWS com permissões adequadas para criar funções IAM, AWS Lambda, Step Functions, Amazon DynamoDB, Amazon Elastic Container Registry (Amazon ECR) e buckets S3, além de acesso habilitado aos FMs do Amazon Bedrock na Região desejada. O BDA está disponível atualmente em oito Regiões: Europa (Frankfurt), Europa (Londres), Europa (Irlanda), Ásia-Pacífico (Mumbai), Ásia-Pacífico (Sydney), Oeste dos EUA (Oregon), Leste dos EUA (Virgínia do Norte) e AWS GovCloud (Oeste dos EUA).

A implementação completa do CDK está disponível no repositório público da AWS:

# Implantação rápida
git clone https://github.com/aws-samples/sample-pdf-to-insights-idp-solution
cd sample-pdf-to-insights-idp-solution
./deploy.sh --profile default --environment UAT

Para remover todos os recursos criados:

# Limpeza da implantação
./cleanup.sh --profile default --environment UAT

Estratégias de otimização de custos e segurança

A AWS recomenda algumas abordagens para gerenciar custos operacionais da solução:

• Roteamento inteligente: documentos simples usam extração básica, enquanto documentos complexos com tabelas e imagens empregam técnicas mais avançadas.
• Processamento em lote: combinar múltiplos documentos em uma única requisição ao BDA onde possível, respeitando os limites do serviço.
• Gerenciamento do ciclo de vida de armazenamento: implementar políticas de ciclo de vida do Amazon S3 para mover documentos processados para camadas de armazenamento mais baratas com base em padrões de acesso.

Em termos de segurança, a arquitetura incorpora chaves AWS KMS para criptografia de documentos e resultados, conectividade AWS PrivateLink para acesso seguro à API dentro dos limites da VPC, e funções IAM com princípios de menor privilégio em todos os componentes.

Conclusão

A combinação do Amazon Bedrock Data Automation com uma arquitetura baseada em agentes demonstra como a AWS está posicionando o processamento de documentos como um ativo estratégico — e não apenas um centro de custo. A capacidade de extrair e analisar automaticamente gráficos, tabelas, imagens e texto, mantendo contexto e relacionamentos entre fontes de dados, abre possibilidades significativas para organizações que lidam com grandes volumes de documentos não estruturados.

A recomendação da AWS é começar com uma prova de conceito focada nos tipos de documento mais comuns e nos requisitos de análise visual mais frequentes, expandindo gradualmente à medida que se ganha experiência com os serviços.

Para saber mais, consulte a documentação do Amazon Bedrock Data Automation. Para prática hands-on, o workshop de Processamento Inteligente de Documentos (IDP) no GitHub oferece exercícios práticos. O código completo da implementação CDK está disponível no repositório AWS Samples com instruções de implantação e exemplos de configuração.

Fonte

From PDFs to insights: Architecting an intelligent document processing pipeline with AWS generative AI services (https://aws.amazon.com/blogs/machine-learning/from-pdfs-to-insights-architecting-an-intelligent-document-processing-pipeline-with-aws-generative-ai-services/)