User's blog

Correção e Harmonização de Metadados com IA na AWS

Written by

Make.com Service User

in

O problema que a IA veio resolver

À medida que a produção de dados cresce em ritmo acelerado, a capacidade de padronizá-los não acompanha o mesmo ritmo. Metadados inconsistentes — com rótulos divergentes, identificadores fora do padrão e formatos incompatíveis entre fontes diferentes — criam um gargalo crítico que atrasa análises e dificulta o compartilhamento de dados entre organizações.

A harmonização de metadados, que consiste em padronizar rótulos, identificadores e formatos para que conjuntos de dados de origens distintas possam trabalhar juntos, ainda é feita majoritariamente de forma manual. A AWS publicou um post técnico detalhando como a inteligência artificial pode transformar esse processo, tornando-o escalável e compatível com os volumes de dados modernos.

Arquitetura da solução

A AWS descreve um fluxo centralizado de correção e harmonização de metadados construído sobre serviços gerenciados. Os componentes principais são:

O fluxo opera de forma cíclica: os arquivos de metadados são enviados pelo usuário, passam por validação paralela em dois eixos — alinhamento de esquema e validação de campos individuais — e, quando problemas são detectados, o sistema gera recomendações direcionadas que são apresentadas ao usuário para aprovação final.

Etapas do processo de correção

Alinhamento de esquema

A primeira etapa compara os esquemas de dados de origem e destino, verificando se as colunas corretas existem e estão devidamente alinhadas. Problemas comuns incluem convenções de nomenclatura inconsistentes (sinônimos, erros de digitação, abreviações), colunas ausentes ou extras, e situações onde colunas precisam ser divididas ou combinadas.

Técnicas de correspondência aproximada de strings (fuzzy string matching) resolvem discrepâncias básicas de nomenclatura. Para casos mais complexos, os LLMs disponíveis no Amazon Bedrock trazem compreensão semântica ao problema: em vez de depender apenas de similaridade de texto, a abordagem baseada em LLM reconhece sinônimos específicos de um domínio, infere significado a partir das colunas vizinhas e detecta quando uma coluna de origem deve ser dividida em múltiplas colunas de destino — casos que sistemas baseados em regras simples não conseguem resolver.

Validação de campos de metadados

Essa etapa verifica se os valores individuais de cada campo estão em conformidade com os requisitos do esquema. As falhas são classificadas em três tipos:

  • Validação de campos obrigatórios: identifica campos mandatórios que estão ausentes, vazios ou preenchidos apenas com espaços em branco.
  • Validação de valores enumerados: compara o conteúdo dos campos com vocabulários controlados definidos no esquema. Valores fora da lista permitida geram um erro de validação.
  • Validação de padrões: aplica correspondência por expressões regulares para verificar convenções de formatação — por exemplo, datas no formato AAAA-MM-DD ou identificadores com padrões alfanuméricos específicos.

Geração de recomendações de correção

Quando erros de validação são detectados, o sistema gera recomendações usando uma combinação em camadas de técnicas de Processamento de Linguagem Natural (PLN) e IA. A lógica prioriza métodos mais simples e baratos antes de acionar os LLMs, mantendo os custos de inferência previsíveis. As quatro técnicas utilizadas são:

  • Similaridade semântica por embeddings: vetores de embedding permitem comparar valores de metadados semanticamente, identificando correspondências próximas com base em limiares de similaridade. Por exemplo, o sistema consegue mapear “Human” para “Homo sapiens” ou “NYC” para “New York City”. A AWS avaliou múltiplos modelos de embedding e selecionou o Amazon Titan por seu desempenho em tarefas gerais e biomédicas, disponibilidade comercial e compatibilidade com o Amazon Bedrock.
  • Inferência contextual: o sistema recomenda correções identificando padrões e relações dentro do próprio conjunto de metadados, sem depender de grandes bases de dados externas. A implementação combina k-vizinhos mais próximos ponderados por distância com representações TF-IDF e análise de co-ocorrência por Informação Mútua Pontual (PMI). O resultado são recomendações estáveis e explicáveis, fundamentadas na estrutura interna dos dados.
  • Correspondência fuzzy: algoritmos como a distância de Levenshtein detectam e corrigem inconsistências tipográficas ou de formatação — erros de digitação, espaçamento, diferenças de pontuação. Essa técnica é aplicada no início do fluxo para capturar inconsistências de baixo nível antes das camadas semânticas.
  • Resolução por LLM (camada de fallback): quando os métodos anteriores não atingem um nível de confiança suficiente, o Amazon Bedrock é acionado como fallback. Os LLMs conseguem raciocinar sobre estruturas complexas de metadados e interpretar padrões ambíguos ou inéditos. Os resultados são então apresentados para revisão humana.

Abordagem 1: fluxo com supervisão humana

No modelo com supervisão humana (human-in-the-loop), o colaborador mantém controle total sobre as correções aplicadas. O fluxo funciona assim: o usuário faz o upload do arquivo de metadados pela interface web, o sistema executa a validação e harmonização automatizada, e as recomendações geradas pela IA são apresentadas na interface para revisão. O colaborador pode inspecionar cada entrada sinalizada, revisar as sugestões geradas automaticamente e aceitar, editar ou rejeitar cada uma delas. Após a revisão, o arquivo corrigido é reenviado para revalidação. Submissões bem-sucedidas são automaticamente confirmadas e propagadas.

Imagem original — fonte: Aws

Cada ciclo reduz o esforço manual enquanto preserva a responsabilidade do colaborador sobre o resultado final. A automação acelera as correções, mas o conhecimento de domínio do pesquisador permanece central no processo.

Abordagem 2: fluxo com agente autônomo

Para conjuntos de dados com centenas ou milhares de registros, a participação ativa do colaborador em cada ciclo de revisão ainda representa um esforço considerável. Para reduzir essa carga, a solução pode ser estendida com agentes autônomos.

Nesse modelo, um agente de metadados opera como um sistema autônomo ou semi-autônomo capaz de analisar, corrigir e validar registros de metadados. Ele usa tanto raciocínio determinístico (lógica baseada em regras) quanto não-determinístico (inferência por LLM via Amazon Bedrock). Por meio do Protocolo de Contexto de Modelo (MCP), o agente acessa ferramentas especializadas — o serviço remoto de processamento de metadados, validadores de esquema e módulos de similaridade por embedding.

O fluxo operacional do agente espelha a estrutura do fluxo humano, mas substitui as ações diretas do usuário por raciocínio autônomo:

Imagem original — fonte: Aws

Essa configuração permite escalar a curadoria de metadados em grandes volumes com intervenção humana mínima, mantendo um log auditável de todas as correções aplicadas.

Para dados de alto valor ou de domínios específicos, agentes especializados por organização podem ser implantados, com acesso a repositórios privados, logs de experimentos e publicações científicas internas. Isso permite dois níveis de adaptação: raciocínio local (inferência com base no dataset imediato e submissões anteriores) e enriquecimento contextual (uso de ontologias, protocolos e vocabulários controlados da organização).

Como implantar a solução

A AWS disponibilizou o código-fonte da solução no repositório no GitHub. Os pré-requisitos para implantação são:

O processo de implantação segue seis passos principais:

Passo 1: clonar o repositório e instalar dependências

git clone https://github.com/aws-samples/sample-intelligent-metadata-harmonization.git
cd metadata-harmonization

# Criar e ativar ambiente virtual Python
make createPythonEnvironment
source .venv/bin/activate

# Instalar todas as dependências
make install

Passo 2: configurar o deployment

cp config.yaml.example config.yaml

Edite o arquivo config.yaml com os dados da sua conta AWS:

appName: "metadata-harmonization-app"
env: "dev"
dev:
  profile: "your-aws-profile"
  deploymentName: "metadata-harmonization-dev"
  accountNumber: "123456789012" # Seu número de conta AWS com 12 dígitos
  region: "us-east-1"
  deploymentStage: "dev"
  removalPolicy: "destroy"
  logLevel: "INFO"
  targetPlatform: "linux/amd64"

Valide a configuração com make validateConfig.

Passo 3: implantar a infraestrutura

# Configuração inicial (apenas na primeira vez)
make bootstrap

# Implantar todos os recursos AWS
make deploy

Após o deploy, gere o arquivo .env local com os identificadores dos recursos:

make createLocalDotEnvFile

Passo 4: criar usuários no Amazon Cognito

Acesse o console do Amazon Cognito, selecione o user pool criado pelo deployment, vá até “Users” e crie os usuários necessários com e-mail e senha temporária.

Passo 5: executar a aplicação web localmente

# Executar API e frontend juntos (recomendado)
make runLocal

A interface web fica disponível em http://localhost:3000 e a documentação da API em http://localhost:8080/api/docs.

Passo 6: executar o agente de metadados

uv run metadata-agent validate data/synthetic_dataset/simple_test.csv --interactive

O agente se conecta à API via MCP, valida o dataset, recupera os relatórios de falha e aplica correções de forma autônoma.

Considerações de governança e segurança

A transição de prova de conceito para produção exige atenção a quatro áreas:

  • Integridade dos dados e rastreamento de mudanças: organizações devem estabelecer frameworks claros para documentar e preservar as alterações de metadados, com políticas de retenção, trilhas de auditoria e controles de integridade adequados ao ambiente regulatório.
  • Governança de arquitetura: é necessário definir se as correções geradas pela IA requerem aprovação antes de serem aplicadas ou se podem ser aplicadas automaticamente com revisão posterior. Essa decisão afeta a integridade dos dados e a capacidade de reversão.
  • IA responsável e segurança de conteúdo: deployments em produção que usam inferência de LLM devem incorporar o Amazon Bedrock Guardrails para estabelecer limites no comportamento dos modelos e proteger contra ataques de injeção de prompt — especialmente quando valores de metadados de fontes externas são passados diretamente para os prompts dos modelos.
  • Segurança: sistemas de IA que lidam com dados genômicos sensíveis devem atender aos mesmos padrões de segurança de sistemas tradicionais de pesquisa, incluindo controle de acesso baseado em papéis e proteção de dados em todo o pipeline de validação.

Para encerrar o ambiente e evitar cobranças contínuas, basta executar make destroy, que remove toda a stack do AWS CDK.

Conclusão

A solução de correção e harmonização de metadados com IA apresentada pela AWS endereça um desafio persistente em pesquisa biomédica: o tempo gasto em padronização de dados em vez de trabalho científico. As duas abordagens de implementação — com supervisão humana e com agentes autônomos — oferecem flexibilidade para organizações em diferentes estágios de adoção de IA. Equipes podem começar com correções supervisionadas para construir confiança no sistema e, gradualmente, migrar para abordagens mais automatizadas. A arquitetura nativa em nuvem escala com o volume de dados e o design modular permite customização para necessidades institucionais específicas.

Fonte

AI-powered metadata correction and harmonization (https://aws.amazon.com/blogs/machine-learning/ai-powered-metadata-correction-and-harmonization/)

Comments

Leave a Reply

Your email address will not be published. Required fields are marked *

More posts