User's blog

Construindo um Sistema de Busca Inteligente de Fotos com Visão Computacional, Grafos e IA Generativa

Written by

Make.com Service User

in

O Desafio de Organizar Grandes Coleções de Fotos

Gerenciar acervos fotográficos expressivos apresenta desafios significativos para organizações e indivíduos. As abordagens tradicionais baseiam-se em etiquetagem manual, metadados simples e organização por pastas, estratégias que se tornam impraticáveis quando se lida com milhares de imagens contendo múltiplas pessoas e relacionamentos complexos. A rotulação manual consome tempo considerável, as buscas por metadata simples oferecem resultado limitado, e a estrutura de pastas frequentemente não reflete a forma como as pessoas realmente buscam suas memórias.

Sistemas de busca fotográfica inteligente resolvem esse problema combinando visão computacional, bancos de dados em grafo e processamento de linguagem natural. Essas soluções capturam não apenas quem e o que aparece nas fotos, mas os relacionamentos e contextos complexos que as tornam significativas, viabilizando consultas em linguagem natural e descoberta semântica genuína.

Uma Arquitetura Serverless Integrada

A AWS demonstrou como construir um sistema completo de busca fotográfica utilizando o AWS Cloud Development Kit (AWS CDK), integrando três serviços principais: Amazon Rekognition para detecção de rostos e objetos, Amazon Neptune para mapeamento de relacionamentos, e Amazon Bedrock para legendagem orientada por IA.

A solução demonstra que integrando as capacidades de banco de dados em grafo do Amazon Neptune com os serviços de IA da AWS, é possível criar uma busca fotográfica em linguagem natural que compreende contexto e relacionamentos. Em vez de simples metadados, a arquitetura oferece descoberta fotográfica verdadeiramente inteligente.

Componentes Principais da Solução

A arquitetura serverless articula diversos serviços AWS para criar um sistema contextualmente consciente:

Fluxo de Processamento

O sistema segue um fluxo de trabalho racionalizado: imagens são enviadas para buckets S3 com acionadores Lambda automáticos. Fotos de referência na pasta faces/ são processadas para construir modelos de reconhecimento. Novas fotos acionam Amazon Rekognition para detecção facial e etiquetagem de objetos. O Neptune armazena conexões entre pessoas, objetos e contextos. O Amazon Bedrock gera descrições contextuais usando rostos detectados e relacionamentos. O DynamoDB armazena metadados pesquisáveis com recuperação rápida. Consultas em linguagem natural atravessam o grafo Neptune para resultados inteligentes.

Casos de Uso e Escalabilidade

A arquitetura serverless escala eficientemente para múltiplos casos de uso: em contextos corporativos para reconhecimento de funcionários e documentação de eventos; no setor de saúde para gestão de fotos compatível com HIPAA com rastreamento de relacionamentos; na educação para organização de fotos de estudantes e corpo docente entre departamentos; em eventos para fotografia profissional com etiquetagem automática e entrega ao cliente.

A solução beneficia-se diretamente da natureza serverless: você paga apenas pelo que usa, tornando-a economicamente viável tanto para pequenos acervos familiares quanto para arquivos corporativos massivos. O processamento de 1.000 imagens tipicamente custa aproximadamente $15–25 (incluindo detecção facial do Amazon Rekognition, geração de legendas com Amazon Bedrock e execução de funções Lambda), com custos de cluster Neptune na faixa de $100–150 mensais independentemente do volume. Custos de armazenamento permanecem mínimos, inferior a $1 por 1.000 imagens no Amazon S3.

Capacidades Principais

Reconhecimento Facial e Etiquetagem Automática

Com o Amazon Rekognition, é possível identificar automaticamente indivíduos a partir de fotos de referência, sem necessidade de etiquetagem manual. Enviando algumas imagens claras por pessoa, o sistema as reconhece em toda a coleção, independentemente de iluminação ou ângulos. Essa automação reduz o tempo de etiquetagem de semanas para horas, suportando diretórios corporativos, arquivos de conformidade e fluxos de gestão de eventos.

Busca Consciente de Relacionamentos

Utilizando Neptune, a solução compreende quem aparece nas fotos e como estão conectados. Consultas em linguagem natural como “gerente da Sarah” ou “Mãe com seus filhos” permitem que o sistema atravesse relacionamentos de múltiplos saltos para retornar imagens relevantes. Essa busca semântica substitui a organização manual por pastas com descoberta intuitiva e contextualmente consciente.

Compreensão Automática de Objetos e Contexto

O Amazon Rekognition detecta objetos, cenas e atividades, e o Neptune os conecta a pessoas e relacionamentos. Isso viabiliza consultas complexas como “executivos com veículos corporativos” ou “professores em salas de aula”. A hierarquia de etiquetas é gerada dinamicamente e se adapta a domínios diferentes — como saúde ou educação — sem configuração manual.

Legendagem Contextual com Amazon Bedrock

Usando Amazon Bedrock, o sistema cria legendas significativas, conscientes de relacionamentos, como “Sarah e seu gerente discutindo resultados trimestrais” em vez de legendas genéricas. Legendas podem ser ajustadas quanto ao tom (objetivo para conformidade, narrativo para marketing, conciso para resumos executivos), aprimorando tanto a capacidade de busca quanto a comunicação.

Experiência Web Intuitiva

A interface web permite que usuários busquem fotos usando linguagem natural, visualizem legendas geradas por IA e ajustem o tom dinamicamente. Consultas como “mãe com crianças” ou “atividades ao ar livre” retornam resultados relevantes e legendados instantaneamente. Essa experiência unificada suporta tanto fluxos de trabalho corporativos quanto coleções pessoais.

Gerenciamento de Relacionamentos e Hierarquias

Escalando Relacionamentos em Grafos com Hierarquias de Etiquetas

O Neptune escala para modelar milhares de relacionamentos e hierarquias de etiquetas em organizações ou conjuntos de dados. Relacionamentos são gerados automaticamente durante o processamento de imagens, viabilizando descoberta semântica rápida enquanto mantém performance e flexibilidade conforme os dados crescem.

Abordagem Orientada por Configuração

O grafo de relacionamentos utiliza uma abordagem flexível orientada por configuração através da função initialize_relationship_data(). Esse modelo mitiga a necessidade de codificação fixa e suporta casos de uso ilimitados — você simplesmente define suas pessoas e relacionamentos em um objeto de configuração.

Um exemplo de estrutura genérica de configuração:

config = {
    "people": [
        {"name": "alice", "gender": "woman", "role": "mother"},
        {"name": "jane", "gender": "girl", "role": "daughter"}
    ],
    "relationships": [
        {"from": "alice", "to": "jane", "type": "parent_of", "subtype": "mother_of"},
        {"from": "jane", "to": "david", "type": "sibling_of", "bidirectional": True}
    ]
}

# Generic relationship creation
for rel in relationships_data:
    g.V().has('name', rel["from"]).addE(rel["type"]).to(
        __.V().has('name', rel["to"])
    ).property('type', rel["subtype"]).next()

# Business example - just change the configuration
business_config = {
    "people": [{"name": "sarah", "role": "manager"}],
    "relationships": [{"from": "sarah", "to": "john", "type": "manages", "subtype": "manager_of"}]
}

Criação Automática de Hierarquias de Etiquetas

O banco de dados de relacionamentos de etiquetas é criado automaticamente durante o processamento de imagens através da função store_labels_in_neptune():

# Rekognition provides labels with categories
response = rekognition.detect_labels(
    Image={'Bytes': image_bytes},
    MaxLabels=20,
    MinConfidence=70
)

# Extract labels and categories
for label in response.get('Labels', []):
    label_data = {
        'name': label['Name'],  # e.g., "Car"
        'categories': [cat['Name'] for cat in label.get('Categories', [])]  # e.g., ["Vehicle", "Transportation"]
    }

# Automatic hierarchy creation in Neptune
for category in categories:
    # Create belongs_to relationship (Car -> Vehicle -> Transportation)
    g.V().has('name', label_name).addE('belongs_to').to(
        __.V().has('name', category_name)
    ).property('type', 'hierarchy').next()
    
    # Create appears_with relationship (Person -> Car)
    g.V().has('name', person_name).addE('appears_with').to(
        __.V().has('name', label_name)
    ).property('confidence', confidence).next()

Com essas funções, é possível gerenciar coleções fotográficas grandes com consultas de relacionamento complexas, descobrir fotos por contexto semântico e localizar coleções temáticas através de padrões de co-ocorrência de etiquetas.

Implantação e Pré-requisitos

Requisitos Técnicos

Antes de implementar essa solução, certifique-se de ter:

Estrutura do Projeto

O código-fonte completo está disponível em repositório GitHub, com instruções detalhadas de setup e implantação no README. O projeto está organizado em diretórios-chave que separam responsabilidades e viabilizam desenvolvimento modular:

smart-photo-caption-and-search/
├── lambda/
│   ├── face_indexer.py # Indexes reference faces in Rekognition
│   ├── faces_handler.py # Lists indexed faces via API
│   ├── image_processor.py # Main processing pipeline
│   ├── search_handler.py # Handles search queries
│   ├── style_caption.py # Generates styled captions
│   ├── relationships_handler_neptune.py # Manages Neptune relationships
│   ├── label_relationships.py # Queries label hierarchies
│   └── neptune_search.py # Neptune relationship parsing
├── lambda_layer/ # Pillow image processing layer
├── neptune_layer/ # Gremlin Python Neptune layer
├── ui/
│   └── demo.html # Web interface with Cognito authentication
├── app.py # CDK application entry point
├── image_name_cap_stack_neptune.py # Neptune-enabled CDK stack
└── requirements_neptune.txt # Python dependencies

Funções Lambda Principais

A solução utiliza as seguintes funções Lambda-chave:

  • image_processor.py — Processamento central com reconhecimento facial, detecção de etiquetas e geração de legendas enriquecidas por relacionamentos
  • search_handler.py — Processamento de consultas em linguagem natural com travessia de relacionamentos de múltiplos saltos
  • relationships_handler_neptune.py — Gerenciamento de relacionamentos orientado por configuração e conexões em grafo
  • label_relationships.py — Consultas hierárquicas de etiquetas, associações objeto-pessoa e descoberta semântica

Passos de Implantação

Para implantar a solução, execute os seguintes passos:

  1. Instale as dependências com: pip install -r requirements_neptune.txt
  2. Para configuração de primeira vez, execute o bootstrap do AWS CDK: cdk bootstrap
  3. Provisione recursos AWS com: cdk deploy
  4. Configure credenciais do pool de usuários Amazon Cognito na interface web
  5. Carregue fotos de referência para estabelecer a linha de base de reconhecimento
  6. Crie relacionamentos familiares de amostra utilizando a API ou interface web

O sistema gerencia automaticamente reconhecimento facial, detecção de etiquetas, resolução de relacionamentos e geração de legendas orientada por IA através do pipeline serverless, viabilizando consultas em linguagem natural como “mãe da pessoa com carro” alimentadas por travessias em grafo Neptune.

Segurança e Privacidade

A solução implementa medidas abrangentes de segurança para proteger dados sensíveis de imagem e reconhecimento facial. O sistema criptografa dados em repouso utilizando criptografia AES-256 com chaves gerenciadas pelo AWS Key Management Service (AWS KMS) e assegura dados em trânsito com TLS 1.2 ou posterior. Funções Neptune e Lambda operam dentro de sub-redes de nuvem privada virtual (VPC), isoladas do acesso direto à internet, e o API Gateway fornece o único endpoint público com políticas CORS e limite de taxa.

O controle de acesso segue princípios de menor privilégio com políticas do AWS Identity and Access Management (IAM) que concedem apenas permissões mínimas necessárias: funções Lambda podem acessar apenas buckets S3 e tabelas DynamoDB específicas, e o acesso Neptune é restrito a operações autorizadas de banco de dados. Dados de imagem e reconhecimento facial permanecem dentro de sua conta AWS e nunca são compartilhados fora dos serviços AWS.

Você pode configurar políticas de ciclo de vida do Amazon S3 para gerenciamento automático de retenção de dados, e o AWS CloudTrail fornece logs de auditoria completos de acesso a dados e chamadas de API para monitoramento de conformidade, suportando requisitos GDPR e HIPAA com monitoramento adicional do Amazon GuardDuty para detecção de ameaças.

Limpeza de Recursos

Para evitar incorrer em cobranças futuras, execute os seguintes passos para deletar recursos que você criou:

  • Delete imagens do bucket S3: aws s3 rm s3://YOUR_BUCKET_NAME –recursive
  • Delete o cluster Neptune (esse comando também deleta automaticamente as funções Lambda): cdk destroy
  • Remova a coleção de rostos do Amazon Rekognition: aws rekognition delete-collection --collection-id face-collection

Perspectiva para Profissionais de Nuvem Brasileiros

Essa arquitetura representa uma abordagem moderna para um problema clássico de gestão de dados visuais. Para times brasileiras de engenharia, o projeto oferece várias lições técnicas: a integração entre serviços especializados (visão, grafos, IA) demonstra como orquestrar capacidades distintas em uma solução coesa; a arquitetura serverless elimina gerenciamento de infraestrutura, permitindo que equipes se concentrem em lógica de negócio; a abordagem orientada por configuração do Neptune facilita adaptação a diferentes domínios sem alterações de código.

A relevância para o contexto brasileiro inclui casos de uso em áreas como documentação de eventos, gestão de acervos fotográficos institucionais, compliance corporativo com rastreabilidade, e até aplicações de segurança com reconhecimento facial contextualizado. O modelo de precificação serverless torna a solução economicamente acessível para startups e empresas de médio porte que historicamente enfrentavam barreiras de investimento em infraestrutura de ML e grafos.

Referência de Recursos

Para aprofundamento técnico, consulte:

Conclusão

A demonstração da AWS ilustra como Amazon Rekognition, Amazon Neptune e Amazon Bedrock trabalham em conjunto para viabilizar busca fotográfica inteligente que compreende conteúdo visual e contexto. Construída sobre uma arquitetura totalmente serverless, a solução combina visão computacional, modelagem em grafo e compreensão em linguagem natural para entregar experiências de descoberta escaláveis e humanizadas.

Ao transformar coleções fotográficas em um grafo de conhecimento de pessoas, objetos e momentos, a arquitetura redefine como usuários interagem com dados visuais — tornando a busca mais semântica, relacional e significativa. Essa abordagem reflete a confiabilidade e robustez de tecnologias de IA e grafos da AWS na viabilização de compreensão fotográfica segura e contextualmente consciente.

Fonte

Build an intelligent photo search using Amazon Rekognition, Amazon Neptune, and Amazon Bedrock (https://aws.amazon.com/blogs/machine-learning/build-an-intelligent-photo-search-using-amazon-rekognition-amazon-neptune-and-amazon-bedrock/)

Comments

Leave a Reply

Your email address will not be published. Required fields are marked *

More posts