Guia Prático: Embeddings Multimodais do Amazon Nova

Entendendo o Papel dos Embeddings Multimodais

Modelos de embedding representam um componente fundamental em diversas aplicações modernas. Desde sistemas de busca semântica e Geração Aumentada por Recuperação (Retrieval-Augmented Generation — RAG) até recomendações personalizadas e análise de conteúdo, os embeddings convertem dados não-estruturados em representações vetoriais que as máquinas conseguem processar e comparar de forma eficiente.

A escolha do modelo de embedding certo, contudo, exige reflexão cuidadosa. Uma vez que seus dados foram ingeridos e processados, migrar para um modelo diferente significa re-processar todo o corpus, reconstruir índices vetoriais e validar novamente a qualidade das buscas. Por isso, o modelo ideal deve oferecer performance sólida, adaptabilidade aos casos de uso específicos e suporte às modalidades de dados que você precisa hoje e no futuro.

O Amazon Nova Multimodal Embeddings

A AWS anunciou o Amazon Nova Multimodal Embeddings, um modelo desenvolvido para gerar embeddings personalizados conforme as necessidades do seu caso de uso. Seja em cenários simples — como buscas em texto ou imagem isoladamente — ou em aplicações complexas que abrangem documentos, vídeos e conteúdo híbrido, o modelo oferece uma base sólida para construir soluções de busca e recuperação de informações.

Este guia prático orienta como implementar o Amazon Nova Multimodal Embeddings em cenários reais, mostrando como simplificar arquiteturas, otimizar performance por meio da seleção correta de parâmetros e implementar padrões comuns em aplicações de busca de mídia, descoberta de produtos e recuperação inteligente de documentos.

Casos de Uso Multimodais

O modelo se adapta a múltiplos cenários de negócio. A tabela abaixo apresenta exemplos típicos de uso com suas respectivas modalidades:

Recuperação de Vídeos

• Busca de vídeos curtos: gestão de bibliotecas e acervos de mídia — exemplos: “Crianças abrindo presentes de Natal” ou “Baleia azul saltando a superfície do oceano”
• Busca de segmentos longos: cinema, entretenimento, mídia de transmissão e vigilância — exemplos: “cena específica em um filme”, “footage específico em noticiário”, “comportamento específico em vigilância”
• Identificação de conteúdo duplicado: gestão de acervos de mídia — identificação de vídeos similares ou duplicados

Recuperação de Imagens

• Busca temática: gerenciamento de acervos e armazenamento — exemplo: “carro vermelho com teto solar na costa”
• Busca por referência: e-commerce e design — exemplo: “sapatos similares a este” seguido de imagem
• Busca reversa: gestão de conteúdo — localizar conteúdo similar baseado em imagem carregada

Recuperação de Documentos

• Páginas com informação específica: serviços financeiros, marcações de marketing e publicidade
• Informação abrangente entre páginas: enriquecimento de bases de conhecimento — extração de informações compreensivas de textos, gráficos e tabelas com múltiplas páginas

Recuperação de Texto

• Recuperação temática: enriquecimento de bases de conhecimento — exemplo: “próximos passos em procedimentos de desativação de reatores”
• Análise de similaridade: gestão de conteúdo de mídia — detecção automática de manchetes duplicadas
• Agrupamento e classificação: finanças e saúde — classificação de sintomas e sumarização
• Recuperação por associação contextual: finanças, jurídico e seguros — exemplo: “valor máximo de indenização para violações de inspeção corporativa”

Recuperação de Áudio e Voz

• Recuperação de áudio: gestão de acervos de mídia — exemplo: “toque de música de Natal”, “efeitos sonoros tranquilos naturais”
• Busca de segmentos longos: podcasts e gravações de reuniões — exemplo: “apresentador de podcast discutindo neurociência e impacto do sono na saúde cerebral”

Otimizando Performance para Casos de Uso Específicos

O Amazon Nova Multimodal Embeddings otimiza seu desempenho através de configurações de parâmetros específicas. O modelo implementa diferentes estratégias de vetorização: modo de sistema de recuperação e modo de tarefa de aprendizado de máquina.

Modo de Sistema de Recuperação

Este modo inclui parâmetros como GENERIC_INDEX e várias variações de RETRIEVAL, direcionados para cenários de recuperação de informações. Distingue entre duas fases assimétricas: armazenamento/indexação e consulta/recuperação.

Fase de armazenamento (todos os tipos): utilize GENERIC_INDEX, otimizado para indexação e armazenamento.

Fase de consulta:

• Repositório misto: GENERIC_RETRIEVAL — para busca em conteúdo misto
• Repositório apenas texto: TEXT_RETRIEVAL — para busca exclusivamente em texto
• Repositório apenas imagens: IMAGE_RETRIEVAL — para busca em fotos e ilustrações
• Repositório com documentos em imagem: DOCUMENT_RETRIEVAL — para busca em documentos digitalizados e screenshots de PDF
• Repositório apenas vídeos: VIDEO_RETRIEVAL — para busca em vídeos
• Repositório apenas áudio: AUDIO_RETRIEVAL — para busca em áudio

Modo de Tarefa de Aprendizado de Máquina

Este modo, incluindo parâmetros CLASSIFICATION e CLUSTERING, se adapta a cenários de aprendizado de máquina. O modelo se ajusta flexivelmente conforme diferentes tipos de requisitos de tarefas downstream.

• CLASSIFICATION: vetores gerados se adequam melhor à distinção de limites de classificação, facilitando treinamento de classificadores downstream ou classificação direta
• CLUSTERING: vetores gerados se adequam melhor à formação de centros de cluster, facilitando algoritmos de clustering downstream

Construindo uma Solução de Busca e Recuperação Multimodal

O Amazon Nova Multimodal Embeddings foi desenvolvido especificamente para busca e recuperação multimodal, fundação das soluções multimodais de RAG com agentes. Uma solução deste tipo segue uma arquitetura bem definida:

Inicialmente, conteúdo bruto — incluindo texto, imagens, áudio e vídeo — é transformado em representações vetoriais através do modelo de embedding. Essas representações encapsulam características semânticas. Posteriormente, os vetores são armazenados em um banco de dados vetorial. Consultas de usuários são igualmente convertidas em vetores de consulta no mesmo espaço vetorial. A recuperação dos K itens mais relevantes ocorre por cálculo de similaridade entre o vetor de consulta e os vetores indexados.

Esta solução de busca e recuperação multimodal pode ser encapsulada como uma ferramenta de Protocol de Contexto de Modelo (Model Context Protocol — MCP), facilitando acesso dentro de uma solução multimodal de RAG com agentes.

Fluxos de Dados

A solução divide-se em dois fluxos de dados distintos:

Ingestão de Dados

• Gerar embeddings: converte entradas (texto, imagens, áudio, vídeo) em representações vetoriais através do modelo de embeddings
• Armazenar embeddings: guarda os vetores gerados em banco de dados vetorial ou estrutura de armazenamento para recuperação posterior

Busca e Recuperação em Tempo de Execução

• Algoritmo de similaridade: calcula similaridade e distância entre vetores de consulta e vetores indexados, recuperando itens mais próximos — distâncias comuns incluem similaridade de cosseno, produto interno e distância Euclidiana
• Recuperação dos K principais e mecanismo de votação: seleciona os K vizinhos mais próximos, possivelmente combinando múltiplas estratégias (votação, re-ranking, fusão)
• Estratégia de integração e recuperação híbrida: combina múltiplos mecanismos de recuperação ou resultados modais, como fusão entre busca por palavras-chave e vetorial

Implementação em Casos de Uso Reais

Classificação e Recuperação de Produtos

Aplicações de e-commerce necessitam classificar automaticamente imagens de produtos e identificar itens similares sem necessidade de marcação manual.

O fluxo implementado segue:

• Converter imagens de produtos em embeddings usando Amazon Nova Multimodal Embeddings
• Armazenar embeddings e rótulos como metadados em banco de dados vetorial
• Consultar novas imagens de produtos e localizar os K produtos similares principais
• Usar mecanismo de votação nos resultados recuperados para prever categoria

Parâmetros-chave de embeddings:

• embeddingPurpose: GENERIC_INDEX (indexação) e IMAGE_RETRIEVAL (consulta) — otimiza para recuperação de imagem de produto
• embeddingDimension: 1024 — equilibra precisão e performance
• detailLevel: STANDARD_IMAGE — apropriado para fotos de produto

Recuperação Inteligente de Documentos

Analistas financeiros, equipes jurídicas e pesquisadores necessitam localizar rapidamente informação específica — tabelas, gráficos, cláusulas — em documentos complexos de múltiplas páginas sem análise manual.

O fluxo segue:

• Converter cada página de PDF em imagem de alta resolução
• Gerar embeddings para todas as páginas do documento
• Armazenar embeddings em banco de dados vetorial
• Aceitar consultas em linguagem natural e convertê-las em embeddings
• Recuperar as K páginas mais relevantes baseado em similaridade semântica
• Retornar páginas contendo tabelas financeiras, gráficos ou conteúdo específico

Parâmetros-chave de embeddings:

• embeddingPurpose: GENERIC_INDEX (indexação) e DOCUMENT_RETRIEVAL (consulta) — otimiza para compreensão de conteúdo de documento
• embeddingDimension: 3072 — precisão máxima para estruturas complexas de documentos
• detailLevel: DOCUMENT_IMAGE — preserva tabelas, gráficos e layout de texto

Para documentos baseados em texto que carecem de elementos visuais, recomenda-se extrair o conteúdo textual, aplicar estratégia de chunking e utilizar GENERIC_INDEX para indexação com TEXT_RETRIEVAL para consulta.

Busca de Clipes de Vídeo

Aplicações de mídia precisam localizar eficientemente clipes de vídeo específicos em vastas bibliotecas utilizando descrições em linguagem natural. Convertendo vídeos e consultas em embeddings dentro de um espaço semântico unificado, a correspondência por similaridade recupera segmentos de vídeo relevantes.

O fluxo implementado segue:

• Gerar embeddings com Amazon Nova Multimodal Embeddings usando a API invoke_model para vídeos curtos ou start_async_invoke para vídeos longos com segmentação
• Armazenar embeddings em banco de dados vetorial
• Aceitar consultas em linguagem natural e convertê-las em embeddings
• Recuperar os K clipes de vídeo principais do banco de dados vetorial para revisão ou edição posterior

Parâmetros-chave de embeddings:

• embeddingPurpose: GENERIC_INDEX (indexação) e VIDEO_RETRIEVAL (consulta) — otimiza para indexação e recuperação de vídeo
• embeddingDimension: 1024 — equilibra precisão e custo
• embeddingMode: AUDIO_VIDEO_COMBINED — funde conteúdo visual e de áudio

Fingerprinting de Áudio

Aplicações de música e sistemas de gestão de direitos autorais necessitam identificar conteúdo de áudio duplicado ou similar, e associar segmentos de áudio a faixas originais para detecção de direitos autorais e reconhecimento de conteúdo.

O fluxo segue:

• Converter arquivos de áudio em embeddings usando Amazon Nova Multimodal Embeddings
• Armazenar embeddings em banco de dados vetorial com gênero e outros metadados
• Consultar com segmentos de áudio e localizar as K faixas similares principais
• Comparar scores de similaridade para identificar correspondências de origem e detectar duplicações

Parâmetros-chave de embeddings:

• embeddingPurpose: GENERIC_INDEX (indexação) e AUDIO_RETRIEVAL (consulta) — otimiza para fingerprinting e correspondência de áudio
• embeddingDimension: 1024 — equilibra precisão e performance para similaridade de áudio

Conclusão

O Amazon Nova Multimodal Embeddings possibilita trabalhar com tipos diversificados de dados dentro de um espaço semântico unificado. Ao oferecer suporte a texto, imagens, documentos, vídeo e áudio através de parâmetros flexíveis de API otimizados para propósitos específicos, permite construir sistemas de recuperação mais efetivos, pipelines de classificação e aplicações de busca semântica. Independentemente de estar implementando busca cross-modal, inteligência de documentos ou classificação de produtos, o Amazon Nova Multimodal Embeddings oferece a fundação para extrair insights de dados não-estruturados em escala.

Para iniciar, explore Amazon Nova Multimodal Embeddings: modelo de embedding de ponta para RAG com agentes e busca semântica e exemplos no GitHub para integrar o Amazon Nova Multimodal Embeddings nas suas aplicações hoje mesmo.

Fonte

A practical guide to Amazon Nova Multimodal Embeddings (https://aws.amazon.com/blogs/machine-learning/a-practical-guide-to-amazon-nova-multimodal-embeddings/)