O problema que ninguém quer resolver manualmente
Vídeos e imagens representam uma fatia enorme do conhecimento corporativo — e também uma das partes mais difíceis de pesquisar. Equipes de esportes, segurança, educação, mídia e varejo convivem diariamente com o desafio de encontrar momentos específicos em horas de gravação. Fazer isso hoje, de forma semântica (ou seja, pesquisando por significado e não por palavras-chave exatas), exige montar um pipeline complexo: transcrição de áudio, extração de frames, modelos de embedding, banco de dados vetorial, lógica de sincronização — tudo isso mantido e orquestrado pela própria equipe.
A AWS endereçou diretamente esse problema ao anunciar a disponibilidade geral do TwelveLabs Marengo Embed 3.0 como opção de modelo de embedding dentro do Amazon Bedrock Knowledge Bases.
O que é o Marengo Embed 3.0
O Marengo Embed 3.0 é um modelo de embedding multimodal desenvolvido pela TwelveLabs. Ele codifica conjuntamente vídeo, áudio, imagens e texto em um espaço vetorial compacto de 512 dimensões — o que significa que todos esses tipos de conteúdo são representados em um mesmo espaço de busca, permitindo que uma consulta em texto encontre resultados em vídeo, e vice-versa.
Com esse modelo disponível no Amazon Bedrock Knowledge Bases, a geração de embeddings multimodais passa a ser totalmente gerenciada. O serviço captura sinais visuais, textuais, de fala e de áudio em uma representação vetorial unificada, sem que o time de desenvolvimento precise se preocupar com a infraestrutura por trás disso.
Como funciona dentro do Amazon Bedrock Knowledge Bases
O Amazon Bedrock Knowledge Bases é um serviço gerenciado de Geração Aumentada por Recuperação (RAG — Retrieval Augmented Generation) que cuida de armazenamento, ingestão, embedding, re-ranking e recuperação de conteúdo. Ele suporta arquivos de vídeo (MP4, MOV), imagens (JPEG, PNG) e faixas de áudio, com conectores nativos para o Amazon Simple Storage Service (S3), SharePoint, Confluence e outros.
A combinação do Bedrock Knowledge Bases com o Marengo 3.0 — chamada de Managed Knowledge Bases (MKB Gerenciado) — automatiza toda a cadeia: segmentação do conteúdo, amostragem de frames, transcrição de áudio e geração de embeddings para cada segmento, com os vetores escritos diretamente no índice.
Passo a passo: criando uma knowledge base com Marengo 3.0
A AWS publicou um walkthrough completo usando um clipe de 10 minutos da final da Copa do Mundo FIFA 2022 como exemplo prático. Veja como o fluxo funciona:
1. Prepare os arquivos de mídia
Faça o upload dos arquivos de vídeo para um bucket do Amazon S3. Nenhum pré-processamento é necessário — o MKB Gerenciado cuida internamente da segmentação, amostragem de frames e transcrição.
2. Crie a knowledge base gerenciada
No console do Amazon Bedrock, acesse a seção Knowledge Bases e selecione a opção de criar uma KB Gerenciada. Nas configurações adicionais, o modelo de embedding padrão é o Amazon Titan Text — basta alterar para o TwelveLabs/Marengo Embed 3.0. Em seguida, configure a fonte de dados apontando para o bucket S3 com os arquivos de vídeo.
Nas configurações avançadas, é possível ajustar a duração dos segmentos de áudio e vídeo. O padrão é de 4 segundos para ambas as modalidades.
3. Sincronize e ingira os dados
Após criar a knowledge base, basta iniciar o processo de sincronização. O MKB Gerenciado extrai os frames, transcreve o áudio, gera os embeddings com o Marengo 3.0 para cada segmento e grava os vetores no índice automaticamente.
4. Execute buscas semânticas
A busca pode ser testada diretamente pelo console, sem nenhum código adicional. É possível configurar quantos chunks de resultado recuperar, aplicar filtros de metadados e executar consultas como “show me the penalty kicks from this soccer match”. Os resultados retornam ranqueados com metadados que incluem tempo de início do chunk, tempo de fim, URI de origem e tipo de embedding — o suficiente para extrair os trechos relevantes do vídeo original.
5. Integre com sua aplicação
Para uso em produção, a AWS disponibiliza a API de Recuperação (Retrieve API) do Amazon Bedrock, acessível via SDK Boto3 em Python. A arquitetura completa prevê que o conteúdo multimodal flua do Amazon S3 pelo MKB Gerenciado com Marengo 3.0 para indexação e embedding, sendo consultado pelas aplicações via Boto SDK Retrieve API ou como destino do Amazon Bedrock AgentCore.
6. Limpeza dos recursos
Para remover os recursos criados durante o teste, a AWS recomenda excluir a knowledge base pelo console do Bedrock (anotando o nome da role de Gerenciamento de Identidade e Acesso (IAM — Identity and Access Management) e o Nome de Recurso Amazon (ARN — Amazon Resource Name) do índice S3 Vector antes de deletar), remover a role de serviço pelo console do IAM e excluir os arquivos do bucket S3.
Casos de uso por segmento
A AWS destaca aplicações práticas em diferentes setores:
- Análise esportiva: encontrar jogadas, formações ou ações de jogadores em temporadas inteiras de filmagem.
- Mídia e entretenimento: gestão de acervo de mídia e busca semântica em arquivos ou serviços de streaming.
- Segurança e proteção: buscar em imagens de câmeras de segurança por incidentes ou atividades específicas.
- Educação e treinamento: localizar segmentos de aulas por conceito, não apenas por palavras-chave.
- Varejo: buscar em vídeos de demonstração de produtos por funcionalidades específicas.
Disponibilidade e preços
O Managed Knowledge Bases para Amazon Bedrock com Marengo Embed 3.0 está disponível nas regiões US East — Norte da Virgínia (us-east-1) e US West — Norte da Califórnia (us-west-1). Para a lista completa de modelos e regiões suportadas, consulte a documentação de modelos suportados por região no Amazon Bedrock.
O modelo de cobrança é baseado no que é armazenado e recuperado. A geração de embeddings com o Marengo Embed 3.0 é cobrada pela taxa padrão de invocação de modelos do Amazon Bedrock. Mais detalhes estão disponíveis na página de preços do Bedrock.
Próximos passos
Para quem quiser se aprofundar, a AWS disponibiliza alguns recursos complementares:
- Documentação técnica: Amazon Bedrock Knowledge Bases e o guia para construir uma knowledge base gerenciada.
- Exemplos de código: o repositório de exemplos do Amazon Bedrock no GitHub conta com notebooks práticos sobre recuperação multimodal.
- Detalhes técnicos do modelo: a documentação do Marengo 3.0 traz informações mais aprofundadas sobre o funcionamento do embedding.
Fonte
Video and image search in Amazon Bedrock Knowledge Base using Marengo 3.0 (https://aws.amazon.com/blogs/machine-learning/video-and-image-search-in-amazon-bedrock-knowledge-base-using-marengo-3-0/)
Leave a Reply