Amazon Bedrock Knowledge Base passa a suportar embeddings multimodais para vídeo, áudio e imagem com o TwelveLabs Marengo 3.0

O que foi anunciado

A AWS anunciou a disponibilidade do TwelveLabs Marengo 3.0 como modelo de embedding no Amazon Bedrock Managed Knowledge Base. Com essa integração, equipes de desenvolvimento passam a contar com suporte nativo para criar embeddings multimodais a partir de conteúdos de vídeo, áudio e imagem — tudo isso dentro do ecossistema gerenciado do Bedrock, sem necessidade de gerenciar infraestrutura própria.

Além da transcrição: o que muda com o Marengo 3.0

O Amazon Bedrock Managed Knowledge Base já oferecia uma forma de busca em mídia: transcrevia o áudio e o vídeo para texto e gerava embeddings baseados nesse texto. Funciona bem para muitos cenários, mas tem uma limitação clara — significados que estão na imagem, no tom de voz ou em elementos visuais simplesmente se perdem na transcrição.

O Marengo 3.0 vai além disso. Em vez de converter tudo para texto antes de processar, o modelo codifica diretamente cenas visuais, fala e pistas de vídeo em embeddings multimodais. Isso significa que o sistema consegue capturar nuances de significado que a transcrição sozinha não conseguiria representar.

Como funciona na prática

O fluxo de uso é direto: basta fazer o upload dos arquivos de mídia a partir de fontes de dados como o Amazon S3, sincronizar e realizar buscas usando linguagem natural. Não há infraestrutura para configurar ou gerenciar.

O Marengo 3.0 gera vetores compactos de 512 dimensões, com precisão de recuperação considerada estado da arte. Um detalhe relevante para aplicações práticas: os resultados incluem os tempos de início e fim de cada segmento, o que permite que a aplicação leve o usuário diretamente ao momento relevante dentro de um vídeo — sem precisar assistir tudo do começo.

O modelo também oferece opções configuráveis de segmentação, para que a estrutura do conteúdo seja respeitada conforme a necessidade de cada projeto.

Casos de uso desbloqueados

Com essa capacidade, a AWS aponta para uma série de aplicações que antes seriam difíceis ou impraticáveis com busca baseada apenas em texto:

  • Esportes e entretenimento: localizar jogadas específicas em temporadas inteiras de footage de partidas
  • Educação: encontrar trechos de aulas por conceito, não apenas por palavras-chave
  • Segurança: busca semântica em gravações de câmeras e registros de áudio
  • Varejo: indexação e recuperação de conteúdo visual de produtos
  • Mídia: organização e busca em grandes acervos audiovisuais

Onde saber mais

Para quem quiser aprofundar os detalhes técnicos da integração, a AWS disponibilizou a documentação completa no guia do usuário: integração do modelo de embedding TwelveLabs Marengo 3.0 no Amazon Bedrock Knowledge Base User Guide. Informações gerais sobre o serviço também estão disponíveis na página do produto Amazon Bedrock Knowledge Bases.

Fonte

Amazon Bedrock Managed Knowledge Base now supports multimodal embeddings for video, audio, and image content with TwelveLabs Marengo 3.0 (https://aws.amazon.com/about-aws/whats-new/2026/09/amazon-bedrock-managed-knowledge-base-multimodal-embeddings-twelvelabs-marengo/)

Comments

Leave a Reply

Your email address will not be published. Required fields are marked *