Implementando super resolução com SeedVR2 no Amazon SageMaker AI

O problema: acervos de vídeo em baixa resolução num mundo de telas 4K

À medida que as tecnologias de exibição avançam para resoluções cada vez mais altas, organizações de todos os tamanhos enfrentam um desafio em comum: seus acervos de vídeo existentes foram produzidos em resoluções menores e aparecem pixelados ou borrados em monitores modernos de alta definição. As abordagens tradicionais de upscaling costumam tropeçar em limitações computacionais, qualidade inconsistente e dificuldade de escalar quando o volume de conteúdo é grande. Além disso, muitas soluções não conseguem restaurar detalhes finos, afiar bordas ou reduzir artefatos de ruído de forma satisfatória.

Para endereçar esse cenário, a AWS publicou um guia técnico demonstrando como implantar o SeedVR2 no Amazon SageMaker AI para realizar super resolução de vídeos de forma escalável e com controle de custos.

O que é o SeedVR2?

O SeedVR2 é um modelo open-source de restauração de vídeo desenvolvido pelo time Seed da ByteDance. Ele analisa as informações visuais quadro a quadro para reconstruir detalhes e melhorar a qualidade do vídeo, eliminando a necessidade de readquirir conteúdo em resoluções mais altas.

Tecnicamente, o SeedVR2 combina modelos de difusão e Redes Adversariais Generativas (GANs) por meio de um processo chamado diffusion adversarial post-training (APT). A arquitetura base conta com 16 bilhões de parâmetros e opera em duas etapas:

• Destilação progressiva: comprime 64 passos de inferência em apenas 1, tornando o processo muito mais eficiente.
• Treinamento com dados reais: o modelo aprende a partir de vídeos reais em alta resolução, garantindo resultados mais naturais.

A arquitetura usa um Swin Transformer para atenção adaptativa por janelas (adaptive window attention) e incorpora múltiplos mecanismos de estabilização: RpGAN relativístico (RpGAN), regularização R1/R2 e feature matching loss. A inovação central está em combinar a confiabilidade dos modelos de difusão com a eficiência das GANs, permitindo processar frames inteiros enquanto se ajusta dinamicamente às resoluções-alvo.

Casos de uso

O upscaling de vídeo tem aplicações relevantes em diversos setores:

• Preservação de patrimônio cultural: arquivos, museus e emissoras podem restaurar e digitalizar filmagens históricas em resoluções mais altas, tornando o conteúdo adequado para plataformas modernas.
• Serviços de streaming: plataformas podem fazer upscaling de séries e filmes antigos para 4K ou resoluções superiores, melhorando a experiência dos assinantes sem precisar remasterizar todo o acervo.
• Vídeos gerados por IA: um caso de uso emergente e valioso é o upscaling de vídeos sintéticos, que normalmente são gerados em resoluções menores por conta do alto custo computacional da geração direta em alta resolução. Com essa abordagem, criadores podem prototipar rapidamente em baixa resolução e depois aprimorar o resultado, reduzindo tempo e recursos no fluxo de produção de vídeo com IA.

Arquitetura da solução

A solução proposta pela AWS usa uma arquitetura de três camadas definida com o Kit de Desenvolvimento para Nuvem da AWS (AWS CDK) como infraestrutura como código. As três camadas são:

SecurityStack — fundação de segurança

Essa camada estabelece a base com configuração de Nuvem Privada Virtual da Amazon (Amazon VPC), funções de Gerenciamento de Identidade e Acesso da AWS (AWS IAM) com acesso de menor privilégio e chaves de criptografia do Serviço de Gerenciamento de Chaves da AWS (AWS KMS). Ela cria o perímetro de segurança que isola as cargas de trabalho de processamento de vídeo em sub-redes privadas, mantendo acesso seguro aos serviços AWS por meio de endpoints de VPC.

DataStack — camada de armazenamento

Implementa a camada de armazenamento com buckets do Serviço de Armazenamento Simples da Amazon (Amazon S3) com criptografia no servidor tanto para os vídeos de entrada quanto para os de saída. O bucket de entrada armazena os vídeos brutos; o de saída guarda os vídeos já processados. Ambos têm versionamento habilitado com políticas de ciclo de vida para gerenciamento de objetos.

Pipeline de processamento

O núcleo do processamento passa por uma função AWS Lambda que dispara um job de processamento do Amazon SageMaker AI. O job de processamento usa instâncias ml.g5.4xlarge que executam um container Docker customizado. Esse container empacota o modelo SeedVR2 para ComfyUI e oferece upscaling de vídeo de alta qualidade com parâmetros configuráveis de resolução e processamento em lote. O ComfyUI serve como framework de inferência, fornecendo execução otimizada para hardware.

O fluxo começa quando um vídeo é enviado ao bucket S3 de entrada. A função Lambda então cria um job de processamento no SageMaker, que puxa o container customizado do Registro de Containers Elástico da Amazon (Amazon ECR), monta os buckets S3 de entrada e saída, e executa o algoritmo de upscaling na infraestrutura com GPU. Os vídeos processados são salvos no bucket de saída. O Amazon CloudWatch fornece logs para monitoramento e resolução de problemas em todo o pipeline.

Como implantar a solução

Pré-requisitos

Antes de começar, é necessário ter instalados e configurados: Python 3.13 ou superior, a Interface de Linha de Comando da AWS (AWS CLI), Docker, AWS CDK v2, uma conta AWS com as permissões adequadas e uma solicitação de cota de serviço para ml.g5.4xlarge em jobs de processamento do SageMaker.

Passo 1: clonar o projeto e configurar o ambiente

git clone https://github.com/aws-samples/sample-sagemaker-video-upscaler.git
cd sample-sagemaker-video-upscaler
cp .env.example .env

Edite o arquivo .env com os dados da sua conta AWS:

AWS_ACCOUNT_ID=<AWS Account ID>
REGION=<AWS Region>

Passo 2: instalar dependências e inicializar o AWS CDK

curl -LsSf https://astral.sh/uv/install.sh | sh
uv venv --python 3.13 and source .venv/bin/activate
uv sync

Em seguida, faça o bootstrap do CDK na sua conta (etapa única). Se encontrar erros de permissão, verifique suas credenciais com aws sts get-caller-identity.

cdk bootstrap aws://<AWS_ACCOUNT_ID>/<REGION>

Passo 3: autenticar com o Amazon ECR

Autentique o Docker no registro ECR de containers de aprendizado profundo da AWS na região us-east-1. Isso é necessário para baixar a imagem base do PyTorch durante o build local do Docker, independentemente da região de implantação.

aws ecr get-login-password --region us-east-1 | \
docker login --username AWS --password-stdin \
763104351884.dkr.ecr.us-east-1.amazonaws.com

Passo 4: implantar a infraestrutura

Um único comando cria toda a infraestrutura: VPC, buckets S3, função Lambda, definição do job de processamento do SageMaker e repositório no ECR. O processo leva entre 15 e 20 minutos, dependendo da capacidade de computação e da velocidade de rede.

cdk deploy --all --require-approval never

Passo 5: testar o pipeline

Envie um vídeo de teste para o bucket S3 de entrada:

aws s3 cp your-video.mp4 s3://<account-id>-<region>-datastack-input-bucket/

Dispare a função Lambda para iniciar o job de processamento:

aws lambda invoke \
  --function-name SeedVrStack-ProcessingJob-Trigger-SeedVr-trigger-Lambda \
  --payload '{}' \
  output.json

O progresso pode ser acompanhado pelos logs do CloudWatch para a execução da Lambda, pelo console do SageMaker para o status do job de processamento e pelo console do S3 para verificar o vídeo aprimorado na saída. Se o job falhar, revise os logs do CloudWatch em /aws/sagemaker/ProcessingJobs.

Ajuste de performance e custos

Os parâmetros de processamento podem ser personalizados no arquivo config/config.yaml:

InstanceType: ml.g5.4xlarge # Minimum resolution: "540" # Output quality batch_size: "81" # Processing efficiency model: "seedvr2_ema_3b_fp8_e4m3fn.safetensors"

Para a lista completa de modelos disponíveis, consulte os modelos SeedVR2 para ComfyUI no Hugging Face.

Em relação a custos, a instância ml.g5.4xlarge custa aproximadamente USD 1,20 por hora (valor no momento da publicação, podendo variar por região), e a cobrança ocorre apenas pelo tempo de uso da instância. Os custos de armazenamento no S3 são mínimos para a maioria dos casos de uso.

Para conjuntos de dados maiores, é possível escalar com múltiplas instâncias paralelas alterando o parâmetro S3DataDistributionType para ShardedByS3Key na chamada boto3 de create_processing_job. Mais detalhes estão disponíveis na referência da API ProcessingS3Input.

Comparativo de qualidade: o que muda na prática

O artigo original apresenta três estágios de comparação para ilustrar os ganhos de qualidade:

Vídeo original (240p)

O material de origem é um clipe em resolução 240p. A pixelação é visível, especialmente nas bordas, e há pouco detalhe e clareza — algo que se torna ainda mais evidente em telas de alta resolução modernas.

Upscaling bicúbico (540p)

Ao aplicar o método tradicional de upscaling bicúbico para atingir 540p, há pequenas melhorias de nitidez geral. No entanto, as limitações da interpolação matemática ficam evidentes: a imagem fica maior, mas surgem artefatos como suavização excessiva de texturas. O algoritmo não consegue recriar detalhes autênticos, produzindo resultados com aparência artificial.

Upscaling com SeedVR2 (540p)

O resultado do SeedVR2 demonstra melhora visual significativa ao atingir 540p. O aprimoramento baseado em IA reconstrói detalhes finos mantendo texturas com aparência natural — melhor clareza em texturas, consistência de cores e definição de bordas. O resultado tem uma qualidade mais cinematográfica em comparação aos métodos tradicionais.

Limpeza dos recursos

Para evitar cobranças desnecessárias após os testes, o artigo recomenda seguir quatro etapas de limpeza:

Passo 1: esvaziar os buckets S3

aws s3 rm s3://<seedvr-input-bucket> --recursive
aws s3 rm s3://<seedvr-output-bucket> --recursive

Passo 2: destruir as stacks do AWS CDK

cdk destroy --all --force

Passo 3: limpar arquivos locais

rm -rf cdk.out/ .cdk.staging/
find . -type d -name "__pycache__" -delete

Passo 4: verificar a limpeza

aws cloudformation list-stacks --stack-status-filter DELETE_COMPLETE
aws s3 ls | grep seedvr
aws sagemaker list-processing-jobs --max-results 5

Conclusão

A combinação do SeedVR2 com a infraestrutura gerenciada do Amazon SageMaker AI oferece uma abordagem custo-eficiente para aprimoramento de vídeo em escala. A arquitetura sob demanda suporta uso eficiente de recursos, e o fluxo automatizado reduz intervenção manual — tornando o aprimoramento de vídeo de alta qualidade acessível a organizações de todos os tamanhos.

À medida que o conteúdo em vídeo cresce e as tecnologias de exibição avançam, soluções de upscaling eficientes se tornam cada vez mais relevantes. Essa implementação mostra como a arquitetura em nuvem pode democratizar o acesso ao processamento avançado de vídeo sem exigir grandes investimentos em infraestrutura própria.

Para começar, explore o repositório sample-sagemaker-video-upscaler no GitHub e implante a solução para o seu caso de uso. Contribuições via pull requests e abertura de issues para melhorias e correções também são bem-vindas.

Fonte

Implementing super resolution by deploying SeedVR2 on Amazon SageMaker AI (https://aws.amazon.com/blogs/machine-learning/implementing-super-resolution-by-deploying-seedvr2-on-amazon-sagemaker-ai/)