Construindo aplicações de voz com IA de latência ultrabaixa na AWS

Por que latência em voz é um problema difícil de resolver

A IA conversacional está mudando a forma como humanos interagem com a tecnologia. Assistentes virtuais, centrais de atendimento com IA, tradução em tempo real e ferramentas de acessibilidade já fazem parte do dia a dia de milhões de usuários. Mas entregar uma experiência de voz verdadeiramente natural continua sendo um dos desafios mais complexos em infraestrutura de IA.

O motivo é simples: usuários esperam respostas com a mesma agilidade de uma conversa humana. Qualquer atraso perceptível quebra o fluxo da conversa e corrói a confiança. Para soar natural, a fala gerada por IA precisa chegar dentro da mesma janela temporal que os humanos usam nas trocas de turno em uma conversa.

Os modelos tradicionais de síntese de fala baseados em transformers têm uma limitação arquitetural importante: eles processam a sequência inteira antes de produzir qualquer saída. Isso cria uma tensão fundamental — mais qualidade geralmente significa mais latência. É exatamente esse problema que uma nova classe de modelos, os Modelos de Espaço de Estados (SSMs — State Space Models), veio resolver.

O que são Modelos de Espaço de Estados (SSMs)

Os SSMs adotam uma abordagem fundamentalmente diferente dos transformers para processar sequências. Os transformers usam um mecanismo de atenção que compara cada elemento da sequência com todos os outros. O custo computacional cresce de forma quadrática conforme a sequência aumenta. Já os SSMs tratam a sequência como um sistema que evolui continuamente no tempo, processando passo a passo e mantendo um estado interno compacto. Isso os torna muito mais eficientes para certos tipos de dados longos, como áudio em tempo real.

As principais vantagens dos SSMs para processamento de áudio são:

• Dependências de longo alcance com alta qualidade: os SSMs estruturados são uma forma de recorrência linear, mas sua parametrização de estado preserva informações ao longo de longas sequências de áudio, evitando o decaimento de sinal que limita Redes Neurais Recorrentes (RNNs) clássicas como as redes de Memória de Longo e Curto Prazo (LSTM — Long Short-Term Memory).
• Uso de memória constante: diferente dos transformers, que armazenam em cache todos os tokens anteriores, os SSMs mantêm um estado oculto de tamanho fixo.
• Suporte nativo a streaming: a estrutura recorrente processa entrada token a token, permitindo streaming real sem modificações arquiteturais.

Essas propriedades tornam os SSMs especialmente adequados para aplicações de voz em tempo real, onde qualidade e latência são requisitos inegociáveis ao mesmo tempo.

Cartesia: a empresa por trás da solução

A Cartesia é uma parceira AWS especializada em inteligência de voz em tempo real. Fundada por pesquisadores que pioneiraram os avanços em SSMs, a empresa construiu sua plataforma de voz com IA especificamente sobre essa arquitetura, projetada para inferência em streaming na fronteira da percepção humana.

A Cartesia oferece dois modelos principais: Sonic, para síntese de texto em fala, e Ink, para transcrição de fala em texto. Ambos são otimizados para latência de primeiro byte abaixo de 100ms, mantendo qualidade de áudio equivalente a estúdio.

Sonic — síntese de texto em fala (TTS)

O Sonic é o modelo principal de síntese de fala em streaming da Cartesia. Suas características incluem:

• Primeiro byte de áudio em aproximadamente 90ms.
• Qualidade de voz ultra-realista com prosódia, emoção e expressividade natural em mais de 44 idiomas.
• Clonagem de voz com dados mínimos: é possível criar vozes personalizadas a partir de amostras de áudio de apenas 10 segundos.
• Arquitetura nativa para streaming: o áudio começa a ser gerado antes mesmo de toda a entrada de texto ser recebida.
• Síntese sensível ao contexto: mantém tom e estilo consistentes em trechos longos.

Ink — transcrição de fala em texto (STT)

O Ink é o modelo de transcrição em streaming da Cartesia, desenvolvido especificamente para aplicações de IA conversacional:

• Detecção de turno nativa: identifica automaticamente quando o falante terminou sua vez, sem precisar de um modelo separado de Detecção de Atividade de Voz (VAD — Voice Activity Detection) ou de ponto de encerramento.
• Encerramento sensível ao contexto: usa compreensão semântica para distinguir pausas no meio de frases de finais reais de turno.
• Transcrição em streaming: emite transcrições parciais em tempo real enquanto o usuário fala, permitindo que um Modelo de Linguagem Grande (LLM — Large Language Model) downstream comece a formular sua resposta antes do turno terminar.
• Robustez a ruído: mantém precisão em ambientes ruidosos comuns em implantações reais.
• Suporte a múltiplos falantes: lida com sobreposição de falas e transições entre falantes.

Juntos, Sonic e Ink formam o conjunto completo de voz com IA necessário para construir agentes conversacionais que soam humanos.

Casos de uso que se beneficiam desta abordagem

A demanda por voz com IA em tempo real cresce rapidamente em diferentes setores:

• Centrais de atendimento: agentes de IA que lidam com milhões de interações precisam de geração de fala instantânea para manter diálogos naturais.
• Telessaúde: consultas remotas exigem voz de baixa latência para comunicação precisa e empática.
• Games e mundos virtuais: experiências imersivas requerem síntese de voz em tempo real para personagens não jogáveis (NPCs) e interações entre jogadores.
• Acessibilidade: leitores de tela e interfaces de voz precisam responder instantaneamente para atender usuários com deficiência visual.
• Vendas inbound e outbound: agentes de IA precisam responder sem pausas desconfortáveis para qualificar leads e manter prospects engajados.

Como implantar a Cartesia na AWS

Para equipes que precisam de soberania de dados, controle de latência ou conformidade regulatória, é possível implantar os modelos da Cartesia diretamente na própria conta AWS. O Sonic está disponível como um pacote de modelo do Amazon SageMaker AI via AWS Marketplace, implantado em um endpoint do SageMaker rodando inteiramente dentro da Nuvem Privada Virtual (VPC — Virtual Private Cloud) do cliente. Os dados de inferência não saem da conta.

Existem dois padrões principais de implantação para o Sonic.

Opção 1: Amazon SageMaker AI via AWS Marketplace

Implantar via Amazon SageMaker AI é o caminho mais rápido para um endpoint gerenciado dentro da VPC. O Sonic está disponível como pacote de modelo no AWS Marketplace, exigindo uma única etapa de assinatura que concede à conta um Nome de Recurso Amazon (ARN — Amazon Resource Name) específico por região.

Os pré-requisitos incluem executar o processo a partir de uma instância de notebook do Amazon SageMaker ou do SageMaker Studio, com a função de execução do Gerenciamento de Identidade e Acesso (IAM — Identity and Access Management) com a política AmazonSageMakerFullAccess. Para assinar, a função também precisa das permissões aws-marketplace:Subscribe, aws-marketplace:Unsubscribe e aws-marketplace:ViewSubscriptions.

Os tipos de instância suportados incluem ml.g6e.xlarge ou maior, ml.g7e.2xlarge ou maior, ml.g7.2xlarge ou maior, ml.p5.48xlarge e ml.p5en.48xlarge. Caso o tipo de instância escolhido exija aumento de cota, consulte as cotas do SageMaker AI.

O processo de implantação do Sonic 3.6 segue quatro etapas: assinar o pacote no AWS Marketplace, criar o modelo SageMaker a partir da assinatura, criar um endpoint em tempo real com uma instância GPU suportada (como ml.g6e.2xlarge) e aguardar o status InService antes de invocar.

Para verificar o pacote do Sonic 3.6 na região Leste dos EUA (Norte da Virgínia) via API do SageMaker, o comando é:

export MODEL_PACKAGE_ARN="arn:aws:sagemaker:us-east-1:865070037744:model-package/sonic36-sagemaker-v0-c6e9cacffcdf31178d1bd7c98c587480"
aws sagemaker describe-model-package \
  --model-package-name "$MODEL_PACKAGE_ARN" \
  --region us-east-1 \
  --query '{Status:ModelPackageStatus,ProductId:InferenceSpecification.Containers[0].ProductId,InstanceTypes:InferenceSpecification.SupportedRealtimeInferenceInstanceTypes}'

Após o endpoint atingir o status InService, ele deve ser invocado com a API InvokeEndpointWithResponseStream do SageMaker Runtime para processar o stream de áudio retornado.

O Ink, por sua vez, está disponível via API da Cartesia, que pode ser adquirida através da listagem Cartesia Voice AI Platform no AWS Marketplace.

Opção 2: Autogerenciado em instâncias EC2 com GPU

Para equipes com infraestrutura de GPU existente, requisitos de rede específicos ou necessidade de colocar a Cartesia junto com outros serviços, é possível rodar o container do modelo diretamente em instâncias do Amazon Elastic Compute Cloud (Amazon EC2) com GPU. Essa abordagem oferece controle total sobre o runtime, escalabilidade e caminho de rede.

O fluxo geral envolve as seguintes etapas:

• Obter a imagem do container: solicitar a imagem do Sonic à Cartesia e replicá-la em um repositório privado do Amazon Elastic Container Registry (Amazon ECR) para que o plano de computação possa fazer o pull com credenciais IAM.
• Escolher a família de instâncias GPU: as famílias G6 (L4) e G6e (L40S) oferecem o melhor equilíbrio para TTS em tempo real. A família G5 (A10G) também é compatível.
• Provisionar o plano de computação: via Amazon Elastic Container Service (Amazon ECS), com uma definição de tarefa GPU e um Application Load Balancer; ou via Amazon Elastic Kubernetes Service (Amazon EKS), com um node group GPU e o plugin de dispositivo NVIDIA instalado.
• Configurar a rede para baixa latência: usar grupos de posicionamento em cluster, manter réplicas em uma única Zona de Disponibilidade e usar endpoints de VPC para pulls do ECR/S3. Para chamadas híbridas ou on-premises, encerrar o tráfego via AWS Direct Connect ou um Network Load Balancer privado.
• Carregar pesos do modelo com eficiência: armazenar os pesos em um volume compartilhado de baixa latência como Amazon Elastic File System (Amazon EFS) ou Amazon FSx for Lustre, montado entre réplicas para evitar downloads repetidos.
• Ajustar batching e concorrência: configurar o tamanho máximo de batch e os limites de streams concorrentes de acordo com o perfil de tráfego, equilibrando utilização de GPU e latência do primeiro byte.
• Implementar auto scaling personalizado: escalar com base em sinais que refletem a carga real — contagem de streams de áudio ativos ou utilização de GPU — usando AWS Application Auto Scaling com métricas personalizadas do Amazon CloudWatch no ECS, ou HPA/KEDA no EKS.
• Adicionar observabilidade e resiliência: emitir métricas de latência (tempo até o primeiro byte), contagens de streams e métricas de GPU para o CloudWatch. Manter ao menos duas réplicas em nós diferentes e configurar políticas de atualização progressiva para não interromper streams em andamento.

Para saber mais sobre cada componente, a AWS disponibiliza documentação sobre definições de tarefas do Amazon ECS para cargas de trabalho GPU, gerenciamento de dispositivos NVIDIA GPU no Amazon EKS e introdução a instâncias EC2 com aceleração GPU.

Comparativo entre os dois padrões

A tabela abaixo resume as diferenças entre as duas abordagens de implantação do Sonic:

• Tempo de implantação: minutos via SageMaker Marketplace vs. horas ou dias no modelo autogerenciado.
• Controle operacional: gerenciado pela AWS vs. controle total pela equipe.
• Escalabilidade: escalonamento automático do SageMaker vs. políticas de scaling customizadas.
• Modelo de custo: taxa de software + hora de instância + infraestrutura vs. EC2 com possibilidade de Reserved ou Spot.
• Melhor para: implantação rápida e gerenciada dentro da VPC vs. infraestrutura customizada com máximo controle.

Em produção: Amazon Connect

Os modelos de voz da Cartesia já estão em operação dentro de serviços da Amazon em produção. O Amazon Connect é um serviço de central de atendimento baseado em nuvem que as empresas usam para configurar e operar suporte ao cliente com chamadas de voz inbound e outbound, chat e mensagens. Com precificação por uso e integração profunda com os serviços AWS, o Amazon Connect processa milhões de interações diariamente em setores como serviços financeiros e saúde.

A integração da Cartesia com o Amazon Connect entrega:

• Responsividade instantânea: elimina pausas não naturais que corroem a confiança do cliente em interações com IA.
• Transcrição em tempo real: o Ink fornece transcrição ao vivo com detecção inteligente de turno para fluxos de assistência a agentes.
• Suporte multilíngue: atendimento em mais de 44 idiomas com qualidade de voz consistente e prosódia natural.
• Infraestrutura escalável: capacidade de lidar com picos de tráfego em horários de pico sem degradação na qualidade ou na latência.

Como começar

Para quem quer explorar a solução, a AWS e a Cartesia indicam os seguintes caminhos:

• Implantar o Sonic via SageMaker JumpStart: buscar por “Cartesia” no hub de modelos do SageMaker JumpStart e implantar um endpoint em tempo real em minutos.
• Experimentar a API da Cartesia: acessar o guia de introdução da Cartesia sem necessidade de configuração de infraestrutura.
• Explorar arquiteturas de referência: visitar o repositório GitHub da Cartesia para notebooks de exemplo, templates de implantação e exemplos de integração.
• Entrar em contato com a equipe: falar com a Cartesia no AWS Marketplace.

Fonte

Building ultra-low-latency voice AI applications on AWS (https://aws.amazon.com/blogs/machine-learning/building-ultra-low-latency-voice-ai-applications-on-aws/)