Ensinando modelos a esquecer: desalinhamento seletivo com o Amazon Nova

O problema do excesso de cautela em modelos de linguagem

Quem trabalha com modelos de fundação (FMs — Foundation Models) em produção sabe que os mecanismos de segurança embutidos, embora essenciais, às vezes bloqueiam requisições completamente legítimas. Uma empresa de mídia que precisa resumir roteiros com linguagem adulta, uma equipe de segurança cibernética simulando ataques reais para treinamento, ou um time jurídico analisando evidências sensíveis — todos podem se deparar com recusas do modelo onde não deveriam.

Um exemplo concreto: uma equipe de segurança pedindo ao modelo que gere um e-mail de phishing simulado para treinar funcionários pode receber uma negativa, mesmo que a intenção seja claramente defensiva. O problema é que essas restrições não estão em um filtro externo — elas estão gravadas nos próprios parâmetros do modelo, incorporadas durante a fase de alinhamento pós-treinamento. Engenharia de prompt não resolve. É preciso atuar no nível do modelo.

Para endereçar esse desafio, a AWS publicou os detalhes técnicos por trás do Configurações Personalizáveis de Moderação de Conteúdo (CCMS) do Amazon Nova, apresentando a técnica que o sustenta: o rDPO (Otimização de Preferência Direta Reversa — Reverse Direct Preference Optimization).

O que é o CCMS e como ele funciona

O CCMS permite que clientes aprovados ajustem seletivamente as proteções do Amazon Nova em quatro pilares de IA Responsável (RAI — Responsible AI):

• Segurança — Abrange atividades perigosas, armas e substâncias controladas.
• Conteúdo sensível — Inclui linguagem imprópria, nudez e bullying.
• Equidade — Considerações sobre viés e cultura.
• Segurança cibernética — Preocupações envolvendo malware e conteúdo malicioso.

Vale destacar: o Amazon Nova mantém controles invioláveis e não configuráveis para uso responsável da IA, como proteções contra danos a crianças e preservação de privacidade. O CCMS opera dentro desses limites — não os remove.

A base científica do CCMS é o conceito de unlearning (desaprendizado), uma técnica para remover seletivamente comportamentos aprendidos dos parâmetros de um modelo sem precisar retreiná-lo do zero. A AWS treina adaptadores de Adaptação de Baixo Posto (LoRA — Low-Rank Adaptation) para reverter o alinhamento do modelo em políticas específicas. O resultado é uma variante personalizada que consegue gerar conteúdo nas áreas aprovadas pelo cliente, mantendo o alinhamento em todo o restante.

A técnica por trás do CCMS: rDPO

O que já existia antes: DPO e NPO

Para entender o rDPO, é útil conhecer as abordagens anteriores. A Otimização de Preferência Direta (DPO — Direct Preference Optimization) é uma técnica de alinhamento que treina o modelo para classificar respostas preferidas acima das não preferidas, em relação a um modelo de referência. É o que faz o modelo “aprender” a se comportar de determinada forma.

Já a Otimização de Preferência Negativa (NPO — Negative Preference Optimization) tenta fazer o inverso: remove as amostras positivas do objetivo de otimização, ensinando o modelo a se afastar de seus comportamentos de recusa aprendidos. O problema do NPO é que ele apenas ensina o modelo a esquecer, sem direcioná-lo para respostas alternativas de qualidade. O resultado pode ser uma degradação perceptível na qualidade das saídas.

A inovação do rDPO

O rDPO resolve exatamente essa limitação. Em vez de simplesmente fazer o modelo esquecer um comportamento, o rDPO simultaneamente guia o modelo em direção a respostas de alta qualidade nas áreas de política desaprendidas. Esse duplo objetivo não apenas produz melhor qualidade de resposta, mas também melhora a eficiência do treinamento, exigindo menos etapas de otimização para convergir.

A lógica é a seguinte: no DPO original, o modelo aprende a preferir respostas “corretas” em detrimento das “erradas”. No rDPO, os pares de preferência são invertidos em relação ao objetivo de alinhamento original — daí o nome “reverso”. O modelo é treinado para se afastar da resposta de recusa (forgetting response) e se aproximar de uma resposta-alvo de qualidade (target response).

Na prática, os experimentos mostram que o rDPO converge para uma acurácia de treinamento próxima a 1 em cerca de 30 passos, enquanto o NPO praticamente não evolui nesse mesmo indicador. As recompensas da resposta-alvo no rDPO continuam crescendo ao longo do treinamento, ao contrário do NPO, onde caem. Isso se deve ao forte alinhamento de segurança do modelo base, que torna difícil para o NPO afastar o modelo das respostas seguras sem um objetivo positivo claro.

O pipeline de personalização

O processo de customização segue um fluxo bem definido: começa com a preparação dos dados, onde um conjunto de prompts é selecionado para representar as áreas de política-alvo onde se deseja desaprender o comportamento de recusa. A partir desses prompts, são geradas as respostas de esquecimento e as respostas-alvo. Em seguida, o modelo é treinado com rDPO sobre esses dados. Ao final do ciclo de treinamento, o adaptador LoRA é exportado e está pronto para ser servido.

A escolha pelo LoRA é estratégica: sua eficiência de treinamento e menor custo de inferência em comparação ao ajuste fino de posto completo (full-rank fine-tuning) tornam a abordagem viável em escala. O adaptador atua sobre o modelo base sem modificar seus pesos — o que significa que diferentes configurações de política podem ser servidas a partir do mesmo modelo de fundação.

Resultados: menos recusas, mesma qualidade

Redução nas taxas de recusa

A avaliação do modelo personalizado foi feita em dois eixos: redução no excesso de recusas em requisições sensíveis e preservação das capacidades gerais do modelo. A taxa de recusa mede a porcentagem de prompts que o modelo se recusa a responder.

Os resultados com o Amazon Nova 2 Lite mostram reduções substanciais em todas as categorias de política:

• Red Team Prompts: de 98,10% para 47%
• Equidade: de 51,84% para 23,83% (redução de 28 pontos percentuais)
• Segurança: de 86,51% para 32,77% (redução de 53,74 pp)
• Segurança cibernética: de 91,61% para 45,73% (redução de 46 pp)
• Conteúdo sensível: de 79,02% para 33,58% (redução de 45 pp)

Todas essas reduções foram obtidas exclusivamente por meio do adaptador LoRA treinado com rDPO, sem nenhuma modificação nos pesos do modelo base.

Preservação das capacidades gerais

Um requisito crítico para qualquer abordagem de desaprendizado é não degradar as capacidades gerais do modelo. A avaliação em três benchmarks de utilidade confirma que o rDPO passa nesse teste:

• Seguimento de instruções: de 94,12% para 92,57% (queda de 1,55 pp)
• Raciocínio matemático (Math Mini): de 86,40% para 85,20% (queda de 1,20 pp)
• Geração de código (MBXP Python): de 74,80% para 73% (queda de 1,80 pp)

Quedas inferiores a 2 pontos percentuais confirmam que o rDPO atinge seletivamente apenas os parâmetros de alinhamento RAI, preservando intactas as capacidades centrais do modelo — uma vantagem clara da abordagem baseada em LoRA em relação ao ajuste fino completo do modelo.

Como começar a usar

Para quem quer experimentar as técnicas

As técnicas de otimização de preferência descritas — DPO, NPO e rDPO — estão acessíveis para quem quiser explorar pesquisa de desaprendizado e alinhamento por conta própria. O Amazon SageMaker AI suporta treinamento DPO com abordagens de posto completo e LoRA para o Amazon Nova e mais de 20 modelos de pesos abertos. O Amazon SageMaker HyperPod oferece receitas prontas de DPO que servem como ponto de partida para experimentos personalizados. Há um passo a passo detalhado em Personalizar o Amazon Nova no Amazon SageMaker AI usando Otimização de Preferência Direta.

Para quem quer usar o CCMS diretamente

Para clientes que preferem os benefícios do desaprendizado sem precisar construir tudo do zero, o CCMS oferece adaptadores LoRA pré-treinados para o Amazon Nova, prontos para implantação. Os adaptadores são compartilhados por meio do AWS Resource Access Manager (Gerenciador de Acesso a Recursos da AWS). Após aceitar e copiar um adaptador para a sua conta, ele aparece como um modelo personalizado no Amazon Bedrock com um Nome de Recurso Amazon (ARN) exclusivo. Em seguida, basta criar uma implantação de modelo personalizado com inferência sob demanda e usar o ARN dessa implantação na API Converse padrão. Nenhuma outra alteração de código é necessária:

aws bedrock-runtime converse \
--model-id "arn:aws:bedrock:us-east-1:<account-id>:custom-model-deployment/<deployment-id>" \
--region us-east-1 \
--messages '[{"role": "user", "content": [{"text": "Your prompt here"}]}]'

Vale lembrar: a implantação de um modelo personalizado incorre nas cobranças de inferência padrão do Amazon Bedrock.

O modelo personalizado se comporta de forma idêntica ao modelo Nova base para as áreas de política não configuradas. Para proteções adicionais em nível de aplicação, é possível combinar o CCMS com o Amazon Bedrock Guardrails para implementar filtragem por tópico, detecção de alucinações ou políticas de conteúdo personalizadas sobre o modelo configurado.

Para solicitar acesso e discutir quais pilares de política configurar para o seu caso de uso, o caminho é entrar em contato com a equipe de conta AWS ou abrir um caso de suporte pelo Console do AWS Support Center.

Conclusão

O rDPO representa um avanço relevante na área de desaprendizado seletivo em modelos de linguagem. Ao reverter os pares de preferência no objetivo do DPO, a técnica consegue simultaneamente fazer o modelo esquecer comportamentos de recusa indesejados e direcioná-lo a respostas de qualidade — algo que o NPO não conseguia fazer de forma eficiente.

O resultado prático é claro: adaptadores LoRA treinados com rDPO reduzem as taxas de recusa em até 54 pontos percentuais nas categorias de política RAI, com degradação inferior a 2 pontos percentuais nos benchmarks de utilidade. E tudo isso operando dentro dos limites das proteções universais e não configuráveis do Amazon Nova, que permanecem intactas independentemente da configuração do adaptador.

Para pesquisadores e profissionais interessados em explorar mais, o Amazon SageMaker AI oferece receitas de treinamento DPO como base para experimentação. Há também documentação, posts sobre personalização do Nova e métodos avançados de ajuste fino no Amazon SageMaker AI para quem quiser se aprofundar.

Fonte

Teaching models to forget: Selective unlearning with Amazon Nova (https://aws.amazon.com/blogs/machine-learning/teaching-models-to-forget-selective-unlearning-with-amazon-nova/)