Positron agora roda no Amazon SageMaker AI para fluxos de ciência de dados

Positron no SageMaker AI: um IDE completo para ciência de dados na nuvem

Equipes de ciência de dados frequentemente precisam alternar entre ferramentas distintas para acessar dados, analisar em R, desenvolver modelos em Python, fazer deploy, criar aplicações e gerar relatórios. A Posit resolveu parte desse problema com o Positron, seu IDE voltado para ciência de dados — e agora esse ambiente pode rodar diretamente no Amazon SageMaker AI.

A integração traz benefícios práticos que vale entender com cuidado, especialmente para times que já trabalham com o ecossistema AWS.

O que muda para o cientista de dados

Ao rodar o Positron dentro de um Space do SageMaker AI, o cientista de dados ganha quatro vantagens imediatas:

Acesso a dados sem gerenciar credenciais: o Positron opera sob o papel de execução (execution role) do Space, o que permite consultar o Amazon Athena, o AWS Glue Data Catalog e o Amazon Simple Storage Service (S3) diretamente do IDE, sem necessidade de armazenar ou rotacionar chaves.
Computação disponível quando necessário: basta lançar um Space no tamanho de instância adequado. Times podem reservar capacidade com os planos de treinamento do SageMaker AI para garantir disponibilidade em treinos agendados.
Assistência de IA dentro da própria conta AWS: o Posit Assistant, assistente de codificação por IA da Posit, pode usar o Amazon Bedrock como provedor de modelos. Isso significa que toda a ajuda de IA roda em modelos dentro da própria conta e região AWS do cliente.
Trabalho paralelo e colaborativo: é possível rodar múltiplos Spaces simultaneamente para projetos independentes, ou usar um Space compartilhado para que várias pessoas colaborem na mesma aplicação Positron.

Como a imagem é disponibilizada

A Posit publica uma definição de imagem de container para o Positron, construída sobre a imagem Amazon SageMaker Distribution. O fluxo de configuração envolve dois perfis distintos: o administrador de plataforma e o cientista de dados.

O administrador constrói a imagem a partir da definição publicada pela Posit (o Containerfile do Positron para SageMaker), envia para um repositório privado no Amazon Elastic Container Registry (ECR), registra a imagem no SageMaker AI e a associa a um domínio do Studio. A partir daí, o cientista de dados simplesmente escolhe o Positron ao criar um Space e abre o IDE diretamente no Studio.

Pré-requisitos para usar o Positron no SageMaker AI

Para seguir esse caminho, uma organização precisa ter:

Uma licença da Posit e acesso à definição de imagem publicada pela empresa;
Permissões de administrador para gerenciar o Amazon ECR e configurar imagens customizadas no domínio do Amazon SageMaker Studio;
Um papel de execução do Space com acesso ao Amazon Athena e ao AWS Glue Data Catalog;
Um bucket no Amazon S3 como fonte de dados e um local configurado para resultados de queries do Athena;
Acesso ao Amazon Bedrock na mesma região AWS do domínio Studio, caso queira usar o Posit Assistant;
Uma instância do tipo ml.t3.xlarge ou maior para o ambiente demonstrado.

O fluxo de trabalho demonstrado: do dado bruto ao endpoint em produção

A AWS publicou um walkthrough completo usando um portfólio sintético de 50.000 empréstimos. Os dados ficam armazenados no Amazon S3 e registrados no AWS Glue Data Catalog. O Amazon Athena faz as consultas, R valida as features, Python treina um classificador XGBoost, Shiny for Python invoca o endpoint e Quarto documenta todo o fluxo.

Passo 1 — Positron dentro de um Space no SageMaker Studio

O fluxo começa com o Positron aberto em um Space do SageMaker Studio. O explorador de projetos, editor, sessões R e Python, painel de variáveis, gráficos, terminal e preview de aplicações ficam disponíveis em um único ambiente baseado em navegador, rodando sobre o papel de execução do Space.

Passo 2 — Descoberta de dados governados com o Posit Assistant

A partir do mesmo Space, o Posit Assistant identificou a tabela credit_risk_blog.loan_tape_source no AWS Glue Data Catalog e preparou uma query somente leitura no Amazon Athena. A consulta retornou cinco linhas de amostra em seis campos, escaneou 2,18 MiB e completou em menos de um segundo.

Uso de tokens e cache do Amazon Bedrock

Quando o Amazon Bedrock é usado como provedor do Posit Assistant, nenhuma chave de API separada é necessária — a autenticação resolve pelas credenciais AWS do ambiente. O conteúdo do cliente é criptografado, não é usado para melhorar os modelos base e não é compartilhado com provedores de modelos (veja a documentação de proteção de dados do Amazon Bedrock). Conectividade privada pode ser configurada com AWS PrivateLink.

Na sessão registrada, o Posit Assistant acumulou 6.657.942 tokens no total, sendo 6.118.411 de leitura de cache e 462.905 de escrita de cache, com custo estimado de US$ 6,319 e eficiência de cache de 92,5%. Esses valores descrevem aquela sessão específica e a estimativa do assistente — não representam uma fatura AWS nem um benchmark geral de custo. O comportamento do cache e os preços variam conforme o modelo e o provedor selecionados.

Passo 3 — Perfilamento de dados no Amazon Athena

Uma query agregada no Athena examinou contagem de linhas, unicidade de identificadores, valores ausentes, faixas numéricas e validade do target. Os resultados identificaram 50.000 empréstimos, incluindo 1.500 registros com renda ausente e 1.015 inadimplências, resultando em uma taxa geral de inadimplência de 2,03%.

Passo 4 — Exploração interativa de dados em R

A tabela completa de 50.000 linhas foi carregada na sessão R ativa e aberta no Data Explorer. O R criou as features de relação dívida/renda e log-renda, e exibiu a distribuição da relação dívida/renda no painel de gráficos. Após excluir os 1.500 registros incompletos, restaram 48.500 empréstimos para modelagem e scoring.

Passo 5 — Validação de features e treinamento do modelo em Python

As definições de features validadas em R foram então transferidas para Python. Um classificador XGBoost foi treinado em uma matriz com 40.000 linhas e três features do modelo. A avaliação no conjunto de holdout produziu uma Área Sob a Curva (AUC) de 0,834 e mostrou uma taxa de inadimplência observada de 12,3% no decil de maior risco.

Passo 6 — Deploy gerenciado com o SageMaker AI

O fluxo gravou as probabilidades previstas e os decis de risco para 48.500 empréstimos em formato Parquet e registrou os resultados como credit_risk_blog.scored_loans no Athena. Em seguida, criou um modelo no SageMaker AI, uma configuração de endpoint e um endpoint de inferência em tempo real. O endpoint atingiu o status InService e uma invocação com payload sintético foi realizada com sucesso.

Passo 7 — Inferência em tempo real com aplicação Shiny for Python

Uma aplicação Shiny for Python foi usada para invocar o endpoint implantado. A aplicação aceita informações sintéticas do solicitante, aplica as definições de features usadas no treinamento e exibe a probabilidade de inadimplência retornada. O código-fonte e a aplicação em execução permanecem no mesmo projeto Positron, que roda por trás do proxy do Amazon SageMaker Studio e é acessível apenas por usuários autenticados no Space. A invocação ao endpoint ocorre sob o papel de execução do Space — não por nenhuma chave armazenada — e o papel é limitado a sagemaker:InvokeEndpoint no ARN do endpoint.

Passo 8 — Relatório reproduzível com Quarto

O fluxo foi concluído com um relatório Quarto que conectou a fonte no Athena, os achados de qualidade de dados, a validação em R, o modelo Python, o output com scoring, o endpoint do SageMaker AI e a aplicação Shiny. O relatório foi gerado diretamente do projeto, preservando as evidências e resultados do fluxo em um único documento reproduzível.

Arquitetura de deploy: dois caminhos distintos

O deploy envolve dois caminhos separados: o caminho do administrador, que constrói e registra a imagem customizada do Positron, e o caminho do cientista de dados, que usa essa imagem para analisar dados e fazer deploy de modelos.

Caminho do administrador

O administrador constrói a definição de imagem publicada pela Posit a partir do Containerfile do Positron para SageMaker, que se baseia na imagem SageMaker Distribution. Em seguida, envia a imagem para um repositório privado no Amazon ECR na região do domínio Studio, registra uma imagem e versão no SageMaker AI, cria uma configuração de imagem para o app JupyterLab, verifica o licenciamento, concede ao papel de execução as permissões necessárias e associa a imagem ao domínio.

O Amazon Bedrock é opcional e só entra em cena quando selecionado como provedor do Posit Assistant. As responsabilidades ficam bem separadas: a Posit fornece a imagem de software e o suporte ao produto; o cliente gerencia identidade, permissões, licenciamento, rede, logs, atualizações de imagem e os serviços AWS aprovados; a AWS opera os serviços gerenciados de nuvem.

Caminho do cientista de dados

O cientista de dados lança o JupyterLab em um Space do SageMaker Studio, abre o Positron e usa R, Python, Quarto, Posit Database Drivers e, opcionalmente, o Posit Assistant para consultar e analisar dados e fazer deploy de modelos.

O que o fluxo registrado demonstrou

O walkthrough documentado pela AWS demonstrou as seguintes capacidades dentro de um único Space Positron:

Acesso governado a dados: descoberta, amostragem e perfilamento no Athena a partir do Space configurado;
Análise multi-linguagem: R validou os dados e as features antes de Python treinar o modelo;
Comportamento do modelo medido: AUC de holdout de 0,834 e taxa de inadimplência observada de 12,3% no decil de maior risco;
Deploy gerenciado: 48.500 linhas com scoring registradas no Athena e endpoint em tempo real com status InService;
Outputs conectados: aplicação Shiny em execução e relatório Quarto produzidos a partir do mesmo projeto.

Escopo e limitações importantes

Vale deixar claro: o dataset e os payloads de solicitantes são sintéticos. O fluxo não estabelece justiça do modelo, calibração, adequação para concessão de crédito real, latência em produção, comportamento sob carga, monitoramento ou conformidade regulatória. A AUC e os resultados por decil vêm de uma única divisão de holdout, e os decis inferiores não foram estritamente monotônicos.

A adoção em produção exige validar os termos de preview da Posit, a licença e a versão da imagem, além das regiões AWS suportadas e a disponibilidade dos modelos. As equipes também precisam confirmar o design de rede, permissões de menor privilégio, gestão de segredos, logging, patching de imagens e responsabilidade operacional.

Limpeza dos recursos

Para evitar cobranças contínuas, os recursos criados no walkthrough devem ser removidos na seguinte ordem (o endpoint em tempo real depende da configuração de endpoint e do modelo, portanto deve ser excluído primeiro):

Excluir o endpoint de inferência em tempo real;
Excluir a configuração do endpoint;
Excluir o modelo;
Excluir os objetos de saída de query no Amazon S3 e remover a tabela no Athena;
Excluir a versão da imagem no Amazon ECR;
Excluir o registro da imagem no SageMaker AI;
Parar e excluir os Spaces de teste que não estejam mais em uso (faça backup dos arquivos do projeto antes).

Recursos relacionados

Fonte

Run Positron on Amazon SageMaker AI for data science workflows (https://aws.amazon.com/blogs/machine-learning/run-positron-on-amazon-sagemaker-ai-for-data-science-workflows/)