O problema: agentes de IA que conhecem os fatos, mas erram o método
Agentes de IA construídos sobre modelos de fundação (FM — Foundation Models) frequentemente aplicam de forma equivocada os frameworks de decisão clínica, mesmo quando foram treinados com as diretrizes corretas. Peça a um agente que classifique uma variante missense do TP53 usando os critérios ACMG/AMP — ele vai citar o framework certo, mas vai errar nas categorias de evidência, ignorar limiares de frequência populacional ou inventar pontuações de preditores computacionais.
O modelo conhece os fatos, mas não domina os procedimentos de raciocínio que profissionais da área internalizam ao longo de anos de formação. Essa lacuna gera falhas silenciosas em interpretação de variantes genéticas, adjudicação de sinistros, desenho de ensaios clínicos e análise de imagens. As respostas parecem corretas, mas aplicam critérios errados — com consequências regulatórias e de segurança para o paciente.
A solução: HCLS Agent Skills, uma coleção open source de habilidades para agentes
Para endereçar esse problema, a AWS publicou uma coleção de 38 habilidades de agente open source abrangendo 11 domínios de saúde e ciências da vida (HCLS — Healthcare and Life Sciences), que inclui genômica, descoberta de fármacos, operações de saúde e imagens médicas. O catálogo completo de habilidades está organizado por domínio e tudo está liberado sob licença MIT-0.
As habilidades seguem o padrão aberto Agent Skills e são documentos markdown estruturados (SKILL.md) que codificam procedimentos de decisão de domínio em um formato que agentes de IA conseguem consumir em tempo de inferência por meio de divulgação progressiva. Cada habilidade declara gatilhos, dependências e metadados em frontmatter YAML, seguidos de frameworks de decisão, tabelas de parâmetros, padrões de código e critérios de validação.
Dois tipos de habilidades
As habilidades do repositório se dividem em dois tipos:
- Habilidades de raciocínio: codificam metodologia e frameworks de decisão que orientam como o agente pensa. Por exemplo, a habilidade genomic-variant-interpretation codifica o framework completo de classificação ACMG/AMP, incluindo categorias de evidência, limiares de frequência populacional e pontos de corte de preditores computacionais.
- Habilidades de pipeline: codificam comandos específicos de ferramentas, parâmetros validados e templates de código que produzem artefatos executáveis. A habilidade variant-calling, por exemplo, fornece comandos GATK4 HaplotypeCaller com grupos de anotação corretos, alvos de sensibilidade VQSR e configurações Mutect2 para tumor-normal.
Essa taxonomia dupla dá ao agente tanto o julgamento para tomar decisões corretas quanto a precisão técnica para executá-las.
O que diferencia habilidades de outras abordagens
Diferente da Geração Aumentada por Recuperação (RAG — Retrieval Augmented Generation), que recupera trechos limitados de documentos indexados, as habilidades codificam o próprio procedimento de decisão e as condições de erro. Também não são fine-tuning: são prompts estruturados que se ativam contextualmente com base em padrões de gatilho na consulta do usuário.
Três propriedades tornam as habilidades distintas: são auditáveis (cada critério de decisão é legível por humanos em markdown, não escondido em pesos do modelo), portáteis (funcionam em mais de 20 serviços como Amazon Bedrock AgentCore, AWS Strands Agents SDK, Kiro, Amazon Quick Desktop, Claude Code, OpenAI Codex e outros) e fáceis de manter (mudanças anuais em políticas médicas ou novos critérios experimentais podem ser refletidos editando um arquivo de texto, sem retreinar o modelo).
Instalação e configuração
Para acompanhar os exemplos, é necessário um dos serviços suportados pela AWS: Kiro ou Kiro CLI para uso interativo e orquestração multi-agente; o AWS Strands Agents SDK com acesso a modelos de fundação do Amazon Bedrock; o AgentCore harness do Amazon Bedrock AgentCore com uma implementação de agente existente; ou o Quick Desktop para gerenciamento de habilidades via interface gráfica. Também é possível usar qualquer harness de agente de código como Claude Code ou OpenAI Codex. Além disso, são necessários Python 3.10+ com uv e Git.
O primeiro passo é clonar o repositório:
git clone https://github.com/awslabs/hcls-agent-skills.git
cd hcls-agent-skillsPara instalar apenas as habilidades sem a configuração do agente, use a skills CLI universal:
npx skills add awslabs/hcls-agent-skillsPara o Kiro, o script install.sh instala tanto as habilidades quanto um agente pré-configurado. Execute ./install.sh --target kiro e troque para o agente com /agent hcls. Para modo multi-agente, execute ./install.sh --target kiro --mode multiagent e use /agent hcls-multiagent.
Para o AWS Strands Agents SDK, carregue as habilidades diretamente no código Python:
from strands import Agent
from strands.skills import AgentSkills
agent = Agent(
model=model_id,
skills=AgentSkills(skills="./skills/"),
)Para o AgentCore, siga a documentação de Skills para adicionar habilidades a um agente hospedado no AgentCore. Para o Amazon Quick Desktop, execute ./install.sh --target quick-desktop ou siga as instruções de Skills na documentação do Amazon Quick.
Padrões de implantação
Agente único com Quick Desktop
Com as habilidades instaladas, o agente do Quick Desktop ganha raciocínio estruturado de domínio HCLS sem configuração adicional. Quando uma pergunta de domínio é feita, o agente ativa automaticamente as habilidades relevantes com base nos padrões de gatilho da consulta. Por exemplo, perguntar “Qual é o impacto no RAF de codificar E11.9 em vez de E11.42?” aciona a habilidade de ajuste de risco e o agente responde com mapeamentos HCC específicos, resolução de hierarquia e deltas RAF quantificados — em vez de uma sugestão genérica para “revisar a documentação”.
Arquitetura multi-agente com Kiro CLI
Carregar todas as 38 habilidades em um único contexto de agente consome cerca de 80 mil tokens. Isso é viável com modelos de contexto grande, mas cria um desafio de engenharia de contexto. Uma alternativa é a invocação explícita de habilidades, mas isso exige que o usuário saiba qual habilidade invocar antes de fazer a pergunta — exatamente a lacuna de expertise que as habilidades pretendem preencher.
A arquitetura multi-agente do Kiro CLI resolve os dois problemas. Um agente coordenador leve (sem habilidades carregadas) roteia consultas para oito especialistas de domínio, cada um carregando apenas suas habilidades relevantes (aproximadamente 15 mil tokens por especialista). O coordenador cuida da classificação de intenção enquanto os especialistas lidam com o raciocínio de domínio. A configuração multi-agente é definida em arquivos JSON de agentes — consulte o config do agente coordenador para a lógica de roteamento e um config de agente especialista como exemplo de como as habilidades de domínio são atribuídas a um especialista.
Integração com Strands SDK e deploy no AgentCore
O AWS Strands Agents SDK oferece carregamento nativo de habilidades para construir agentes HCLS personalizados:
from strands import Agent
from strands.skills import AgentSkills
from strands.multiagent import MultiAgentOrchestrator
# Define domain specialists with their skill sets
genomics_agent = Agent(
name="hcls-genomics",
model=model_id,
skills=AgentSkills(skills="./skills/genomics/"),
)
imaging_agent = Agent(
name="hcls-imaging",
model=model_id,
skills=AgentSkills(skills="./skills/imaging/"),
)
# Coordinator routes to specialists
coordinator = MultiAgentOrchestrator(
agents=[genomics_agent, imaging_agent, ...],
model=model_id,
)
response = coordinator("Classify NM_000546.6:c.743G>A in TP53 using ACMG criteria")Após o agente funcionar localmente, é possível movê-lo para produção com o Amazon Bedrock AgentCore, que oferece hospedagem gerenciada, auto scaling, limites de segurança e capacidades de observabilidade sem necessidade de gerenciar infraestrutura. Siga a documentação de Skills no AgentCore para configurar as habilidades no nível do ambiente.
Casos de uso em prática
Caso 1: Avaliação de candidatos a reposicionamento de fármacos em descoberta de medicamentos
Uma equipe de biotecnologia investigando reposicionamento de fármacos para fibrose pulmonar idiopática (FPI) quer avaliar medicamentos aprovados que modulam a sinalização TGF-β1 pelo receptor TGFBR1 (ALK5). Sem habilidades, o agente produz uma revisão de literatura genérica listando inibidores conhecidos do TGFBR1, sem critérios de classificação estruturados, hierarquia de evidências ou framework de avaliação de traduzibilidade.
Com as habilidades drug-repurposing e translational-research ativadas, o agente aplica o framework de consulta DGIdb priorizando tipos de interação e bancos de dados-fonte; classifica candidatos usando uma hierarquia de evidências estruturada; avalia a sobreposição de mecanismo de ação mapeando a inibição do TGFBR1 para os processos patológicos chave da FPI; e avalia a traduzibilidade clínica usando critérios T0→T1, examinando dados de segurança existentes da indicação original e compatibilidade de janela terapêutica.
Caso 2: Pipeline de ajuste de risco CMS-HCC em operações de saúde
Um plano Medicare Advantage com 12.000 membros precisa calcular pontuações de Fator de Ajuste de Risco (RAF — Risk Adjustment Factor) a partir de dados de sinistros com diagnósticos ICD-10, usando coeficientes do Modelo CMS-HCC V28. Sem habilidades, o agente produz um pipeline plausível mas incompleto — frequentemente omitindo a resolução de hierarquia, usando coeficientes desatualizados V24 ou aplicando hierarquias após a soma (o que infla as pontuações).
Com as habilidades risk-adjustment e claims-billing-rules ativadas, o agente gera SQL correto que une códigos de diagnóstico ao crosswalk ICD-10-para-HCC com deduplicação dentro do ano de medição; implementa corretamente a resolução de hierarquia V28; aplica a segmentação demográfica correta; e explica proativamente que pular a resolução de hierarquia conta condições em dobro em múltiplos níveis de especificidade, inflando sistematicamente as pontuações RAF e criando responsabilidade de auditoria sob revisão CMS RADV.
Caso 3: Pré-processamento de RM ponderada em T1 para morfometria baseada em voxel
Um estudo de neuroimagem com 45 adultos saudáveis precisa de um pipeline padrão de pré-processamento T1w para análise de morfometria baseada em voxel (VBM — Voxel-Based Morphometry) em um ambiente híbrido FSL/ANTs. Sem habilidades, o agente pode sugerir um pipeline razoável, mas com a ordem errada — por exemplo, correção de campo de viés após a remoção de crânio (o que vicia as máscaras cerebrais) — ou usar limiares inadequados e omitir estratégias de detecção de falhas.
Com as habilidades radiology-preprocessing e imaging-study-design ativadas, o agente especifica a ordem correta de processamento com justificativa: reorientar para espaço padrão, depois correção de campo de viés antes da remoção do crânio, depois extração cerebral com parâmetros ajustados para adultos saudáveis e, finalmente, registro no template MNI152. Também documenta os modos de falha em cada etapa e fornece um script bash completo com verificação de erros.
Resultados da avaliação
Foi realizada uma avaliação pareada para medir o impacto das habilidades em 410 prompts de domínio (380 de habilidade única e 30 de habilidades cruzadas), usando dois harnesses de agente: Kiro CLI com modelo automático e um agente construído com o AWS Strands Agents SDK com o modelo explicitamente fixado no Claude Sonnet 4.6. A configuração completa está disponível em eval/execute.py.
Cinco dimensões de pontuação foram empregadas para o juiz de LLM (Modelo de Linguagem de Grande Escala): precisão científica, coerência, relevância, pensamento crítico e acionabilidade. O Claude Opus 4.7 do Amazon Bedrock foi usado como juiz, com o prompt de pontuação completo disponível em eval/judge.py.
Os resultados gerais são expressivos. As habilidades venceram 69,5 a 85,9% das comparações diretas nas duas configurações de harness. O sinal mais forte foi em pensamento crítico, confirmando que a contribuição primária das habilidades é metodológica: ensinar ao agente quais frameworks aplicar, quais suposições questionar e quais limitações sinalizar. A tabela abaixo resume os resultados de alto nível:
- Taxa de vitória geral (d de Cohen): 69,5% (0,39) no Kiro CLI e 85,9% (0,97) no Strands Agent
- Pensamento crítico: 78,0% (0,65) no Kiro CLI e 85,1% (1,03) no Strands Agent
- Precisão científica: 69,3% (0,34) no Kiro CLI e 86,2% (0,85) no Strands Agent
- Acionabilidade: 68,0% (0,37) no Kiro CLI e 77,3% (0,56) no Strands Agent
Há forte evidência de que as habilidades ajudam mais quando o agente base tem mais dificuldade. A correlação de Pearson entre a qualidade da resposta de base e o benefício das habilidades é de −0,59 no Kiro CLI e −0,61 no Strands Agent. As habilidades também reduzem o desvio padrão das pontuações de resposta — por exemplo, o desvio padrão das pontuações em respostas de dados clínicos caiu de 6,8 para 3,3 com as habilidades carregadas no Kiro CLI, uma redução de 51%. Em fluxos de trabalho HCLS regulados, onde a consistência importa tanto quanto a qualidade média, essa redução de variância é um benefício significativo. A metodologia de avaliação completa está disponível no relatório técnico de avaliação.
Estendendo e criando novas habilidades
Os fluxos de trabalho da sua equipe podem precisar de limiares diferentes, protocolos adicionais ou cobertura de domínios inteiramente novos. O repositório inclui três guias para personalização:
- CUSTOMIZING.md: cobre fluxos de trabalho práticos para modificar, estender e criar habilidades do zero, incluindo a adição de regras específicas da organização a habilidades existentes.
- SKILL_DESIGN_GUIDE.md: documenta padrões baseados em evidências para escrever habilidades eficazes — árvores de decisão, tabelas de limiares, listas de erros comuns e seções de formato de resposta.
- QUALITY_CHECKLIST.md: fornece um checklist de qualidade pré-merge cobrindo frontmatter, estrutura, qualidade do conteúdo e requisitos de teste.
Para testar suas mudanças, gere prompts de avaliação que reflitam os fluxos de trabalho reais da equipe e execute o framework de avaliação:
uv venv --python 3.12 && source .venv/bin/activate
uv pip install -e ".[dev]"
# Generate 30 evaluation prompts for each of the skills
python eval/generate_prompts.py --count 30
# Run pairwise evaluation against your modified skills
python -m eval.run --skills ./my-custom-skills/ --parallel 2
python eval/build_review.py
open eval/results/review.htmlA avaliação produz uma comparação pareada mostrando se a habilidade modificada melhora as respostas em relação à base, com detalhamentos por dimensão idênticos aos resultados reportados. Contribuições de novas habilidades de domínio para a coleção open source são bem-vindas, seguindo o guia de contribuição.
Como começar
As habilidades são arquivos locais e não criam recursos AWS — nenhuma limpeza é necessária para os exemplos básicos. Se você implantou um agente Strands no harness do Amazon Bedrock AgentCore, siga o passo de limpeza para excluir os recursos do agente implantado.
Para começar a usar a coleção HCLS Agent Skills:
- Clone o repositório
- Use as habilidades interativamente com Kiro ou Amazon Quick Desktop
- Construa agentes personalizados com o AWS Strands Agents SDK
- Implante agentes em produção com o Amazon Bedrock AgentCore
- Explore modelos de fundação no Amazon Bedrock
Fonte
Improving HCLS AI reasoning with open-source agent skills (https://aws.amazon.com/blogs/machine-learning/improving-hcls-ai-reasoning-with-open-source-agent-skills/)
Leave a Reply