Modelos open-weight ganham mais um nome pesado no Bedrock
Os modelos open-weight estão mudando a economia de construção e implantação de Inteligência Artificial (IA) em escala. Com ganhos rápidos em inteligência e eficiência, as empresas conseguem alinhar cada workload ao equilíbrio certo entre capacidade, velocidade e custo. Nesse contexto, a AWS anunciou a disponibilidade do Kimi K3, da Moonshot AI, no Amazon Bedrock — uma nova opção poderosa para tarefas de programação e trabalho intensivo com conhecimento.
O que é o Kimi K3
Segundo a Moonshot AI, o Kimi K3 é o modelo mais capaz da empresa e o primeiro modelo open-weight a atingir 2,8 trilhões de parâmetros. Ele combina capacidades nativas de visão com uma janela de contexto de 1 milhão de tokens e entrega uma melhoria de aproximadamente 2,5x em eficiência de escalonamento em relação ao Kimi K2.
Esses avanços tornam o Kimi K3 especialmente adequado para workflows de programação e processamento de conhecimento de longa duração, que exigem contexto sustentado ao longo de grandes repositórios, documentos e imagens.
Outro destaque é que o Kimi K3 é o primeiro modelo open-weight no Amazon Bedrock a suportar cache de prompt explícito — recurso que ajuda a reduzir latência e custos de tokens de entrada ao reutilizar contexto entre chamadas ao modelo.
O crescimento dos modelos open-weight no Bedrock
O lançamento do Kimi K3 reflete o investimento contínuo da AWS em modelos open-weight dentro do Amazon Bedrock. Desde 2025, o Bedrock adicionou dezenas de modelos open-weight de provedores como DeepSeek, Google, MiniMax, Mistral AI, Moonshot AI, NVIDIA, OpenAI e Qwen.
Paralelamente, a plataforma avançou em capacidades de inferência que beneficiam todos esses modelos. Em 2026, o Bedrock passou a suportar chamada de ferramentas (tool calling), saída estruturada, raciocínio (reasoning), streaming de respostas e as APIs Responses e Chat Completions. Por serem capacidades da plataforma — e não integrações por modelo — novos modelos open-weight se beneficiam automaticamente delas ao se tornarem disponíveis no Bedrock.
Segurança e privacidade dos dados
Assim como todos os modelos open-weight no Amazon Bedrock, o Kimi K3 pode ser adotado sem alterar a postura de segurança da organização. Os dados são processados dentro do limite de dados da AWS, não são compartilhados com o provedor do modelo e não são usados para treinar o modelo subjacente.
A retenção zero de dados (zero data retention) está sempre habilitada para requisições de inferência, enquanto o acesso zero de operadores (zero operator access) impede que até mesmo os operadores da AWS acessem prompts e respostas durante a inferência. Juntas, essas proteções permitem o uso de modelos open-weight com confiança e controle sobre os dados.
Como começar a usar o Kimi K3
Para testar o Kimi K3, basta abrir o console do Amazon Bedrock, acessar Test > Playground e selecionar o Kimi K3 como modelo. A partir daí, já é possível testar o primeiro prompt.
Por programação, o modelo pode ser chamado pelo endpoint bedrock-runtime, que suporta as APIs compatíveis com OpenAI: Responses e Chat Completions, além das APIs Invoke e Converse API do Amazon Bedrock.
O Kimi K3 pode ser invocado por meio de um perfil de inferência entre regiões (cross-Region inference profile). Para workloads sem restrições regionais, a AWS recomenda o uso do perfil global global.moonshotai.kimi-k3, que roteia cada requisição para qualquer região comercial da AWS suportada no mundo. A inferência cross-Region global custa aproximadamente 10% menos do que um perfil geográfico. O perfil geográfico dos EUA, us.moonshotai.kimi-k3, mantém o processamento dentro da geografia dos EUA para requisitos de residência de dados.
Pré-requisitos
- Uma conta AWS ativa com acesso ao Amazon Bedrock.
- Python 3.10 ou superior.
- Permissões do AWS Identity and Access Management (IAM) para chamar o modelo:
bedrock:InvokeModel,bedrock:InvokeModelWithResponseStreamebedrock:CreateInference.
Abaixo, um exemplo rápido que usa o OpenAI SDK e a biblioteca aws-bedrock-token-generator para Python, a fim de gerar tokens bearer de curta duração para autenticação no Amazon Bedrock:
from aws_bedrock_token_generator import provide_token
from openai import OpenAI
region = "us-west-2"
oai_client = OpenAI(
api_key=provide_token(region=region),
base_url=f"https://bedrock-runtime.{region}.amazonaws.com/openai/v1",
)
resp = oai_client.responses.create(
input="What is Byte-Pair Encoding, in AI?",
model="global.moonshotai.kimi-k3",
)
print(resp.output_text)Otimizando inferência com cache de prompt explícito
Workflows de programação e processamento de conhecimento de longa duração frequentemente reenviam contexto estável — como instruções de repositório, definições de ferramentas ou documentos de referência. Com o cache de prompt explícito, é possível identificar prefixos de prompt reutilizáveis para que requisições posteriores possam usar o conteúdo em cache. Quando uma requisição corresponde a um prefixo em cache, o Amazon Bedrock pode reduzir a latência de resposta e os custos de tokens de entrada.
Sobre o funcionamento do cache para o Kimi K3 no Amazon Bedrock:
- É possível marcar o fim exato de um prefixo de prompt reutilizável (após pelo menos 1.024 tokens) adicionando um
prompt_cache_breakpointa um conteúdo de entrada suportado. - No modo explícito, os tokens gravados em cache são cobrados a uma taxa mais alta, mas são mantidos em cache por pelo menos 30 minutos.
- Para requisições subsequentes que acertam o cache, os tokens de entrada são cobrados a uma taxa com desconto e não contam para as cotas de tokens de entrada por minuto.
Com a API Python do OpenAI, o cache explícito pode ser configurado conforme o exemplo a seguir:
resp = oai_client.responses.create(
model="global.moonshotai.kimi-k3",
# Enable explicit caching mode:
extra_body={"prompt_cache_options": {"mode": "explicit"}},
input=[
{
"type": "message",
"role": "system",
"content": [
{
"type": "input_text",
"text": SYSTEM_PROMPT,
# A long, static system prompt is a great target for caching:
"prompt_cache_breakpoint": {"mode": "explicit"},
},
]
},
{
"type": "message",
"role": "user",
"content": [
{
"type": "input_text",
"text": USER_INPUT,
# Multiple breakpoints can also be defined, for layered cache:
"prompt_cache_breakpoint": {"mode": "explicit"},
},
],
},
],
)
if resp.usage.input_tokens_details.cached_tokens:
print("Hit cache!")Mais exemplos estão disponíveis no repositório de exemplos da Moonshot AI na AWS.
O Kimi K3 na prática
Além do uso direto via APIs, o Kimi K3 pode ser utilizado por meio de uma ampla variedade de assistentes de programação, agentes pessoais e frameworks agênticos que suportam o Amazon Bedrock especificamente, ou provedores de modelos compatíveis com OpenAI em geral.
Assistentes de programação
Entre os agentes de programação populares disponíveis hoje, o OpenCode é um bom exemplo. Ele é open source, agnóstico de modelo e possui um provider nativo para o amazon-bedrock, que utiliza a Converse API.
Para começar, é possível configurar o provider amazon-bedrock nos arquivos de configuração opencode.json de nível de usuário ou de projeto, conforme mostrado na documentação do OpenCode. Com o provider configurado, o OpenCode detecta automaticamente os modelos disponíveis no Amazon Bedrock, que podem ser selecionados pelo comando /models. Um exemplo mínimo de arquivo ~/.config/opencode.json:
{
"$schema": "https://opencode.ai/config.json",
"model": "amazon-bedrock/global.moonshotai.kimi-k3",
"provider": {
"amazon-bedrock": {
"options": {
"region": "us-west-2",
"profile": "PLACEHOLDER-YOUR-AWS-PROFILE-NAME"
}
}
}
}Com o provider do Amazon Bedrock configurado, basta usar o comando /models para selecionar global.moonshotai.kimi-k3 e começar a construir. O Kimi K3 é capaz de desenvolver funcionalidades substanciais e trabalhar em tarefas de longo horizonte.
Agentes de produtividade
Além da programação, o Hermes Agent é um exemplo de assistente open source para produtividade geral. Ele pode ser usado por aplicativo desktop, aplicativos de mensagens populares ou terminal, e suporta casos de uso como pesquisa aprofundada e automação de tarefas — áreas em que o Kimi K3 também se destaca.
Conforme detalhado na documentação, o Hermes oferece suporte nativo a modelos no Amazon Bedrock. Para começar:
- Execute
hermes modelno terminal. - Role a lista de providers até “AWS Bedrock” (o Hermes rotula incorretamente “Amazon Bedrock” como “AWS Bedrock”).
- Se solicitado, selecione a região AWS de origem para onde o Hermes deve enviar as requisições.
- Selecione a cadeia de credenciais padrão (recomendado) para usar as credenciais da Interface de Linha de Comando (CLI) da AWS já configuradas no ambiente, ou gere uma chave de API do Amazon Bedrock.
- Selecione o Kimi K3 na lista de modelos detectados automaticamente, ou, se não estiver disponível, insira
global.moonshotai.kimi-k3como nome de modelo personalizado.
Se você usa perfis nomeados para gerenciar múltiplas credenciais AWS no ambiente, no momento da publicação do artigo original é necessário definir a variável de ambiente AWS_PROFILE ou usar o perfil padrão para o Hermes. Alternativamente, é possível mudar para uma chave de API. Acompanhe a issue aberta para atualizações sobre o suporte à definição do perfil AWS via arquivo de configuração do Hermes.
Com o provider do Amazon Bedrock configurado e o modelo selecionado, já é possível usar o Kimi K3 para workflows agênticos no Hermes — como, por exemplo, solicitar ao agente que monte um plano de estudos personalizado.
Disponibilidade e preços
O Kimi K3 está disponível hoje no Amazon Bedrock por meio dos perfis de inferência cross-Region US Geo (us.) e Global (global.). Consulte a documentação do Bedrock para a lista completa de regiões suportadas. Para informações de preço, acesse a página de preços do Amazon Bedrock.
Para experimentar, acesse o console do Amazon Bedrock ou explore o repositório de exemplos da Moonshot AI na AWS no GitHub.
Fonte
Introducing Kimi K3 on Amazon Bedrock (https://aws.amazon.com/blogs/machine-learning/introducing-kimi-k3-on-amazon-bedrock/)
Leave a Reply