Character.AI relata 2x de throughput em GPU AMD
DigitalOcean e AMD: Character.AI dobrou o throughput de inferência em Instinct e cortou 50% o custo por token, vs setup genérico. Sem auditoria.
A DigitalOcean e a AMD repetem o case de janeiro: metade do custo por token, contra um setup genérico. Sem auditoria externa.
Em 13 de janeiro de 2026, DigitalOcean, AMD e Character.AI publicaram o mesmo case. Cargas de inferência da Character.AI em GPUs Instinct MI300X e MI325X, na nuvem Kubernetes da DigitalOcean (DOKS), teriam chegado a até o dobro de throughput (requisições por segundo) e à metade do custo por token. A base, segundo as três, é uma infraestrutura de GPU “padrão”, sem as otimizações do post, em outros provedores. Em 1º de outubro de 2026 a conta @AMD repetiu os números no X. Não houve medição nova. Para a fatura de um chat grande, o ganho pode ser o chip, o software ou a comparação.
Resumo rápido
- Até 2x de QPS e 50% menos custo por token, segundo as empresas, em janeiro de 2026.
- A base é um setup genérico em “outros provedores”, sem as otimizações do post, não um chip Nvidia nomeado.
- No mesmo texto, DP2/TP4/EP4 fica cerca de 91% acima do genérico; isso não é o 2x arredondado.
- A nota GD-181 da AMD diz que a fabricante não verificou os dados de forma independente.
Primeiro: o que é throughput de inferência
Inferência é a hora em que o modelo responde, não a hora em que treina. Throughput, medido em QPS (requisições por segundo), é quantas dessas respostas o servidor entrega. Token é o pedaço de texto que o modelo lê ou escreve. Num app de chat grande, isso vira fatura de GPU. A AMD vende o chip, a DigitalOcean vende a nuvem, e a Character.AI é cliente e fonte dos números de custo.
O que as empresas anunciaram
No case da AMD, David Brinker, vice-presidente sênior de parcerias da Character.AI, atribui às Instinct o dobro de throughput de produção e a queda de 50% no custo por token. O comunicado de IR da DigitalOcean, do mesmo dia, traz Vamsi Boppana, SVP de inteligência artificial da AMD, falando do silício Instinct, do software aberto ROCm e da otimização na plataforma.
O post de engenharia da DigitalOcean, republicado no blog da Character.AI, descreve um acordo plurianual de oito dígitos anuais em dólares para GPU. A faixa é US$ 10 milhões a US$ 99 milhões por ano. A cifra exata não saiu. O trecho não está no comunicado de IR.
A Character.AI, segundo o IR da DigitalOcean e o case da AMD, processa mais de 1 bilhão de consultas por dia. O deep-dive fala em cerca de 20 milhões de usuários no mundo. O case da AMD diz que GPU é o maior custo operacional individual da empresa. Não há data nem método para esses volumes. O material fala de cargas migradas e de um deployment de produção, não da fatia da frota que já saiu de outros provedores.
Como o teste foi montado
O deep-dive descreve um servidor com 8 GPUs MI325X rodando o Mixture-of-Experts Qwen3-235B Instruct em FP8 (no vLLM, Qwen/Qwen3-235B-A22B-Instruct-2507-FP8). MoE, a cada trecho, aciona só alguns especialistas internos; o post cita 128. A ficha da AMD para o MI325X cita 256 GB de HBM3E por placa; o post de engenharia fala em 256 GB de HBM. MI300X também entra no PR e no case.
O “até 2x” de QPS, no footnote, vale para esse modelo, com carga 5600/140 (entrada e saída) e teto no percentil 90 da latência, contra o setup genérico. Percentil 90 quer dizer que 90% das respostas ficaram abaixo do teto. No mesmo texto, DP2/TP4/EP4 (paralelismo de dados, de tensores e de especialistas) aparece cerca de 91% melhor que o genérico e cerca de 45% melhor que DP1/TP8/EP8 no próprio Instinct, com cerca de 64 concorrências.
O software é vLLM, com ROCm (a pilha da AMD no lugar do CUDA da Nvidia) e AITER, kernels da AMD para MoE. Pesos e KV-cache, a memória da conversa já vista, rodaram em FP8. Segundo a DigitalOcean, isso cortou cerca de 50% da VRAM do cache em relação ao BF16 padrão, não do modelo inteiro. Os pesos, cerca de 240 GB, foram cacheados em NFS, com 10% a 15% menos tempo para carregar o checkpoint.
O que o número 2x não prova
RUMOR: ler o case como bake-off contra Nvidia (H100, H200 ou Blackwell) ou como prova de que a Character.AI saiu do CUDA. As primárias falam em “other providers” e em infraestrutura genérica sem as otimizações do post. Não nomeiam a nuvem anterior nem o chip substituído.
Os resultados são testes internos da DigitalOcean e da AMD, com custo informado pela Character.AI. As três vendem ou usam o stack anunciado. O tuíte de outubro diz: “When inference is the operating budget, efficiency matters. With AMD Instinct GPUs on @DigitalOcean, @Character_ai doubled production inference throughput and cut cost per token by 50%.” Só repercutiu o case de janeiro.
O que ainda não sabemos
Não sabemos a fatia da frota nesse stack, o valor exato do contrato nem o provedor anterior. Sem teste independente, o 2x e o corte de 50% ficam como número da empresa, medido em janeiro de 2026 contra um setup genérico sem as otimizações do post. O tuíte de outubro não muda essa conta.
Fontes
Oficial