Nvidia Rubin rende 4,2x mais por dólar em inferência

Dados da SemiAnalysis mostram salto de eficiência em modelo MoE de 180 bilhões de parâmetros com o runtime SGLang e memória HBM4.

A arquitetura de chips Nvidia Rubin entrega 4,23 vezes mais desempenho por dólar do que os sistemas Blackwell GB300 NVL72 em cargas de inferência de inteligência artificial. Os números foram divulgados nesta quarta-feira (14 de outubro de 2026) pela consultoria independente SemiAnalysis, com base em testes do benchmark InferenceX usando o motor open-source SGLang.

O benchmark com o modelo MoE de 180B

O teste preliminar avaliou o modelo Qwen3.8 Flash Next, uma arquitetura de Mixture of Experts (MoE) com 180 bilhões de parâmetros no total, dos quais apenas 6 bilhões são ativados a cada token. A pilha de software foi otimizada por engenheiros da Nvidia, do projeto SGLang e da RadixArk, creditando Nick Comly, Alex Sette e Kedar Potdar.

Para chegar ao multiplicador de 4,23x em custo-benefício, a SemiAnalysis modelou o custo total de propriedade (TCO) de racks completos Rubin NVL72 frente aos GB300 NVL72, igualando a taxa de geração de tokens por usuário. Em termos práticos, o rack opera com o mesmo tempo de resposta, mas reduz o custo operacional por consulta atendida.

Como a arquitetura Nvidia Rubin acelera a inferência

Os ganhos não vieram apenas do silício novo, mas do ajuste fino do runtime SGLang às características de hardware da família Rubin. A equipe de desenvolvimento do motor documentou que o processamento em precisão FP8 com atenção latente multi-cabeça (MLA) ficou até 20% mais rápido em batch size 1 com janelas de contexto longas de 128 mil tokens.

O software também acelerou em 20% a verificação da decodificação especulativa KDA e aplicou fusão de cauda nos kernels de MoE, aproveitando os 327 KiB de memória compartilhada por CTA do chip. No nível de hardware, o sistema combina memórias HBM4, barramentos de interconexão NVLink 6 e a orquestração desagregada Nvidia Dynamo, que separa as etapas de prefill (leitura do prompt) e decode (geração da resposta) em nós especializados.

Testes em produção e ressalvas técnicas

Ambientes reais de nuvem mostraram comportamento similar. A Cognition registrou cerca de 4,8 vezes mais throughput de tokens por GPU ao rodar seu agente de engenharia de software Devin SWE-2 na infraestrutura da CoreWeave, tomando como base comparativa o rack GB200 na mesma taxa de decodificação.

Apesar do salto, o relatório traz limitações importantes. O resultado de 4,23x reflete uma submissão preview em modelo esparso (MoE) pequeno em termos de parâmetros ativos. O desempenho em modelos densos maciços ou redes MoE maiores, como a série GLM-5.3, ainda não foi submetido. Além disso, as tabelas oficiais de preços para compra dos racks e aluguel por hora nas grandes nuvens ainda não foram publicadas, e concorrentes como vLLM e TensorRT-LLM ainda finalizam suas otimizações para a família Rubin.

A corrida pela eficiência por token

Com data centers enfrentando limites físicos de energia elétrica e arrefecimento, a velocidade bruta por GPU deixou de ser o único critério de compra. Para provedores que operam agentes autônomos em fluxos contínuos e contextos de dezenas de milhares de tokens, o custo financeiro e energético de cada milhão de tokens gerados passou a definir a viabilidade comercial dos serviços.