H Company acelera serving de VLM com NVIDIA Dynamo

Startup francesa combina transferências diretas por RDMA e streaming no vLLM para viabilizar escalonamento elástico de agentes de tela na AWS.

Subir uma nova réplica de modelo visual em clusters de Kubernetes costumava levar quase meia hora na infraestrutura da H Company. Para viabilizar o serving de VLM em agentes autônomos que operam computadores, a startup francesa reestruturou seu pipeline de inferência com o motor vLLM e o ModelExpress, componente de código aberto do NVIDIA Dynamo. O relato técnico foi publicado pela equipe da startup em 8 de outubro de 2026 no artigo Booting Fast and Slow e compartilhado pela NVIDIA AI no X.

Gargalos no serving de VLM

Agentes que interagem diretamente com interfaces gráficas alternam períodos calmos com rajadas intensas de trabalho, consumindo telas e gerando cliques em sequência. Manter dezenas de instâncias com aceleradores ligados sem demanda real drena o orçamento. Ao mesmo tempo, desligar nós ociosos criava um problema operacional grave: a demora para reativar o serviço.

No ambiente inicial da H Company na AWS, subir um pod com o modelo de 397 bilhões de parâmetros da família Qwen3.5 em formato FP8 demorava até 27 minutos. Esse tempo acumulava o download da imagem do contêiner, a transferência de centenas de gigabytes de pesos a partir de baldes do Amazon S3, a importação de módulos em Python e a compilação local de rotinas CUDA. Na prática, a equipe precisava manter máquinas caras rodando no vazio para evitar que os usuários esperassem.

Transferência direta entre GPUs

O maior salto de desempenho ocorreu no warm start, cenário em que um novo pod sobe em um nó onde outras réplicas já carregaram os pesos na memória de vídeo. Em vez de recorrer ao S3 ou passar dados pela memória RAM do host, a startup adotou o ModelExpress do NVIDIA Dynamo, software sob licença Apache 2.0.

O componente copia pesos diretamente de GPU para GPU usando RDMA sobre a rede AWS Elastic Fabric Adapter (EFA) e a biblioteca NIXL da NVIDIA. Com taxa de transferência de 341 Gbps, o carregamento dos pesos do modelo de 397B em FP8 caiu de mais de 12 minutos para 26 segundos. Somando todas as etapas de inicialização, a ativação da réplica ficou 12 vezes mais rápida.

Streaming distribuído e código aberto

Quando a máquina é ligada do zero e precisa obrigatoriamente buscar os arquivos no Amazon S3 (cold start), a equipe adotou streaming distribuído com o RunAI model streamer. As oito placas de cada nó baixam fatias distintas dos pesos em paralelo e sincronizam os blocos via NVLink com a biblioteca NCCL. Esse esquema reduziu o download inicial de cerca de 11 minutos para 3,4 minutos.

A engenharia da H Company também atacou a compilação JIT. Ao compartilhar o cache de rotinas FP8 (DeepGEMM) e grafos CUDA pré-gravados entre as réplicas, a fase de aquecimento acelerou de quatro a cinco vezes.

O trabalho gerou contribuições para repositórios públicos. Os engenheiros Emrick Sinitambirivoutin, Victor Goubet e Avshalom Manevich submeteram suporte a rastreamento de inicialização via OpenTelemetry para o vLLM e corrigiram uma falha no ModelExpress que acionava silenciosamente conexões lentas em TCP.

O impacto real para agentes autônomos

Os resultados obtidos pela empresa mostram que a viabilidade de agentes que operam sistemas operacionais depende de engenharia de redes tanto quanto da precisão dos pesos. Sem tempos de resposta na casa dos segundos, a promessa de nuvem elástica falha e a infraestrutura vira um poço de custos fixos.

A H Company não revelou a economia total em dólares na fatura da AWS, e mecanismos adicionais como snapshots de processos na memória ainda estão em desenvolvimento. Mesmo assim, a combinação de RDMA direto e carregamento paralelo indica um caminho claro para colocar agentes visuais complexos em produção sem manter frotas inteiras ociosas.