SemanTok: Stability testa world models de vídeo menores

Em parceria com o Instituto de Tecnologia de Karlsruhe, empresa apresenta o SemanTok, método que permitiu a um modelo de 201 milhões de parâmetros superar arquitetura 3,4 vezes maior no benchmark Kinetics-600.

A Stability AI e o Instituto de Tecnologia de Karlsruhe (KIT) apresentaram em 8 de outubro de 2026 uma nova arquitetura de tokenização voltada para a geração autorregressiva de world models de vídeo: o SemanTok. O método parte de uma lógica direta que desafia o padrão da indústria. Em vez de queimar capacidade computacional tentando reconstruir pixels e texturas finas logo nos primeiros tokens, o sistema força a rede a entender primeiro o que acontece na cena. Os testes práticos mostram o ganho: um modelo compacto de 201 milhões de parâmetros superou um rival 3,4 vezes maior tanto em precisão semântica quanto em fidelidade de imagem.

O que muda na compressão do vídeo

Modelos que geram vídeo quadro a quadro costumam comprimir tudo direto em espaços latentes genéricos, misturando objetos com textura de fundo. O SemanTok faz essa divisão por etapas, num fluxo que vai do grosseiro ao detalhado (coarse-to-fine). Durante o treino, o codificador recebe representações visuais congeladas do DINOv2 combinadas a latentes de VAE. Cabeças de projeção dedicadas forçam o sistema a reconstruir o conteúdo da cena a partir de qualquer prefixo inicial de tokens.

Na prática, a rede define primeiro a dinâmica do ambiente, como quem se move e em que direção, antes de gastar recursos com iluminação ou ruído de textura. Segundo os pesquisadores no artigo publicado no arXiv, gerar sequências com orçamentos curtos de prefixo (k=16) economiza perto de 32% de bits por token nas fases iniciais. O refinamento dos pixels fica para as etapas seguintes, sem que a coerência temporal se perca no caminho.

Desempenho no benchmark Kinetics-600

Os testes mediram a eficiência da arquitetura no benchmark Kinetics-600. O modelo SemanTok com 201 milhões de parâmetros alcançou acurácia de classe de 0,639. O baseline VideoFlexTok, desenhado com a mesma flexibilidade mas sem supervisão semântica, parou em 0,422, mesmo operando com 3,4 vezes mais parâmetros.

A distância visual também encurtou. Na métrica gFVD (generalized Fréchet Video Distance), em que pontuações mais baixas indicam distribuições mais próximas do vídeo real, o SemanTok marcou 217,2, contra 272,9 da arquitetura de comparação. O resultado sugere que estruturar tokens pela previsibilidade semântica ensina representações visuais mais sólidas a modelos leves do que simplesmente empilhar parâmetros sem essa hierarquia.

Relevância para world models de vídeo

Para quem projeta simuladores físicos, robótica ou ambientes interativos, a eficiência de predição é a principal barreira prática. Gerar vídeo autorregressivo em tempo real ainda exige clusters pesados de GPUs, e o menor desvio nos pixels costuma desmanchar sequências longas. Ao provar que representações estruturadas mantêm coerência consumindo menos capacidade, o SemanTok abre espaço para rodar simuladores e preditores de ação em hardware mais acessível.

Limites e o que o estudo não responde

Apesar dos números sólidos, o projeto carrega limites evidentes. A Stability AI publicou no GitHub os pesos e scripts para inferência e avaliação, mas manteve o código de treinamento fechado. O trabalho vem da divisão de Interactive Research da empresa e não traz nenhum plano de virar produto comercial ou integrar ferramentas como o Stable Video.

Há também uma questão de escala. Os testes ficaram restritos a modelos na faixa de centenas de milhões de parâmetros frente a referências acadêmicas. Os autores não apresentaram dados sobre o comportamento dessa arquitetura em redes de dezenas de bilhões de parâmetros, patamar em que operam sistemas comerciais fechados como Sora e Runway Gen-3.

Fontes

• Preprint no arXiv: SemanTok (arXiv:2610.00686)
• Repositório oficial no GitHub (Stability-AI/SemanTok)
• Comunicado oficial da Stability AI no X
• Publicações de Mark Boss (coautor, Stability AI)