Mistral Large 4 no STEMBench: Destaque em Engenharia
Mistral Large 4 atingiu média 2,501 no STEMBench da Ulam AI, pontuando bem em engenharia e astronomia, mas ficando em 6º lugar entre dez modelos.
Em teste com 120 desafios científicos da Ulam AI, o modelo francês alcançou média 2,501 na escala de 0 a 4 e terminou na sexta posição geral.
A Mistral AI divulgou os resultados de avaliação do seu modelo de ponta Mistral Large 4 no STEMBench, um novo exame científico desenvolvido pela Ulam AI. O laboratório francês deu ênfase às notas obtidas em engenharia e astronomia. Os registros completos da auditoria independente conduzida pela Ulam AI, contudo, oferecem o quadro inteiro: com média de 2,501 em uma escala de 0 a 4, o modelo terminou na sexta colocação entre dez sistemas de fronteira testados em regime fechado.
Como o STEMBench mede o trabalho científico
Lançado em 14 de outubro de 2026 sob coordenação do pesquisador Przemek Chojecki, o STEMBench120 reúne 120 problemas teóricos formulados no nível de pós-graduação. As tarefas são divididas em blocos de 20 para seis disciplinas: biologia, química, física, geociências, astronomia e engenharia. A matemática é acompanhada em uma estrutura separada do laboratório.
Em vez de perguntas de múltipla escolha com respostas fáceis de chutar, o teste avalia o avanço prático do raciocínio. A régua vai de 0 a 4. Zero indica resposta sem utilidade técnica. A nota 1 aponta estruturação inicial de um protocolo válido. A nota 2 reconhece progresso parcial importante no problema. Três significa avanço substancial na resolução central. A nota 4 exige uma solução completa e autônoma, sem suporte humano. Na rodada inicial com dez grandes modelos de ponta, nenhum sistema alcançou a nota 4 em qualquer um dos 120 desafios.
Resultados em engenharia e astronomia
A divulgação da Mistral concentrou atenção em seus dois picos no teste. O Large 4, construído com cerca de 1,05 trilhão de parâmetros no total e 50 a 52 bilhões ativos por token com janela de 1 milhão de tokens, marcou 2,602 em engenharia e 2,597 em astronomia. Em 118 das 120 tarefas, a IA gerou raciocínios técnicos aproveitáveis, recebendo nota zero em apenas duas ocasiões.
Essas marcas explicam por que o sistema funciona bem em etapas técnicas intermediárias. O modelo consegue propor equações fundamentais, rascunhar arranjos mecânicos e desdobrar cálculos complexos. Ele ainda não consegue, por outro lado, receber um problema aberto de laboratório e resolvê-lo de ponta a ponta sem supervisão humana contínua.
Metade da tabela e limites práticos
Apesar dos números positivos nas duas matérias selecionadas, a média global de 2,501 colocou a Mistral na metade de baixo da tabela. A liderança do ranking auditado pela Ulam AI pertence a sistemas como o GPT-6 Astra em configuração xhigh, que bateu 2,809 de média.
Para quem acompanha o uso prático de IA na pesquisa, o teste deixa um recado sóbrio. Os modelos atuais já são assistentes de apoio úteis para rotinas específicas de cálculo e derivação teórica, mas a autonomia científica completa continua distante de qualquer laboratório. Para viabilizar checagens externas sem expor as questões a vazamentos em treinos futuros, a Ulam AI manteve a base principal fechada e publicou o conjunto STEMBench-small, com 60 tarefas, sob licença de código aberto Apache-2.0.