Como adaptar o Nemotron 3.5 ASR para dialetos locais

A NVIDIA detalhou como treinar seu modelo aberto de fala em sotaques regionais em menos de cinco horas sem perder idiomas anteriores.

Sistemas comerciais de reconhecimento de voz costumam funcionar bem com línguas padronizadas, mas erram com frequência quando encontram sotaques locais, gírias ou fala coloquial. Para enfrentar esse gargalo, a NVIDIA publicou um roteiro técnico e código aberto mostrando como realizar o fine-tuning do Nemotron 3.5 ASR para variações linguísticas regionais. No caso prático documentado pela empresa, o modelo de 600 milhões de parâmetros foi adaptado para dialetos árabes da Arábia Saudita, cortando a taxa de erro pela metade em cerca de quatro horas e meia de processamento.

Ajuste fino do Nemotron 3.5 ASR sem esquecimento

O experimento utilizou 133,7 horas de gravações filtradas do conjunto de dados SADA 2022, somando 103.559 áudios concentrados nos dialetos Najdi e Hijazi. Antes do ajuste, o modelo registrava uma taxa de erro de palavras (Word Error Rate ou WER, medida que calcula a porcentagem de termos transcritos de forma incorreta) de 55,05%. Após o treinamento, o índice caiu para 29,96% no recorte específico desses dialetos e de 58,84% para 35,61% no teste geral do SADA, segundo medições internas divulgadas pela fornecedora.

Um risco central nesse tipo de especialização é o esquecimento catastrófico, falha em que a rede neural aprende o vocabulário novo e apaga o conhecimento prévio de outros idiomas. Para evitar esse desvio, os pesquisadores recorreram a um fluxo de repetição durante o treino. A mistura reuniu 90% de dados dos dialetos sauditas e 10% de áudios de referência do conjunto FLEURS, sendo 7% em inglês e 3% em árabe padrão. Essa proporção preservou o repertório e chegou a reduzir a taxa de erro no inglês de 11,04% para 10,42%.

Treino em duas GPUs e suporte a múltiplos locutores

O modelo base testado foi o Nemotron 3.5 ASR Streaming, projetado para transcrição contínua em tempo real com baixa latência em até 40 idiomas, com suporte nativo a pontuação e letras maiúsculas. O processo de fine-tuning rodou por 12.000 passos e levou cerca de 4,5 horas em duas placas gráficas, empregando agrupamento de lotes por duração de áudio para evitar desperdício de memória de cálculo.

O fluxo de trabalho também se conecta ao Nemotron 3 Diarization, modelo aberto de diarização capaz de identificar e separar a fala de até oito interlocutores diferentes em uma mesma conversa com marcas de tempo. Toda a sequência de execução foi disponibilizada em um notebook Jupyter no repositório de tutoriais do NVIDIA Riva no GitHub.

Limites práticos e o impacto para empresas

Os resultados apresentados exigem cautela. Os dados de ganho de precisão vieram exclusivamente de testes de laboratório realizados pela própria NVIDIA, sem replicação independente até o momento. Além disso, uma taxa de erro próxima de 30% ainda exige revisão humana em tarefas críticas, como prontuários médicos ou contratos falados.

Por outro lado, o roteiro aponta uma alternativa viável para organizações que lidam com línguas e sotaques ignorados pelas grandes plataformas de nuvem. Em vez de pagar chamadas de API por minuto em serviços fechados que não entendem termos locais, equipes de engenharia conseguem rodar modelos compactos de pesos abertos em infraestrutura interna e especializá-los com bases modestas de áudio.