Microsoft Research lança Agent Lightning para treinar IA

Framework de código aberto conecta aprendizado por reforço a agentes existentes usando um proxy de API.

A Microsoft Research divulgou detalhes técnicos e a versão 1.0 do Agent Lightning, um framework de código aberto feito para treinar agentes de inteligência artificial com aprendizado por reforço sem exigir alterações em ferramentas ou fluxos de decisão. Desenvolvido pela divisão de pesquisa da empresa em Xangai, o projeto está disponível no GitHub sob licença MIT.

Um proxy de API para fluxos do Agent Lightning

Treinar agentes de software em múltiplos passos costuma exigir a migração de todo o fluxo para simuladores especializados. Quem constrói sistemas com bibliotecas como LangChain, AutoGen ou o SDK de agentes da OpenAI geralmente recorre a modelos com pesos estáticos. Adaptar essas soluções para aprendizado por reforço exigia redesenhar a arquitetura do projeto.

A equipe do Agent Lightning, chefiada por pesquisadores como Xufang Luo e Luna K. Qiu, contornou essa barreira colocando um gateway de API compatível com o padrão da OpenAI entre a aplicação e o modelo. O agente roda em seu ambiente nativo sem alteração de código, enquanto o intermediário monitora chamadas, respostas e probabilidades de tokens para enviar os dados diretamente a servidores de treinamento com GPUs.

Algoritmo LightningRL e estrutura v1.0

Sequências longas de execução com múltiplos passos costumam desestabilizar algoritmos clássicos de gradiente de política. Para contornar essa dificuldade, o projeto adota o LightningRL. O método decompõe tarefas complexas em interações pontuais e aplica atribuição hierárquica de crédito, o que viabiliza o treinamento com técnicas consagradas como PPO e GRPO.

Na versão 1.0, os pesquisadores condensaram o núcleo do sistema em cerca de 3.500 linhas de código Python. O pacote traz integração com os motores de inferência e treino verl e vLLM, além de suporte nativo a clusters Kubernetes, permitindo a execução em servidores comuns sem depender de ambientes isolados proprietários.

Resultados em benchmarks de código e busca

Em avaliações técnicas divulgadas pela Microsoft Research, o ajuste fino com o Agent Lightning elevou o índice de acerto do modelo aberto Qwen3.5-9B no benchmark SWE-bench Verified de 41,8% para 56,4%, usando 6.000 tarefas de treino.

Os autores também registraram ganhos em outros cenários de teste, como conversão de texto em consultas SQL com LangChain no benchmark Spider, busca em etapas encadeadas com o SDK da OpenAI no MuSiQue e resolução de cálculos matemáticos com AutoGen.

Limites e escopo atual

Embora o repositório no GitHub tenha acumulado mais de 18,5 mil estrelas, a Microsoft não divulgou planos de levar o Agent Lightning para produtos comerciais como o Copilot Studio ou o Azure AI Agent Service. Além disso, os testes publicados partiram da própria equipe do laboratório e avaliaram apenas modelos abertos de porte médio, sem detalhar o custo computacional necessário para treinar modelos proprietários de ponta.