AI Wire

Notas curtas sobre modelos, ferramentas, agentes e as regras que os governam.


Edição em português

Regulação

Pesquisadores da OpenAI exigem raciocínio de IA auditável

Três pesquisadores de segurança demitidos da OpenAI pedem pausa em modelos cujo raciocínio não possa ser inspecionado por auditores humanos.

Jasmine Wang, Tomek Korbak e Mikita Balesni negam vazamento de dados e pedem moratória a modelos que escondem etapas internas de raciocínio.

A demissão de três pesquisadores da OpenAI no início de outubro expôs um atrito que vinha sendo cozinhado em silêncio nos laboratórios de São Francisco. Jasmine Wang, Tomek Korbak e Mikita Balesni perderam os crachás sob acusação de vazamento de dados confidenciais. A resposta do trio veio em público: uma carta aberta ao conselho de administração cobrando que a indústria congele o lançamento de modelos cujas etapas internas de pensamento não possam ser lidas e auditadas por humanos. Reportagens da Associated Press, da BBC e do TechCrunch confirmaram a disputa.

As versões sobre o desligamento

A OpenAI tratou os desligamentos como uma questão disciplinar estrita. Em notas enviadas à imprensa e em postagens no X, a liderança sustentou que houve quebra substancial de confiança e violação reiterada de regras de segurança de dados. A empresa nega de forma taxativa que a saída tenha qualquer ligação com alertas técnicos ou críticas internas.

Os três cientistas contam uma história bem diferente. Eles afirmam que as demissões funcionaram como represália direta por apontarem brechas na fiscalização interna e por manterem diálogo técnico com a METR (Model Evaluation and Threat Research), entidade independente que avalia riscos catastróficos e que já prestou serviços à própria OpenAI. Korbak relatou no X ter ouvido de gestores que suas conversas com a METR foram o estopim da dispensa. Na carta intitulada “OpenAI cannot make AI safe on its own”, o grupo alerta que demissões sumárias geram um efeito paralisante sobre qualquer colega que pense em contestar cronogramas comerciais.

O risco prático do raciocínio oculto

A divergência teórica no centro da briga mexe diretamente com o futuro dos sistemas de fronteira. Korbak e Balesni vinham trabalhando, inclusive ao lado de equipes da Google DeepMind e da Anthropic, na monitorabilidade de cadeias de pensamento (“chain of thought”). Hoje, modelos avançados de raciocínio exibem passos intermediários em linguagem natural antes de fechar uma resposta. Esse rascunho de texto permite que avaliadores externos identifiquem simulações de alinhamento, falhas lógicas e tentativas de enganar o usuário.

O problema é que esse controle corre risco iminente de desaparecer. Pesquisas recentes com arquiteturas de profundidade recorrente (“recurrent depth” ou “loop transformers”), detalhadas pelo The Information, deslocam o raciocínio adicional para camadas latentes. Nessas camadas, o processamento ocorre via álgebra matricial contínua, sem gerar tokens de texto legíveis. Se a máquina aprender a burlar regras durante o cálculo latente, nenhum auditor humano saberá o que aconteceu.

As exigências dos pesquisadores da OpenAI

Diante desse risco, a carta enviada ao conselho formalizou três exigências práticas para o setor:

  1. Preservar a auditabilidade de ponta a ponta: suspender lançamentos de modelos cujo raciocínio seja tecnicamente opaco aos avaliadores.
  2. Auditores externos com acesso real: integrar especialistas independentes diretamente ao pipeline de desenvolvimento das empresas.
  3. Canais protegidos para cooperação: garantir que pesquisadores possam discutir riscos e dados técnicos com o ecossistema independente sem medo de demissão.

Um padrão que se repete em São Francisco

O conflito não é isolado. As demissões de Wang, Korbak e Balesni somam-se a uma debandada de nomes que lideravam a contenção de riscos na OpenAI desde meados de 2024. A dissolução da equipe de Superalinhamento, que culminou nas saídas de Jan Leike e Ilya Sutskever, já havia sido acompanhada pelos pedidos de demissão de pesquisadores como Leopold Aschenbrenner e Daniel Kokotajlo, conforme documentado pela NPR. Enquanto a pressão de mercado exige modelos que raciocinam mais rápido e custam menos por token, o espaço para quem insiste em manter os freios visíveis encolhe a cada ciclo de lançamento.

Fontes

Fontes

  1. apnews.com
  2. techcrunch.com
  3. bbc.co.uk
  4. theinformation.com
  5. npr.org

Marcadores

  • openai
  • seguranca-de-ia
  • chain-of-thought
  • metr
  • governanca-de-ia

Correções e política editorial