A Anthropic publicou nesta sexta-feira (18) um conjunto de medições inéditas sobre o que acontece dentro do próprio laboratório, e o número que mais chama a atenção é este: o Claude já “lidera” 26% do trabalho de pesquisa e desenvolvimento que cria as próximas versões dele mesmo. Em março, esse índice era de apenas 1%.
Os dados fazem parte de um texto do Anthropic Institute chamado “Medições para entender o ritmo do desenvolvimento de IA dentro dos laboratórios de ponta”. A empresa propõe três métricas para acompanhar a área: quanto da P&D em IA é feita pela própria IA, quão bem as ações dos agentes são supervisionadas e como a capacidade computacional é distribuída. E oferece um retrato interno de cada uma.
O que “liderar” quer dizer
A Anthropic construiu um índice, batizado de R&D Automation Index, catalogando todos os tipos de tarefa de pesquisa feitos na empresa e classificando cada um em uma escala de automação criada pela Epoch AI, organização independente que estuda o avanço da IA. A escala vai de AL0, sem participação de IA, até AL5, em que o modelo opera de forma totalmente autônoma.
“Liderar” uma tarefa significa completar a maior parte dela de ponta a ponta a partir de uma instrução de alto nível, com uma pessoa acompanhando. A própria empresa faz questão de frisar que o Claude não opera de forma totalmente autônoma em nenhum subconjunto medido. Ainda assim, a participação do modelo em algum grau já passa de 90% de todo o trabalho de P&D.
30 mil agentes e uma decisão bloqueada a cada 47 mil
Os outros números dão a dimensão da operação. Em agosto, cerca de 30 mil agentes de IA faziam pesquisa e engenharia ao mesmo tempo na plataforma interna mais usada da empresa. No mês, eles tomaram mais de 1 bilhão de decisões, e apenas 0,002% delas, uma a cada 47 mil, foram bloqueadas para revisão humana por algum motivo.
A Anthropic também diz que pretende incorporar avaliadores externos de várias organizações, com acesso a processos, sistemas e dados comparável ao das equipes internas de risco, para verificar práticas de segurança, relatar incidentes e acompanhar essas métricas de forma independente.
Por que isso importa
O relatório reconhece o outro lado da moeda: modelos que aceleram o próprio desenvolvimento podem tornar mais difícil para humanos entender e controlar esses sistemas. O objetivo declarado das medições é justamente saber a que distância o mundo está da chamada melhoria recursiva, o cenário em que um modelo constrói o sucessor sozinho.
A publicação chega em meio ao apelo do CEO Dario Amodei por uma coordenação entre laboratórios para desacelerar o ritmo da fronteira, proposta que encontra resistência de empresas chinesas e do governo dos Estados Unidos. A Anthropic afirma que esperaria ver esses números mudarem caso houvesse um acordo do tipo. Para quem usa ferramentas de IA no dia a dia, a mensagem prática é que os ciclos de lançamento tendem a continuar encurtando, e que a pressão por transparência sobre como esses modelos são feitos só vai crescer.
