Stanford acaba de invalidar 42% das decisões de compra de IA

/update

Stanford acabou de jogar um balde de água fria em todo Conselho e/ou C-Suite que aprovou compra de ferramenta de IA nos últimos 12 meses.

O AI Index 2026, divulgado esta semana, revela que benchmarks tradicionais de IA — aqueles scores que seu fornecedor mostrou na apresentação comercial — têm taxa de erro de até 42%. Não é margem de variação. É falha estrutural do método.

Pior: OpenAI, Anthropic e Google pararam de divulgar dados de treinamento dos modelos. A caixa-preta ficou ainda mais opaca.

Enquanto isso, modelos chineses como DeepSeek competem diretamente com GPT-4 e Claude, separados por margens mínimas — mas você não consegue verificar isso de forma independente porque os testes tradicionais não funcionam mais.

E tem um detalhe que deveria acender o sinal vermelho em qualquer C-Level: 73% dos especialistas em IA veem impacto positivo em empregos. Apenas 23% do público concorda. Essa lacuna de percepção não é curiosidade acadêmica — é risco reputacional e operacional para quem implementa IA em processos sem comunicação adequada com stakeholders. Traduzindo: nunca foi tão necessário um bom Change Management (que pode inclusive ser impulsionado por IA)!

→ Fonte: MIT Technology Review

/nofilter

Deixa eu te contar o que teria acontecido se, em 2017, quando eu era CFO da CIC — indústria têxtil com R$ 300 milhões de faturamento anual — existissem as ferramentas de IA que hoje estão disponíveis.

Tínhamos 2000+ SKUs ativos. Cada trimestre, a diretoria comercial pedia forecast de margem por linha de produto para decidir mix de produção. Eu montava isso com uma equipe de três analistas em Excel. Levava duas semanas. Cruzávamos histórico de vendas, custo de matéria-prima, sazonalidade, giro de estoque. No final, entregávamos uma planilha de 47 abas com recomendações de quais linhas empurrar e quais descontinuar.

Se um fornecedor de IA chegasse na minha sala em 2017 prometendo fazer isso em 2 horas com "acurácia de 95% baseada em machine learning proprietário", eu teria assinado o contrato na hora. Teria pago R$ 30 mil mensais sem pestanejar.

Só que hoje, em 2026, Stanford está me dizendo que aquele "95% de acurácia" tinha 42% de chance de ser ficção metodológica.

E isso muda tudo.

• • •

O problema não é a IA não funcionar. O problema é que os métodos que usamos para medir se a IA funciona estão quebrados — e a indústria de fornecedores sabe disso.

Benchmarks tradicionais de IA são facilmente manipulados. Um modelo pode ter performance excepcional em testes padronizados e desabar quando você joga dados reais da sua operação. É como contratar um CFO que passou em todas as certificações mas nunca fechou um balanço sob pressão.

Pior: os grandes players pararam de divulgar dados de treinamento. OpenAI não conta mais como treinou o GPT-4. Anthropic não abre a cozinha do Claude. Google idem. Você está comprando uma solução financeira crítica sem saber que dados alimentaram o modelo — e sem conseguir validar de forma independente se aquilo serve para o SEU contexto.

Isso não é detalhe técnico para o pessoal de TI resolver. Isso é risco de governança que senta na mesa do CFO.

• • •

Agora vem a parte que deveria fazer você parar de ler este email e abrir uma planilha.

Se você aprovou compra de ferramenta de IA para FP&A, análise de crédito, automação de relatórios ou qualquer processo financeiro nos últimos 12 meses, responda honestamente:

Você testou a ferramenta com dados reais da sua empresa antes de assinar o contrato?

Não estou falando de demo com dados genéricos que o fornecedor preparou. Estou falando de pegar seu histórico de inadimplência, jogar no modelo, e comparar as previsões da IA com o que de fato aconteceu nos últimos 6 meses.

Se a resposta for não — e na maioria dos casos é não — você baseou uma decisão de investimento em marketing, não em dados. Você confiou no benchmark que Stanford acabou de invalidar.

Na segunda-feira, faça isso:

Convoque reunião com TI, jurídico e o gestor da área que usa a ferramenta de IA. Uma hora, sem enrolação. Pauta única: revisar critérios de seleção de fornecedores de IA.

Estabeleça protocolo de due diligence que inclua:

1. Teste obrigatório com dados reais — nada de demo preparada. O fornecedor roda o modelo com seus dados, você valida o output contra resultados conhecidos. Se a ferramenta promete prever inadimplência, teste com carteira histórica. Se promete otimizar forecast, compare previsões contra realizados dos últimos trimestres.

2. Transparência mínima sobre metodologia — você não precisa do código-fonte, mas precisa entender que tipo de dados treinaram o modelo, qual a lógica de decisão, e onde estão os vieses conhecidos. Se o fornecedor recusar transparência alegando "proteção de IP", é red flag.

3. Cláusula de performance verificável — o contrato deve incluir métricas objetivas de performance (acurácia, taxa de erro, falsos positivos) medidas com SEUS dados, não com benchmarks genéricos. E deve incluir saída sem multa se a ferramenta não entregar o prometido após período de teste.

• • •

Tem outro lado dessa história que Stanford revelou e que ninguém está discutindo: a lacuna de percepção sobre impacto da IA em empregos.

73% dos especialistas em IA acreditam que o impacto será positivo. Apenas 23% do público concorda. Essa diferença de 50 pontos percentuais não é estatística — é bomba-relógio de gestão de pessoas.

Quando você implementa IA em processos financeiros — automação de relatórios, análise preditiva, bots em contas a pagar — sua equipe está no grupo dos 23%. Eles veem ameaça, não oportunidade. E se você não gerenciar essa percepção, o projeto falha antes de entregar resultado.

Eu vi isso acontecer em 2019 quando era Finance Transformation Director na Oracle, atuando como business partner de CFOs de grandes contas enterprise. Uma multinacional de varejo implementou RPA em contas a pagar sem envolver a equipe. Resultado: sabotagem passiva. Erros "acidentais" no input que quebravam o bot. Retrabalho intencional que provava que "a automação não funciona". Três meses depois, desligaram o projeto.

O erro não foi técnico. Foi de change management.

Antes de implementar qualquer IA em processos financeiros, você precisa de um plano de comunicação tão robusto quanto o plano técnico.

Explique para a equipe o que muda, o que não muda, e — principalmente — o que eles vão ganhar com a automação. Não venda ilusão de que "ninguém vai perder emprego". Seja honesto: algumas funções vão desaparecer, outras vão se transformar, e quem se adaptar vai ter mais valor de mercado.

E treine. Não treinamento genérico de "introdução à IA". Treinamento específico: como usar a nova ferramenta, como interpretar o output, quando confiar na IA e quando questionar.

IA que ninguém usa não gera ROI. Só gera arrependimento.

/howto

Você acabou de ler que benchmarks tradicionais de IA têm 42% de taxa de erro. Agora vou te mostrar como testar qualquer ferramenta de IA financeira com seus próprios dados — antes de assinar contrato.

Este tutorial funciona para qualquer caso de uso: previsão de inadimplência, forecast de vendas, análise de margem por produto, scoring de fornecedores. A lógica é sempre a mesma: pegue dados históricos onde você já conhece o resultado, rode a IA, compare.

Passo 1: Escolha o caso de uso e separe dados históricos

Identifique a função que a ferramenta de IA promete executar. Exemplos: "prever clientes que vão atrasar pagamento nos próximos 30 dias" ou "recomendar mix de produtos para maximizar margem".

Agora pegue dados históricos de um período onde você já sabe o que aconteceu. Para inadimplência: carteira de clientes de 6 meses atrás + dados de quem de fato atrasou. Para forecast: vendas realizadas dos últimos 4 trimestres + variáveis que você usaria para prever (sazonalidade, estoque, preço).

Exporte para CSV ou Excel. Você vai precisar de duas versões: uma com as variáveis de entrada (dados que a IA usaria para prever) e outra com os resultados reais (o que de fato aconteceu).

Passo 2: Peça ao fornecedor para rodar o modelo com seus dados

Envie os dados de entrada para o fornecedor e peça para rodar o modelo. NÃO envie os resultados reais ainda — você vai usar isso para validar depois.

Se o fornecedor recusar ou pedir para "ajustar os dados" antes de testar, isso é red flag. A ferramenta precisa funcionar com dados reais, não com dados preparados.

Passo 3: Compare previsões da IA com resultados reais

Pegue o output da IA (ex: lista de clientes com probabilidade de atraso) e compare com o que de fato aconteceu.

Calcule taxa de acerto. Para classificação binária (vai atrasar / não vai atrasar), use esta fórmula simples:

Acurácia = (Acertos / Total de casos) × 100

Exemplo: a IA previu que 50 clientes atrasariam. Desses 50, quantos de fato atrasaram? Se foram 35, a acurácia nesse subgrupo é 70%. Agora olhe os clientes que a IA disse que NÃO atrasariam — quantos desses atrasaram mesmo assim? Esses são os falsos negativos, e podem ser mais caros que os falsos positivos.

Passo 4: Use IA para criar seu próprio teste se o fornecedor recusar

Se o fornecedor não aceitar testar com seus dados, você pode criar um teste básico usando Claude ou ChatGPT. Não vai substituir uma ferramenta especializada, mas vai te dar noção de viabilidade.

Abra Claude ou ChatGPT e use este prompt:

Cole seus dados históricos e analise o resultado. Se a acurácia for superior a 65-70% com uma regra simples criada por LLM genérico, isso significa que (a) seus dados têm padrão detectável e (b) uma ferramenta especializada deveria entregar muito mais que isso.

Se a acurácia for inferior a 60%, ou o LLM não conseguir identificar padrão claro, seus dados podem não ter sinal suficiente para IA — e nenhum fornecedor vai resolver isso com "algoritmo proprietário".

Passo 5: Documente e defina critério mínimo de aceitação

Crie planilha simples com:

- Caso de uso testado
- Acurácia obtida no teste
- Taxa de falsos positivos (previu problema que não aconteceu)
- Taxa de falsos negativos (não previu problema que aconteceu)
- Custo estimado de cada tipo de erro

Agora defina critério mínimo. Exemplo: "Para aprovar ferramenta de previsão de inadimplência, acurácia mínima de 75% com taxa de falsos negativos inferior a 15%".

Leve isso para a negociação com fornecedor. Se a ferramenta não passar no seu teste, não assine contrato — não importa quão bonito seja o benchmark genérico que eles mostraram.

Resultado esperado: Você sai deste tutorial com método objetivo para validar qualquer ferramenta de IA financeira antes de comprar. Nada de confiar em score de benchmark — você testa com seus dados, mede performance real, e só aprova se passar no critério que você definiu. É a diferença entre comprar IA baseado em marketing e comprar baseado em evidência.

/briefing

Startup atinge $1.8B em vendas com IA e equipe de 2 pessoas
Matthew Gallagher lançou Medvi (telemedicina) com $20K e ferramentas de IA generativa. Em 18 meses: $401M no primeiro ano, projeção de $1.8B em 2026, operando com apenas 2 funcionários full-time mais contractors terceirizados.

Porque isso importa: A economia de Medvi ($900M de receita por funcionário) versus empresas tradicionais expõe a magnitude da mudança em estrutura de custos. CFOs que não repensarem modelos de staffing em FP&A, controladoria e tesouraria perderão competitividade — funções que hoje exigem equipes de 5-10 pessoas podem ser reduzidas drasticamente com agentes de IA.

Google lança Gemma 4 open-source com licença Apache 2.0
Primeira vez que linha Gemma usa Apache 2.0, removendo barreiras legais para uso corporativo. Modelos suportam código, visão e agentes, com versões menores rodando offline. Gemma 4 31B compete com modelos chineses mas com fração do tamanho.

Porque isso importa: Apache 2.0 elimina vendor lock-in e permite modificar/deployar sem fricção legal — crucial para CFOs que avaliam IA. Viabiliza desenvolvimento interno de agentes para tarefas financeiras específicas (análise de contratos, extração de dados de notas fiscais) sem exposição de dados sensíveis a APIs de terceiros. Custo total pode ser inferior a soluções SaaS pagas.

/thinkdeeper

A pergunta que ninguém está fazendo:

Se os benchmarks que validaram as ferramentas de IA que você comprou têm 42% de taxa de erro, qual é a probabilidade de que o ROI projetado no business case também esteja errado?

Não é retórica. É matemática.

Você aprovou investimento baseado em premissas de performance (tempo economizado, redução de erro, aumento de acurácia) que vieram de benchmarks quebrados. Se as premissas estão erradas, o ROI está errado. Se o ROI está errado, a decisão de investimento foi baseada em ficção.

Leve isso para a próxima reunião de orçamento: Antes de aprovar qualquer novo investimento em IA, exija teste com dados reais da empresa. Não aceite benchmark genérico como evidência. E revise os investimentos já aprovados — calcule ROI real versus projetado. Se a diferença for material, você tem um problema que precisa ser endereçado agora, não no próximo ciclo de planejamento.

Esta edição foi útil? Encaminhe para um colega de finanças que precisa ler isso. Quanto mais executivos entenderem que benchmarks de IA estão quebrados, mais rápido o mercado vai exigir transparência real dos fornecedores.

Conforme o nosso "benchmark", a próxima edição sai 5a-feira, esse não falha. Até lá!