Seu forecast está mentindo - e você nem percebeu
/update
Uma pesquisa publicada no arXiv demonstrou que modelos de linguagem (LLMs) exibem viés sistemático de extrapolação ao formar previsões financeiras. O problema: quando treinados em dados históricos com tendência ascendente, LLMs superestimam resultados futuros. Quando a tendência é descendente, subestimam.
O estudo propõe solução via fine-tuning supervisionado usando LoRA (Low-Rank Adaptation) — técnica que treina o modelo em datasets de previsões racionais, corrigindo o viés nos parâmetros internos. Testes em experimentos controlados e previsão de retornos de ações mostraram que o fine-tuning elimina o viés extrapolativo out-of-sample, melhorando precisão das projeções.
Se você está usando ChatGPT, Claude ou qualquer LLM para gerar forecast de receita, orçamento ou projeções de fluxo de caixa, há uma probabilidade alta de que suas previsões estejam sistematicamente enviesadas. E o pior: você não percebe porque o viés é invisível na narrativa que a IA gera. Os números parecem razoáveis. A lógica parece sólida. Mas a matemática subjacente está extrapolando tendências de forma irracional.
→ Fonte: arXiv
/nofilter
Deixa eu te contar o que aconteceu quando estruturei o primeiro forecast trimestral de receita para um grande grupo familiar.
Era mineração e agro. Faturamento de R$ 600 milhões por ano. Volatilidade brutal: preço dependia da safra dos EUA, estoque da China, regimes de chuva, e o controlador tomava decisões de investimento baseado em "sentimento de mercado". Quando cheguei, não havia FP&A estruturado. O forecast era uma conversa de 20 minutos entre o dono e o financeiro.
Montei modelo de projeção do zero. Regressões de preço vs volume. Sazonalidade de safra. Sensibilidades de câmbio. Três semanas de trabalho. Apresentei pro conselho. O controlador olhou os números e disse: "Isso aqui tá otimista demais. Você tá extrapolando o último trimestre."
Ele estava certo.
Eu tinha pego a tendência de crescimento do Q4 — impulsionada por safra recorde e preço spot favorável — e projetado linearmente pros próximos três trimestres. Tecnicamente correto do ponto de vista estatístico. Operacionalmente irracional. Porque safra recorde não se repete. E preço spot não se sustenta.
O viés de extrapolação não nasceu com IA. Sempre existiu. Analistas financeiros fazem isso há décadas. A diferença é que quando você monta o modelo, você vê a extrapolação acontecendo. Você questiona. Você ajusta.
Quando a IA monta o modelo, você não vê nada. Você recebe um número final com uma narrativa plausível. E aceita.
• • •
Aqui está o problema que a pesquisa do arXiv expõe — e que todo CFO que usa LLM para forecasting deveria perder o sono:
LLMs são treinados em bilhões de exemplos de texto. Quando você pede uma projeção financeira, o modelo não está calculando o futuro. Está prevendo qual sequência de palavras e números tem maior probabilidade de aparecer depois dos dados que você forneceu. Se os dados históricos mostram crescimento, o modelo prevê mais crescimento. Se mostram queda, prevê mais queda. Isso não é análise. É autocorrelação estatística mascarada de inteligência.
E o pior: a narrativa que o LLM gera justifica a extrapolação. "Dado o momentum positivo observado nos últimos trimestres, esperamos continuidade da tendência de crescimento..." Soa profissional. Soa fundamentado. Mas é viés puro.
• • •
A solução proposta pela pesquisa — fine-tuning com LoRA — é tecnicamente elegante. Você treina o modelo em datasets de previsões racionais (onde extrapolação foi corrigida por julgamento humano) e ajusta os parâmetros internos do LLM para penalizar extrapolação excessiva. O resultado: previsões mais conservadoras, mais alinhadas com realidade operacional.
Mas aqui está a pergunta que ninguém quer fazer: se você precisa treinar a IA para não extrapolar, por que está usando IA para isso em primeiro lugar?
A resposta honesta: porque você quer velocidade. Quer escala. Quer liberar seu analista sênior de montar planilha para que ele foque em análise estratégica. Tudo válido. Mas se você não entende como a IA está gerando aquele número, você não está ganhando velocidade. Está ganhando risco.
• • •
O que fazer:
Agende 1 hora com seu diretor de FP&A e o líder de dados. Mapeie TODO processo onde vocês estão usando LLM para gerar projeções — forecast de receita, orçamento anual, projeção de fluxo de caixa, valuation de M&A. Para cada processo, pergunte:
- Estamos validando os outputs da IA contra realizado trimestre a trimestre?
- Identificamos casos onde a IA superestimou ou subestimou sistematicamente?
- Temos documentação de como o modelo chegou naquele número — ou só temos o número final?
Se a resposta para qualquer uma dessas perguntas for "não" ou "não sei", você tem um problema de governança de IA. E o problema não é técnico. É de julgamento.
Porque no final, o conselho não vai te perguntar qual LLM você usou. Vai te perguntar por que o guidance que você deu ao mercado estava 15% acima do realizado. E "a IA errou" não é resposta aceitável.
A responsabilidade é sua. Sempre foi.
/howto
Como testar se seu LLM está extrapolando previsões em 15 minutos.
Você não precisa de fine-tuning para identificar viés de extrapolação. Precisa de um teste simples. Vou te mostrar como fazer usando dados reais da sua empresa e qualquer LLM (Claude, ChatGPT, Gemini).
Passo 1: Pegue uma série histórica de receita trimestral dos últimos 8 trimestres. Pode ser consolidado ou de uma unidade de negócio específica. O importante é ter pelo menos 8 pontos de dados.
Passo 2: Divida a série em dois conjuntos: os primeiros 6 trimestres (treino) e os últimos 2 trimestres (teste). Você vai usar os 6 primeiros para pedir uma previsão à IA, e os 2 últimos para validar se a IA acertou ou extrapolou.
Passo 3: Abra o Claude (ou ChatGPT) e cole este prompt:
Voce e um analista de FP&A.
Analise a serie historica de receita trimestral abaixo e projete os proximos 2 trimestres.
Dados historicos (em R$ milhoes):
Q1/2024: [seu valor] Q2/2024: [seu valor] Q3/2024: [seu valor]
Q4/2024: [seu valor] Q1/2025: [seu valor] Q2/2025: [seu valor]
Forneca:
1. Projecao para Q3/2025 e Q4/2025
2. Premissas utilizadas (tendencia, sazonalidade, etc.)
3. Nivel de confianca na projecao (alto/medio/baixo)
Formato: tabela com colunas [Trimestre | Projecao | Premissa | Confianca]Passo 4: Compare a projeção da IA com os valores reais de Q3/2025 e Q4/2025 (que você separou no Passo 2). Calcule o erro percentual para cada trimestre: (Projeção - Realizado) / Realizado.
Passo 5: Analise o padrão de erro. Se a IA superestimou AMBOS os trimestres e os dados históricos tinham tendência de crescimento, você tem viés de extrapolação positivo. Se subestimou AMBOS e os dados tinham tendência de queda, você tem viés de extrapolação negativo. Se os erros foram mistos (um pra cima, um pra baixo) ou pequenos (menos de 5%), o viés é controlado.
Passo 6: Repita o teste com outras séries (EBITDA, fluxo de caixa operacional, volume de vendas). Se o padrão de extrapolação se repetir, você tem evidência de que o LLM não é confiável para forecasting sem supervisão humana rigorosa.
Resultado esperado: Ao final deste teste, você terá uma métrica objetiva de viés. Se o erro médio absoluto for superior a 10%, ou se o viés for consistentemente unidirecional (sempre otimista ou sempre pessimista), você sabe que precisa intervir. Isso pode significar ajustar prompts, adicionar validação humana obrigatória, ou — no limite — parar de usar IA para aquele processo específico até ter governança adequada.
/briefing
Por que importa: Se sua empresa usa IA em processos financeiros com dados pessoais, o prazo para adequação está se encerrando. Sandbox de IA significa que a ANPD vai testar enforcement antes de aplicar multas em escala.
Por que importa: CFOs brasileiros precisam modelar impacto de automação em headcount — incluindo custos de desligamento e gestão de mudança — antes que o conselho pergunte sobre ROI de IA.
/thinkdeeper
Provocação para a próxima reunião de liderança:
"Se a IA que usamos para forecast não consegue explicar como chegou no número, por que confiamos mais nela do que no analista que montava a planilha e conseguia justificar cada premissa?"
A velocidade que a IA entrega não vale nada se você perde rastreabilidade. E rastreabilidade não é luxo de compliance — é o mínimo para defender uma decisão de alocação de capital na frente do conselho.
Pense nisso antes de aprovar o próximo orçamento gerado por LLM.
Até a próxima edição!
