Em 86% de 258 obras o custo real passou do orçado: o que isso ensina antes de apostar a reserva

Resposta curta: numa auditoria de 258 obras de transporte, o custo real passou do previsto em 86% dos casos, e em média ficou 28% acima. O orçamento comparado é o que existia no dia da decisão de construir, justamente quando o otimismo é maior. A lição para quem pensa em apostar a reserva num projeto novo: antes do passo irreversível, rode um teste barato com um número de corte escrito antes de olhar o resultado.

O caso: 258 obras e um orçamento que quase sempre perdeu

O artigo é de três autores (Flyvbjerg, Holm e Buhl), saiu em 2002 no Journal of the American Planning Association e se chama "Underestimating Costs in Public Works Projects: Error or Lie?". A amostra tinha 258 projetos de infraestrutura de transporte, no valor de cerca de US$ 90 bilhões. Os autores a descrevem como a maior do gênero até então.

O resultado central é simples de enunciar. Nas palavras do próprio artigo, os custos foram subestimados em quase 9 de cada 10 projetos. Para um projeto sorteado, a chance de o custo real superar o estimado era de 86%, e a de ficar igual ou abaixo, 14%. O custo real foi, em média, 28% maior que o estimado.

Por tipo de obra, a tabela do artigo mostra:

Tipo de obra	Casos	Estouro médio
Ferrovia	58	44,7%
Pontes e túneis (ligações fixas)	33	33,8%
Estradas	167	20,4%

O estouro é medido como custo real menos custo estimado, em porcentagem do estimado. E "estimado" tem um sentido preciso, explicado em outro texto do mesmo autor: é o valor orçado no momento da decisão de construir. Ou seja, o número que foi usado para dizer sim.

Esse segundo texto acrescenta duas informações. O estouro aparece nos 20 países e 5 continentes do estudo. E, segundo o autor, as estimativas não melhoraram ao longo dos 70 anos cobertos pela base.

O mecanismo: a hora de maior confiança é a hora do maior erro

Os autores examinaram quatro famílias de explicação: técnica, econômica, psicológica e política. A conclusão do artigo de 2002 é forte: a subestimação não se explica por erro e seria melhor explicada por distorção estratégica, isto é, por quem quer a obra aprovada. Essa conclusão é contestada, e voltamos a ela adiante.

O lado psicológico é o que interessa a quem decide sozinho, sem plateia política. Flyvbjerg descreve a falácia do planejamento: quem planeja imagina cenários de sucesso e deixa de fora o que pode dar errado. Ele cita o trabalho de Kahneman e Lovallo sobre a visão de dentro e a visão de fora.

A história que ele reconta é um bom retrato. Kahneman participou de um projeto de currículo escolar em Israel. Cada membro da equipe escreveu quantos meses levaria: as respostas foram de 18 a 30. Pediram então a um especialista da própria equipe que lembrasse projetos parecidos, no mesmo estágio. Ele respondeu, com desconforto, que cerca de 40% desses projetos nunca terminaram, e que nenhum dos que terminaram levou menos de sete anos nem mais de dez. Segundo o relato, a equipe ignorou a informação e concluiu o trabalho oito anos depois, com um currículo que foi pouco usado. Atenção ao rótulo: é um episódio contado por Flyvbjerg, não um dado medido pelo estudo das 258 obras.

A visão de fora, chamada de previsão por classe de referência, consiste em três passos: escolher um conjunto de projetos passados comparáveis, montar a distribuição de resultados desse conjunto e posicionar o seu projeto nela. A Associação Americana de Planejamento recomendou esse método em abril de 2005, conforme o próprio Flyvbjerg registra.

Onde entra o teste barato

Quem vai largar um emprego para viver de um projeto próprio raramente tem uma classe de referência com dezenas de casos comparáveis. Tem a visão de dentro: a própria planilha, o próprio entusiasmo. O que ela pode fazer é comprar informação antes do ponto sem volta.

A teoria do valor da informação, de Ronald Howard (1966), dá o critério. O resumo do artigo diz que dá para atribuir valores numéricos à eliminação ou redução de qualquer incerteza, combinando a probabilidade dos resultados com o seu impacto econômico. Em linguagem simples: informação vale o quanto consegue mudar a sua decisão. Se qualquer resultado do teste vai levar você a fazer o mesmo, o teste não vale o esforço. Se um resultado ruim te faria desistir ou reduzir a aposta, ele vale muito, porque o erro de estimativa que você não quer pagar é o grande.

Nota de honestidade: li o resumo do artigo de Howard, não o texto completo. O uso que faço dele aqui é a ideia geral, não uma conta.

O que a história costuma errar

• Troca de escala sem aviso. As 258 obras são públicas, caras e de longa duração. Elas não medem o resultado de um criador de conteúdo, de um consultor ou de um pequeno negócio. O que se transfere é o mecanismo (o orçamento do dia da decisão tende a ser otimista), não o percentual.
• "Nove em cada dez" é arredondamento. O artigo diz "quase 9 em 10", com 86% de projetos acima do orçado.
• Estouro não é fracasso. O estudo mede a diferença entre custo estimado e real. Não diz que 86% das obras deram errado.
• A explicação é disputada. Love e Ahiaga-Dagbui (2018) questionam a metodologia e as conclusões do artigo de 2002 e chamam a escolha entre "erro ou mentira" de falsa dicotomia. Os números da amostra são citados em toda parte, mas a causa continua em debate.
• A anedota do criador de vídeo. A newsletter que inspirou esta pesquisa abre com um criador que só pediu demissão após atingir 30 mil visualizações. A pessoa não é identificada e não encontrei fonte para o caso. Por isso ele não entra aqui como fato. Trate-o como exemplo ilustrativo de uma regra de decisão, não como prova.

O que isso muda no seu negócio

São hipóteses para você testar, não promessas de resultado.

1. Escreva o cartão antes do teste. Proposta de formato, com quatro campos: o que estou testando; qual o teste mais barato que responde; qual número de corte, escrito antes, separa continuar de parar; o que faço em cada caso. O corte escrito antes impede de reinterpretar o resultado depois.
2. Escolha um teste que meça comportamento, não opinião. Exemplo ilustrativo: em vez de perguntar a amigos se comprariam, publique uma página simples da oferta e conte quantas pessoas deixam o contato ou pagam um valor pequeno. Compra e cadastro dizem mais que elogio.
3. Teste o seu plano de caixa contra um cenário pior. Não é regra da pesquisa, é um exercício: se obras com orçamento pronto costumam passar do previsto, o seu plano deve sobreviver a custos e prazos maiores que os da planilha. Veja se a reserva aguenta.
4. Procure a classe de referência. Liste cinco a dez pessoas ou negócios parecidos com o seu que tentaram a mesma coisa e anote quanto tempo levaram e quantos desistiram. É um mini levantamento imperfeito, mas desloca você da visão de dentro.
5. Separe o teste da decisão. Defina o gatilho (por exemplo, "se não chegar a X em Y semanas, não largo") e a data. Quando o dado chegar, a decisão já está tomada: é só comparar.

Para desenhar o teste, vale ler os 10 testes da oferta, a lógica de medir todo dia e o caso do custo afundado nos ingressos de teatro, que mostra como o dinheiro já gasto distorce a decisão seguinte. Se o teste envolver um produto de conhecimento, o guia sobre por que cursos online fracassam ajuda a escolher o que medir.

Quando NÃO usar essa lição

• Quando o teste custa quase tanto quanto a aposta. Se testar exige gastar a reserva, o teste não é barato e a lógica não se aplica.
• Quando o resultado do teste não muda a decisão. Se você vai seguir de qualquer jeito, não gaste semanas coletando números.
• Quando o teste distorce o que mede. Alguns produtos só mostram valor depois de prontos. Um teste raso pode dar falso negativo.
• Quando se usa a pesquisa como porcentagem pessoal. Não existe prova aqui de que "86% dos negócios estouram". O estudo é de obras públicas de transporte.
• Quando a decisão já é reversível e barata. Se dá para desfazer sem perda, decidir rápido pode custar menos que testar.

Fontes

• Flyvbjerg, Holm e Buhl (2002), "Underestimating Costs in Public Works Projects: Error or Lie?" (versão do autor). Sustenta os 258 projetos, os US$ 90 bilhões, os 86%, os 28% e a tabela por tipo de obra.
• Flyvbjerg, "Policy and Planning for Large Infrastructure Projects: Problems, Causes, Cures". Sustenta a definição de custo estimado no momento da decisão, a falácia do planejamento, a previsão por classe de referência e a história do currículo contada por Kahneman.
• Love e Ahiaga-Dagbui (2018), resumo no IDEAS/RePEc. Sustenta a crítica ao artigo de 2002 e à dicotomia "erro ou mentira" (li só o resumo).
• Howard (1966), "Information Value Theory", registro e resumo. Sustenta a ideia de atribuir valor numérico à redução de incerteza (li só o resumo).