Guia: medir a coisa certa antes de decidir, em nove casos

Resposta curta: quem mede a coisa errada otimiza o erro. Os nove casos deste guia mostram seis formas disso: medir o que parece culpado e não a causa, olhar e reagir com frequência demais, medir a média e perder a taxa, medir o tempo de casa em vez da variedade de situações enfrentadas, comparar-se antes de criar e citar como prova um estudo retratado. A correção é a mesma nos quatro: decidir por escrito, antes de olhar, o que será medido, quando o número muda a sua ação e o que derrubaria a sua hipótese. Nada aqui promete resultado; são hipóteses a testar.

Por que este guia existe

Medir dá uma sensação de controle. Há um número, uma planilha, um painel, e quem olha para eles sente que está trabalhando. O problema aparece quando o número descreve uma coisa e a decisão é tomada sobre outra. Aí o esforço é real, o painel é real, e o resultado melhora só no papel.

O Swipe File reúne casos conferidos em fontes citadas, cada um com a sua ressalva declarada. Os nove deste agrupamento falam da mesma doença por ângulos diferentes: o xadrez, o tênis, o sono, a poupança, a comédia, a pesquisa sobre aprendizado. Este guia não traz fato novo. Ele resume o que cada artigo estabeleceu, mantém a ressalva que cada um declara e liga os casos entre si. Para o detalhe e as fontes de cada número, abra o artigo indicado.

Primeiro erro: medir o que é visível, não a causa

Quando um problema aparece, a pessoa age sobre a explicação que consegue ver. O artigo o exame do sono e a apneia sem diagnóstico usa um caso de saúde para mostrar o mecanismo. Cansaço diurno tem muitas explicações plausíveis (café, horas de trabalho, estresse), e quem o sente costuma mexer nelas uma a uma. Um estudo de 1997, com adultos empregados, estimou que a grande maioria dos casos moderados a graves de apneia não tinha diagnóstico clínico, mesmo numa população sem barreiras óbvias de acesso a cuidado. O artigo é cuidadoso: o resumo lido não informa o corte usado para "moderada a grave", o texto completo não foi lido, e os números descrevem aquela população e aquela época, não o mundo de hoje.

O que o caso sustenta é a ordem de grandeza e o mecanismo: sem medir a "noite", qualquer explicação razoável parece suficiente, e cada tentativa fracassada é lida como "ainda não cortei o bastante". O que ele não prova, e o artigo avisa, é que o seu negócio sofre do mesmo mal. A transposição para marketing é uma analogia do artigo, não uma conclusão dos estudos. Também não é aconselhamento médico: quem tem cansaço persistente, ronco alto ou pausas na respiração durante o sono deve procurar um profissional de saúde.

A lição prática é instalar o exame antes de agir sobre o suspeito óbvio. Se a abertura dos seus emails caiu, a explicação pronta ("o público cansou") é o café. A medição da entrega e da higiene da lista é o exame.

Segundo erro: olhar demais e reagir a tudo

O erro oposto ao anterior é medir com frequência e agir a cada oscilação. O artigo o funil de Deming e o custo de medir todo dia descreve um experimento simples: uma bolinha cai por um funil sobre um alvo, e o desvio de cada queda é acaso. Se você corrige a posição do funil depois de cada lançamento, o processo continua centrado, mas, na simulação feita no artigo, a variância dobra. Uma fonte técnica que o artigo leu fala em cerca de 40% mais variação, o que é coerente com um desvio padrão cerca de 1,41 vez maior. A conta é do artigo, não de Deming.

O mecanismo é direto: reagir a variação comum acrescenta o ruído do resultado passado ao próximo. E há um custo de aprendizado, porque quem muda três coisas depois de cada resultado nunca sabe qual mudança causou qual efeito.

O mesmo artigo também discute dois estudos sobre adolescentes e redes sociais, e é onde mais se perde rigor na versão popular. Um deles mostra que a média esconde pessoas que reagem de formas opostas; o outro, que a associação média é pequena. Nenhum dos dois mede painéis de métricas nem ansiedade de quem trabalha com números. A ponte com o seu trabalho é analogia, e o artigo a trata como hipótese. A parte comprovada é a do funil: mexer num processo estável aumenta a variação. Em contrapartida, o artigo também diz quando a lição não vale: se o processo mudou de verdade, ou se há erro operacional (link quebrado, checkout fora do ar), olhar e agir na hora é monitorar, não ruído.

Terceiro erro: julgar pelo ponto e não pela taxa

Dois artigos tratam de taxa de acerto. O primeiro é Federer e os 54% dos pontos. No discurso de Dartmouth, Federer disse que ganhou quase 80% dos jogos de simples da carreira (o registro mostra cerca de 82%) e apenas 54% dos pontos. O artigo explica por que uma vantagem pequena por ponto vira domínio: o sistema de pontuação a amplifica, camada por camada. A conta que mostra isso é um modelo simplificado do próprio artigo, com pontos independentes, e vem rotulada como exemplo ilustrativo.

O artigo também confere o que a fonte diz e o que ela não diz. Federer falou de jogo, de ponto e de atitude diante do erro. Ele não falou de produção de conteúdo, de editar mal ou de publicar todos os dias, e não defendeu um ritual de descarte de erros. A aplicação a quem cria é leitura do artigo, e ele mesmo mostra a limitação: numa final de Wimbledon que Federer perdeu, ele fez mais pontos que o adversário. A média diz pouco sobre onde o resultado foi decidido. Ou seja, taxa ao longo de muitas tentativas, sim; "pontos decisivos não importam", não.

O segundo é Martin Short, Simonton e a taxa de acerto. A frase "98% é fracasso" aparece num documentário, mas outras resenhas o citam com outros números, e o artigo conclui que é figura de ofício, não estatística. A pesquisa de Simonton sobre carreiras criativas, lida por um resumo (o texto integral de 1997 não foi lido), aponta que a proporção de acertos por obra tende a ficar estável, e que o que muda é quantas tentativas a pessoa faz. Dois estudos grandes complicam esse quadro: um mostra que o volume, sozinho, eleva pouco a chance de um acerto enorme; o outro, que os acertos vêm em sequências, sem mudança detectável de produção.

O que os dois artigos juntos sustentam: avalie a taxa em volume suficiente, e não o ponto ruim de ontem. O que eles não sustentam: que mais volume sempre gera mais resultado, nem que a taxa seja igual para todos. Com chance baixa por tentativa, poucas tentativas dizem pouco, e o artigo sobre Simonton traz uma conta ilustrativa para dimensionar isso.

Quarto erro: medir tempo de casa em vez de repertório

Três artigos sobre perícia mostram que o tempo, sozinho, é uma régua ruim. O primeiro é o relatório de Dreyfus e os cinco estágios. É um relatório técnico de 18 páginas escrito para a Força Aérea dos Estados Unidos, com um modelo de cinco estágios de habilidade. O artigo lê o texto inteiro e registra o que ele não contém: não há anos, horas nem meses para estágio nenhum, e o avanço é ligado a experiência com situações cada vez mais variadas. A lista com "iniciante avançado", que circula como se fosse de 1980, não aparece no relatório. Ele é um modelo teórico construído a partir de relatos, não uma medida validada, e não prova a ideia de que "três anos repetindo a mesma coisa mantêm a pessoa novata". Isso é inferência.

O segundo é de Groot e o xadrez. Na comparação entre cinco grandes-mestres e cinco jogadores fortes diante da mesma posição, lances examinados e profundidade do cálculo ficaram muito próximos. O que separava os grupos era a qualidade do lance escolhido. O próprio autor lista ressalvas (situação artificial, mestres pouco motivados), e uma réplica de 2004 achou que jogadores fortes buscam mais e mais fundo quando a posição exige. A lição se afina: reconhecer padrões torna a busca barata e bem dirigida, mas não elimina o cálculo.

O terceiro é Shannon e o xadrez. Em 1950, Shannon estimou o número de variações de uma partida em 10^120 e, no mesmo artigo, escreveu que o bom jogador humano examina só algumas variações selecionadas. O número é uma ordem de grandeza de partidas, não de posições. O experimento de 1973 de Chase e Simon, com apenas três jogadores, sugere que o mestre não tem memória de curto prazo maior que a dos outros: a vantagem aparece em posições reais e some em posições embaralhadas. Amostra mínima, e o artigo diz que não leu revisões posteriores.

Juntos, os três apontam para uma troca de pergunta. Em vez de "quanto tempo faço isso" ou "quanto eu estudei", pergunte "quantas situações diferentes eu já enfrentei" e "quantos candidatos eu realmente avalio antes de escolher". Os estudos não medem negócio nem criação de conteúdo; essa extrapolação é dos artigos, e é hipótese a testar.

Quinto erro: olhar a comparação antes de criar (hipótese)

O artigo Federer, Nadal e o olhar antes do primeiro ponto parte de um relato: no discurso de Dartmouth, Federer disse sentir que perdeu a final de Wimbledon de 2008 no primeiro ponto, depois de olhar para o rival. O artigo avisa que é relato retrospectivo, lido em transcrições de terceiros, e não uma medição. Ele serve para formular uma hipótese, não para sustentá-la.

O mecanismo conhecido vem de outro estudo, o dos medalhistas olímpicos: observadores avaliaram a felicidade mostrada pelos medalhistas de prata e de bronze, e os de prata pareceram menos felizes, o que os autores explicam por comparação para cima. O artigo é explícito sobre os limites: as notas são de terceiros sobre expressões depois do resultado, o estudo não mede desempenho e não testa o que o atleta pensou antes de competir, e uma replicação conceitual deixa o "porquê" em discussão. A regra que sobra é modesta: na hora de criar, documentar primeiro e olhar o mercado depois pode ser uma ordem útil de testar. Não é uma lei.

Sexto erro: citar como prova um estudo que já caiu

O último caso trata da própria medição de evidência. O artigo Odisseu e o mastro começa pela cena do Canto XII da Odisseia, em que o herói pede para ser amarrado e ordena que o amarrem mais forte se ele implorar para ser solto. O desenho do pré-compromisso é claro: decidir antes da tentação, tirar o mecanismo da vontade do dia, tornar a saída cara e ter alguém para executar.

O estudo mais citado para "provar" que prazos fixos vencem prazos escolhidos, no entanto, foi retratado pela revista, segundo o Retraction Watch, depois de uma réplica que não corroborou o efeito e de uma análise do Data Colada que levantou sérias dúvidas sobre os dados. O artigo separa o que é avaliação do Data Colada do que é apuração própria, e registra que a retratação derruba a evidência daquele experimento, não a ideia. O que sobra de pé como exemplo de pré-compromisso é o plano de poupança Save More Tomorrow, que o artigo trata com a régua certa: foi a primeira implementação, quem aderiu escolheu aderir, e portanto não é um experimento sorteado.

A lição de medição é simples e pouco praticada: antes de usar um estudo como prova, cheque se ele continua de pé. Uma cena que ilustra não é um dado que prova.

Como usar os nove casos juntos

Os seis erros têm uma espinha comum. Em todos, a medição foi escolhida pelo que era fácil de ver, não pelo que decide o resultado. Um roteiro de trabalho que cruza os artigos, todo ele hipótese a testar:

1. Escreva, antes de olhar qualquer número, o que ele mede e o que ele não mede. Se o painel mostra aberturas, ele não mostra se a mensagem chegou à caixa de entrada.
2. Defina a janela de decisão. Decida por escrito quando um número muda a sua ação (por exemplo, uma revisão semanal), e fora dessa janela só olhe para erro operacional. É a separação entre olhar e decidir que o funil de Deming sugere.
3. Meça a taxa em volume, não o ponto. Conte quantas peças ou tentativas cumpriram o objetivo em dezenas, e olhe separadamente os momentos decisivos, onde a média esconde o resultado.
4. Escreva a previsão e o critério de derrota juntos. Uma hipótese que aceita qualquer resultado não ensina nada. Compare previsão e resultado depois de algumas rodadas.
5. Mude uma coisa por vez. Três mudanças juntas impedem qualquer leitura da causa.
6. Meça a escolha, não o volume de estudo. Registre quantas decisões usaram um padrão da sua lista e o que aconteceu depois.
7. Confira o status do estudo antes de citá-lo. Procure por réplica, correção ou retratação.

Quando NÃO usar essa lição

• Quando há erro operacional ou queda brusca depois de uma mudança real. Aí olhar e agir na hora é correto, e esperar a janela semanal atrasa a correção.
• Quando a decisão é cara e irreversível. Prever e comparar é barato em email e anúncio pequeno; num contrato longo ou numa mudança de carreira, avaliar antes pode ser o certo.
• Quando você tem poucas repetições. Taxa pede volume. Com três tentativas, ela não diz nada.
• Quando o erro se repete pelo mesmo motivo. Mais tentativas repetem o erro. Mude a causa antes de contar.
• Quando a analogia estica demais. Tênis, xadrez, sono e adolescentes não são o seu negócio, e os artigos tratam as pontes como hipótese. Use os casos para formular o teste, não como prova de que ele funciona.
• Quando você ainda não tem repertório. Comprimir padrões exige ter visto bastante, e nenhuma frase por peça substitui anos de prática.

Fontes

Este guia não traz fato novo; as fontes abaixo são as que os artigos-filhos leram e declaram.

• Dartmouth, transcrição do discurso de Roger Federer: as falas sobre os jogos de simples, "quase 80%" e os 54% dos pontos.
• Young, Evans, Finn e Palta, Sleep (1997): resumo lido do estudo sobre a fração de apneia do sono sem diagnóstico clínico.
• SPC for Excel, variação e funil: a regra de mover o funil pelo erro anterior e a diferença de cerca de 40% na variação.
• Dreyfus e Dreyfus, ORC 80-2, cópia do DTIC no Internet Archive: o relatório dos cinco estágios, lido por inteiro.
• De Groot, Thought and Choice in Chess (2ª ed.): os protocolos e as tabelas de comparação entre grandes-mestres e experts.
• Shannon (1950), Programming a Computer for Playing Chess: a estimativa de 10^120 e a frase sobre o jogador humano que examina poucas variações.
• Friis-Olivarius e Christensen, Frontiers in Psychology: a definição da regra das chances iguais e o suporte misto.
• Scientific American, medalhistas de bronze e de prata: o método do estudo de Barcelona e a explicação por pensamento contrafactual.
• Retraction Watch, a retratação do estudo de procrastinação de Ariely: a réplica, o pedido de retratação e o aviso da revista.
• Data Colada 138, análise do Estudo 2 de Ariely e Wertenbroch: a análise dos dados do estudo de prazos que foi retratado.
• Odisseia, Canto XII (tradução de Samuel Butler), MIT Classics: as instruções de Circe e a ordem de Odisseu.

Para ver como organizar o que você mede e decide em um só lugar, comece pelo Mapa de Contexto. Para continuar a leitura, veja os outros casos do Swipe File.