Simonton e Martin Short: persistir com taxa de acerto baixa

Resposta curta: persistir diante de muitos fracassos faz sentido quando a taxa de acerto por tentativa é razoavelmente estável e cada tentativa custa pouco. A pesquisa de Dean Keith Simonton sugere que, em carreiras criativas, quem produz mais obras de sucesso também produz mais obras malsucedidas. Mas o suporte é misto e há evidência de que a taxa varia entre pessoas. Registrar as tentativas é o que permite separar azar de método.

O caso: a frase de ofício e a pesquisa por trás dela

No documentário Marty, Life Is Short, da Netflix, John Mulaney conta que a sitcom Mulaney, de vida curta e na qual Martin Short atuou, foi mal recebida. Segundo o Whats on Netflix, que reproduz o relato de Mulaney (não uma transcrição do filme), Short respondeu: "John, this is what it is. 98% of it is failure. This is what the job is". Em outra resenha, do site Original Cin, a frase citada é outra: "My career has been 80 percent failure and I think those are pretty good odds". Dois números para a mesma ideia indicam que a porcentagem é figura de linguagem sobre o ofício, não uma contagem de projetos.

A psicologia tem uma versão formal dessa intuição. No artigo "Creative productivity: A predictive and explanatory model of career trajectories and landmarks" (Psychological Review, 104, 1997), Simonton propôs um modelo de carreiras criativas. Segundo o resumo do artigo escrito por Jim Davies (segunda mão, o texto integral não foi lido para este artigo), a proporção de obras importantes sobre o total produzido é estável ao longo da carreira, e a relação entre produção total e obras importantes é forte, mas não perfeita (r entre 0,5 e 0,7). A conclusão citada no resumo é que, quanto mais produtos, mais produtos bem-sucedidos, e também mais malsucedidos.

O caso completo, com as divergências entre as fontes sobre a fala de Short, está em Simonton e a taxa de acerto de Martin Short. Aqui o caso serve só de lente. Uma história e uma citação de documentário não provam uma regra geral.

O mecanismo: a regra das chances iguais e seus limites

O que a regra diz. Friis-Olivarius e Christensen (2019, Frontiers in Psychology) atribuem a Simonton (1997) a chamada "equal-odds rule", que "afirma que o número de ideias bem-sucedidas é proporcional ao número de ideias geradas" (tradução livre). Segundo esses autores, ela decorreria da natureza estocástica da criatividade e teria sido observada como aproximadamente constante ao longo de uma carreira. Uma consequência dedutível: o número de ideias produzidas não teria relação com a qualidade média delas.

O que os testes mostram. Os mesmos autores dizem que estudos sobre "quantidade gera qualidade" relataram resultados mistos, com relação positiva ou nenhuma, e há até relatos de efeito negativo após alta quantidade de ideias. Na amostra própria deles (154 estudantes de pós-graduação recrutados, 152 na análise; tarefa de usos alternativos), a correlação entre quantidade e qualidade foi r = 0,32 (p < 0,001). A relação mudou com o traço Abertura à experiência: pessoas de baixa abertura se aproximaram da versão estrita da regra, e as de alta abertura mostraram relação positiva forte. É uma amostra de laboratório, e não uma carreira.

Forthmann, Szardenings, Dumas e Feist (2020, Creativity Research Journal) derivam a variância residual esperada sob a versão estrita da regra, em que a taxa de acerto é igual para todos os criadores, e propõem comparar com a observada. Segundo o resumo, uma variância observada significativamente menor que a esperada seria evidência forte contra a regra, e a regra mantém "forte valor heurístico". A leitura segura é que a versão estrita é testável, e que ela serve melhor como ponto de referência do que como lei.

O que muda com a sorte e a diferença entre pessoas. Sinatra, Wang, Deville, Song e Barabási (2016, Science, 354) analisaram carreiras de 2.887 físicos com pelo menos 20 anos de carreira e publicação persistente, ou seja, sobreviventes. Acharam a "regra do impacto aleatório": o trabalho de maior impacto pode estar em qualquer ponto da sequência de publicações. Mas o modelo puramente aleatório, em que todos sorteiam impacto da mesma distribuição e só o volume difere, previu algo que os dados não confirmaram: que produtividade sozinha explicaria o aumento do impacto máximo. O modelo que se ajustou inclui um fator Q, próprio de cada cientista e constante na carreira. Segundo o artigo, o modelo prevê que "aumentar a produtividade sozinho não pode elevar substancialmente a chance de um trabalho de impacto muito alto", e que, para cientistas de Q baixo, dobrar a produtividade melhora pouco o melhor resultado.

Liu, Wang, Sinatra, Giles, Song e Wang (2018, Nature, 559) estudaram artistas, diretores de cinema e cientistas. Encontraram sequências de obras de alto impacto ("hot streaks"): ao menos uma em 91% dos artistas, 82% dos diretores e 90% dos cientistas. A sequência surge de forma aleatória na carreira e não se associa a mudança detectável de produtividade. Ou seja, acertos tendem a se agrupar, e a taxa não é constante em todos os momentos.

Em resumo, a evidência lida sustenta três pontos: mais tentativas costumam vir com mais acertos e mais erros; produzir mais, por si só, não garante o acerto raro e enorme; e as pessoas parecem diferir em taxa de acerto. Os estudos usam medidas de impacto (citações, vendas em leilão, avaliações de filmes) que não equivalem a "sucesso" em negócios.

Interpretação editorial: persistência com contagem

Esta seção é interpretação deste artigo, sem afirmar fato nem estudo. A tese é que a pergunta "persistir ou mudar?" é mal formulada sem número. Persistir sem registro mistura duas hipóteses: a de que o método funciona e o resultado ainda não veio, e a de que o método não funciona. Só uma série de tentativas anotadas distingue as duas.

Exemplo ilustrativo (cálculo próprio, não dado de fonte, que supõe tentativas independentes e taxa constante): se a taxa real fosse 5% por tentativa, a chance de ao menos um acerto seria cerca de 40% em 10 tentativas, 64% em 20 e 92% em 50. Também haveria cerca de 36% de chance de zero acertos em 20 tentativas mesmo com método bom. Zero em 20 não prova nada, e zero em 50 já pesa mais.

O custo por tentativa entra aqui. Se cada tentativa custa pouco (um texto, uma mensagem, um teste curto), 50 tentativas cabem no orçamento e a conta favorece persistir. Se cada tentativa custa caro, o N necessário pode ser inviável, e mudar de estratégia antes pode ser racional. A diferença entre pessoas e a existência de sequências quentes sugerem, ainda, que a taxa do passado nem sempre vale para o futuro: por isso registrar é contínuo, não evento único. Esse é o raciocínio que um conceito como Apronte, atire, mire pede, e o que medir todo dia exige.

O que a história costuma errar

• "98% de fracasso" como estatística. É fala de ofício. Outra resenha cita 80%, e nenhuma fonte lida traz contagem de projetos.
• "Simonton provou que quanto mais tenta, mais acerta." O resumo lido diz que também aumentam os erros, e que a relação é forte, mas não perfeita. Os testes posteriores citados são mistos.
• "A taxa é igual para todos." A regra fala de proporção estável dentro da carreira. O fator Q de Sinatra e a versão estrita testada por Forthmann apontam para diferenças individuais como pergunta aberta.
• "O acerto vem do volume." Sinatra e colegas indicam que volume sozinho não eleva muito a chance do acerto raro, e Liu e colegas mostram acertos agrupados em sequências.
• "Vale para qualquer área." Os dados são de ciência, arte e cinema, com sobreviventes de carreira longa. Negócios não foram testados nesses estudos.

O que isso muda na sua ambição

Tudo abaixo são hipóteses para testar, não promessas.

1. Registre cada tentativa e seu resultado. Data, o que foi feito, resultado, custo. Sem registro, a memória guarda os acertos e apaga os erros, e a taxa real some.
2. Defina o N mínimo antes de julgar. Escolha de antemão quantas tentativas valem um veredito. Com taxa baixa, poucas tentativas não distinguem azar de método. O número é palpite inicial a ajustar, não regra.
3. Separe tentativa barata de tentativa cara. Rode muitas baratas para aprender a taxa e reserve as caras para quando houver indício. A conta vale para o que se repete a baixo custo.
4. Escreva o critério de saída antes de começar. "Se em N tentativas a taxa ficar abaixo de X, mudo a variável Y." Decidido no calor do fracasso, o critério vira desculpa. Veja também Federer e o 54%, sobre a taxa por tentativa.
5. Mude uma variável por vez. Se mudar tudo, o registro deixa de dizer o que causou a melhora ou a piora.
6. Revise a taxa em janelas. Compare blocos de tentativas (as últimas 20 contra as 20 anteriores). Se a taxa mudou, a estratégia ou o contexto mudou, e vale perguntar o que mudou.

Quando NÃO usar essa lição

• Quando cada tentativa é cara ou irreversível. Persistir "até a taxa aparecer" pode exigir mais do que se tem. Dinheiro que não volta, saúde e segurança pedem outra lógica.
• Quando a taxa observada é zero em muitas tentativas bem registradas. Após um N razoável, zero é informação, não azar.
• Quando o contexto mudou. Taxa do passado vale pouco se o mercado, o canal ou a regra do jogo mudaram.
• Como regra universal. Os estudos citados são de ciência, arte e cinema, e a regra das chances iguais teve suporte misto.
• Como desculpa para não aprender. Contar tentativas não substitui entender por que falharam.

Fontes

• Friis-Olivarius e Christensen (2019), Frontiers in Psychology: define a regra das chances iguais, atribui a Simonton (1997) e traz o suporte misto e os dados de 154 estudantes.
• Jim Davies, resumo de Simonton (1997): proporção estável de obras importantes e r de 0,5 a 0,7 (resumo de segunda mão).
• Página de Simonton na UC Davis: confirma a referência do artigo de 1997 na Psychological Review, 104, 66-89.
• Forthmann et al. (2020), Creativity Research Journal: versão estrita da regra e o teste pela variância residual.
• Sinatra et al. (2016), Science: regra do impacto aleatório, fator Q, 2.887 físicos e o limite da produtividade isolada.
• Liu et al. (2018), Nature: sequências quentes em artistas, diretores e cientistas (91%, 82%, 90%).
• Whats on Netflix, Marty, Life Is Short: a frase dos 98% atribuída ao relato de Mulaney.
• Original Cin, resenha do documentário: a citação com 80% e "boas chances".

Mais casos com o mesmo rigor estão em Swipe File.