Odisseu pediu a corda. O estudo que a "provava" foi retratado

Resposta curta: o estudo mais citado para "provar" que prazos fixos funcionam melhor do que prazos escolhidos (Ariely e Wertenbroch, 2002) foi retratado pela revista Psychological Science, segundo o Retraction Watch, depois de uma réplica que não corroborou o efeito e de uma análise do Data Colada que levantou sérias dúvidas sobre os dados. O pré-compromisso não morreu: a cena de Odisseu no Canto XII da Odisseia e o plano de poupança Save More Tomorrow continuam de pé, mas com evidências de outro peso. A lição de negócio é checar o status de um estudo antes de usá-lo como prova.

A cena que todo mundo cita

No Canto XII da Odisseia, a feiticeira Circe avisa Odisseu sobre as Sirenas, cujo canto enfeitiça quem se aproxima. O conselho é prático: tape com cera os ouvidos da tripulação e, se quiser ouvir, peça que o amarrem em pé. Odisseu repete o plano aos homens e acrescenta a cláusula que faz a cena valer: se ele implorar para ser solto, amarrem-no mais forte. Na tradução de Samuel Butler, "bind me more tightly still".

Quando o canto chega, ele faz sinal para ser solto. Os companheiros Euríloco e Perimedes, com os ouvidos tapados, apertam os nós. O barco passa.

Olhe o desenho, porque ele é o que se aproveita. A decisão foi tomada antes da tentação, com a cabeça fria. O mecanismo ficou fora do corpo dele (corda e mastro). Desfazer era caro (os homens foram instruídos a ignorar os pedidos). E havia alguém para executar. Esse conjunto é o que a literatura chama de pré-compromisso, e a bibliografia do verbete da Wikipedia sobre o tema cita Thomas Schelling, Choice and Consequence (1984), entre as referências (não abri o livro). A expressão "pacto de Ulisses" é definida como uma decisão livre, feita para amarrar o próprio eu futuro.

O estudo que virou prova, e caiu

O artigo saiu na revista Psychological Science, assinado por Dan Ariely e Klaus Wertenbroch, com o título "Procrastination, deadlines, and performance: self-control by precommitment". A tese era elegante: prazos externos e espaçados funcionam melhor do que um prazo único no fim, e quem escolhe os próprios prazos fica no meio do caminho. O artigo ficou conhecido como exemplo de que impor prazos ajuda quem procrastina.

O Estudo 2 tinha 60 estudantes, divididos em três condições de 20: três revisões de texto com prazos espaçados (dias 7, 14 e 21), prazos escolhidos pelo participante, ou os três entregues no dia 21. Cada documento tinha 10 páginas e 100 erros. Pelo relato do Data Colada, o grupo de prazos espaçados corrigiu em média 136,1 erros, e o grupo do prazo final, 71,1, um efeito de tamanho d = 2,5.

O que aconteceu depois, na ordem dos fatos:

• A réplica. Kyle Hyndman e Alberto Bisin repetiram o Estudo 2, e o resultado foi publicado na mesma revista. Segundo o Retraction Watch, eles não corroboraram os achados de 2002.
• O pedido de retratação. O coautor Klaus Wertenbroch pediu a retratação à revista, conforme o Retraction Watch.
• A análise dos dados. O Data Colada (Uri Simonsohn, Leif Nelson e Joe Simmons) publicou o post 138. Apontou que 18 dos 20 participantes do grupo de prazo final tinham um "gêmeo" com contagens idênticas nas três tarefas, com identificadores separados por exatamente 10. Notou que as correlações entre as notas subjetivas iam de -0,29 a +0,18 nos dados originais, contra +0,63 a +0,92 na réplica. E que só 11,7% dos minutos autorrelatados eram números redondos, contra cerca de 85% na réplica. Na conclusão do post, os autores escrevem que os dados do Estudo 2 foram "severely tampered with or fabricated"; trata-se da avaliação do Data Colada, não de uma apuração minha.
• O Estudo 1. O Retraction Watch descreve o primeiro estudo (99 profissionais, três textos curtos, prazos espaçados contra prazos escolhidos). A análise do Data Colada que li trata do Estudo 2, então não atribuo ao Estudo 1 nenhum achado sobre os dados.
• A retratação. O aviso de retratação diz que a réplica "raised questions about the underlying data" e que os posts "called into question the veracity of the overall findings".
• A resposta de Ariely. Em vídeo, segundo o Retraction Watch, ele disse: "I'm not sure how all of this happened".

Duas cautelas. Primeiro, a leitura de adulteração vem da análise do Data Colada, e o aviso da revista cita dúvidas sobre os dados e sobre a veracidade dos achados; não tive acesso aos arquivos originais e não faço acusação a ninguém. Segundo, a retratação derruba a evidência daquele experimento, não a ideia em si, e eu também não encontrei fonte lida que dê o valor da condição de prazos escolhidos, então não vou citar número para o "meio".

O que a história costuma errar

• "Estudo prova que prazos fixos vencem." Prova, não: a revista retratou o artigo e a réplica não corroborou o efeito.
• "Quem escolhe os prazos fica no meio." Esse número só existia na figura do artigo original, e ele agora está sob retratação.
• "Odisseu se amarrou sozinho." A ideia veio de Circe, e quem apertou os nós foi a tripulação. O pré-compromisso precisa de executor.
• "A poupança foi de 3,5% para 13,6%" (sem contexto). Veja abaixo: é a média de quem aderiu, na primeira implementação do programa.

O que sobra: o caso da poupança

O melhor exemplo de pré-compromisso fora do mito é o Save More Tomorrow, de Richard Thaler e Shlomo Benartzi, publicado no Journal of Political Economy em 2004. A essência, nas palavras do working paper de 2001, é que as pessoas se comprometem antecipadamente a destinar parte de aumentos futuros de salário à aposentadoria.

O resumo do artigo publicado traz três números: 78% dos funcionários oferecidos aderiram, a poupança média dos participantes subiu de 3,5% para 13,6% do salário em 40 meses, e 80% dos inscritos seguiram no plano até o quarto aumento. O working paper de 2001, com um período mais curto, relatava 3,5% para 11,6% em 28 meses, com 98% de permanência por dois aumentos.

Leia com a régua certa. Foi a primeira implementação do plano. Quem aderiu escolheu aderir, então comparar participantes com não participantes não é um experimento sorteado (esta é uma leitura minha do desenho descrito, não uma conclusão dos autores). Ainda assim, o desenho segue as quatro peças da corda de Odisseu: decidir antes, tirar o nó da vontade do dia, tornar difícil sair e deixar o mecanismo rodar sozinho.

O que isso muda no seu negócio

Estas são hipóteses para testar com os seus dados, não promessas de resultado.

1. Antes de citar um estudo, cheque o status. Busque o título do artigo junto da palavra "retraction" e abra o Retraction Watch. Leva dois minutos e protege sua página de vendas, seu post e sua palestra.
2. Troque "prova" por "cena". Se o estudo caiu, o caso de Odisseu ainda serve como ilustração, desde que você o rotule como história e não como dado.
3. Desenhe o compromisso com as quatro peças. Decidido antes, fora da cabeça do cliente (agenda, pagamento, calendário), caro de desfazer, com alguém que execute (você, um sistema, uma comunidade). Teste uma peça por vez.
4. Teste prazo fixo contra prazo livre no seu produto. Em um curso, separe duas turmas (exemplo ilustrativo) e compare taxa de conclusão. O que vale é o seu dado, não o de 2002. Para medir bem, veja o guia de taxa de conclusão de curso online.
5. Meça a coisa certa. Se o objetivo é conclusão, não meça só quem entrou na turma. A lógica é a da regra dos 3 números: escolha poucos indicadores certos, porque o número errado faz você otimizar o erro.

O mesmo cuidado vale para outros casos do Swipe File: o experimento dos ingressos de teatro também tem réplicas e ressalvas, e o texto sobre aversão à perda separa o que a pesquisa sustenta do que a divulgação inflou.

Quando NÃO usar essa lição

• Quando o cliente não pediu o nó. Pré-compromisso funciona na decisão de quem escolhe se amarrar (Odisseu pediu; os participantes do plano aderiram). Impor prazo rígido a quem não escolheu pode gerar abandono, e nenhuma fonte que li mede isso.
• Quando a saída precisa existir. Em contratos longos e multas pesadas, "caro de desfazer" vira armadilha. Deixe uma saída clara.
• Quando você só tem a cena e não tem o dado. Odisseu ilustra, não prova. Não escreva "a ciência mostra" com base nela.
• Quando a decisão não envolve tentação. Se o problema do cliente é falta de informação, amarrar não resolve.

Fontes

• Retraction Watch: a retratação do estudo de procrastinação de Ariely: desenho dos dois estudos, réplica, pedido e aviso de retratação, resposta de Ariely.
• Data Colada 138: análise do Estudo 2: resultados reportados, "gêmeos" nos dados, correlações e arredondamento comparados com a réplica.
• Odisseia, Canto XII (tradução de Samuel Butler), MIT Classics: instruções de Circe, ordem de Odisseu e a execução pela tripulação.
• Thaler e Benartzi (2004), resumo do Save More Tomorrow, Chicago Booth: 78% de adesão, 3,5% para 13,6% em 40 meses, 80% de permanência.
• Thaler e Benartzi (2001), working paper, UCLA Anderson: a essência do plano e os números do período mais curto.
• Ulysses pact, Wikipedia: definição de pacto de Ulisses e referência bibliográfica ao ensaio de Schelling de 1984.

Para ver como a eBuz organiza decisões e registros, comece pelo Mapa de Contexto e continue pelos outros casos do Swipe File.