O índice de admissão de West Point não previu quem completou o treinamento de verão

Resposta curta: no estudo de Angela Duckworth e colegas com calouros de West Point, o índice que a academia usa para admitir candidatos (notas, SAT, liderança e prova física) não previu quem completou o treinamento de verão. A escala de grit previu, com efeito modesto. A história serve de alerta contra o recomeço mensal de formato, mas o estudo não mede formatos de conteúdo, e o mesmo índice previu muito bem as notas de quem ficou.

O caso: 1.218 calouros e um verão de treinamento

O artigo é Grit: Perseverance and passion for long-term goals, de Duckworth, Peterson, Matthews e Kelly, publicado no Journal of Personality and Social Psychology. Ele reúne seis estudos. O quarto e o quinto são os de West Point.

No Estudo 4, os participantes foram 1.218 dos 1.223 calouros que entraram na academia em julho de 2004. Responderam ao questionário no segundo e no terceiro dia depois da chegada. Os pesquisadores obtiveram os registros oficiais à parte. A fonte lembra que cerca de 1 em cada 20 cadetes abandona o curso durante o primeiro verão de treinamento, a fase informalmente chamada de Beast Barracks, que o artigo descreve como desenhada para testar os limites físicos, emocionais e mentais.

No fim, 94,2% completaram o verão (1.152 cadetes) e 5,8% saíram (71). No Estudo 5, com 1.308 cadetes da turma que entrou em 2006, a retenção foi de 95,3%.

O "índice de admissão" é o Whole Candidate Score, um composto ponderado de quatro partes: nota de ensino médio, SAT, uma pontuação de potencial de liderança (atividades extracurriculares) e um exame de aptidão física.

O que os números mostram

Os autores fizeram regressões logísticas para cada preditor, com as variáveis padronizadas. O resultado do Estudo 4, em razão de chances (OR) por desvio-padrão acima da média:

Preditor	Razão de chances de completar o verão	Leitura dos autores
Grit	1,62	significativo (p < 0,001)
Autocontrole	1,50	significativo (p < 0,01)
Whole Candidate Score	1,09	não significativo

Com os três na mesma equação, só o grit continuou significativo (OR 1,55). No Estudo 5, a regressão incluiu conscienciosidade em vez de autocontrole, e o padrão se repetiu: grit com OR 1,36 sozinho e 1,47 com os outros dois, contra 1,02 e 1,04 do índice de admissão. Duas turmas, dois anos de entrada, mesma direção.

Outro dado que a história costuma pular: grit não teve relação com o índice de admissão (r = 0,02) nem com nenhuma de suas partes. A escala não mede inteligência nem condição física. Mede outra coisa.

O que a escala pergunta de verdade

A escala de grit tem duas partes. Uma é a consistência de interesses, com itens reversos como "meus interesses mudam de ano para ano" e "tenho dificuldade em manter o foco em projetos que levam mais do que alguns meses". A outra é a perseverança de esforço, com itens como "termino o que começo" e "já alcancei uma meta que levou anos de trabalho". A primeira parte é a que conversa com o hábito de trocar de formato.

Um cuidado: o Estudo 4 testou a escala inteira. Não separou a consistência de interesses da perseverança, então o estudo não diz qual das duas pesou na retenção. E a escala mede o que a pessoa diz de si no segundo dia de academia. Não observa o comportamento ao longo dos meses.

Sêneca, a Carta 2 e o médico que muda a receita

A outra metade da ficha é uma frase da Carta 2 a Lucílio, escrita por Sêneca no século I. Na tradução inglesa de Richard Gummere, ela afirma, em inglês, que "nothing hinders a cure so much as frequent change of medicine", e acrescenta que nada é tão eficaz que ajude enquanto é movido de um lado para outro. A redação exata varia de tradução para tradução, e aqui vale a de Gummere.

O contexto muda a leitura. A carta se chama "On Discursiveness in Reading". Sêneca fala de leitura: quem lê muitos autores e livros de todo tipo fica disperso e instável ("everywhere means nowhere"), e deve se demorar num número limitado de mestres e digeri-los. O remédio é uma analogia para o leitor que não deixa um autor agir antes de trocar por outro. Não é uma regra sobre negócio, e usá-la assim é uma extensão, não uma citação.

O que a história costuma errar

• "O índice de admissão não previu nada." Previu o que foi feito para prever. Entre quem ficou, o Whole Candidate Score teve correlação de 0,64 com as notas do primeiro ano e 0,42 com o desempenho militar, muito acima da escala de grit (0,06 com as notas, 0,19 com o desempenho militar). Só não previu a retenção no verão.
• "Quem saiu era menos talentoso." Grit e índice de admissão quase não se correlacionaram. Não há base no estudo para dizer isso.
• "A amostra tem entre 1.200 e 2.400 cadetes." São duas turmas: 1.218 e 1.308. Somam 2.526, e nenhuma fonte que li usa 2.400.
• "Grit explica o sucesso." O resumo do artigo diz que grit respondeu, em média, por 4% da variância dos resultados nos estudos reunidos.
• "Poucas semanas medem a novidade e meses medem o método." É uma tese de divulgação, não um resultado do estudo. O artigo não compara períodos de prática.

O que a pesquisa posterior diz

Credé, Tynan e Harms (2017) fizeram uma meta-análise do tema, com 584 tamanhos de efeito de 88 amostras e 66.807 pessoas. Concluíram que o grit se relaciona de forma só moderada com desempenho e retenção e de forma muito forte com a conscienciosidade (0,84 com a medida geral). Também concluíram que a perseverança de esforço tem validade maior que a consistência de interesses, e que a validade do construto está em questão.

Eles apontam ainda um detalhe sobre West Point: nos estudos de retenção, quase todo mundo fica (94,2% na amostra citada), e essa taxa-base alta enfraquece qualquer correlação. Ou seja, 71 saídas em 1.223 são pouca variação para explicar, e isso limita o quanto se pode concluir.

O que isso muda no seu negócio

Tudo abaixo são hipóteses a testar, não resultados garantidos.

1. Escreva o prazo e o critério de saída antes de começar. Algo como: "50 posts em formato de carrossel, medidos por salvamentos e respostas; se não passar do limite X, troco." Se o critério vem depois, o humor do dia decide.
2. Separe duas decisões que viram uma só. Trocar de formato porque o critério falhou é método. Trocar porque ficou chato é o padrão que a escala de consistência de interesses descreve.
3. Registre quantas vezes você mudou de formato no último ano. É uma conta simples e honesta. Ela mostra se o problema é o formato ou o calendário.
4. Meça a mesma coisa nos mesmos intervalos. O funil de Deming mostra o valor de olhar o número todo dia, e não só quando a curva já caiu.
5. Reduza o custo de continuar. Se a rotina depende de força de vontade, ela falha. Um ciclo curto e delimitado, como o desafio de 5 a 7 dias, ensina a terminar antes de pedir que você dure.

Para equilibrar a velocidade de teste com a profundidade, leia também o artigo sobre apronte, atire, mire.

Quando NÃO usar essa lição

• Quando o formato falhou pelo seu critério escrito. Se o limite foi definido antes e não foi atingido, sair é método, não desistência. O estudo mede quem abandona sem critério e não prova que persistir é sempre o certo.
• Quando o custo de continuar já passou do que o caso paga. Persistir só porque já se investiu é o viés do custo afundado.
• Quando o contexto é o oposto do de West Point. Um treinamento militar com meta externa e cerca de 95% de retenção não se parece com uma agenda de conteúdo de uma pessoa sozinha. O estudo não testa negócios.
• Quando você usa grit como diagnóstico de pessoa. A meta-análise mostra efeito modesto e sobreposição com conscienciosidade. Não use a escala para rotular ninguém.

Fontes

• Duckworth, Peterson, Matthews e Kelly (2007), Journal of Personality and Social Psychology, 92(6), 1087-1101: os Estudos 4 e 5 de West Point, as amostras, o Whole Candidate Score e as razões de chances.
• Credé, Tynan e Harms (2017), Much Ado About Grit, Journal of Personality and Social Psychology, 113(3): meta-análise, sobreposição com conscienciosidade e a ressalva sobre taxas-base de retenção.
• Sêneca, Cartas a Lucílio, tradução de Richard Gummere (Pomona College): o texto da Carta 2, sobre dispersão na leitura e a troca de remédios.

Para ver como a eBuz organiza o trabalho de produzir com constância, comece pelo Mapa de Contexto e continue pelos outros casos do Swipe File.