A noite da teleconferência antes do Challenger: quando o ônus da prova virou do avesso

Resposta curta: na noite de 27 de janeiro de 1986, engenheiros da Morton Thiokol recomendaram não lançar o ônibus espacial Challenger abaixo de 53 °F. Depois de uma pausa, a gerência da empresa reverteu a recomendação. O relatório da Comissão Rogers registra que só os voos com dano foram colocados lado a lado, e os testemunhos de Boisjoly e Lund descrevem uma inversão do ônus da prova: de provar que era seguro lançar para provar que não era. A lição vale para qualquer reunião de risco: confira qual dado está na tela e quem precisa provar o quê.

A cena: uma noite fria na Flórida e em Utah

O Challenger deveria ter decolado em 27 de janeiro. Às 12:36, a equipe de gestão da missão cancelou a tentativa do dia por vento lateral e mirou o lançamento das 9:38 da manhã seguinte. Numa reunião às 14:00, a previsão era de temperaturas na casa de 20 °F por cerca de 11 horas. Os problemas levantados eram de instalações: drenos de água, sistema de combate a incêndio, bandejas de água de sobrepressão. Segundo o relatório oficial, ninguém falou dos anéis de vedação (O-rings) dos propulsores de combustível sólido.

A preocupação veio da fornecedora dos propulsores, a Morton Thiokol. Allan McDonald, representante da empresa em Kennedy, contou à Comissão que Robert Ebeling, de Utah, ligou avisando que a previsão chegava a 18 °F de madrugada e que engenheiros estavam inquietos com os O-rings nessa faixa. Seguiram-se conferências por telefone entre três lugares: o centro de lançamento em Kennedy, o centro Marshall (responsável pelos propulsores) e a sede da Thiokol em Utah. Depois da primeira, às 17:45, um dos gerentes da Marshall disse à Comissão que a impressão que ficou foi a de que a Thiokol estava, no fundo, dizendo para adiar. Outro participante, em Kennedy, não entendeu assim.

Na teleconferência da noite, o engenheiro Robert Lund apresentou as conclusões e recomendações da engenharia. Segundo o engenheiro Roger Boisjoly, o resumo foi este: não voar fora da base de dados, que ia até 53 °F. Esse número vinha do voo 51-C, de janeiro de 1985, lançado a 53 °F, o mais frio até então, com erosão nos O-rings dos dois propulsores. Na manhã do lançamento, o termômetro marcou 36 °F, 15 graus abaixo do lançamento anterior mais frio. A junta estimada no ponto mais frio ficou em 28 °F, com margem de 5 graus para cima ou para baixo.

O que cada sala disse

Os relatos abaixo são testemunhos dados à Comissão, e eles divergem em pontos. Onde há divergência, eu aviso.

• A engenharia da Thiokol disse não ao lançamento abaixo de 53 °F. Boisjoly testemunhou que, até a pausa, nenhum engenheiro falou a favor de lançar.
• A Marshall questionou a lógica. Segundo Boisjoly, George Hardy, da Marshall, disse estar "appalled" (chocado) com a recomendação da Thiokol; Jerald Mason, da Thiokol, relatou à equipe da Comissão que Hardy disse algo como "estou chocado com a sua recomendação" (tradução nossa). Hardy também disse na teleconferência, segundo Mulloy e Boisjoly, que não recomendaria lançar se a Thiokol não recomendasse. Lawrence Mulloy descreveu à Comissão que a recomendação da engenharia era não sair da faixa de experiência acumulada. Sobre a frase que lhe é atribuída, algo como "quando você quer que eu lance, no próximo abril?" (tradução nossa), Mulloy disse à Comissão que ela era uma declaração fora de contexto.
• Roger Boisjoly foi chamado a quantificar a preocupação. Disse à Comissão que não conseguia: não tinha dados que a quantificassem, só a leitura de que o resultado se afastava do bom na base existente. Alguém lembrou que o voo 61-A, a 75 °F, também teve fuligem passando pela vedação. Ele respondeu que o 51-C, frio, tinha muito mais sinais.
• Joe Kilminster, da Thiokol, pediu uma pausa de cinco minutos, fora da linha. Durou cerca de 30. A conferência foi interrompida por volta das 22:30, horário de Nova York.

Na pausa, segundo Boisjoly, Mason disse que era preciso uma decisão de gestão e pediu a Lund para "tirar o chapéu de engenheiro e pôr o de gestor". Boisjoly e Arnold Thompson seguiram se opondo. Boisjoly disse que depois não foi consultado. Voltaram à linha, e Kilminster leu de um bloco de anotações a justificativa para lançar e declarou que aquela era a recomendação da Thiokol.

Erro 1: o recorte do dado

O capítulo da Comissão sobre efeitos de temperatura diz que, na noite, os gestores compararam, em função da temperatura, os voos em que houve dano térmico nos O-rings. Eles não olharam a frequência com base em todos os voos. Nessa comparação, a distribuição do dano entre 53 °F e 75 °F não mostrava nada de irregular.

Quando a Comissão incluiu os voos normais, sem erosão nem passagem de gás, o quadro mudou. Dos 20 voos com temperatura de O-ring de 66 °F ou mais, 3 tiveram dano térmico. Dos 4 voos a 63 °F ou menos, os 4 tiveram. A conclusão do relatório: a probabilidade de dano sobe a quase certeza quando a junta está abaixo de 65 °F.

Faixa de temperatura da junta	Voos	Com dano térmico
66 °F ou mais	20	3
63 °F ou menos	4	4

Isso responde ao que a conversa estava, na prática, discutindo: "o frio explica o dano?". Só olhando os voos sem dano a resposta aparece. Quem escolhe mostrar só os casos com problema pode concluir que o problema não depende da variável.

Erro 2: o ônus da prova virou do avesso

Boisjoly descreveu à Comissão como foi a sensação da reunião. Ele atribuiu a um colega a síntese (paráfrase nossa): aquela era uma reunião em que a determinação era lançar e em que cabia a eles provar, sem sombra de dúvida, que lançar não era seguro. Ele acrescentou que isso era o oposto do que acontece normalmente numa conversa pré-voo ou numa revisão de prontidão.

Lund, ouvido pela Comissão em outra audiência, contou o mesmo mecanismo pelo lado de dentro. Disse que a empresa estava acostumada a ter de defender que estava pronta para voar, e que naquela noite o pedido foi o inverso: tinham de provar à Marshall que não estavam prontos. Tentaram achar um jeito e não conseguiram provar, em termos absolutos, que o motor não funcionaria. Perguntado se acreditava ter o dever de provar que não funcionaria, respondeu que esse era o modo em que se colocaram naquela noite, que os papéis tinham invertido e que ele devia ter percebido.

Esse é o ponto de decisão mais útil do caso. Numa operação de risco irreversível, o padrão é a prova de que está seguro. Na noite, o padrão passou a ser a prova de que não está. E quase nenhuma preocupação de engenheiro se prova "sem sombra de dúvida" na véspera.

O que a Comissão concluiu

A Comissão Rogers concluiu que houve falha séria no processo decisório que levou ao lançamento. Registrou também que a gerência da Thiokol reverteu a posição e recomendou o lançamento a pedido da Marshall, contra a visão de seus engenheiros, para acomodar um grande cliente. Quem aprovou o lançamento, segundo o relatório, não conhecia o histórico recente de problemas nos O-rings, nem a recomendação escrita inicial contra lançar abaixo de 53 °F, nem a oposição que os engenheiros mantiveram depois da reversão. O relatório diz ainda que, se os responsáveis tivessem todos os fatos, seria improvável que decidissem lançar.

Parte do problema também foi de fluxo: Stanley Reinartz, gerente de projetos da Marshall que estava em Kennedy, confirmou à Comissão ter sido ele quem decidiu não levar o assunto ao Nível II, e Arnold Aldrich, gerente do programa do ônibus espacial, disse à Comissão que não conhecia as objeções da Thiokol antes do lançamento. O diretor de lançamento, Gene Thomas, disse à Comissão que, se tivessem tido a informação, não teriam lançado se a temperatura não chegasse a 53 °F.

O Challenger decolou às 11:38 de 28 de janeiro. Setenta e três segundos depois, a nave se desintegrou. Os sete tripulantes morreram, entre eles a professora Christa McAuliffe. O que se aprende com esse caso se aprende a custo de vidas, e merece ser tratado com esse respeito.

O que a história costuma errar

• "Os gerentes ignoraram os dados por frieza." A Comissão descreve um processo falho, com pressão de um grande cliente e informação que não subiu. Não atribui a pessoas uma intenção de causar a morte. Atribuir isso é ir além da fonte.
• "Os dados provavam o perigo e foram ignorados." Na noite, o próprio Boisjoly disse que não tinha dados para quantificar. O padrão ficou nítido quando a Comissão olhou todos os voos.
• "Todos os níveis aprovaram." O relatório diz que as decisões chegaram sem a história completa.
• A frase de abril. Ela circula como se fosse literal. Mulloy disse à Comissão que a declaração estava fora de contexto, e o relatório apenas registra a disputa sobre o que foi dito.

O que isso muda no seu negócio

Você provavelmente não lança foguetes. Mas decide lançar oferta, subir preço, escalar anúncio ou entregar um programa com dados parciais. Os passos abaixo são hipóteses a testar, não resultados do caso.

1. Peça a tabela completa antes da seleção. Antes de discutir "o que deu errado", ponha na mesa todos os casos, inclusive os que funcionaram. Exemplo ilustrativo: ao investigar por que 4 alunos cancelaram, mostre também quantos alunos com o mesmo perfil não cancelaram.
2. Escreva, antes da reunião, quem precisa provar o quê. Para decisões caras ou irreversíveis, defina que a prova exigida é a de que está seguro. Para as baratas e reversíveis, o inverso pode ser razoável.
3. Dê a quem aponta o risco um espaço sem hierarquia. Se a pessoa precisa quantificar o que ainda não dá para medir, a preocupação morre. Aceite um "isso me preocupa e não sei medir" como entrada formal, com registro.
4. Não troque de chapéu na pausa. Se o parecer técnico e a decisão têm donos diferentes, registre o parecer técnico por escrito, separado, e leve-o junto até quem decide.
5. Cheque quem não recebeu a informação completa. Depois de uma decisão sensível, pergunte quem acima ou ao lado ficou sem a história inteira.

Para o lado da medição, leia o caso do funil de Deming e o caso da métrica errada do Facebook.

Quando NÃO usar essa lição

• Em decisões baratas e reversíveis. Exigir prova de segurança para trocar a cor de um botão paralisa o negócio. A inversão do ônus pesa quando o erro não tem volta.
• Para julgar pessoas. O relatório trata de processo. Usar o caso para apontar culpados é extrapolação.
• Como regra de que "mais dados" resolvem. Na noite, o problema era qual dado estava na tela e quem tinha o dever de provar, não a quantidade.
• Como prova de que reuniões de risco não servem. O caso mostra uma reunião mal desenhada, não a inutilidade da reunião.

Fontes

• Comissão Rogers, vol. 1, cap. V (The Contributing Cause of the Accident): a teleconferência, os testemunhos de Boisjoly, Lund, Mason, Mulloy e McDonald, a pausa, a reversão e as conclusões da Comissão.
• Comissão Rogers, vol. 1, cap. VI (An Accident Rooted in History): a seção sobre efeitos de temperatura, com a comparação de 3 de 20 contra 4 de 4 voos e o dado do voo 51-C.
• Comissão Rogers, vol. 1, cap. III (The Accident): hora do lançamento, 73 segundos, os sete mortos e a temperatura de 36 °F.
• NASA: Challenger STS-51L Accident: tripulação e 73 segundos até a ruptura.

Para organizar decisão, dado e prova no seu negócio, comece pelo Mapa de Contexto e veja os outros casos do Swipe File.