Funil de Deming: por que reagir a toda oscilação do painel piora o resultado

Resposta curta: no funil de Deming, corrigir a posição do funil depois de cada lançamento (a regra 2) deixa o processo centrado, mas, na simulação que rodei, dobra a variância em relação a deixá-lo quieto; a fonte técnica que li fala em cerca de 40% mais variação, o que é coerente com um desvio padrão 1,41 vez maior. Reagir a cada oscilação de um processo estável é ruído virando decisão. Para quem acompanha métricas de email ou anúncio, a lição é separar olhar de decidir: defina por escrito, antes, quando um número muda a sua ação, e só avalie nesses momentos.

O funil: a experiência que mostra o custo de mexer demais

O experimento atribuído a W. Edwards Deming é simples. Você solta uma bolinha por um funil sobre um alvo no papel. A bolinha cai perto do alvo, nunca exatamente nele, e o desvio de cada lançamento é acaso: o processo é estável. A pergunta é o que fazer com cada erro.

• Regra 1: deixar o funil fixo sobre o alvo. Nada de ajuste.
• Regra 2: depois de cada lançamento, mover o funil na direção oposta ao erro, a partir da posição em que ele estava. Se a bolinha caiu 2 cm à direita, o funil vai 2 cm para a esquerda.

A regra 2 parece o comportamento de um gestor diligente: errou, corrigiu. Um texto técnico de controle estatístico de processo descreve as duas regras em simulação e aponta que a regra 2 tem "40% more variation" do que a regra 1. Outro material de curso, de uma universidade canadense, reproduz o experimento em tabela e resume a ideia assim: mexer num processo estável aumenta a variação do resultado.

Esses 40% merecem uma conta. Chame de erro aleatório o desvio de cada lançamento, com variância 1. Na regra 2, a bolinha cai no erro atual menos o erro do lançamento anterior, porque o funil foi deslocado pelo erro do lançamento anterior. A soma de dois ruídos independentes tem variância 2, e o desvio padrão sobe por um fator de cerca de 1,41. Rodei uma simulação própria com 200 mil lançamentos: a variância da regra 2 deu 2,00 vezes a da regra 1 e o desvio padrão, 1,41 vezes. É coerente com os 40% da fonte, e esta conta é minha, não de Deming.

O ponto central é o que a regra 2 entrega: uma bolinha que continua centrada, mas espalhada como o dobro. A correção parecia responsável e só acrescentou o ruído do lançamento passado ao próximo.

Onde entram os 46%, os 10% e os 0,4%

A edição que originou este artigo junta o funil a dois estudos sobre adolescentes e redes sociais. Vale ler o que eles dizem de fato, porque a versão curta costuma errar.

Beyens e colegas: a média esconde pessoas diferentes

O estudo de Ine Beyens, Patti Valkenburg e colegas, publicado na Scientific Reports em 2020, acompanhou 63 adolescentes de 14 e 15 anos de um colégio no sul dos Países Baixos. Foram seis questionários curtos por dia durante uma semana, com 2.155 avaliações completas, e a medida de bem-estar era uma pergunta: quão feliz você se sente agora. Para o uso passivo de redes sociais, o artigo mostra que 44% dos adolescentes tiveram associação nula ou pequena, 46% tiveram associação positiva e 10% negativa.

O que a história popular costuma errar aqui:

• "A rede faz bem a 46%" omite que é uso passivo e felicidade no momento. A maior parte dessa fatia tem efeito fraco ou moderado.
• É um colégio, uma semana, 63 pessoas, e os próprios autores dizem que a amostra era relativamente feliz e que o estudo mede só bem-estar afetivo.
• O estudo não mede painéis de métricas, nem aberturas de email, nem a ansiedade de quem escreve.

A contribuição real do trabalho é outra: o efeito médio de uma exposição pode esconder pessoas que reagem de formas opostas. Os autores concluem que efeitos individuais não podem mais ser ignorados.

Orben e Przybylski: a associação é pequena

Amy Orben e Andrew Przybylski, na Nature Human Behaviour (2019), analisaram três bases de dados dos Estados Unidos e do Reino Unido. Segundo o comunicado da equipe, que li no lugar do artigo (o site da revista pediu login), foram mais de 300 mil adolescentes e responsáveis, e o resultado foi que, no máximo, 0,4% do bem-estar adolescente se relaciona ao uso de tela. Na mesma base, comer batata mostrou associação semelhante, e usar óculos, associação pior. O comunicado também diz que fumar maconha e sofrer bullying tiveram associações 2,7 e 4,3 vezes mais negativas que o uso de tela.

Um aviso honesto sobre a ponte

Nenhum desses dois estudos mostra que olhar um painel de métricas aumenta a ansiedade. A ligação com o seu trabalho é por analogia: se efeitos pequenos e variáveis são comuns, uma decisão tomada por causa de uma oscilação pequena e variável tem boa chance de reagir ao acaso. Que o painel mexe com o estado emocional de quem olha é uma hipótese razoável, e deve ser tratada como hipótese. A parte comprovada é a do funil: reagir a variação comum aumenta a variação.

O mecanismo: variação comum contra sinal

Quando a taxa de abertura de um email passa de 18% para 21% de um dia para o outro, há duas explicações possíveis. Pode ser algo que mudou (o assunto, a hora, a lista), ou pode ser a oscilação normal de um processo estável. Com poucos envios, a segunda é bem frequente. Tratar toda oscilação como sinal é o que a regra 2 faz: o assunto muda, a hora muda, a segmentação muda, e cada mudança acrescenta uma variável nova ao seguinte envio.

Há ainda um custo de aprendizagem. Quem muda três coisas depois de cada resultado nunca sabe qual mudança causou qual efeito, e a série de dados fica contaminada pelas próprias intervenções.

O que isso muda no seu negócio

As sugestões abaixo são hipóteses de trabalho, derivadas do funil. Nenhum estudo citado testou métricas de email ou anúncio.

1. Escolha uma hora fixa na semana para abrir os relatórios. Fora dela, o painel fica fechado. Olhar não custa nada em si, mas decidir com base em cada olhada é o que alimenta a regra 2.
2. Escreva a regra antes de ver o número. Formato: "se a métrica X ficar abaixo de Y por Z envios seguidos, eu mudo W". Se o número cair fora da regra, nada muda.
3. Estime a oscilação normal antes de reagir. Anote os últimos envios comparáveis e veja a faixa em que a métrica já andou sem você mexer em nada. Uma variação dentro da faixa é ruído por padrão. Exemplo ilustrativo: se os últimos oito envios ficaram entre 17% e 22% de abertura, um envio de 21% não pede ação.
4. Mude uma coisa por vez e dê amostra a ela. Defina antes quantos envios a mudança vai rodar. Sem isso, você volta à regra 2 com outro nome.
5. Separe monitorar de medir. Monitorar é conferir se algo quebrou (a lista não foi enviada, o link está fora). Medir é comparar versões com regra. O primeiro pode ser diário, o segundo não precisa ser.

Para estruturar as comparações, leia o guia sobre os dez testes da oferta e o artigo sobre a regra dos três números. Mais casos dessa série estão em Swipe File.

Quando NÃO usar essa lição

• Quando o processo é instável. O funil trata de um processo em que a variação é só acaso. Se algo mudou de fato (queda brusca depois de uma alteração de domínio, de provedor ou de lista), esperar uma hora semanal atrasa a correção.
• Quando há erro operacional. Link quebrado, envio que não saiu e checkout fora do ar pedem olhar imediato. Isso é monitorar, não tampering.
• Com poucos dados e decisão barata e reversível. Se testar custa quase nada, agir rápido pode valer mais do que esperar.
• Como prova de que o painel faz mal a quem olha. Os estudos citados são sobre adolescentes e redes sociais, e não mostram isso.

Fontes

• Beyens et al., Scientific Reports (texto integral): amostra de 63 adolescentes, 2.155 avaliações, as proporções 44%, 46% e 10% e as limitações apontadas pelos autores.
• Registro do estudo na Universidade de Tilburg: resumo oficial com as mesmas proporções e o desenho de seis avaliações por dia durante uma semana.
• Oxford Internet Institute, sobre Orben e Przybylski: comunicado da equipe com as bases de dados, o 0,4% no máximo e as comparações com batata e óculos.
• SPC for Excel, variação e funil: descrição da regra 2 (mover o funil pelo erro anterior) e a diferença de cerca de 40% na variação.
• Universidade de Alberta, o experimento do funil: as quatro regras do funil e a conclusão de que ajustar um processo estável aumenta a variação.