O Facebook errou a média de vídeo por cerca de dois anos: quem mede o seu resultado manda em você

Resposta curta: em setembro de 2016, o Facebook admitiu que calculava o tempo médio de visualização de vídeo dividindo só pelas pessoas que assistiam três segundos ou mais, e não por todas que davam play. Segundo o Wall Street Journal, a média saiu inflada em 60% a 80% por cerca de dois anos. A lição não é que a plataforma mentiu: é que quem mantém o placar define o que parece dar certo, e você decide o seu negócio olhando para ele.

O caso: uma média que deixava de fora quem saía cedo

A métrica se chamava "duração média de vídeo assistido" (Average Duration of Video Viewed). Pela definição do próprio Facebook, ela era o tempo total assistido dividido pelo total de pessoas que deram play. Na prática, segundo o relato do TechCrunch sobre o aviso que a empresa publicou na página de ajuda para anunciantes, o cálculo dividia só pelas pessoas que assistiram três segundos ou mais.

Quem fecha o vídeo em um ou dois segundos saía da conta. Tirar do denominador justamente quem menos assistiu faz a média subir, sem que ninguém tenha assistido mais.

O tamanho do erro veio da reportagem do Wall Street Journal, que cita a agência Publicis Media. Segundo essa reportagem, a média ficou inflada em 60% a 80%, e o problema durou cerca de dois anos. O Facebook disse que o erro foi corrigido e que "não afetou a cobrança", conforme a CBS News, e o vice-presidente David Fischer reconheceu o erro em publicação da empresa ("levamos qualquer erro a sério"), segundo o Tubefilter. O memo da Publicis dizia que o episódio mostrava a necessidade de verificação e marcação por terceiros na plataforma.

Um detalhe que muda a leitura: as fontes divergem sobre quem deu o percentual. O TechCrunch o atribui à Publicis, falando ao Journal; Fortune e Tubefilter dizem que o Facebook informou o número às agências. Em nenhuma das que li ele aparece numa declaração pública do Facebook. Vale citar o 60% a 80% como "segundo o Wall Street Journal".

O mecanismo: o placar vira a meta e deixa de medir

A antropóloga Marilyn Strathern, num artigo de 1997 sobre avaliação nas universidades britânicas (European Review, volume 5, número 3), escreveu a frase que ficou associada a esse fenômeno: quando uma medida vira meta, ela deixa de ser uma boa medida. No texto, ela dá o nome de "lei de Goodhart" a essa ideia, a partir de uma observação do economista Charles Goodhart sobre instrumentos de controle monetário. Eu abri o artigo e a frase está lá, nessas palavras.

Aplicada ao caso: quando editores, agências e anunciantes passam a decidir pelo tempo médio de vídeo, essa média deixa de ser só um retrato e passa a ser um alvo. Qualquer erro, ou escolha de cálculo, no número que virou alvo move o comportamento de todo mundo que depende dele. O erro do Facebook não precisou de má-fé para ter esse efeito: bastou que o placar fosse o único placar.

Quem	O que olhava	O que não via
Anunciante	Média de tempo assistido	Quanto da audiência saía antes de três segundos
Editor ou criador	O mesmo painel, para decidir formato	Que o denominador excluía as saídas rápidas
Plataforma	Os dados completos	Nada: era dela o cálculo e a correção

A tabela é uma simplificação minha para mostrar quem tinha acesso a quê, não um dado das fontes.

O que a história costuma errar

• "O número que demitiu redações." É a versão mais compartilhada, e as fontes que li não a sustentam. A Columbia Journalism Review descreve que a Mic cortou equipe de notícias em 2017 para apostar em vídeo, principalmente para o Facebook, e que em 2018 demitiu a maior parte do time e vendeu o restante à Bustle. Mas o mesmo texto reparte a explicação: expectativas do capital de risco captado, aposta pesada em vídeo, aluguel caro, e o Facebook como fator real (o autor diz que a plataforma mudou o rumo do vídeo sem trazer o dinheiro), mas sem tirar a responsabilidade das decisões da empresa. A frase que resume a posição do autor é que, no fim, uma empresa responde pelas próprias decisões. Não encontrei fonte lida que ligue o erro de métrica às demissões, e as redações citadas além da Mic eu não verifiquei.
• "O Facebook cobrou a mais." O Facebook afirma que a cobrança não foi afetada. Os anunciantes que processaram a empresa alegaram outra coisa: que o número inflado fez o vídeo parecer mais valioso e levou a preços e gastos maiores. É alegação, não conclusão de um tribunal.
• "Inflaram em 900%." O 900% aparece na ação coletiva, como alegação dos autores, em versão ampliada da queixa (de 150% a 900%, segundo o MediaPost). Não é o valor da reportagem original, que fala em 60% a 80%.
• "Foi o número de visualizações." Não: foi a média de tempo assistido. Quem assistia menos de três segundos entrava na contagem de plays e ficava fora da média.
• "O processo provou o erro." Segundo o PPC Land, o Facebook concordou em pagar US$ 40 milhões à vista para encerrar a ação coletiva, em 2019, reconhecendo o erro de medição mas negando que ele tenha afetado o gasto dos anunciantes. Um acordo encerra a ação sem sentença sobre o mérito. Não verifiquei a aprovação final pelo tribunal.

O que isso muda no seu negócio

A tese que fica é uma leitura minha do caso, não uma conclusão das fontes: o poder de quem calcula o seu desempenho pesa mais do que o de quem distribui o seu trabalho. O alcance você já sabe que é emprestado. O placar também é. As ideias abaixo são hipóteses para testar, não receita de resultado.

1. Comece o painel pelo que é seu, não pelo alcance. Monte uma planilha com três números que você consegue calcular sem ninguém: pessoas ativas na sua base (as que abriram ou clicaram no período que você definir), receita por pessoa dessa base e a taxa de chegada (de cada cem mensagens enviadas, quantas chegam e são abertas). São um ponto de partida: ajuste ao seu caso.
2. Guarde o dado bruto, não só o resumo. A média do Facebook escondia o denominador. Quando puder, exporte eventos (quem chegou, quem saiu, quando) e guarde uma cópia. O erro só é visível para quem consegue refazer a conta.
3. Cruze com uma segunda fonte. A Publicis pediu verificação de terceiros. Para um negócio pequeno, isso pode ser tão simples quanto comparar o número do painel da plataforma com o seu link rastreado e com as vendas reais do mesmo dia. Quando os dois divergem muito, investigue antes de decidir.
4. Pergunte "quem ficou fora da média?". Toda média tem um denominador. Antes de tomar decisão grande com base nela, descubra quem foi excluído do cálculo e se isso muda a conclusão.
5. Deixe uma porta que não passa pelo placar alheio. Lista de e-mail ou de WhatsApp com consentimento, em que você mede a entrega e a resposta, é o caminho mais direto para aplicar a ideia central desta categoria. Para organizar os números, veja a regra dos 3 números e o caso do funil de Deming, medindo todo dia; para o outro lado da conta, o artigo sobre os mil fãs verdadeiros. Mais casos no Swipe File.

Quando NÃO usar essa lição

• Para concluir que a plataforma é vilã. O caso mostra um erro de cálculo admitido, e as fontes lidas não provam intenção. A lição é sobre dependência do placar, não sobre culpa.
• Para abandonar os dados da plataforma. Eles continuam úteis como uma das fontes. O ponto é não ser a única.
• Para explicar uma queda sua. Se o seu resultado caiu, o erro de uma métrica alheia é uma hipótese entre várias. A história da Mic mostra que decisões internas pesam.
• Como números de referência. O 60% a 80% descreve a média daquele vídeo naquela época e naquele painel. Não é taxa que você deva esperar nem usar para ajustar o seu.
• Quando seu volume é muito pequeno. Com poucas dezenas de pessoas na base, taxas e médias oscilam por acaso. Acompanhe, mas não decida só por elas.

Fontes

• TechCrunch (22/09/2016): sustenta a definição da métrica, o corte de três segundos, a duração de cerca de dois anos e o aviso publicado pelo Facebook.
• Fortune (23/09/2016): sustenta o intervalo de 60% a 80% relatado pelo Wall Street Journal e a posição de que a cobrança não foi afetada.
• Tubefilter (23/09/2016): sustenta o pedido de desculpas de David Fischer e o memo da Publicis sobre verificação por terceiros.
• CBS News: sustenta a declaração de que o erro foi corrigido e não afetou a cobrança.
• Columbia Journalism Review (29/11/2018): sustenta a trajetória da Mic e as várias causas do fechamento, que impedem a leitura de causa única.
• PPC Land (outubro de 2019): sustenta o acordo de US$ 40 milhões e a posição do Facebook de que o erro não alterou o gasto dos anunciantes.
• MediaPost (13/06/2019): sustenta o protocolo do acordo, a posição do Facebook sobre cobrança e a alegação ampliada de 150% a 900% (até 900% por conta dos autores).
• Strathern (1997), cópia do artigo e registro no RePEc: sustentam a frase sobre medida e meta e a menção à lei de Goodhart.