Jonathan
Resposta curta: no experimento de Goldstein, Cialdini e Griskevicius (2008), um cartão de hotel que dizia que cerca de 75% dos hóspedes reutilizavam a toalha levou 44,1% a reutilizar, contra 35,1% do cartão que só pedia para salvar o ambiente. Num segundo experimento, o cartão que citava os hóspedes do mesmo quarto chegou a 49,3%, contra 42,8% dos outros cartões de norma. O ganho é modesto, e uma réplica em hotéis alemães deu resultados divergentes: num hotel o efeito inverteu, no outro não foi significativo.
O caso: dois experimentos num hotel americano
O artigo A room with a viewpoint foi publicado no Journal of Consumer Research em 2008. Os dados vêm de um hotel de porte médio e preço médio, no sudoeste dos Estados Unidos, parte de uma rede nacional. O texto não diz o nome do hotel. Os hóspedes não sabiam que participavam de um estudo.
No experimento 1, ao longo de 80 dias, os autores coletaram 1.058 ocasiões de possível reuso em 190 quartos. Cada quarto foi sorteado para receber um de dois cartões, pendurados no toalheiro do banheiro:
- Cartão padrão: "Ajude a salvar o ambiente", com o argumento de respeito à natureza. É o apelo que os autores descrevem como a abordagem padrão do setor.
- Cartão de norma: "Junte-se aos outros hóspedes", dizendo que quase 75% dos hóspedes convidados para o programa ajudavam usando a toalha mais de uma vez.
As camareiras registravam, para hóspedes com pelo menos duas noites, se a pessoa reutilizou ao menos uma toalha no primeiro dia elegível. Toalha pendurada na maçaneta não contava. O resultado: 44,1% com o cartão de norma contra 35,1% com o padrão (N de 433 na análise; qui-quadrado de 3,72, p igual a 0,05).
O número de 75% do cartão veio do fornecedor dos cartões, segundo os autores. Eles mesmos notam que 44,1% é bem menos do que 75% e explicam: só olharam o primeiro dia elegível e usaram um critério rígido de contagem.
O segundo experimento: a prova que mais se parecia com o hóspede
No experimento 2, no mesmo hotel, foram 53 dias e 1.595 ocasiões. Cada quarto sorteou um entre cinco cartões. O cartão padrão continuou igual. Os outros quatro traziam a mesma estatística de cerca de 75%, atribuída a um estudo feito anos antes (os autores o chamam de suposto, "ostensible"), mudando só quem tinha feito aquilo:
| Cartão | Reuso da toalha |
|---|---|
| Padrão, só ambiental | 37,2% |
| Norma dos hóspedes do hotel | 44,0% |
| Norma dos cidadãos | 43,5% |
| Norma de homens e mulheres (76% e 74%) | 40,9% |
| Norma dos hóspedes deste quarto, com o número do quarto | 49,3% |
As quatro normas juntas ficaram em 44,5%, contra 37,2% do padrão (p igual a 0,03). O cartão do mesmo quarto ficou em 49,3%, contra 42,8% das outras três normas somadas (p abaixo de 0,05). Entre hóspedes, cidadãos e gênero não houve diferença. O tamanho de efeito que os autores reportam é pequeno (φ de 0,06 na comparação do quarto).
O detalhe que torna o resultado interessante: num teste separado, com 53 pessoas, "ser hóspede deste quarto" foi a identidade que menos importava para elas (média de 1,96 em 7), bem abaixo de cidadão, gênero ou ambientalista. Ainda assim, foi o cartão que mais funcionou. Os próprios autores escrevem que, com dados de campo, só podem especular sobre o motivo, e sugerem hipóteses como o hábito de seguir normas do ambiente imediato e a ideia de "relação de unidade" com quem compartilhou uma experiência incomum.
O que a história costuma errar
- "49,3% contra 35,1%." Os dois números vêm de experimentos diferentes. No experimento 2, o cartão padrão teve 37,2%. A diferença correta contra o padrão do mesmo experimento é de 12 pontos, e contra os outros cartões de norma, de cerca de 6.
- "O cartão por gênero perdeu." Ele teve 40,9%, acima dos 37,2% do padrão. Ficou numericamente abaixo dos outros cartões de norma, mas os autores dizem que os três (hóspedes, cidadãos e gênero) não diferiram entre si.
- "75% dos hóspedes reutilizam, e o cartão provou isso." O número do cartão veio do fornecedor e, no experimento 2, de um estudo anterior descrito como suposto. A taxa observada foi de 44% a 49%, medida no primeiro dia.
- "Isso prova que depoimento parecido vence depoimento famoso." O estudo não usou depoimentos. Usou uma frase estatística curta num cartão, para um comportamento barato e rápido. Nada ali testa quantidade de provas nem prova de pessoa.
- "A ciência provou." Foi um estudo de campo com efeito pequeno e p perto do limite. O próprio experimento 1 tem p igual a 0,05.
A réplica que complica a história
Bohner e Schlüter (2014, PLoS One) repetiram a ideia em dois hotéis alemães. As taxas gerais de reuso foram bem mais altas do que nos Estados Unidos, e os resultados divergiram, segundo os próprios autores. Os números que eles reportam:
- Estudo 1 (hotel de quatro estrelas): o cartão padrão teve 83,7% e as normas somadas 81,9%, sem diferença. O cartão do mesmo quarto teve 78,0% e o dos hóspedes em geral, 85,6%, no sentido oposto ao original.
- Estudo 2 (hotel de três estrelas, 56 quartos e 204 observações): sem mensagem, 64,3%; com mensagens, 79,6%. Mas o cartão padrão (93,3%) superou as normas somadas (76,5%). O cartão do mesmo quarto (82,0%) ficou acima do dos hóspedes (71,8%), na direção do original, mas sem diferença significativa (p de 0,17).
A PLoS One publicou depois um aviso de republicação (e106606), que diz ter trocado os caracteres de qui e fi alterados no texto; a página do aviso não detalha mais nada. Trate os números como os divulgados pelos autores. As explicações oferecidas pelos autores da réplica, como a atitude ambiental mais alta no contexto alemão, são hipóteses.
O que isso muda no seu negócio
O estudo mede comportamento de hóspede num cartão de banheiro. Para uma página de vendas, são hipóteses a testar, não regras:
- Escolha a prova pelo ponto de partida do leitor. Se a sua copy abre com a situação de quem tem uma loja pequena e nenhuma audiência, a prova mais próxima mostra alguém nessa situação, não o seu melhor caso absoluto.
- Dê à prova o mesmo contexto do lead. Cite o recorte real: ponto de partida, tempo, canal. O cartão do quarto funcionou por dizer "este quarto", não "pessoas em geral".
- Teste uma prova próxima contra uma prova genérica. Mesma página, tráfego dividido, métrica de conversão. Com poucas visitas, a diferença de 6 pontos que o estudo viu pode não aparecer, e resultado pequeno não decide.
- Só cite uma norma que seja verdadeira. Os autores avisam que a técnica pressupõe que a norma real vá na direção que o comunicador quer. Exemplo ilustrativo: se 8 em 10 clientes não terminam o curso, "a maioria dos alunos conclui" é falso, e o dado precisa vir de você, medido.
- Use a prova próxima junto com o argumento, não no lugar dele. Nada no estudo diz que o argumento é dispensável. Para decisões caras e demoradas, o estudo não diz nada.
Se você quer ajustar o lead ao que o leitor já sabe, veja os níveis de consciência. Para outros casos do Swipe File com números conferidos, leia o artigo sobre aversão à perda e o do custo afundado.
Quando NÃO usar essa lição
- Quando você não tem dado real do recorte. Inventar ou arredondar "pessoas como você" para se parecer com o leitor é falsear a prova.
- Quando o contexto é outro. A réplica alemã não confirmou o efeito do quarto de forma consistente. Se o seu público já tem taxa alta de ação ou atitude muito favorável, a prova próxima pode não acrescentar nada.
- Quando a decisão é cara e demorada. O experimento mediu uma ação de segundos e sem custo. Não há base para estender o resultado a uma compra de ticket alto.
- Quando o objetivo é depoimento em volume. O estudo não comparou quantidades de prova.
- Quando a amostra é pequena. Um efeito de poucos pontos exige muitos casos para aparecer.
Fontes
- Goldstein, Cialdini e Griskevicius (2008), Journal of Consumer Research, 35(3), 472-482: texto original, com desenho, cartões, percentuais e estatísticas dos dois experimentos.
- ScienceDaily, resumo do estudo (2008): confirma os 35,1% e 44,1% do experimento 1 e a descrição dos cartões.
- Bohner e Schlüter (2014), PLoS One 9(8), e104086: réplica em dois hotéis alemães, com taxas e testes de cada condição.
- Página do artigo de Bohner e Schlüter na PLoS One: resumo dos autores e aviso de correção.
- Aviso de republicação da PLoS One (2014): informa a troca de caracteres de qui e fi.
Para ver o mapa completo da eBuz, comece pelo Mapa de Contexto e continue pelos outros casos do Swipe File.
