Teste de incrementalidade: como saber quanto da venda o anúncio realmente trouxe

Na configuração, o anunciante escolhe as campanhas, as conversões que serão medidas, as datas e o tamanho da retenção, de 1% a 50%. Na leitura do ConnectWeek, retenção é a parcela do público que fica sem ver os anúncios. Antes de começar, a ferramenta mostra o poder estatístico do estudo, uma estimativa da certeza do resultado que aparece em porcentagem, de 50% a 95%. A recomendação do Google é buscar 90% ou mais. Resultados entre 50% e 90% podem ser lidos, segundo a página, como direcionais. Aumentar o orçamento, alongar o estudo, ampliar a retenção e incluir mais ações de conversão são os caminhos citados para aumentar a estimativa.

A página de configuração do estudo por usuários recomenda ainda quatro recursos de medição antes do lançamento: as conversões otimizadas, o modo de consentimento, o modo de consentimento avançado e o gateway da tag do Google. O modo de consentimento está explicado em modo de consentimento do Google: como configurar.

Como ler o iCPA e o iROAS?

O estudo com base nos usuários pode devolver cinco métricas, conforme o volume de conversões, listadas no artigo Sobre o Conversion Lift: conversões incrementais, lift relativo, valor de conversão incremental, custo por ação incremental (iCPA) e retorno incremental do investimento em publicidade (iROAS). As duas últimas têm fórmula na página:

• iCPA: gasto total dividido pelas conversões incrementais.
• iROAS: valor de conversão incremental dividido pelo gasto total. Só é informado quando as ações de conversão têm valor atribuído.

Um exemplo hipotético do ConnectWeek compara as métricas do teste com as do relatório. Uma campanha gastou R$ 2.000 no período do teste. O relatório da plataforma atribui a ela 100 vendas e R$ 10.000 de receita. O retorno do investimento em publicidade (ROAS) é de 5 (10.000 ÷ 2.000): R$ 5 de receita atribuída para cada R$ 1 gasto. O teste indica que 40 vendas, com R$ 4.000 de receita, não teriam acontecido sem o anúncio. O iCPA é de R$ 50 (2.000 ÷ 40) e o iROAS é de 2 (4.000 ÷ 2.000). A decisão de aumentar ou cortar a verba passa a ser tomada com o iROAS de 2, não com o ROAS de 5. A diferença entre o ROAS e os outros indicadores de marketing está em ROAS, MER e CAC: a diferença entre os três indicadores.

O resultado vem com margem de erro. No estudo por geografia, a fórmula muda: o iROAS é o valor de conversão incremental dividido pelo custo incremental, e não pelo gasto total. A página que explica os dados de medição do estudo por geografia dá o exemplo de um iROAS de 2,2 acompanhado de um intervalo de confiança entre 1,3 e 3,5, e define esse intervalo como a faixa prevista em que as estimativas do estudo se enquadram. A mesma página descreve três status que o estudo pode exibir: iROAS positivo significativo; “não há dados suficientes” (típico do início do estudo); e nenhum aumento significativo detectado. O terceiro aparece quando não há diferença estatisticamente significativa entre as regiões que receberam o anúncio e as que não receberam.

Como é o teste por região do Google?

No estudo com base na geografia, a comparação é entre regiões em que os anúncios são veiculados e regiões em que não são. O artigo Configurar o Conversion Lift com base na geografia recomenda esse desenho a quem quer conhecer o retorno total das campanhas e cita como vantagens medir vários canais e vários tipos de conversão no mesmo estudo. O anunciante pode enviar à equipe de conta do Google dados de conversão off-line, agregados por cidade ou CEP. A conta precisa acompanhar pelo menos uma ação de conversão compatível, e as campanhas precisam ser direcionadas a um único país.

As regiões do teste são definidas pelo Google e têm nome próprio: áreas de marketing do Google, com a sigla GMA em inglês. Elas foram desenhadas para reduzir o que a página chama de contaminação, o caso da pessoa que vê o anúncio em uma região de tratamento e compra em uma região de controle. Quando isso acontece, a diferença medida entre os grupos diminui e a incrementalidade informada da campanha cai.

O estudo por geografia tem desvantagens. A página Como comparar os tipos de Lift informa que a exigência de orçamento tende a ser maior que a dos estudos com base nos usuários, que a divisão por região gera mais ruído e que os resultados não saem divididos por categorias, como informações demográficas. Antes de salvar o estudo, segundo o artigo de configuração do estudo por geografia, a ferramenta classifica a viabilidade em três níveis (alto, médio e baixo), e o Google não recomenda prosseguir com viabilidade baixa.

Como funciona o Conversion Lift da Meta?

Na Meta, o teste pode ser criado pelo próprio anunciante na ferramenta Experimentos ou com o representante da conta, informa a página sobre o Conversion Lift. Não há custo adicional pelo teste. Os requisitos aparecem “como orientação”:

• uma campanha da conta de anúncios, iniciada no último ano, precisa ter gasto de US$ 5 mil ou mais;
• a mesma campanha precisa ter no mínimo 500 conversões, contadas com uma destas configurações de atribuição: visualização de 1 dia, clique de 7 dias ou clique de 1 dia;
• se a campanha tem mais de 90 dias, os critérios sobem na mesma proporção: a página dá o exemplo de uma campanha de 180 dias, que exigiria US$ 10 mil e mil conversões.

O teste criado pelo anunciante tem ainda um requisito de qualidade do sinal, cumprido de uma de duas formas. A primeira é usar a API de Conversões, que na explicação do ConnectWeek é o envio dos eventos da loja direto do servidor para a Meta, e mandar algum evento com pontuação de qualidade da correspondência superior a 5. A segunda é usar uma fonte de dados compatível para enviar um evento do fim do funil ou de instalação de aplicativo. A página faz uma observação sobre essa segunda forma: ela não está disponível para anunciantes que direcionam os anúncios principalmente para os países afetados pela diretiva ePrivacy. A página não diz quais são esses países. A instalação da API de Conversões e a conferência dessa pontuação estão em Pixel da Meta e API de Conversões: como instalar e conferir.

A Meta divide o público por sorteio. O grupo de teste (o que o Google chama de grupo de tratamento) reúne as pessoas que podem receber o anúncio, e o grupo de controle, as que não o veem durante o estudo. A página explica que nem todos do grupo de teste chegam a ver o anúncio, por limitações de veiculação ou porque a pessoa não rolou a tela até ele.

A Meta dá a esse desenho o nome de “intenção de tratar”. Na explicação do ConnectWeek, é a comparação entre os grupos como foram sorteados, com o grupo de teste inteiro, inclusive quem não viu o anúncio. A empresa afirma que a abordagem mantém a comparabilidade entre os grupos de teste e de controle e ajuda a garantir que o impacto dos anúncios não seja exagerado. A página também descreve o Conversion Lift como uma abordagem conservadora. Junto com a estimativa, a Meta informa intervalos que representam os resultados mais prováveis.

A tabela resume o que as páginas lidas dizem sobre as três versões do teste.

O que resta à loja que não alcança os requisitos?

Na avaliação do ConnectWeek, os requisitos do Google e da Meta deixam de fora boa parte das lojas pequenas. A loja que não chega a eles ainda pode aproveitar o raciocínio do teste por região. Ela pausa a campanha por algumas semanas em uma cidade ou em um estado e compara as vendas totais desse lugar, no mesmo período, com as de outro de comportamento parecido. O resultado não tem a precisão de um estudo feito pela plataforma. É uma sugestão do portal, não um método descrito nas páginas lidas do Google e da Meta.

As páginas lidas ajudam a prever os defeitos dessa versão simples. O Google avisa que a divisão por região gera mais ruído e que a compra feita fora da região em que o anúncio foi visto contamina a comparação. Para o ConnectWeek, uma loja virtual que vende para o país inteiro com poucas dezenas de pedidos por semana em cada estado dificilmente verá uma diferença maior que a oscilação normal das vendas. Com esse volume, o resultado da pausa por região serve como indício, não como medida. A mesma limitação aparece nos testes de página, como mostra a conta feita em teste A/B no e-commerce com pouco tráfego.