Dashboard de Análise 2.0
Entenda a ciência por trás dos seus resultados e tome decisões com amostra, significância, poder e distribuição de tráfego sob controle.
As 4 Métricas de Ouro
Cada experimento no SPLITWAVE apresenta quatro dados fundamentais que você precisa dominar:
Variância
É a variação percentual entre a sua Variante B e o Controle. Indica se você está ganhando ou perdendo terreno.
Melhoria Estimada
Uma projeção de quanto sua receita ou conversão pode subir ao implementar o vencedor permanentemente.
Evidência Estatística
É o complemento do p-value ajustado (1 − p). Valores altos indicam maior incompatibilidade com a hipótese de empate, mas não são a probabilidade de o vencedor estar correto.
Bayesian Engine
A probabilidade de vitória Bayesiana complementa o teste frequencista e ajuda a visualizar a incerteza entre as variantes.
Como interpretar o Vencedor?
1
Amostragem Mínima
Não declare vitória na primeira hora. Acompanhe o progresso da amostra recomendada, o poder estatístico e o mínimo de conversões mostrado no painel.
2
Acompanhe a Curva de Aprendizado
Observe o gráfico de linha. Se as linhas estiverem se cruzando com frequência, o teste ainda é inconclusivo. Quando elas se separam consistentemente, temos um vencedor.
3
Cheque a qualidade da divisão
Verifique o alerta de SRM: uma distribuição muito diferente do tráfego configurado pode indicar problema de atribuição e invalida a comparação.
Curiosidade Técnica
Cada visitante é contado uma vez por teste, com base na primeira exposição, e pode converter no máximo uma vez no resultado estatístico.